2023-03-30

免費離線聊天的 GPT4All 好不好用 ?

阿舍看到 GPT4All 這個名稱的時候,還以為 OpenAI 又推出新版本了,但仔細看,好像又不太對,怎麼會有 Github 的連結可以下載呢 ? 看了一下說明才瞭解,原來這是一個可以離線使用的 AI 聊天版本,是採用之前阿舍介紹過的 LLaMa「大羊駝」所訓練出來的,而且,很有誠意的,已經編譯 Mac、Linux 和 Windows 的執行檔,下載下來就可以使用囉! 所以,阿舍當然要來試試囉! ... 



下載的有點望穿秋水

這個 GPT4All 的安裝不難,只要 Clone 它的 Github,再下載 Github 上說明提到的一個有 4GB 大的 bin 檔,放進 chat 資料夾就可以用了,從這個 bin 檔的下載網址看來,是放在一個叫 the-eye.eu 的網站,下載速度有點慢,阿舍還斷了幾次,大概花了二個小時左右才完成,但是,再過沒多久,這個網站就掛了,貼出公告說下載量爆棚,網站撐不住了,果然,和阿舍預期的一樣,還好有先下載到。 

更新: GPT4All 在4月中這幾天開始提供有圖型介面的桌面程式安裝版,阿舍這一篇是三月底 GPT4All 剛推出的時候寫的,GPT4All 安裝程式在這裡下載。 

操作使用很簡單,打字很困難

下載的 bin 檔放進 chat 資料後,再依作業系統的不同,執行不同的程式就可以啟動了,阿舍測試用的筆電是 Macbook M1 Pro,所以,就執行「gpt4all-lora-quantized-OSX-m1」這支程式,啟動後,就可以在終端機裡和 AI 對話了,GPT4All 不像「大羊駝」和「羊駝」有 Web 界面可用,只能在終端機裡使用,然後,在對話的 Consol 裡,方向鍵和退格鍵都不能用,阿舍用起來就卡卡的,但是,有 ChatGPT 回答的效果,有點 Fu 了。

ㄎㄤㄎㄤ的,滿有趣

阿舍裝好之後,便很好奇的來試試看,要了程式碼範例,給的東西有點舊,後來,它自己有說它的訓練資料只到 2019/01,所以,有些東西它不知道,接著,再試試翻譯,打繁體中文請他翻譯成英文,"非常逼真的繪圖。適用於人物",有看懂是中文,然後,給了 "Please draw a realistic picture of the person“ 的翻譯 😭,同樣的中文句子,再請他翻成日文,變成 "お世話に、人のようなもとを裏で見ることが好き" 的結果🤣,最後,再請它把這句日文翻成英文,結果它累了, 是有看出是要日翻英,但就一直給出日文 "私は働く事物を掲示する" .... 😱 ... 阿舍就邊試邊笑 

輸入繁體中文問題問它,看來是有看懂,但可能是訓練的還不夠,問它 "智慧合約" 和 "智能合約" 二項,它都理解成 "wisdom contract" 來解釋,但是,用英文的 "Smart Contract" 問它,就解釋的還滿清楚的,試著把網路停掉,問它台灣的最高山是那一座,有回答出是玉山,看來是可離線使用,但是,問程式碼範例時,如果沒網路,好像就只會給一些說明文字而已,阿舍沒仔細測,不過,離線是確定可用的。

結語: 別誤會!只是 Demo 和訓練用

阿舍後來再回去看它的 Github 說明才有注意到,它開宗明義就有說這是 Demo、測試和訓練用,並且有提供訓練方式,懂的人載下去就可以開工做訓練,但是,要有一張 16GB VRAM 的顯示卡才行,阿舍雖然也很想來訓練看看,但是,一來,還不懂這些東西,二來,16GB VRAM 的顯示卡有點遙遠,等有空有閒錢再來研究研究好了。

這樣簡單測下來,雖然,感覺 ㄎㄤㄎㄤ的,不過,很明顯的可以發現到,離線 AI 的可能性似乎不是那麼遙不可及,以目前 AI 發展的速度來看,也許再沒多久就可以有訓練的比較好一點的離線 AI 聊天機器人可用,這樣可以大幅的降低阿舍在隱私上的不安全感,同時,企業要導入應用,也會比較有彈性些。

補充:
後續還出現了 Vicuna(駱馬)Cerebras(大腦)GTPQ 等離線型的開放原始碼專案。


(續) 想換 ChatGPT 聊天界面 ? 試試第三方軟體


推薦閱讀


有疑問? 問題還是沒解決嗎? 歡迎下方留言提問和討論 😁

1 則留言 :

Arthur 提到...

Hello!

GPT4All 在4月中開始提供圖型介面的桌面程式安裝版,安裝程式可在 https://gpt4all.io 下載 ...

張貼留言

歡迎留言提問和討論 .... 😁