離線 AI 好爽！

2024年9月14日 · 閱讀時間約 7 分鐘

有一位 blog 讀者，在看到我的《NVIDIA 的浪漫》這篇之後，寫信問我：

簡單來說，我的主要目的是在自己的電腦上離線執行各種 AI 應用程式，順便學習、研究這一切相關的東西，這樣才不會被時代淘汰啊！以下介紹一些我目前常用的東西。

首先，最主要的原因是為了使用 Ollama，這是我現在每天都大量使用的工具。

我知道線上有 Claude 和 ChatGPT 可以用，但能夠在自己的電腦上離線執行大型語言模型，不需要依賴線上服務的感覺真的很爽啊！再加上離線的語言模型可自訂性更高，甚至還有「無言論審查」的版本可以下載，把政治不正確指數拉到最高！

例如，如果我問 Claude「要怎麼欺負別人」，會直接被訓話一頓；但問無言論審查版的 gemma2，它會很樂意地告訴你！

（Claude：乖寶寶不可以欺負別人喔！）

（Gemma2-uncensored：讓我來教你成為「欺負大師」，好好玩喔！）

目前我覺得最聰明的模型是 llama3.1:70B，它的聰明程度幾乎逼近 GPT-4o 和 Claude 3.5；但它也需要將近 40 GB 的 VRAM 才有辦法跑（不然會超～慢～），這也是我為什麼想要有兩張 RTX 4000 的主要原因。

我也很喜歡 gemma2，它的 9B 和 27B 模型都滿好用的，速度比 llama3.1:70B 快很多；回答問題的語氣、習慣也都跟 llama3.1（或線上的 Claude 和 GPT-4o）不太相同。

（gemma2 模型好用！而且速度很快！）

我現在的工作習慣是同一個問題都會問好幾個模型，把它們的回答都列入考慮。我覺得花錢買 GPU 來離線跑大型語言模型完全值得，這就像是你請了好幾個工讀生幫你解決生活問題一樣，省下來的時間價值絕對遠遠超過 GPU 的花費！

我知道也有很多線上服務可以產生圖片，但跟前一點一樣，能夠在自己電腦上離線執行，感覺真的很爽！

更重要的是，幾乎所有線上圖片產生器都有內容審查機制。譬如說，我想要產生包含 Windows LOGO 的圖片，線上產生器通常都不會允許。更別說是生成一些「更奇妙（嘿嘿）」的內容了。使用離線版本的話，完全都沒有以上問題！

（離線的 FLUX.1，可以產生正確的 Windows LOGO！）

我有時也會用 Stable Diffusion，但現在新的 FLUX.1 模型更強大、更好用！

Whisper 是一個超級強大的語音辨識工具。你只要輸入一個語音檔，它就可以直接產生逐字稿或字幕檔。

除了用來製作影片字幕之外，我更常拿它來處理我懶得看的、太長的 YouTube 影片。只要：

你就可以在三分鐘之內，得到一小時影片中的精華部分！

Demucs 是一個超厲害的聲音分軌工具。輸入一個音樂檔案，它就能自動把它拆成 Vocal、Bass、Drums 和 Others 這四個分軌。分軌的品質很好，而且速度很快！

不管是想要研究音樂、取樣，或者製作伴奏帶給學生，這個都是不可或缺的工具！

Krita 是一個自由的繪圖軟體，它可以安裝 Stable Diffusion 外掛程式來輔助繪圖、修圖、美顏、移除物品等等。

這個組合比很多昂貴的專有軟體都還要強大，真的很神奇、很好用！你一定要試試看！

（Krita + Stable Diffusion Plug-in 可以把我的幼稚園繪圖，變成真實的照片！）

而且我其實只用到了一點點功能而已。你可以到 YouTube 上看其他達人使用它，保證會讓你下巴掉下來！

雖然 RTX 4090 性能更強，但我還是選擇了 RTX 4000。因為：

用途：RTX 4000 是專門設計給 AI 應用程式的專業卡；我不太在電腦上玩 3D 遊戲，所以不需要 4090。
耗電：RTX 4000 的 SFF 版耗電只有 70 W！RTX 4090 要多少？快要 500 W 好像！
散熱：由於耗電低很多，RTX 4000 的散熱需求也不高，體積也小；在我小小的機殼裡，不需要額外的電源就可以直接裝兩張！
VRAM：RTX 4000 有 20 GB 的記憶體，裝兩張就有 40 GB 了。如果是裝兩張 4090 的話，我的客廳可能會直接變成一個烤箱？
已經夠快了：RTX 4000 雖然只有 4090 的 1/3 的速度，但是卻只使用 1/5 還不到的耗電和熱能啊！雖然沒有那麼快，但是就我的使用情境而言，這是我完全可以接受的妥協。