離線 AI 好爽!
有一位 blog 讀者,在看到我的《NVIDIA 的浪漫》這篇之後,寫信問我:
- 我買兩張 RTX 4000 到底是要做什麼?
- 以及,為什麼不買速度快很多、價格卻差不多的 4090?
簡單來說,我的主要目的是在自己的電腦上離線執行各種 AI 應用程式,順便學習、研究這一切相關的東西,這樣才不會被時代淘汰啊!以下介紹一些我目前常用的東西。
Ollama:離線的大型語言模型
首先,最主要的原因是為了使用 Ollama,這是我現在每天都大量使用的工具。
我知道線上有 Claude 和 ChatGPT 可以用,但能夠在自己的電腦上離線執行大型語言模型,不需要依賴線上服務的感覺真的很爽啊!再加上離線的語言模型可自訂性更高,甚至還有「無言論審查」的版本可以下載,把政治不正確指數拉到最高!
例如,如果我問 Claude「要怎麼欺負別人」,會直接被訓話一頓;但問無言論審查版的 gemma2,它會很樂意地告訴你!
(Claude:乖寶寶不可以欺負別人喔!)
(Gemma2-uncensored:讓我來教你成為「欺負大師」,好好玩喔!)
目前我覺得最聰明的模型是 llama3.1:70B,它的聰明程度幾乎逼近 GPT-4o 和 Claude 3.5;但它也需要將近 40 GB 的 VRAM 才有辦法跑(不然會超~慢~),這也是我為什麼想要有兩張 RTX 4000 的主要原因。
我也很喜歡 gemma2,它的 9B 和 27B 模型都滿好用的,速度比 llama3.1:70B 快很多;回答問題的語氣、習慣也都跟 llama3.1(或線上的 Claude 和 GPT-4o)不太相同。
(gemma2 模型好用!而且速度很快!)
我現在的工作習慣是同一個問題都會問好幾個模型,把它們的回答都列入考慮。我覺得花錢買 GPU 來離線跑大型語言模型完全值得,這就像是你請了好幾個工讀生幫你解決生活問題一樣,省下來的時間價值絕對遠遠超過 GPU 的花費!
FLUX.1:離線產生圖片
我知道也有很多線上服務可以產生圖片,但跟前一點一樣,能夠在自己電腦上離線執行,感覺真的很爽!
更重要的是,幾乎所有線上圖片產生器都有內容審查機制。譬如說,我想要產生包含 Windows LOGO 的圖片,線上產生器通常都不會允許。更別說是生成一些「更奇妙(嘿嘿)」的內容了。使用離線版本的話,完全都沒有以上問題!
(離線的 FLUX.1,可以產生正確的 Windows LOGO!)
我有時也會用 Stable Diffusion,但現在新的 FLUX.1 模型更強大、更好用!
Whisper:語音辨識與字幕產生
Whisper 是一個超級強大的語音辨識工具。你只要輸入一個語音檔,它就可以直接產生逐字稿或字幕檔。
除了用來製作影片字幕之外,我更常拿它來處理我懶得看的、太長的 YouTube 影片。只要:
- 用
yt-dlp
下載影片 - 用
whisper
轉換成文字 - 再用線上的 Claude 或離線的
ollama
整理重點
你就可以在三分鐘之內,得到一小時影片中的精華部分!
Demucs:音樂分軌
Demucs 是一個超厲害的聲音分軌工具。輸入一個音樂檔案,它就能自動把它拆成 Vocal、Bass、Drums 和 Others 這四個分軌。分軌的品質很好,而且速度很快!
不管是想要研究音樂、取樣,或者製作伴奏帶給學生,這個都是不可或缺的工具!
Krita + Stable Diffusion:AI 輔助繪圖、修圖
Krita 是一個自由的繪圖軟體,它可以安裝 Stable Diffusion 外掛程式來輔助繪圖、修圖、美顏、移除物品等等。
這個組合比很多昂貴的專有軟體都還要強大,真的很神奇、很好用!你一定要試試看!
(Krita + Stable Diffusion Plug-in 可以把我的幼稚園繪圖,變成真實的照片!)
而且我其實只用到了一點點功能而已。你可以到 YouTube 上看其他達人使用它,保證會讓你下巴掉下來!
為什麼不買 GeForce RTX 4090?
雖然 RTX 4090 性能更強,但我還是選擇了 RTX 4000。因為:
- 用途:RTX 4000 是專門設計給 AI 應用程式的專業卡;我不太在電腦上玩 3D 遊戲,所以不需要 4090。
- 耗電:RTX 4000 的 SFF 版耗電只有 70 W!RTX 4090 要多少?快要 500 W 好像!
- 散熱:由於耗電低很多,RTX 4000 的散熱需求也不高,體積也小;在我小小的機殼裡,不需要額外的電源就可以直接裝兩張!
- VRAM:RTX 4000 有 20 GB 的記憶體,裝兩張就有 40 GB 了。如果是裝兩張 4090 的話,我的客廳可能會直接變成一個烤箱?
- 已經夠快了:RTX 4000 雖然只有 4090 的 1/3 的速度,但是卻只使用 1/5 還不到的耗電和熱能啊!雖然沒有那麼快,但是就我的使用情境而言,這是我完全可以接受的妥協。