═══ 離線 AI 好爽！ ═══

2024年9月14日 · 閱讀時間約 5 分鐘 ┊ 純文字版
資訊

一年半後，我又寫了這篇的續集：離線 AI 好爽（2026 年版）

有一位 blog 讀者，在看到我的《NVIDIA 的浪漫》這篇之後，寫信問我：

  • 我買兩張 RTX 4000 到底是要做什麼？
  • 以及，為什麼不買速度快很多、價格卻差不多的 4090？

簡單來說，我的主要目的是在自己的電腦上離線執行各種 AI 應用程式，順便學習、研究
這一切相關的東西，這樣才不會被時代淘汰啊！以下介紹一些我目前常用的東西。

◆ Ollama：離線的大型語言模型​

首先，最主要的原因是為了使用 Ollama，這是我現在每天都大量使用的工具。

我知道線上有 Claude 和 ChatGPT 可以用，但能夠在自己的電腦上離線執行大型語言模型
，不需要依賴線上服務的感覺真的很爽啊！再加上離線的語言模型可自訂性更高，甚至還
有「無言論審查」的版本可以下載，把政治不正確指數拉到最高！

例如，如果我問 Claude「要怎麼欺負別人」，會直接被訓話一頓；但問無言論審查版的
gemma2，它會很樂意地告訴你！

（Claude：乖寶寶不可以欺負別人喔！）

[claude-censored-49f5dfb1fb979292096c9e27fb9183fa]

（Gemma2-uncensored：讓我來教你成為「欺負大師」，好好玩喔！）

[gemma-uncensored-154f6c5af55614f72e328d08e69161]

目前我覺得最聰明的模型是 llama3.1:70B，它的聰明程度幾乎逼近 GPT-4o 和 Claude
3.5；但它也需要將近 40 GB 的 VRAM 才有辦法跑（不然會超～慢～），這也是我為什麼
想要有兩張 RTX 4000 的主要原因。

我也很喜歡 gemma2，它的 9B 和 27B 模型都滿好用的，速度比 llama3.1:70B 快很多；
回答問題的語氣、習慣也都跟 llama3.1（或線上的 Claude 和 GPT-4o）不太相同。

（gemma2 模型好用！而且速度很快！）

[ollama-92fe2fc4cbed20e4e8dc4db9ce0e0ceb]

我現在的工作習慣是同一個問題都會問好幾個模型，把它們的回答都列入考慮。我覺得花
錢買 GPU 來離線跑大型語言模型完全值得，這就像是你請了好幾個工讀生幫你解決生活問
題一樣，省下來的時間價值絕對遠遠超過 GPU 的花費！

◆ FLUX.1：離線產生圖片​

我知道也有很多線上服務可以產生圖片，但跟前一點一樣，能夠在自己電腦上離線執行，
感覺真的很爽！

更重要的是，幾乎所有線上圖片產生器都有內容審查機制。譬如說，我想要產生包含
Windows LOGO 的圖片，線上產生器通常都不會允許。更別說是生成一些「更奇妙（嘿嘿）
」的內容了。使用離線版本的話，完全都沒有以上問題！

（離線的 FLUX.1，可以產生正確的 Windows LOGO！）

[windows-logo-afdacf3dfa09d5d811931ebe3]

我有時也會用 Stable Diffusion，但現在新的 FLUX.1 模型更強大、更好用！

◆ Whisper：語音辨識與字幕產生​

Whisper 是一個超級強大的語音辨識工具。你只要輸入一個語音檔，它就可以直接產生逐
字稿或字幕檔。

除了用來製作影片字幕之外，我更常拿它來處理我懶得看的、太長的 YouTube 影片。只要
：

  • 用 yt-dlp 下載影片
  • 用 whisper 轉換成文字
  • 再用線上的 Claude 或離線的 ollama 整理重點

你就可以在三分鐘之內，得到一小時影片中的精華部分！

◆ Demucs：音樂分軌​

Demucs 是一個超厲害的聲音分軌工具。輸入一個音樂檔案，它就能自動把它拆成 Vocal、
Bass、Drums 和 Others 這四個分軌。分軌的品質很好，而且速度很快！

不管是想要研究音樂、取樣，或者製作伴奏帶給學生，這個都是不可或缺的工具！

◆ Krita + Stable Diffusion：AI 輔助繪圖、修圖​

Krita 是一個自由的繪圖軟體，它可以安裝 Stable Diffusion 外掛程式來輔助繪圖、修
圖、美顏、移除物品等等。

這個組合比很多昂貴的專有軟體都還要強大，真的很神奇、很好用！你一定要試試看！

（Krita + Stable Diffusion Plug-in 可以把我的幼稚園繪圖，變成真實的照片！）

[krita-55aa4c434956c6aaaba56bfc87e066cd]

而且我其實只用到了一點點功能而已。你可以到 YouTube 上看其他達人使用它，保證會讓
你下巴掉下來！

◆ 為什麼不買 GeForce RTX 4090？​

雖然 RTX 4090 性能更強，但我還是選擇了 RTX 4000。因為：

  • 用途：RTX 4000 是專門設計給 AI 應用程式的專業卡；我不太在電腦上玩 3D 遊戲，
    所以不需要 4090。
  • 耗電：RTX 4000 的 SFF 版耗電只有 70 W！RTX 4090 要多少？快要 500 W 好像！
  • 散熱：由於耗電低很多，RTX 4000 的散熱需求也不高，體積也小；在我小小的機殼裡
    ，不需要額外的電源就可以直接裝兩張！
  • VRAM：RTX 4000 有 20 GB 的記憶體，裝兩張就有 40 GB 了。如果是裝兩張 4090 的
    話，我的客廳可能會直接變成一個烤箱？
  • 已經夠快了：RTX 4000 雖然只有 4090 的 1/3 的速度，但是卻只使用 1/5 還不到的
    耗電和熱能啊！雖然沒有那麼快，但是就我的使用情境而言，這是我完全可以接受的
    妥協。