═══ 離線 AI 好爽！ ═══ 2024 年 9 月 14 日 · 閱讀時間約 5 分鐘 ┊ 純文字版 [1] 資訊 一年半後，我又寫了這篇的續集：離線 AI 好爽（2026 年版） [2] 有一位 blog 讀者，在看到我的《NVIDIA 的浪漫 [3]》這篇之後，寫信問我： • 我買兩張 RTX 4000 到底是要做什麼？ • 以及，為什麼不買速度快很多、價格卻差不多的 4090？ 簡單來說，我的主要目的是在自己的電腦上離線執行各種 AI 應用程式，順便學習、研究 這一切相關的東西，這樣才不會被時代淘汰啊！以下介紹一些我目前常用的東西。 ◆ Ollama：離線的大型語言模型​ 首先，最主要的原因是為了使用 Ollama [4]，這是我現在每天都大量使用的工具。 我知道線上有 Claude 和 ChatGPT 可以用，但能夠在自己的電腦上離線執行大型語言模型 ，不需要依賴線上服務的感覺真的很爽啊！再加上離線的語言模型可自訂性更高，甚至還 有「無言論審查」的版本可以下載，把政治不正確指數拉到最高！ 例如，如果我問 Claude「要怎麼欺負別人」，會直接被訓話一頓；但問無言論審查版的 gemma2，它會很樂意地告訴你！ （Claude：乖寶寶不可以欺負別人喔！） 圖片 [5] （Gemma2-uncensored：讓我來教你成為「欺負大師」，好好玩喔！） 圖片 [6] 目前我覺得最聰明的模型是 llama3.1:70B [7]，它的聰明程度幾乎逼近 GPT-4o 和 Claude 3.5；但它也需要將近 40 GB 的 VRAM 才有辦法跑（不然會超～慢～），這也是我 為什麼想要有兩張 RTX 4000 的主要原因。 我也很喜歡 gemma2 [8]，它的 9B 和 27B 模型都滿好用的，速度比 llama3.1:70B 快很 多；回答問題的語氣、習慣也都跟 llama3.1（或線上的 Claude 和 GPT-4o）不太相同。 （gemma2 模型好用！而且速度很快！） 圖片 [9] 我現在的工作習慣是同一個問題都會問好幾個模型，把它們的回答都列入考慮。我覺得花 錢買 GPU 來離線跑大型語言模型完全值得，這就像是你請了好幾個工讀生幫你解決生活問 題一樣，省下來的時間價值絕對遠遠超過 GPU 的花費！ ◆ FLUX.1：離線產生圖片​ 我知道也有很多線上服務可以產生圖片，但跟前一點一樣，能夠在自己電腦上離線執行， 感覺真的很爽！ 更重要的是，幾乎所有線上圖片產生器都有內容審查機制。譬如說，我想要產生包含 Windows LOGO 的圖片，線上產生器通常都不會允許。更別說是生成一些「更奇妙（嘿嘿） 」的內容了。使用離線版本的話，完全都沒有以上問題！ （離線的 FLUX.1，可以產生正確的 Windows LOGO！） 圖片 [10] 我有時也會用 Stable Diffusion [11]，但現在新的 FLUX.1 模型 [12]更強大、更好用！ ◆ Whisper：語音辨識與字幕產生​ Whisper [13] 是一個超級強大的語音辨識工具。你只要輸入一個語音檔，它就可以直接產 生逐字稿或字幕檔。 除了用來製作影片字幕之外，我更常拿它來處理我懶得看的、太長的 YouTube 影片。只要 ： • 用 yt-dlp 下載影片 • 用 whisper 轉換成文字 • 再用線上的 Claude 或離線的 ollama 整理重點 你就可以在三分鐘之內，得到一小時影片中的精華部分！ ◆ Demucs：音樂分軌​ Demucs [14] 是一個超厲害的聲音分軌工具。輸入一個音樂檔案，它就能自動把它拆成 Vocal、Bass、Drums 和 Others 這四個分軌。分軌的品質很好，而且速度很快！ 不管是想要研究音樂、取樣，或者製作伴奏帶給學生，這個都是不可或缺的工具！ ◆ Krita + Stable Diffusion：AI 輔助繪圖、修圖​ Krita [15] 是一個自由的繪圖軟體，它可以安裝 Stable Diffusion 外掛程式 [16]來輔 助繪圖、修圖、美顏、移除物品等等。 這個組合比很多昂貴的專有軟體都還要強大，真的很神奇、很好用！你一定要試試看！ （Krita + Stable Diffusion Plug-in 可以把我的幼稚園繪圖，變成真實的照片！） 圖片 [17] 而且我其實只用到了一點點功能而已。你可以到 YouTube 上看其他達人使用它 [18]，保 證會讓你下巴掉下來！ ◆ 為什麼不買 GeForce RTX 4090？​ 雖然 RTX 4090 性能更強，但我還是選擇了 RTX 4000。因為： • 用途：RTX 4000 是專門設計給 AI 應用程式的專業卡；我不太在電腦上玩 3D 遊戲， 所以不需要 4090。 • 耗電：RTX 4000 的 SFF 版耗電只有 70 W！RTX 4090 要多少？快要 500 W 好像！ • 散熱：由於耗電低很多，RTX 4000 的散熱需求也不高，體積也小；在我小小的機殼裡 ，不需要額外的電源就可以直接裝兩張！ • VRAM：RTX 4000 有 20 GB 的記憶體，裝兩張就有 40 GB 了。如果是裝兩張 4090 的 話，我的客廳可能會直接變成一個烤箱？ • 已經夠快了：RTX 4000 雖然只有 4090 的 1/3 的速度，但是卻只使用 1/5 還不到的 耗電和熱能啊！雖然沒有那麼快，但是就我的使用情境而言，這是我完全可以接受的 妥協。 ── 連結與圖片 ── [1] https://wiwi.blog/blog/offline-ai.txt [2] https://wiwi.blog/blog/offline-ai-2026.txt [3] https://wiwi.blog/blog/two-rtx-4000s.txt [4] https://ollama.com/ [5] （圖片）https://wiwi.blog/assets/images/claude-censored-49f5dfb1fb979292096c9e27fb9183fa.jpg [6] （圖片）https://wiwi.blog/assets/images/gemma-uncensored-154f6c5af55614f72e328d08e691616c.jpg [7] https://ollama.com/library/llama3.1:70b [8] https://ollama.com/library/gemma2 [9] （圖片）https://wiwi.blog/assets/images/ollama-92fe2fc4cbed20e4e8dc4db9ce0e0ceb.jpg [10] （圖片）https://wiwi.blog/assets/images/windows-logo-afdacf3dfa09d5d811931ebe3fb79062.jpg [11] https://stability.ai/news/stable-diffusion-3 [12] https://blackforestlabs.ai/ [13] https://github.com/openai/whisper [14] https://github.com/facebookresearch/demucs [15] https://krita.org/zh-tw/ [16] https://github.com/Acly/krita-ai-diffusion [17] （圖片）https://wiwi.blog/assets/images/krita-55aa4c434956c6aaaba56bfc87e066cd.gif [18] https://www.youtube.com/watch?v=Ly6USRwTHe0