跳至主要内容

Gemma2:9B 你好棒

· 閱讀時間約 2 分鐘

今天一如往常地打開 Claude.ai,想要它幫我修順一些稿,但一直登不進去。於是我打開自己架的 Ollama Open WebUI,載入 gemma2:9b 語言模型。結果……

它真的很棒耶!當然沒有 Claude 3.5 那麼強啦,但是就我的修順稿子的工作來說,它的輸出完全可用!

其實我的電腦配備是可以跑更大的語言模型的(我有一張 nVidia RTX 4000 Ada 20 GB),跑大概 30 幾 B 大小的模型都沒問題,但是最新的 Gemma2 和 Lamma3.1 系列,竟然只要 8~9 B 的參數就可以打敗一些去年的 30 B 大模型了。而且只有 8~9 B 的小模型,跑起來速度很快,用起來心情好!

(太刻意了,不像台灣人。)

就算你的電腦沒有很好的顯示卡(GPU),甚至完全沒有獨立 GPU,你還是可以試試看跑更小的 Gemma2:2B 模型,我在我的 ThinkPad X280 試過,速度也還是可接受的。

(好像怪怪的,我們的國旗有綠色嗎?) 🤣