這篇講在自己電腦上跑 AI 模型的幾個工具：Ollama、LM Studio、它們底下的 llama.cpp，以及在模型上面加一層、讓它會動手做事的 Hermes。重點放在工具差在哪、模型怎麼挑、怎麼裝起來用，適合還沒在自己電腦跑過模型的人。Hermes 當常駐助理的部分（分角色、手機上用、半夜整理）寫在第 5 篇；一件事該不該交給 AI 代理，先看第 1 篇。
內容是到 2026-11-01 為止的狀況。數字有標來源；沒標的，是我那台 Mac Studio（64GB）的實測。
先講幾個詞
| 詞 | 白話 |
|---|---|
| 模型 | AI 背後負責讀懂、寫出來的程式。下載下來是一個好幾 GB 的檔案 |
| 參數量 | 模型的大小，用 B（十億）當單位。27B 就是 270 億個參數。通常越大越聰明，也越吃記憶體 |
| 量化 | 把模型壓小。像照片從 RAW 存成 JPG，檔案小很多，壓太狠就會糊。Q4、4 位元壓得狠，Q8、8 位元壓一半 |
| 上下文 | 模型一次讀得進來的內容長度，用 token（模型切文字的小單位）算。問題、附檔、前面的對話、工具說明都算在裡面 |
| GGUF | 一種模型檔格式，llama.cpp 用的，Ollama 和 LM Studio 都吃 |
| MLX | Apple 自己的機器學習框架，有自己的模型格式，只能在 Apple 晶片的 Mac 上跑 |
| API | 讓程式叫程式的接口。本機模型工具開一個 API，Hermes 這類程式就能請模型回答 |
| AI 代理 | 會自己動手做事的 AI：讀檔、跑指令、寫檔案，一步接一步做完 |
四個工具，各在哪一層
| 層 | 工具 | 做什麼 | 你怎麼碰到它 |
|---|---|---|---|
| 引擎 | llama.cpp | 真正把模型算出來的開源程式 | 多半不直接碰。Ollama 的官方說明把它列為支援的引擎，LM Studio 跑 GGUF 也是用它 |
| 執行工具 | Ollama | 下載、載入、卸載模型，開 API 給別的程式叫 | 終端機打指令，平常在背景開著 |
| 執行工具 | LM Studio | 做的事差不多，外面多了完整的 App | 像一般軟體，點滑鼠操作 |
| 代理 | Hermes | 自己不跑模型，是去叫模型來做事，另外管記憶、技能、工具、排程 | 桌面版、終端機、手機訊息 |
換個說法：llama.cpp 是引擎，Ollama 和 LM Studio 是兩款裝了引擎的車，Hermes 是開車去辦事的人。Hermes 自己也帶了一份 llama.cpp，我拿它當備用，怎麼切換寫在第 5 篇。
Ollama 和 LM Studio 差在哪
2026-08 我照兩家的官方文件整理過一次，結論是：Ollama 給程式用，LM Studio 給人用。
| Ollama | LM Studio | |
|---|---|---|
| 看到的畫面 | 主要是終端機，Mac 上有個簡單的設定頁 | 完整的 App 視窗 |
| 找模型 | 要先知道名字，去官網的模型庫查 | App 裡直接搜 Hugging Face（公開模型的大倉庫） |
| 換模型、調參數 | 打指令、改設定 | 下拉選單、拉桿 |
| 能跑的格式 | GGUF；官網也開始有標著 mlx 的版本，我沒試過 | GGUF 和 MLX 都可以 |
| 多出來的 | 也能改用它的雲端模型，但資料就送出去了 | 附檔案問答、接外部工具 |
| 我拿來 | 主力，Hermes 平常和排程都叫它 | 試模型的工作台，現在沒放模型 |
兩個可以同時裝，不衝突。還在找哪顆模型好用的階段，先裝 LM Studio 比較省摸索時間；確定要讓 Hermes 或程式長期叫用，就用 Ollama。
LM Studio 我用得淺：放過一顆 27B 的 MLX 版（約 16GB），確認它開出來的 API 叫得通，沒做過速度比較。2026-10 為了讓兩顆候選模型在同一個工具裡比，我改用 Ollama 評比，那顆就刪了。
看懂模型名稱
模型名字很長，拆開來就幾樣東西。用我用過的幾個舉例：
| 名稱裡的一段 | 意思 |
|---|---|
| 27B | 參數量 270 億 |
| 35B-A3B | 總共 350 億參數，每次只動用 30 億，這叫混合專家模型 |
| Q4_K_M | GGUF 的 4 位元量化；K_M 是同一級裡的細分壓法，入門先看數字就好 |
| nvfp4、mxfp8 | 比較新的 4 位元、8 位元格式名稱，Ollama 會顯示 |
| qwen3.8:27b | Ollama 的寫法，冒號後面是標籤，通常寫大小或版本 |
記一句話：記憶體看總參數，速度看動用的參數。所以 35B-A3B 佔的記憶體比 27B 多，跑起來卻快很多。
怎麼挑：先算記憶體
記憶體不夠，模型不是變慢一點，是跑不動，或慢到不能用。所以先算。
Mac 的處理器和顯示晶片共用同一塊記憶體，但顯示晶片預設大約只能用四分之三。我的 64GB，模型能用的大約 48GB。
模型檔大小，記三個數字就能估：
| 壓縮程度 | 每 10 億參數約 | 27B 的模型 |
|---|---|---|
| 4 位元 | 0.6GB | 約 16GB |
| 8 位元 | 1.1GB | 約 30GB |
| 不壓縮 | 2.2GB | 約 59GB |
再加上上下文和幾 GB 緩衝，要小於顯示晶片能用的量。下面是我筆記裡的保守估算，已算進上下文和執行開銷，Mac 那欄照四分之三粗算：
| 顯示晶片能用 | 大約是哪種 Mac | 4 位元能跑到 | 8 位元能跑到 |
|---|---|---|---|
| 約 18GB | 24GB | 14B | 8B |
| 約 24GB | 32GB | 27B（很緊） | 14B |
| 約 48GB | 64GB | 27B | 27B |
| 約 96GB | 128GB | 70B | 70B（很緊） |
我兩台機器實際跑過的大小和速度在第 5 篇：24GB 跑 14B 可以，32B 一開長上下文就卡死；64GB 的主力是 27B。
位元數怎麼選：我查到的研究說，長文件和非英文受壓縮的傷害比較大，繁體中文長文剛好兩項都中。我試過同一顆 27B 換 8 位元，錯得少一些，但檔案從 18GB 變 31GB，慢到交不齊。所以我日常用 4 位元，要求準確的事交給雲端。
也別急著追大。2026-09 我查過一個第三方的代理任務排行榜，裝得進 64GB 的新一代 27B，分數贏過兩顆要 128GB 才裝得下的 100B 級模型。
上下文：最容易踩的設定
要給 AI 代理用，上下文要開夠。Hermes 官方要求至少 64,000 個 token；Ollama 官方文件也建議代理、寫程式這類工作至少 64K。問題是兩個工具的預設都可能不對：
| 工具 | 預設 | 會發生什麼 |
|---|---|---|
| Ollama | 依顯示晶片能用的記憶體：24GB 以下 4K、24～48GB 32K、48GB 以上 256K（官方文件） | 小機器太短，Hermes 不肯啟動；大機器太長，白佔記憶體 |
| LM Studio | 2026-10 我這台自動載入時只有 8K | 一樣過不了 Hermes 的門檻 |
我的做法是在工具裡明確設好長度，載入後跑 ollama ps，看 CONTEXT 那欄是不是真的變了，PROCESSOR 那欄是不是 100% GPU（全在顯示晶片上）。設定寫了不算，量到才算。
還有兩個坑。第一，模型本身的上限比設定小，設定騙不了它。2026-07 我用一顆上限 32K 的舊模型，把設定寫成 64K 硬過 Hermes 的門檻；這樣超過 32K 的內容會被默默切掉，不會有錯誤訊息。第二，規格寫支援 26 萬 token，不代表那麼長都讀得準；我筆記裡收的第三方測試，可靠範圍多在 32K～64K。Hermes 每次請求光系統說明就帶一萬多個 token，64K 真正留給你的大約 5 萬。
速度：看頻寬，也看模型種類
模型每吐一個字，都要把用到的權重從記憶體讀一遍，所以聊天速度主要看記憶體頻寬，不看處理器多強。混合專家模型快，就是因為每個字只讀動用的那一小塊。上下文越長，速度還會再掉。
2026-10-11 單次小測：27B 每秒約 26 個 token，35B-A3B 約 48 個；換成整份實際工作計時，差到 6～7 倍。我的工作每天跑一次，27B 一份新聞整理跑兩分半我不在意；要即時聊天就會嫌慢。
我現在的組合
| 用途 | 工具 | 模型 |
|---|---|---|
| Hermes 的對話、排程、分析 Excel 和 PDF | Ollama | Qwen3.8 27B，4 位元，約 18GB |
| Ollama 掛掉時的備用 | Hermes 內建的 llama.cpp | Qwen3.6 35B-A3B，4 位元 GGUF |
| 試新模型 | LM Studio | 目前沒放 |
| 半夜整理知識庫、複雜的程式 | 雲端模型、Claude Code | 不用本機 |
裝好之後我改過、也踩過的幾件事：
| 項目 | 我的做法 |
|---|---|
| 同時載幾顆 | 讓 Ollama 一次只載一顆，兩顆一起載會逼近記憶體上限 |
| 自動更新 | 我這台的 Ollama 會自動下載更新。測速度時順手記版本，不然前後不同可能只是版本換了 |
| 刪模型 | ollama rm 直接刪，不進垃圾桶，要再用就重新下載 |
| 磁碟 | 各工具的模型檔各存一份，不共用 |
| 對網路開放 | Ollama 有讓其他裝置連進來的開關，沒有內建密碼。我只在家裡的網路開著；換到公司或公共網路就關。用不到就別開 |
我怎麼比兩顆模型
- 一次只換一個東西：先在同一個工具（Ollama）裡比模型，選定了再拿同一顆比工具。
- 輸入固定：同一份素材、同樣 64K 上下文，每組跑 3 次。同一顆、同一份輸入，每次錯的地方都不一樣，跑一次不能比。
- 驗收條件寫成會失敗的，例如「網址要跟素材一字不差」。先拿一份完美樣本和一份故意做壞的樣本測驗收程式，確定它會放行、也會擋。
- 測試和正式分開。第一次我直接在正式的 Hermes 上測，它叫醒了備用模型，空閒記憶體剩 10%，那次數字全部作廢。後來改用獨立的測試資料夾。
結果是 27B 準、35B-A3B 快，細節在第 5 篇。
在模型上面加一層：Hermes
Hermes 是 Nous Research 做的開源 AI 代理。它自己不跑模型，你給它一個模型的 API（本機、雲端都行），其餘的它來管：
| 它加上的 | 白話 |
|---|---|
| 記憶 | 幾個文字檔：SOUL.md 寫它是誰，USER.md 寫你是誰，MEMORY.md 是它的工作筆記；對話紀錄另外存著，需要時才去搜 |
| 技能 | 寫好的做事步驟，一份 markdown 檔，遇到同類工作就照著做 |
| 工具 | 讀寫檔案、跑指令、上網 |
| 排程 | 到點自己跑，跑完推給你 |
接本機模型的順序，官方文件寫得很清楚：先讓模型在 Ollama 或 LM Studio 跑起來，上下文調到 64K 以上；在 Hermes 選模型來源，LM Studio 有專屬選項，Ollama 選自訂端點；Hermes 那邊也有上下文設定，要跟 Ollama 真的開出來的一致；最後問一句話，回頭跑 ollama ps 確認是那顆在回答。
用了幾個月的心得：記憶檔寫下去就不會自己更新。2026-08 我回頭看，USER.md 停在 7 月，內容已經跟現況不合，MEMORY.md 裡還記著一個早就失效的做法。要定期自己打開看。
想按部就班學，有一支影片把 Hermes 的用法分成七級，順序值得參考：先接上通訊軟體，再讓它認識你，再寫技能、替不同工作挑模型，之後才是接外部服務、多代理、排程。講者也說，它寫程式不比 Claude Code 強。
適合和不適合
| 適合交給本機模型 | 不適合 |
|---|---|
| 摘要、從你給的文件找答案、抽欄位、分類 | 憑記憶回答事實，它會很有自信地講錯 |
| 格式固定、每天跑、錯了看得出來的事，例如照規則巡檢 | 自己跑一長串步驟，第三方測試裡大約 5～8 步就開始偏 |
| 不想送上雲端的資料 | 要寫進知識庫的正式內容，我實測事實錯誤太多 |
| 同一批測試反覆重跑，不用算錢 | 複雜的程式、查系統問題 |
小模型有兩個毛病，我的結論是別靠它自己守，交給程式擋。簡體字：27B 三次裡有兩次冒出簡體字，輸出後用 OpenCC 轉，要選 s2twp，只用 s2tw 只轉字形，「軟件」不會變「軟體」。網址：會被改，例如去掉 www.，另一顆直接改了路徑，所以網址要用程式逐條比對素材。
最小的起步
- 查記憶體：Mac 點左上角蘋果選單的「關於這台 Mac」，用上面的表估自己能跑多大。
- 只想點滑鼠，裝 LM Studio；之後想讓別的程式叫它，再裝 Ollama。
- 用 Ollama 的話，終端機打
ollama run <模型>，它會先下載再開始對話。模型名稱到官網的模型庫找。 - 另開一個終端機跑
ollama ps，看佔多少記憶體、上下文多大、是不是 100% GPU。 - 拿你真正會做的一件事試，例如摘要手邊的一份文件，同一題跑三次，自己對照原文。
- 用完
ollama stop <模型>卸載；確定不要了才ollama rm <模型>。 - 想讓它動手做事，再接 Hermes。上下文先調到 64K，一開始只給讀的工具。
還沒做的
- 同一顆模型比 Ollama、LM Studio、Hermes 內建的 llama.cpp，誰快、誰省記憶體。
- 推測解碼（小模型先猜、大模型驗證，輸出一樣但可能更快）：第三方說法從 1.8 倍到 4 倍都有，我還沒在自己機器上跑。
參考資料
- Ollama：https://ollama.com，官方文件 https://docs.ollama.com，上下文長度的預設值 https://docs.ollama.com/context-length
- LM Studio：https://lmstudio.ai，官方文件 https://lmstudio.ai/docs/app
- llama.cpp：https://github.com/ggml-org/llama.cpp
- Hermes Agent（Nous Research）：https://github.com/nousresearch/hermes-agent，官方文件 https://hermes-agent.nousresearch.com/docs，接本機模型 https://hermes-agent.nousresearch.com/docs/integrations/providers
- Hugging Face：https://huggingface.co
- 七級用法的影片〈Every Level of Hermes Agent Explained〉：https://www.youtube.com/watch?v=6GtF_uHbGhw