把 AI 模型放在自己電腦上跑，好處是資料不用上傳、沒有每月帳單、離線也能用。代價是你得自己處理硬體和安裝。下面整理我研究和實際安裝時的重點。

選顯卡的第一原則：看顯示記憶體

跑本地大型語言模型或 Stable Diffusion，最關鍵的是顯示記憶體（VRAM）的容量和頻寬，不是核心數。模型要整個放得進顯示記憶體，才跑得快。

2026 年初的家用進階選擇，大多落在 NVIDIA RTX 50 系列。我當時研究的是 RTX 5080（16GB 顯示記憶體）：8B（80 億參數）等級的模型可以很順地跑；透過量化（把模型壓縮成較低精度），可以應付一部分 14B 到 30B 的模型。當時台灣的價格大約落在新台幣三萬六千到五萬元之間，會依品牌和散熱設計浮動。同樣 16GB 顯示記憶體，也有比較便宜的入門型號，只是運算速度和頻寬差一截。

要注意的是，網路上很多「效率逼近上一代旗艦」之類的說法，是規格推估，不是實測。買之前請找有實際跑分（每秒產生多少字、每秒產生幾張圖）的評測。

先想清楚用途

  • 只是推論：本地聊天、知識庫查詢、語音轉文字——一張中高階家用顯卡就夠。
  • 要訓練或微調模型：需求會高非常多，通常要多張卡或租雲端。

大部分人只需要第一種。

常見的本地 AI 工具

  • Ollama：用一行指令下載和執行模型，支援 macOS、Linux、Windows，很適合入門和離線測試。
  • LM Studio：有圖形介面，可以瀏覽、下載模型，還能開一個本地伺服器讓其他程式呼叫。
  • AnythingLLM：把你自己的文件做成可以問答的知識庫，可以替不同工作區設定不同的系統提示詞。
  • Dify：開源的 AI 應用開發平台，適合想做出完整應用的人。

我實際遇過的錯誤

  • LM Studio 伺服器開不起來：錯誤是 listen EACCES: permission denied 0.0.0.0:1234，原因是權限不足或那個連接埠已經被別的程式占用。換一個連接埠，或找出占用的程式關掉。
  • 找不到 PyTorch：跑語音轉文字的腳本時出現 No module named 'torch'。當時要特別注意 Python 版本——很多 AI 套件對最新版 Python 的支援會慢半拍，用稍舊一點的穩定版本（例如 3.10、3.11）通常最省事。

「完全免費」要打個折

有些教學說，把雲端 API 換成本地模型就能做到「完全免費的 AI 助理」。軟體確實免費，但電費和顯卡的成本要算進去；而且本地模型的能力通常不如頂級雲端模型，要用它做什麼，得先想清楚。

小結

本地 AI 的門檻已經低很多：一張顯示記憶體夠大的顯卡，加上 Ollama 這類工具，下午就能跑起來。但「能跑」和「好用」之間，還隔著選對模型和調整設定的距離。

資料來源

  • 本人顯卡選型與本地 AI 工具安裝的對話紀錄（2025-04～2026-03；價格與型號為 2026 年初快照）
  • Ollama、LM Studio、AnythingLLM、Dify

封面圖由 AI 生成。