把開源 AI 裝到自己電腦
電腦規格 → 安裝 → 一行指令跑起來 → 離線也能用｜實測整理
黃志弘 Leo
2026-08-17 發佈 · 2026-10-07 更新 · 146 人看過
為什麼要有一套本機 AI
雲端 AI 很好用，但它有三個前提：平台還在營運、你的帳號還有權限、網路是通的。
這三件事任何一件出狀況，你手上就什麼都沒有。
把開源 AI 裝進自己的電腦，資料不用全部交給雲端，部分功能離線也能用。
最重要的是，這套工具真正掌握在自己手上。
以下整套流程我在自己的機器上實測過，跟著做大約十分鐘。
第一步：看你的電腦跑不跑得動
關鍵只有一個數字：記憶體（RAM）。查法——Mac：左上角蘋果選單 → 關於這台 Mac；Windows：設定 → 系統 → 關於。
| 你的記憶體 | 建議模型（2026 年 10 月查證仍是現行版） | 體驗 |
|---|---|---|
| 8 GB | Qwen3.5 2B 或 Gemma 4 E2B | 小模型，日常問答能用 |
| 16 GB | Qwen3.5 4B（推薦起點） | 中文表現好；電腦沒掛太多程式再上 9B |
| 32 GB 以上 | Qwen3.8 27B（最新版）／Gemma 4 12B | 明顯更聰明，仍要留記憶體給其他程式 |
照本文給的名稱下載就是標準壓縮版（新手不用研究「量化」是什麼）；同名模型還有更肥的高精度版，新手別選。另外留 10-20 GB 硬碟空間給模型檔。（2026-08-18 更新：Qwen3.8 已開放下載但目前只出 27B 大尺寸，8 GB／16 GB 檔位用 Qwen3.5 的小模型仍是現行最佳選擇。）
顯卡不是必要條件：Mac 的 M 系列晶片直接就能跑；Windows 有 NVIDIA 顯卡會快很多，沒有也能用 CPU 跑小模型（Windows 需 10 版 22H2 以上或 11）。
第二步：挑一個工具（三選一）
| 工具 | 適合誰 | 特點 |
|---|---|---|
| LM Studio | 純新手 | 圖形介面、內建模型商店，點一點就能聊；免費，但介面程式不開源 |
| Ollama | 想接其他工具的人 | 整合與教學資源最多；指令一行跑，也有基本視窗介面（核心 MIT 開源） |
| Jan | 要完全開源的人 | 介面像 ChatGPT，程式碼全開源（Apache-2.0），最符合「掌握在自己手上」 |
不知道選哪個：不想碰指令選 LM Studio，想跟著網路上多數教學走選 Ollama，在意開源選 Jan。三個都免費；要換工具隨時可以換，但模型檔各自管理，換了通常要重新下載一次。模型授權：現役的 Qwen3.5 與 Gemma 4 都是 Apache-2.0 開源授權，個人商用都可以。順帶一提：官方哪天停止發佈舊模型（例如 Gemma 3 在 Gemma 4 推出後就停止支援了），已經下載到你硬碟的模型檔不會消失、照樣能用——這正是本機 AI 的意義。
第三步：安裝並跑起來
選 LM Studio 或 Jan（圖形介面）
到官網（lmstudio.ai／jan.ai）下載安裝，打開後在內建的模型頁搜尋「Qwen3.5 4B」（8 GB 記憶體改搜「Qwen3.5 2B」），按下載，載完直接開聊。全程滑鼠點一點。
選 Ollama（指令）
到 ollama.com 下載安裝，打開終端機（Mac：Terminal；Windows：PowerShell）輸入：
ollama run qwen3.5:4b第一次會自動下載模型（約 3～4 GB，存在電腦裡跑一次就好），看到提示符就能直接用中文對話。8 GB 記憶體的電腦把指令換成 qwen3.5:2b。
實測參考（M4 晶片、16 GB 記憶體，單次實測，速度會受輸出長度與散熱影響）：
從裝到能對話，不到十分鐘。
電腦乾淨時，8B 級模型每句回答約 15-20 秒。背景掛滿其他程式、記憶體吃緊時，同級模型會掉到每句一分鐘以上。
所以跑本機 AI 前，把吃記憶體的程式關一關，速度差好幾倍。
另外它預設偏好簡體，要繁體就在問題裡說「用繁體中文回答」。
第四步：確認它真的離線能用
把 Wi-Fi 關掉，再問它一個問題。
它照樣回答。因為整個模型就在你的硬碟裡，不需要連任何伺服器。這就是「掌握在自己手上」的意思。
前提是用本機模型、沒開啟工具內建的網頁搜尋或雲端模型功能，那些功能一開就會連網，屬於加值選配。
常見問題
本機 AI 會不會很慢？
模型大小要配記憶體，塞太大的才會慢。照上面表格選，是「日常問答夠用」的等級，速度別跟雲端比。
本機 AI 跟 ChatGPT 差在哪？
本機小模型的知識量和推理力有限，適合日常問答、翻譯、摘要、寫草稿。深度工作還是雲端強，本機的定位是備援＋隱私場景。
模型檔很大，網路慢怎麼辦？
模型只下載一次，之後就存在硬碟離線用。趕時間先載小的（2B 級約 3 GB），之後再補大的。
現在最該累積的，仍然是自己的思考與能力。AI 可以用，但真正穩固的能力要分兩層：沒有 AI 也知道怎麼思考行動，雲端不能用也有一套自己掌握的工具。這頁就是第二層的起點。
聯絡 / 追蹤
想把 AI 真正變成自己的工作系統？看看我的服務，或先約 30 分鐘免費聊聊。