電腦規格 → 安裝 → 一行指令跑起來 → 離線也能用|實測整理
雲端 AI 很好用,但它有三個前提:平台還在營運、你的帳號還有權限、網路是通的。
這三件事任何一件出狀況,你手上就什麼都沒有。
把開源 AI 裝進自己的電腦,資料不用全部交給雲端,部分功能離線也能用。
最重要的是,這套工具真正掌握在自己手上。
以下整套流程我在自己的機器上實測過,跟著做大約十分鐘。
關鍵只有一個數字:記憶體(RAM)。查法——Mac:左上角蘋果選單 → 關於這台 Mac;Windows:設定 → 系統 → 關於。
| 你的記憶體 | 建議模型(2026-08 現役版) | 體驗 |
|---|---|---|
| 8 GB | Qwen3.5 2B 或 Gemma 4 E2B | 小模型,日常問答能用 |
| 16 GB | Qwen3.5 4B(推薦起點) | 中文表現好;電腦沒掛太多程式再上 9B |
| 32 GB 以上 | Qwen3.8 27B(最新版)/Gemma 4 12B | 明顯更聰明,仍要留記憶體給其他程式 |
照本文給的名稱下載就是標準壓縮版(新手不用研究「量化」是什麼);同名模型還有更肥的高精度版,新手別選。另外留 10-20 GB 硬碟空間給模型檔。(2026-08-18 更新:Qwen3.8 已開放下載但目前只出 27B 大尺寸,8 GB/16 GB 檔位用 Qwen3.5 的小模型仍是現行最佳選擇。)
顯卡不是必要條件:Mac 的 M 系列晶片直接就能跑;Windows 有 NVIDIA 顯卡會快很多,沒有也能用 CPU 跑小模型(Windows 需 10 版 22H2 以上或 11)。
| 工具 | 適合誰 | 特點 |
|---|---|---|
| LM Studio | 純新手 | 圖形介面、內建模型商店,點一點就能聊;免費,但介面程式不開源 |
| Ollama | 想接其他工具的人 | 整合與教學資源最多;指令一行跑,也有基本視窗介面(核心 MIT 開源) |
| Jan | 要完全開源的人 | 介面像 ChatGPT,程式碼全開源(Apache-2.0),最符合「掌握在自己手上」 |
不知道選哪個:不想碰指令選 LM Studio,想跟著網路上多數教學走選 Ollama,在意開源選 Jan。三個都免費;要換工具隨時可以換,但模型檔各自管理,換了通常要重新下載一次。模型授權:現役的 Qwen3.5 與 Gemma 4 都是 Apache-2.0 開源授權,個人商用都可以。順帶一提:官方哪天停止發佈舊模型(例如 Gemma 3 在 Gemma 4 推出後就停止支援了),已經下載到你硬碟的模型檔不會消失、照樣能用——這正是本機 AI 的意義。
到官網(lmstudio.ai/jan.ai)下載安裝,打開後在內建的模型頁搜尋「Qwen3.5 4B」(8 GB 記憶體改搜「Qwen3.5 2B」),按下載,載完直接開聊。全程滑鼠點一點。
到 ollama.com 下載安裝,打開終端機(Mac:Terminal;Windows:PowerShell)輸入:
第一次會自動下載模型(約 5 GB,存在電腦裡跑一次就好),看到提示符就能直接用中文對話。8 GB 記憶體的電腦把指令換成 qwen3.5:2b。
實測參考(M4 晶片、16 GB 記憶體,單次實測,速度會受輸出長度與散熱影響):
從裝到能對話,不到十分鐘。
電腦乾淨時,8B 級模型每句回答約 15-20 秒。背景掛滿其他程式、記憶體吃緊時,同級模型會掉到每句一分鐘以上。
所以跑本機 AI 前,把吃記憶體的程式關一關,速度差好幾倍。
另外它預設偏好簡體,要繁體就在問題裡說「用繁體中文回答」。
把 Wi-Fi 關掉,再問它一個問題。
它照樣回答。因為整個模型就在你的硬碟裡,不需要連任何伺服器。這就是「掌握在自己手上」的意思。
前提是用本機模型、沒開啟工具內建的網頁搜尋或雲端模型功能,那些功能一開就會連網,屬於加值選配。
模型大小要配記憶體,塞太大的才會慢。照上面表格選,是「日常問答夠用」的等級,速度別跟雲端比。
本機小模型的知識量和推理力有限,適合日常問答、翻譯、摘要、寫草稿。深度工作還是雲端強,本機的定位是備援+隱私場景。
模型只下載一次,之後就存在硬碟離線用。趕時間先載小的(2B 級約 2 GB),之後再補大的。
想把 AI 真正變成自己的工作系統?看看我的服務,或先約 30 分鐘免費聊聊。