English →
人來過

把開源 AI 裝到自己電腦

電腦規格 → 安裝 → 一行指令跑起來 → 離線也能用|實測整理

← 回 leoaido 首頁

為什麼要有一套本機 AI

雲端 AI 很好用,但它有三個前提:平台還在營運、你的帳號還有權限、網路是通的。

這三件事任何一件出狀況,你手上就什麼都沒有。

把開源 AI 裝進自己的電腦,資料不用全部交給雲端,部分功能離線也能用。

最重要的是,這套工具真正掌握在自己手上。

以下整套流程我在自己的機器上實測過,跟著做大約十分鐘。

雲端 AI 的三個前提 平台營運中 帳號有權限 網路是通的 任何一項出狀況=手上歸零 本機 AI AI 模型在你硬碟裡,離線照跑

第一步:看你的電腦跑不跑得動

關鍵只有一個數字:記憶體(RAM)。查法——Mac:左上角蘋果選單 → 關於這台 Mac;Windows:設定 → 系統 → 關於。

你的記憶體建議模型(2026-08 現役版)體驗
8 GBQwen3.5 2B 或 Gemma 4 E2B小模型,日常問答能用
16 GBQwen3.5 4B(推薦起點)中文表現好;電腦沒掛太多程式再上 9B
32 GB 以上Qwen3.8 27B(最新版)/Gemma 4 12B明顯更聰明,仍要留記憶體給其他程式

照本文給的名稱下載就是標準壓縮版(新手不用研究「量化」是什麼);同名模型還有更肥的高精度版,新手別選。另外留 10-20 GB 硬碟空間給模型檔。(2026-08-18 更新:Qwen3.8 已開放下載但目前只出 27B 大尺寸,8 GB/16 GB 檔位用 Qwen3.5 的小模型仍是現行最佳選擇。)

顯卡不是必要條件:Mac 的 M 系列晶片直接就能跑;Windows 有 NVIDIA 顯卡會快很多,沒有也能用 CPU 跑小模型(Windows 需 10 版 22H2 以上或 11)。

第二步:挑一個工具(三選一)

工具適合誰特點
LM Studio純新手圖形介面、內建模型商店,點一點就能聊;免費,但介面程式不開源
Ollama想接其他工具的人整合與教學資源最多;指令一行跑,也有基本視窗介面(核心 MIT 開源)
Jan要完全開源的人介面像 ChatGPT,程式碼全開源(Apache-2.0),最符合「掌握在自己手上」

不知道選哪個:不想碰指令選 LM Studio,想跟著網路上多數教學走選 Ollama,在意開源選 Jan。三個都免費;要換工具隨時可以換,但模型檔各自管理,換了通常要重新下載一次。模型授權:現役的 Qwen3.5 與 Gemma 4 都是 Apache-2.0 開源授權,個人商用都可以。順帶一提:官方哪天停止發佈舊模型(例如 Gemma 3 在 Gemma 4 推出後就停止支援了),已經下載到你硬碟的模型檔不會消失、照樣能用——這正是本機 AI 的意義。

第三步:安裝並跑起來

1. 官網下載 跟裝一般軟體一樣 2. 載入模型 搜尋或一行指令 3. 開始對話 之後離線也能用

選 LM Studio 或 Jan(圖形介面)

到官網(lmstudio.ai/jan.ai)下載安裝,打開後在內建的模型頁搜尋「Qwen3.5 4B」(8 GB 記憶體改搜「Qwen3.5 2B」),按下載,載完直接開聊。全程滑鼠點一點。

選 Ollama(指令)

到 ollama.com 下載安裝,打開終端機(Mac:Terminal;Windows:PowerShell)輸入:

ollama run qwen3.5:4b

第一次會自動下載模型(約 5 GB,存在電腦裡跑一次就好),看到提示符就能直接用中文對話。8 GB 記憶體的電腦把指令換成 qwen3.5:2b

實測參考(M4 晶片、16 GB 記憶體,單次實測,速度會受輸出長度與散熱影響):

從裝到能對話,不到十分鐘。

電腦乾淨時,8B 級模型每句回答約 15-20 秒。背景掛滿其他程式、記憶體吃緊時,同級模型會掉到每句一分鐘以上。

所以跑本機 AI 前,把吃記憶體的程式關一關,速度差好幾倍。

另外它預設偏好簡體,要繁體就在問題裡說「用繁體中文回答」。

第四步:確認它真的離線能用

把 Wi-Fi 關掉,再問它一個問題。

它照樣回答。因為整個模型就在你的硬碟裡,不需要連任何伺服器。這就是「掌握在自己手上」的意思。

前提是用本機模型、沒開啟工具內建的網頁搜尋或雲端模型功能,那些功能一開就會連網,屬於加值選配。

常見問題

本機 AI 會不會很慢?

模型大小要配記憶體,塞太大的才會慢。照上面表格選,是「日常問答夠用」的等級,速度別跟雲端比。

本機 AI 跟 ChatGPT 差在哪?

本機小模型的知識量和推理力有限,適合日常問答、翻譯、摘要、寫草稿。深度工作還是雲端強,本機的定位是備援+隱私場景。

模型檔很大,網路慢怎麼辦?

模型只下載一次,之後就存在硬碟離線用。趕時間先載小的(2B 級約 2 GB),之後再補大的。

現在最該累積的,仍然是自己的思考與能力。AI 可以用,但真正穩固的能力要分兩層:沒有 AI 也知道怎麼思考行動,雲端不能用也有一套自己掌握的工具。這頁就是第二層的起點。

聯絡 / 追蹤

想把 AI 真正變成自己的工作系統?看看我的服務,或先約 30 分鐘免費聊聊。

這頁是我做給你的免費資源

我是黃志弘(kanisleo328),用 AI 做了好幾個產品。如果這頁有幫到你,歡迎到 IG 跟我說一聲,也會持續整理更多 AI 實戰教學。

到 IG 找我 →