簡介這份15KB的docx文檔面向希望在個人電腦、手機和瀏覽器中部署DeepSeek大模型的研究人員、開發(fā)者與技術(shù)愛好者圍繞Ollama本地運行、移動端接入和Open WebUI可視化使用三條路線整理跨平臺部署方案與關(guān)鍵操作命令。文檔按macOS、Linux、Windows、iPhone與Android等環(huán)境展開包含模型拉取、終端交互、快捷指令與API Key配置、Termux依賴安裝及Ollama編譯啟動、Docker Desktop與Open WebUI集成管理等內(nèi)容并附官方網(wǎng)址便于核對最新版本與支持資料。包內(nèi)共1個docx文件壓縮包約15KB篇幅精簡但覆蓋本地、移動端與Web端的主要落地路徑。已有3771人學(xué)習(xí)下載適合需要快速搭建DeepSeek實驗環(huán)境、對照命令排查部署問題或把NLP對話能力接入個人設(shè)備與業(yè)務(wù)流程的讀者參考。1. 三端并存的需求先想清楚模型到底跑在哪上周有個做后端的朋友問我能不能在那臺 16G 內(nèi)存的筆記本上跑一個能離線對話的模型不聯(lián)網(wǎng)、數(shù)據(jù)不出本機。這個需求往深了說其實是一整套多平臺 DeepSeek 部署方案桌面端用 Ollama 拉模型起服務(wù)手機端用 Termux 或者系統(tǒng)快捷指令兜底瀏覽器端再套一層 Open WebUI 做成團隊都能點開就用的界面。三條路線的差別不在模型本身而在推理跑在哪里、請求從哪發(fā)出去。搞不清這一點你會在手機上裝完一堆東西最后發(fā)現(xiàn)跑的其實是別人的服務(wù)器。這篇按「先選型、再跑通、最后改」的順序把這套 AI 模型部署的落地路徑拆開講新手照著能跑熟手能看到進程邊界和接口設(shè)計。2. 三條路線的架構(gòu)分層與選型賬本2.1 從進程邊界看誰在真正做推理把三條路線擺在一起看最容易混淆的是「客戶端」和「推理端」的位置。桌面方案里Ollama 是一個常駐后臺的服務(wù)進程默認(rèn)監(jiān)聽127.0.0.1:11434命令行里敲的ollama run只是一個 HTTP 客戶端它把對話內(nèi)容 POST 給本地服務(wù)服務(wù)加載模型權(quán)重做前向計算再返回 token。模型和算力都在你自己的機器上斷網(wǎng)照樣能用。移動端要分成兩種完全不同的東西。iPhone 上的快捷指令本質(zhì)是一個圖形化的 HTTP 請求構(gòu)造器它自己不加載任何模型權(quán)重只負責(zé)把「你說的話」打包成 JSON發(fā)到一個兼容 OpenAI 格式的遠程接口上再把返回的文本念出來或顯示出來。它解決的是「手機上有個順手的入口」而不是「手機上跑推理」。Android 上的 Termux 則相反它給你一個接近 Linux 的終端環(huán)境你可以把 Ollama 源碼拉下來編譯成可執(zhí)行文件真正在 ARM 芯片上跑推理代價是編譯門檻和內(nèi)存天花板。Web 端是第三種形態(tài)。Open WebUI 是一個前后端一體的應(yīng)用后端用 Python 寫前端是瀏覽器頁面中間通過 HTTP 去調(diào) Ollama 的接口。它自己也不推理價值在于多會話管理、模型切換、提示詞預(yù)設(shè)、多用戶登錄這些產(chǎn)品化能力。理解了這三層的分工后面每一步命令你都知道自己在動哪一塊。提示判斷一個「手機跑大模型」的教程靠不靠譜就看它有沒有說清楚推理發(fā)生在本地還是遠端。只讓你填 API Key 的都是遠端。2.2 模型規(guī)格與硬件賬本Ollama 的模型名帶 tag冒號后面是規(guī)格比如deepseek-r1:7b里的7b指 70 億參數(shù)量級。參數(shù)量直接決定內(nèi)存占用而內(nèi)存是這三條路線里最先撞墻的資源。下面這張表是我在幾種設(shè)備上實測后的粗略量級具體數(shù)值會隨量化方式和上下文長度浮動但用來做選型判斷夠用。模型規(guī)格量化后權(quán)重大致體積建議可用內(nèi)存典型落地設(shè)備1.5b12 GB4 GB 以上手機 Termux、低配輕薄本7b / 8b46 GB812 GB主流筆記本、臺式機14b810 GB16 GB獨顯機器或大內(nèi)存工作站32b 及以上18 GB 起32 GB 以上服務(wù)器、多卡環(huán)境選型邏輯很簡單手機端不要碰 7b 以上Android 系統(tǒng)對單個應(yīng)用的內(nèi)存限制和后臺殺進程機制會讓你跑到一半被 OOM 干掉桌面端 16G 內(nèi)存跑 7b 是甜點區(qū)再大就要看有沒有獨立顯卡如果是團隊共用模型放在一臺常開的機器上其他設(shè)備全部走 HTTP 調(diào)用這才是 AI 模型部署里最省資源的拓撲。還有一點容易被忽略上下文長度也吃內(nèi)存。Ollama 默認(rèn)的上下文窗口不算大如果你在 WebUI 里把上下文調(diào)到很長同樣的 7b 模型內(nèi)存占用可能翻倍。顯存不夠時它會退到 CPU 推理速度掉一個數(shù)量級這個現(xiàn)象后面避坑章節(jié)會專門講。2.3 安裝 Ollama 并跑通第一句回復(fù)桌面端是所有路線的基準(zhǔn)先把它跑通后面手機和 WebUI 才有東西可連。macOS 和 Linux 用官方腳本裝最省事Windows 直接下安裝包雙擊。# macOS / Linux一行腳本完成安裝會自動注冊系統(tǒng)服務(wù) curl -fsSL https://ollama.com/install.sh | sh # 驗證安裝輸出類似 ollama version 0.x.x ollama --version # 拉取并進入交互式對話第一次會下載權(quán)重文件 ollama run deepseek-r1:7bollama run這個命令做了兩件事先檢查本地有沒有對應(yīng) tag 的模型沒有就自動pull下載完成后啟動推理并進入 REPL。第一次執(zhí)行會看到分層的下載進度條每一層是模型文件的一個分片中斷了重跑會續(xù)傳已經(jīng)下好的層不用從頭再來。裝完之后要確認(rèn)服務(wù)狀態(tài)。Linux 下安裝腳本會創(chuàng)建 systemd 單元用systemctl status ollama看macOS 是 launchd 托管的菜單欄應(yīng)用ps aux | grep ollama能看到ollama serve進程。如果你想讓局域網(wǎng)內(nèi)其他設(shè)備也能連需要讓服務(wù)監(jiān)聽所有網(wǎng)卡# 僅限可信內(nèi)網(wǎng)使用暴露到公網(wǎng)等于把模型算力白送人 OLLAMA_HOST0.0.0.0:11434 ollama serve這個環(huán)境變量是很多教程漏掉的一步。默認(rèn)只綁127.0.0.1你在另一臺機器上curl會直接連接被拒然后誤以為是防火墻問題。改完之后用curl http://主機IP:11434/api/tags驗證能返回 JSON 列表說明服務(wù)通了。這一步跑通桌面端的基礎(chǔ)就打好了接下來兩條路都是在它的接口之上做文章。3. 移動端落地iPhone 快捷指令與 Android Termux 編譯3.1 iPhone 快捷指令把 HTTP 請求包成系統(tǒng)級入口捷徑Shortcuts這個路子被很多教程寫得很玄其實拆開就三個動作接收輸入、發(fā)請求、展示結(jié)果。你在 Safari 里導(dǎo)入一個現(xiàn)成的快捷指令它內(nèi)部是一個「獲取 URL 內(nèi)容」動作方法選 POST請求體是一段 JSON結(jié)構(gòu)跟 OpenAI 的 Chat Completions 接口一致。{ model: deepseek-chat, messages: [ {role: system, content: 你是一個簡潔的中文助手}, {role: user, content: 把這段話翻譯成英文} ], temperature: 0.7, stream: false }model字段決定服務(wù)端用哪個模型messages是標(biāo)準(zhǔn)的多輪對話數(shù)組stream設(shè)成false是為了讓快捷指令一次性拿到完整文本因為流式返回在捷徑里處理起來很別扭。請求頭里必須帶Authorization: Bearer 你的Key和Content-Type: application/json少一個就是 401 或 415。這里要說清楚一件事快捷指令的便利性建立在「遠端有服務(wù)」的前提上它跟本地部署是兩條路。如果你確實需要離線就別在 iPhone 上折騰這條路直接把模型跑在桌面機上手機通過局域網(wǎng)訪問那個 11434 端口雖然要保證同一網(wǎng)段但數(shù)據(jù)不出內(nèi)網(wǎng)。注意API Key 寫死在快捷指令里任何拿到你手機或者你分享出去的快捷指令的人都能直接看到明文。別用主賬號的 Key單獨申請一個限額的子 Key用完隨時吊銷。首次運行時系統(tǒng)會彈權(quán)限確認(rèn)問你是否允許訪問某個域名必須點允許否則請求會被靜默攔截表現(xiàn)就是「點了沒反應(yīng)」。這個交互坑我在第一次配的時候卡了十幾分鐘最后是靠捷徑的「顯示結(jié)果」動作把錯誤碼打出來才定位到的。建議你在調(diào)試階段加一個顯示返回內(nèi)容的動作把 HTTP 狀態(tài)碼一起打出來。3.2 Android Termux從裝依賴到編譯出可執(zhí)行文件Termux 是 Android 上最接近 Linux 的環(huán)境它不走 proot 那一套虛擬化而是直接跑在 Android 的 Linux 內(nèi)核上所以編譯出來的二進制能原生執(zhí)行。整套流程分三步配環(huán)境、拉源碼、編譯。# 1. 更新包管理器并裝編譯工具鏈 pkg update pkg upgrade -y pkg install git cmake golang libjpeg-turbo -y # 2. 申請共享存儲權(quán)限方便把模型文件放外置卡 termux-setup-storage # 3. 拉 Ollama 源碼depth 1 只取最新一次提交省流量省時間 git clone --depth 1 https://github.com/ollama/ollama.git cd ollama # 4. 生成版本信息文件再編譯出單文件二進制 go generate ./... go build .go generate這一步不能省它會跑//go:generate注釋標(biāo)記的腳本把版本號、構(gòu)建時間之類的信息注入到源碼里跳過它編譯出來的程序在--version時會顯示 dev 或者干脆報錯。go build .在當(dāng)前目錄產(chǎn)出名為ollama的可執(zhí)行文件第一次編譯在手機上大概十幾到三十分鐘取決于芯片性能中途鎖屏可能被系統(tǒng)掛起建議先執(zhí)行termux-wake-lock拿一個喚醒鎖。依賴?yán)飈ibjpeg-turbo容易被漏掉它是圖像處理相關(guān)的庫Ollama 的多模態(tài)能力會用到。缺了它編譯過程不一定立刻報錯但運行時加載模型可能崩這種延遲暴露的問題最難查。裝依賴時留意終端有沒有紅色的E:開頭錯誤有的話先解決依賴再往下走。3.3 啟動服務(wù)與模型拉取驗證編譯完成后不要急著run先把服務(wù)單獨起起來驗證端口。# 后臺啟動服務(wù) 讓它脫離當(dāng)前終端 ./ollama serve # 驗證服務(wù)是否在監(jiān)聽正常返回版本信息的 JSON curl http://127.0.0.1:11434 # 手機內(nèi)存有限先拉最小規(guī)格的模型試水 ./ollama pull deepseek-r1:1.5b # 跑起來對話 ./ollama run deepseek-r1:1.5bcurl這一步是整個移動端部署里最重要的驗證點。返回Ollama is running或者一段版本 JSON說明服務(wù)活著后面拉模型失敗就只可能是網(wǎng)絡(luò)或磁盤問題如果 curl 直接連接失敗那就別往下走先看serve進程是不是被系統(tǒng)殺了。Android 的后臺管理很激進切到別的應(yīng)用幾分鐘Termux 的進程就可能被回收表現(xiàn)是「剛才還能用現(xiàn)在連不上」。長期使用的話在系統(tǒng)設(shè)置里給 Termux 加電池優(yōu)化白名單。模型規(guī)格上老老實實選 1.5b。7b 在旗艦機上勉強能加載但一旦上下文變長就會觸發(fā)內(nèi)存回收回應(yīng)到一半斷掉這個體驗比慢更糟。真要在手機上用大模型正確姿勢是手機當(dāng)客戶端桌面機當(dāng)推理端中間走局域網(wǎng)。4. Open WebUI 與 Docker瀏覽器里的模型工作臺4.1 容器網(wǎng)絡(luò)兩個服務(wù)怎么互相看見Open WebUI 官方推薦用 Docker 跑因為它的依賴鏈比較長直接裝 Python 環(huán)境容易和系統(tǒng)包打架。容器化之后有個關(guān)鍵問題WebUI 容器怎么訪問 Ollama。有兩條路。第一條是 Ollama 跑在宿主機上容器通過特殊域名回連宿主機。macOS 和 Windows 的 Docker Desktop 提供host.docker.internalLinux 上要用宿主機的實際內(nèi)網(wǎng) IP 或者172.17.0.1這個網(wǎng)橋地址。第二條是兩個都放容器里用 Docker 的自定義網(wǎng)絡(luò)讓它們通過服務(wù)名互訪這種方式最干凈也方便整體遷移。services: ollama: image: ollama/ollama:latest ports: - 11434:11434 volumes: - ollama:/root/.ollama # 模型權(quán)重持久化刪容器不丟模型 open-webui: image: ghcr.io/open-webui/open-webui:main ports: - 3000:8080 # 左邊是宿主機端口右邊是容器內(nèi)端口 environment: - OLLAMA_BASE_URLhttp://ollama:11434 volumes: - open-webui:/app/backend/data # 會話記錄、用戶、配置都在這里 depends_on: - ollama volumes: ollama: open-webui:OLLAMA_BASE_URL里寫的是服務(wù)名ollama這是 Docker 內(nèi)置 DNS 解析的結(jié)果兩個容器必須處在同一個 compose 網(wǎng)絡(luò)里才生效。你要是把它改成localhost:11434容器里的 localhost 指的是容器自己會一直連不上這是最高頻的翻車點。端口映射3000:8080里的 8080 是 WebUI 容器內(nèi)監(jiān)聽的真實端口改成別的宿主機端口不影響容器內(nèi)部。depends_on只保證啟動順序不保證 Ollama 已經(jīng)準(zhǔn)備好接受請求所以第一次打開頁面時如果模型列表是空的等十幾秒刷新一下就好不是配置錯了。4.2 啟動、初始化與模型拉取# 在 compose 文件所在目錄執(zhí)行-d 后臺運行 docker compose up -d # 看兩個容器的狀態(tài)都應(yīng)該是 running docker compose ps # 如果模型列表為空進容器手動拉一個 docker compose exec ollama ollama pull deepseek-r1:7b首次訪問http://localhost:3000會引導(dǎo)你創(chuàng)建管理員賬號賬號信息存在/app/backend/data下的 SQLite 里所以這個目錄必須掛卷否則重建容器就全丟了。登錄之后進「設(shè)置 → 模型」能看到 Ollama 里已有的模型列表也可以直接在界面上填模型名拉取效果等同于命令行ollama pull。在界面里點「新建對話」選模型發(fā)一句話測試。如果轉(zhuǎn)圈很久最后報連接錯誤八成是OLLAMA_BASE_URL配錯了用docker compose logs open-webui看日志里那一行實際請求的地址。如果報模型不存在就是拉取沒完成或者 tag 拼錯注意deepseek-r1和deepseek-r1:7b是兩個不同的引用前者會拉默認(rèn) tag。5. 避坑與排查五個真實翻車現(xiàn)場5.1 現(xiàn)象局域網(wǎng)設(shè)備連不上 11434宿主機自己能通原因Ollama 默認(rèn)只綁127.0.0.1這是出于安全考慮的設(shè)計不是 bug。很多人以為裝完就能被外部訪問結(jié)果在另一臺機器上 curl 一直是 connection refused轉(zhuǎn)而去查防火墻白折騰。解決用OLLAMA_HOST0.0.0.0:11434重啟服務(wù)。Linux 下如果是 systemd 托管的要改 unit 文件里的Environment再systemctl daemon-reload直接在 shell 里 export 對已經(jīng)跑起來的服務(wù)無效。改完記得確認(rèn)這臺機器的 11434 沒有暴露到公網(wǎng)Ollama 本身沒有鑒權(quán)。5.2 現(xiàn)象容器里 WebUI 一直提示連不上模型服務(wù)原因OLLAMA_BASE_URL寫成了localhost或127.0.0.1。容器有自己的網(wǎng)絡(luò)命名空間localhost 指向容器自身而 Ollama 根本沒跑在這個容器里。解決兩個服務(wù)在同一 compose 網(wǎng)絡(luò)時用服務(wù)名Ollama 在宿主機時macOS/Windows 用host.docker.internalLinux 用宿主機的內(nèi)網(wǎng) IP。改完docker compose up -d重建容器才生效只改 yml 不重啟是沒用的。5.3 現(xiàn)象Termux 里go build報錯提示找不到某個 C 庫原因Ollama 的部分依賴用到了 CGO需要系統(tǒng)里有對應(yīng)的開發(fā)庫。只裝了 golang 沒裝cmake和libjpeg-turbo編譯到鏈接階段就斷。解決pkg install cmake libjpeg-turbo -y補齊如果還報錯看錯誤信息里cannot find -lxxx的庫名pkg search xxx找對應(yīng)的包。別去網(wǎng)上抄別人的完整依賴列表Termux 的包名和標(biāo)準(zhǔn) Linux 發(fā)行版不一樣抄錯了會裝一堆用不上的東西。5.4 現(xiàn)象模型拉到 90% 卡住或者報校驗失敗原因權(quán)重文件按層分片下載網(wǎng)絡(luò)抖動會讓某一層中斷。Ollama 有續(xù)傳機制但磁盤空間不足時它會先寫后失敗表現(xiàn)就是進度條卡死。解決先df -h看剩余空間7b 模型至少要留 10 GB 余量。空間夠的話 CtrlC 中斷重跑ollama pull已完成的層不會重下。反復(fù)失敗就換ollama run直接觸發(fā)拉取有時比單獨 pull 的容錯好一些。5.5 現(xiàn)象手機端請求返回 401 或 403原因Key 失效、額度耗盡或者請求頭里的Authorization格式不對。Bearer 后面必須有一個空格少這個空格服務(wù)端解析不到 token。解決先用 curl 在電腦上直接打那個接口把請求頭和請求體都帶上確認(rèn) Key 本身有效。電腦能通手機不通問題就在快捷指令的變量替換上檢查 Key 是不是被當(dāng)成文本而不是變量填進了請求頭。6. 二次開發(fā)把模型能力接進自己的業(yè)務(wù)邏輯跑通之后真正有價值的部分才開始。Ollama 暴露的/api/chat接口是最好用的接入點它跟 OpenAI 的格式基本兼容你原有的 NLP 應(yīng)用代碼幾乎不用改只換 base_url 和模型名。import requests, json def chat(messages, modeldeepseek-r1:7b, hosthttp://127.0.0.1:11434): resp requests.post( f{host}/api/chat, json{ model: model, messages: messages, stream: False, # 關(guān)掉流式方便一次性拿完整結(jié)果 options: {temperature: 0.3, num_ctx: 4096} # 上下文別開太大吃內(nèi)存 }, timeout120 # 本地推理慢超時要給足 ) resp.raise_for_status() return resp.json()[message][content] print(chat([{role: user, content: 用三句話說明什么是向量檢索}]))options里的num_ctx是最值得調(diào)的參數(shù)它決定模型能看多長的上下文。默認(rèn)值通常夠用調(diào)大到 8192 以上會顯著增加內(nèi)存占用7b 模型在 16G 機器上很容易因此退到 CPU 推理。temperature做分類、抽取這類任務(wù)時壓到 0.10.3 更穩(wěn)做創(chuàng)意生成再拉到 0.8。改造時我一般會包一層自己的服務(wù)把模型調(diào)用、超時重試、日志記錄收在一處業(yè)務(wù)代碼只依賴這個包裝層。好處是換模型只改一個地方而且能做降級大模型超時就切到 1.5b 的小模型先返回用戶體驗比直接報錯好得多。驗證方法很樸素寫個腳本連續(xù)打 20 次接口記錄 P95 延遲和失敗率再把num_ctx和模型規(guī)格分別調(diào)一檔對比數(shù)據(jù)會告訴你這臺機器適合跑多大的模型。WebUI 那一層也有改造空間它自帶 OpenAI 兼容的/api/v1/chat/completions意味著任何支持自定義 base_url 的第三方工具都能接進來。我在一個內(nèi)部工具里就是這么做的前端不動后端把 base_url 從云端服務(wù)改成局域網(wǎng)地址數(shù)據(jù)不出內(nèi)網(wǎng)這件事就自然滿足了。踩過最疼的一次是沒做超時控制一個批量任務(wù)把模型服務(wù)打滿后面所有請求排隊前端全部轉(zhuǎn)圈看起來像服務(wù)掛了。從那以后我每次接模型接口都強制走一遍「單請求 → 壓測 → 加超時和降級」這三步不管多急都不跳。希望幫到你。本文還有配套的精品資源點擊獲取