一套配置接入100大模型ChatPilot LiteLLM多模型接入完全指南【免費下載鏈接】ChatPilotChatPilot: Chat Agent Web UI實現(xiàn)Chat對話前端支持Google搜索、文件網(wǎng)址對話RAG、代碼解釋器功能復現(xiàn)了Kimi Chat(文件拖進來網(wǎng)址發(fā)出來)。項目地址: https://gitcode.com/gh_mirrors/ch/ChatPilotChatPilot 是一款開源的 Chat Agent Web UI通過內(nèi)置的LiteLLM 多模型接入機制僅用一個 YAML 配置文件就能接入 OpenAI、DeepSeek、MoonshotKimi、Gemini、Claude 等 100 多個大模型服務商——它們會統(tǒng)一出現(xiàn)在同一個對話界面的模型選擇器中隨時切換、即插即用。本文面向新手帶你從零完成配置并講清背后的工作原理。? 先看效果多模型統(tǒng)一入口所有通過 LiteLLM 接入的模型都會自動出現(xiàn)在 ChatPilot 頂部的模型選擇器中如圖中 Gpt-35-Turbo 旁的下拉菜單與 Ollama 本地模型、OpenAI 模型并列無需任何前端改動。為什么選擇 LiteLLM 多模型接入傳統(tǒng)方式下每接一個大模型服務商都要為它單獨寫一套 API 調(diào)用代碼。而 ChatPilot 借鑒了 Open WebUI 的思路把 LiteLLM 作為統(tǒng)一的模型網(wǎng)關(guān)內(nèi)置進服務?一次配置多模型共存一個配置文件里寫多少個模型界面就有多少個可選模型?格式統(tǒng)一所有服務商的請求都被 LiteLLM 歸一化為 OpenAI 風格Agent 工具調(diào)用聯(lián)網(wǎng)搜索、RAG 問答、代碼解釋器對所有模型通用?熱管理支持通過 Web 界面隨時新增、刪除模型不必改代碼?限流保護可為每個模型單獨設置每分鐘請求數(shù)RPM避免觸發(fā)服務商限頻后端實現(xiàn)非常簡潔chatpilot/apps/litellm_app.py在啟動時加載配置文件并初始化 LiteLLM Proxy隨后掛載到/litellm/api路由見chatpilot/server.py前端再從中拉取模型列表渲染界面。 快速開始三步接入第一個模型第 1 步安裝 litellm 包ChatPilot 依賴 LiteLLM 的 Python 包安裝或升級一下即可pip install litellm -U第 2 步編輯 LiteLLM 配置文件ChatPilot 首次啟動時會自動生成一個空的配置文件路徑為data/litellm/config.yamlDocker 部署時位于~/.cache/chatpilot/data/litellm/config.yaml。編輯它在model_list下添加你的模型model_list: - model_name: deepseek-coder # 在界面中顯示的名稱 litellm_params: model: openai/deepseek-coder # 實際發(fā)給 LiteLLM 的模型名 api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 # 每分鐘請求數(shù)限制可選 litellm_settings: drop_params: True set_verbose: False第 3 步重啟服務并驗證保存配置后重啟 ChatPilot打開設置 → 模型在 Manage LiteLLM Models 區(qū)域即可看到剛添加的模型回到對話頁頂部模型選擇器里也能選到它了。 小技巧drop_params: True表示自動丟棄目標模型不支持的參數(shù)能有效減少因參數(shù)不兼容導致的報錯建議保留。 一套配置接入多個大模型想接多個模型在model_list下繼續(xù)追加條目即可下面是同時接入 DeepSeek、Kimi 和 o1-mini 的示例model_list: - model_name: deepseek-coder litellm_params: model: openai/deepseek-coder api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 - model_name: moonshot-v1-auto litellm_params: model: openai/moonshot-v1-auto api_base: https://api.moonshot.cn/v1 api_key: sk-xx rpm: 500 - model_name: o1-mini litellm_params: model: o1-mini api_base: https://你的中轉(zhuǎn)地址/v1 api_key: sk-xxx rpm: 500litellm_params.model的命名規(guī)則是廠商前綴/模型名如openai/、anthropic/、gemini/等LiteLLM 會據(jù)此自動適配對應廠商的 API 格式。? 常用配置參數(shù)速查表參數(shù)位置作用modellitellm_params實際調(diào)用的模型名帶廠商前綴model_name頂層界面上展示的模型名可自由取api_baselitellm_params服務商 API 地址api_keylitellm_params服務商密鑰rpmlitellm_params每分鐘請求數(shù)限流max_tokenslitellm_params單次回答的最大 token 數(shù)drop_paramslitellm_settings全局忽略不支持的參數(shù)? 不想改文件用 Web 界面管理模型ChatPilot 提供了可視化管理入口全程無需觸碰配置文件點擊右上角頭像 →設置→模型標簽頁展開Manage LiteLLM Models→Add a model點擊Show Additional Params展開高級參數(shù)填寫 Model、Model Name、API Base URL、API Key、API RPM、Max Tokens點擊 ? 按鈕提交模型列表即時刷新刪除則在下方下拉框選中模型后點擊 ?對應的界面邏輯位于web/src/lib/components/chat/Settings/Models.svelte前端 API 封裝在web/src/lib/apis/litellm/index.ts均通過/litellm/api/model/new、/litellm/api/model/delete等接口與后端交互。? 常見問題FAQQ1添加模型后界面看不到檢查配置文件 YAML 縮進是否正確對空格敏感確認服務已重啟Web 界面添加時留意是否有紅色報錯提示多為 API Key 或模型名拼寫錯誤。Q2model字段該填什么格式遵循 LiteLLM 的廠商/模型名約定例如openai/gpt-4o、anthropic/claude-3.5-sonnet、gemini/gemini-1.5-flash。Q3LiteLLM 模型能使用聯(lián)網(wǎng)搜索、文件問答嗎可以。模型選擇與 Agent 能力是解耦的任何接入的模型都能調(diào)用 Google 搜索、RAG 文檔問答和 Python 代碼解釋器等工具。Q4如何只讓部分模型對普通用戶可見可通過環(huán)境變量MODEL_FILTER_ENABLED與MODEL_FILTER_LIST開啟模型過濾限制用戶可選范圍。 相關(guān)資料項目說明文檔README.mdLiteLLM 后端入口chatpilot/apps/litellm_app.py配置路徑定義chatpilot/config.py依賴清單requirements.txt總結(jié)ChatPilot 借助內(nèi)置 LiteLLM把多模型接入從寫代碼變成了填配置一個data/litellm/config.yaml即可讓 100 大模型服務商在你的對話界面中共存再配合 Web 界面的可視化管理新手也能在 5 分鐘內(nèi)完成第一個模型的接入。試試把 DeepSeek 和 GPT 放進同一個界面感受一套配置多模型自由切換的便利吧 【免費下載鏈接】ChatPilotChatPilot: Chat Agent Web UI實現(xiàn)Chat對話前端支持Google搜索、文件網(wǎng)址對話RAG、代碼解釋器功能復現(xiàn)了Kimi Chat(文件拖進來網(wǎng)址發(fā)出來)。項目地址: https://gitcode.com/gh_mirrors/ch/ChatPilot創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一套配置接入100+大模型：ChatPilot LiteLLM多模型接入完全指南
一套配置接入100大模型ChatPilot LiteLLM多模型接入完全指南【免費下載鏈接】ChatPilotChatPilot: Chat Agent Web UI實現(xiàn)Chat對話前端支持Google搜索、文件網(wǎng)址對話RAG、代碼解釋器功能復現(xiàn)了Kimi Chat(文件拖進來網(wǎng)址發(fā)出來)。項目地址: https://gitcode.com/gh_mirrors/ch/ChatPilotChatPilot 是一款開源的 Chat Agent Web UI通過內(nèi)置的LiteLLM 多模型接入機制僅用一個 YAML 配置文件就能接入 OpenAI、DeepSeek、MoonshotKimi、Gemini、Claude 等 100 多個大模型服務商——它們會統(tǒng)一出現(xiàn)在同一個對話界面的模型選擇器中隨時切換、即插即用。本文面向新手帶你從零完成配置并講清背后的工作原理。? 先看效果多模型統(tǒng)一入口所有通過 LiteLLM 接入的模型都會自動出現(xiàn)在 ChatPilot 頂部的模型選擇器中如圖中 Gpt-35-Turbo 旁的下拉菜單與 Ollama 本地模型、OpenAI 模型并列無需任何前端改動。為什么選擇 LiteLLM 多模型接入傳統(tǒng)方式下每接一個大模型服務商都要為它單獨寫一套 API 調(diào)用代碼。而 ChatPilot 借鑒了 Open WebUI 的思路把 LiteLLM 作為統(tǒng)一的模型網(wǎng)關(guān)內(nèi)置進服務?一次配置多模型共存一個配置文件里寫多少個模型界面就有多少個可選模型?格式統(tǒng)一所有服務商的請求都被 LiteLLM 歸一化為 OpenAI 風格Agent 工具調(diào)用聯(lián)網(wǎng)搜索、RAG 問答、代碼解釋器對所有模型通用?熱管理支持通過 Web 界面隨時新增、刪除模型不必改代碼?限流保護可為每個模型單獨設置每分鐘請求數(shù)RPM避免觸發(fā)服務商限頻后端實現(xiàn)非常簡潔chatpilot/apps/litellm_app.py在啟動時加載配置文件并初始化 LiteLLM Proxy隨后掛載到/litellm/api路由見chatpilot/server.py前端再從中拉取模型列表渲染界面。 快速開始三步接入第一個模型第 1 步安裝 litellm 包ChatPilot 依賴 LiteLLM 的 Python 包安裝或升級一下即可pip install litellm -U第 2 步編輯 LiteLLM 配置文件ChatPilot 首次啟動時會自動生成一個空的配置文件路徑為data/litellm/config.yamlDocker 部署時位于~/.cache/chatpilot/data/litellm/config.yaml。編輯它在model_list下添加你的模型model_list: - model_name: deepseek-coder # 在界面中顯示的名稱 litellm_params: model: openai/deepseek-coder # 實際發(fā)給 LiteLLM 的模型名 api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 # 每分鐘請求數(shù)限制可選 litellm_settings: drop_params: True set_verbose: False第 3 步重啟服務并驗證保存配置后重啟 ChatPilot打開設置 → 模型在 Manage LiteLLM Models 區(qū)域即可看到剛添加的模型回到對話頁頂部模型選擇器里也能選到它了。 小技巧drop_params: True表示自動丟棄目標模型不支持的參數(shù)能有效減少因參數(shù)不兼容導致的報錯建議保留。 一套配置接入多個大模型想接多個模型在model_list下繼續(xù)追加條目即可下面是同時接入 DeepSeek、Kimi 和 o1-mini 的示例model_list: - model_name: deepseek-coder litellm_params: model: openai/deepseek-coder api_base: https://api.deepseek.com/v1 api_key: sk-xx rpm: 500 - model_name: moonshot-v1-auto litellm_params: model: openai/moonshot-v1-auto api_base: https://api.moonshot.cn/v1 api_key: sk-xx rpm: 500 - model_name: o1-mini litellm_params: model: o1-mini api_base: https://你的中轉(zhuǎn)地址/v1 api_key: sk-xxx rpm: 500litellm_params.model的命名規(guī)則是廠商前綴/模型名如openai/、anthropic/、gemini/等LiteLLM 會據(jù)此自動適配對應廠商的 API 格式。? 常用配置參數(shù)速查表參數(shù)位置作用modellitellm_params實際調(diào)用的模型名帶廠商前綴model_name頂層界面上展示的模型名可自由取api_baselitellm_params服務商 API 地址api_keylitellm_params服務商密鑰rpmlitellm_params每分鐘請求數(shù)限流max_tokenslitellm_params單次回答的最大 token 數(shù)drop_paramslitellm_settings全局忽略不支持的參數(shù)? 不想改文件用 Web 界面管理模型ChatPilot 提供了可視化管理入口全程無需觸碰配置文件點擊右上角頭像 →設置→模型標簽頁展開Manage LiteLLM Models→Add a model點擊Show Additional Params展開高級參數(shù)填寫 Model、Model Name、API Base URL、API Key、API RPM、Max Tokens點擊 ? 按鈕提交模型列表即時刷新刪除則在下方下拉框選中模型后點擊 ?對應的界面邏輯位于web/src/lib/components/chat/Settings/Models.svelte前端 API 封裝在web/src/lib/apis/litellm/index.ts均通過/litellm/api/model/new、/litellm/api/model/delete等接口與后端交互。? 常見問題FAQQ1添加模型后界面看不到檢查配置文件 YAML 縮進是否正確對空格敏感確認服務已重啟Web 界面添加時留意是否有紅色報錯提示多為 API Key 或模型名拼寫錯誤。Q2model字段該填什么格式遵循 LiteLLM 的廠商/模型名約定例如openai/gpt-4o、anthropic/claude-3.5-sonnet、gemini/gemini-1.5-flash。Q3LiteLLM 模型能使用聯(lián)網(wǎng)搜索、文件問答嗎可以。模型選擇與 Agent 能力是解耦的任何接入的模型都能調(diào)用 Google 搜索、RAG 文檔問答和 Python 代碼解釋器等工具。Q4如何只讓部分模型對普通用戶可見可通過環(huán)境變量MODEL_FILTER_ENABLED與MODEL_FILTER_LIST開啟模型過濾限制用戶可選范圍。 相關(guān)資料項目說明文檔README.mdLiteLLM 后端入口chatpilot/apps/litellm_app.py配置路徑定義chatpilot/config.py依賴清單requirements.txt總結(jié)ChatPilot 借助內(nèi)置 LiteLLM把多模型接入從寫代碼變成了填配置一個data/litellm/config.yaml即可讓 100 大模型服務商在你的對話界面中共存再配合 Web 界面的可視化管理新手也能在 5 分鐘內(nèi)完成第一個模型的接入。試試把 DeepSeek 和 GPT 放進同一個界面感受一套配置多模型自由切換的便利吧 【免費下載鏈接】ChatPilotChatPilot: Chat Agent Web UI實現(xiàn)Chat對話前端支持Google搜索、文件網(wǎng)址對話RAG、代碼解釋器功能復現(xiàn)了Kimi Chat(文件拖進來網(wǎng)址發(fā)出來)。項目地址: https://gitcode.com/gh_mirrors/ch/ChatPilot創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考