Jev 大陸不可用開源克隆 Kev 突然火了RTX 3090 免費(fèi)跑通【免費(fèi)下載鏈接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own項(xiàng)目地址: https://gitcode.com/gh_mirrors/kev2/kev外媒已經(jīng)注意到這件事了Pasquale Pillitteri 在 Google News 上發(fā)文標(biāo)題直指「TypeSafe 的 Jev 已有開源克隆版免費(fèi)即可在 RTX 3090 上運(yùn)行」。這條消息之所以能引發(fā)關(guān)注是因?yàn)樗瑫r(shí)戳中了三個(gè)敏感點(diǎn)——閉源托管模型的 API 替代、消費(fèi)級(jí)顯卡的硬件門檻、以及中文開發(fā)者圈子里被反復(fù)討論的「Jev 大陸不可用」。而當(dāng)你翻開這個(gè)叫 Kev 的倉庫會(huì)發(fā)現(xiàn)它并不是一個(gè)只停留在口號(hào)上的玩具四個(gè)檔位的模型、一套與 TypeSafe 完全對齊的 API、可直接落地的微調(diào)與部署管線全部開源在 Apache-2.0 協(xié)議下。本文結(jié)合社區(qū)情報(bào)與倉庫源碼拆解這次「開源平替」背后的技術(shù)事實(shí)。從外媒消息看 Kev 的定位TypeSafe Jev 的開源替代先看 Kev 的自我定位。倉庫根目錄的 README.md 第一句話就寫明了使命Small Jev-like decision models you can train and run yourself——即「你可以自己訓(xùn)練和運(yùn)行的小型 Jev 式?jīng)Q策模型」。這不是營銷話術(shù)架構(gòu)上它是認(rèn)真的模型基于 Qwen3.5 / Qwen3.8 底座采用 Jevs Architecture Unmasked 一文披露的架構(gòu)實(shí)現(xiàn)API 完全匹配 TypeSafe 的 System One 接口POST /v1/systemoneTypeSafe 官方 Python SDK 不改一行代碼即可指向本地 Kev 服務(wù)器每次請求只做 prefill不生成文本輸出的是一個(gè)確定性的概率分布——這是與生成式大模型最本質(zhì)的區(qū)分。從源碼看核心推理邏輯 由三塊構(gòu)成一個(gè) causal LM 骨干Qwen3.5 混合了 Gated DeltaNet 線性注意力層與全注意力層、一個(gè) rank-16 的 LoRA 適配器、以及一個(gè)指針頭PointerHead。指針頭做的事情很精巧每個(gè)選項(xiàng)的/opt隱藏狀態(tài)與問題的decide隱藏狀態(tài)做點(diǎn)積打分softmax 后得到該選項(xiàng)的概率。因?yàn)閐ecide排在最后它可以完整 attend 到選項(xiàng)列表而 block-causal 掩碼保證了問題之間互不可見——這就是「一次請求同時(shí)回答 noul是非/ choice多選/ score打分三類問題且問題之間互相隔離」的實(shí)現(xiàn)基礎(chǔ)。請求與響應(yīng)的數(shù)據(jù)結(jié)構(gòu)定義在 kev/api.py與 TypeSafe 的適配器system-one-adapter 0.2.1置信度公式保持一致。更值得注意的是一組數(shù)字。在從未訓(xùn)練過的數(shù)據(jù)源transfer-v4六個(gè)公共數(shù)據(jù)集加策略結(jié)構(gòu)上Kev-27B 的準(zhǔn)確率達(dá)到 0.851與 Jev 的 0.857 僅差 0.6 個(gè)百分點(diǎn)Kev-4B 與 Kev-9B 差距在四個(gè)點(diǎn)以內(nèi)。README 坦承「這不是受控對比因?yàn)槲覀儾恢?Jev 訓(xùn)練了什么」但差距之小本身就已說明用完全開源的數(shù)據(jù)與權(quán)重可以逼近一個(gè)閉源托管服務(wù)的決策質(zhì)量。免費(fèi)與單卡可跑意味著什么0.8B / 4B / 9B 的硬件門檻「RTX 3090 免費(fèi)跑通」不是一個(gè)夸張的標(biāo)題。把四檔模型的硬件需求攤開看門檻低得驚人數(shù)據(jù)來自 README 與各模型卡模型底座權(quán)重形態(tài)服務(wù)所需硬件服務(wù)駐留顯存Kev-0.8BQwen3.5-0.8B-BaseLoRA 適配器 指針頭11.3M 參數(shù)L4 或任何 4GB GPU3.8 GBKev-4BQwen3.5-4B-BaseLoRA 適配器 指針頭33.8M 參數(shù)約 16GB 空閑的 GPU14.3 GBKev-9BQwen3.5-9B-BaseLoRA 適配器 指針頭45.4M 參數(shù)單張 24GB 級(jí) GPU21.9 GBKev-27BQwen3.8-27B后訓(xùn)練版全量 bf16 權(quán)重51 GB 指針頭B200 / H200 / H100 80GB約 66 GBRTX 3090 恰好是 24GB 顯存跑 0.8B 與 4B 毫無壓力跑 9B 也正落在「24 GB-class」區(qū)間其服務(wù)駐留 21.9GB留有裕量。這就是外媒那句「免費(fèi)在 RTX 3090 上運(yùn)行」的技術(shù)依據(jù)。0.8B 甚至被設(shè)計(jì)成「跑在筆記本上」的檔位Apple Silicon 通過 MLX 后端原生支持一個(gè) 32GB 的 MacBook 就能把 4B 裝進(jìn)內(nèi)存。硬件門檻低只是第一層「免費(fèi)」的第二層含義是訓(xùn)練也免費(fèi)。Kev 的完整訓(xùn)練管線就躺在 訓(xùn)練入口 里Kev-0.8B 的全部訓(xùn)練基礎(chǔ)配方單張 H100 約 20 分鐘README 明確寫到--batch 1 --accum 8的 bf16 配置「fits the 0.8B model on a 4 GB GPU」——一塊 4GB 顯存的顯卡就能從零微調(diào)社區(qū)情報(bào)中已有開發(fā)者用 RTX 3060 Laptop6GB 級(jí)筆記本顯卡成功訓(xùn)出 0.6B 的 LoRA 決策模型如果連本地 GPU 都不想要kev-finetune 技能 把整個(gè)流程搬到 Modal 云端一次 Kev-4B 微調(diào)運(yùn)行的成本約為1 美元H100 上 15 分鐘?！缚捎?xùn)」帶來的收益是實(shí)打?qū)嵉?。README 記錄了一個(gè)支持工單場景的微調(diào)實(shí)驗(yàn)Kev-4B 在 1050 條生成數(shù)據(jù)上微調(diào)后準(zhǔn)確率從 67.7% 升到 73.6%在 5219 條真實(shí)消費(fèi)金融投訴上一個(gè) epoch 讓 Kev-4B 在未見過的數(shù)據(jù)上從 0.804 漲到 0.904。微調(diào)還會(huì)在用戶自己的標(biāo)注數(shù)據(jù)上重?cái)M合溫度參數(shù)——這意味著你設(shè)的置信度閾值度量的是你自己的數(shù)據(jù)分布。性能層面也有據(jù)可查Kev-4B 在 H100 上回答六個(gè)問題約 18.1ms模型時(shí)間在 L40S 上 41.5ms容器在 64 并發(fā)下可支撐約 100 req/sKev-0.8B 在 L4 上 22.7ms、62.8 req/s。對絕大多數(shù)工單分診、內(nèi)容審核這類業(yè)務(wù)決策場景這個(gè)延遲量級(jí)完全可用。下圖是 Kev 家族與 Jev 在各數(shù)據(jù)源上的準(zhǔn)確率對比來自 docs/kev-family.png可以直觀看到 27B 在多數(shù)新數(shù)據(jù)源類別上已貼住 Jev本地跑起來只需要兩條命令uv sync --extra serve之后uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009服務(wù)端實(shí)現(xiàn)見 kev/serve.py然后curl -s localhost:8009/v1/systemone就能發(fā)一個(gè)多問題工單請求返回的答案自帶probabilities與confidence供業(yè)務(wù)代碼按置信度分流。倉庫還附贈(zèng)一個(gè) playgroundNext.js 應(yīng)用在瀏覽器里就能加載預(yù)設(shè)、編輯文本與問題、對比「打包提問 vs 逐個(gè)提問」、測試選項(xiàng)順序?qū)Y(jié)果的影響甚至內(nèi)置一個(gè)以棋盤為輸入的象棋演示中文開發(fā)者為何對「Jev 平替」如此敏感社區(qū)情報(bào)里反復(fù)出現(xiàn)一句話出自 CSDN 的對比文章《Jev / Kev / Laya 對比》「Jev 閉源高性能但不可訓(xùn)且大陸不可用」。這句話濃縮了中文開發(fā)者對 Jev 的三個(gè)痛點(diǎn)而 Kev 恰好一一回應(yīng)。其一托管與自托管的鴻溝。Jev 是 TypeSafe 的托管服務(wù)模型權(quán)重不公開、推理在云端完成。Kev 倉庫里甚至專門寫了一個(gè) Jev 評(píng)測橋接器通過 Vercel AI Gateway 以約 0.042 美元/百萬 token 的價(jià)格按預(yù)算調(diào)用 Jev 來做對比評(píng)測——這本身說明 Jev 的訪問鏈路是跨境托管 API依賴境外網(wǎng)關(guān)這對國內(nèi)開發(fā)者意味著可用性、數(shù)據(jù)合規(guī)與網(wǎng)絡(luò)條件的多重不確定性。而 Kev 的服務(wù)端一條命令就能在本地起一個(gè)與 TypeSafe 完全兼容的端點(diǎn)數(shù)據(jù)全程留在本機(jī)模型卡里也明確提示自托管讓輸入數(shù)據(jù)留在你自己的硬件上。對處理工單、投訴等含個(gè)人信息數(shù)據(jù)的業(yè)務(wù)來說這一點(diǎn)幾乎是剛需。其二不可訓(xùn)與可注入的差距。社區(qū)文章的結(jié)論很尖銳「選型關(guān)鍵不在于零樣本性能而在于能否將業(yè)務(wù)規(guī)則、語言和類別體系注入模型」。Jev 閉源、不可微調(diào)你的業(yè)務(wù)分類體系、升級(jí)規(guī)則、語言變體都無法進(jìn)入模型Kev 則提供了完整的注入路徑——kev.train的--init_from jaredpalmer/kev-4b可以從已發(fā)布檢查點(diǎn)熱啟動(dòng)在保留原模型能力的基礎(chǔ)上疊加領(lǐng)域數(shù)據(jù)README 記錄的對比從底座直接訓(xùn)得分 0.33--init_from后在原評(píng)測集保持 0.83、新領(lǐng)域達(dá)到 0.88。這等于把「私有決策偏好」這個(gè)最后一塊拼圖也交到了開發(fā)者手里。其三許可證與成本賬。Kev 全家適配器、指針頭、底座 Qwen3.5/3.8均為 Apache-2.0 協(xié)議GitHub 發(fā)布的 0.8B/4B/9B 檢查點(diǎn)附帶 SHA-256 校驗(yàn)Kev 27B 的 51GB 權(quán)重因超出 GitHub 資產(chǎn)上限托管在 Hugging Face 上。相比按 token 計(jì)費(fèi)的托管服務(wù)私有化部署的邊際成本趨近于零——一張已有的 3090 就是全部硬件投入。理性看待平替的邊界在哪里開源克隆受追捧但 README 和四張模型卡如 Kev-4B 模型卡、Kev-27B 模型卡把邊界也寫得非常清楚這些誠實(shí)對開發(fā)者才是最有價(jià)值的信息知識(shí)類問題由底座決定。MMLU-Pro 上 Kev-27B 得 0.675Jev 為 0.840MMLU 上 Kev-9B 為 0.73 vs Jev 0.90。決策模型的知識(shí)上限被底座鎖死日期算術(shù)是共同短板。deadline策略題上 Kev-9B 只有 0.725Jev 為 0.95Kev 的解法是KEV_DATE_FACTS1預(yù)處理實(shí)現(xiàn)見 kev/api.py 的date_facts直接往 state 里注入日期差微調(diào)的收益集中在你自己的分布內(nèi)。README 承認(rèn)在未訓(xùn)練過的公共數(shù)據(jù)集上Kev-0.8B 仍落后 Jev 21 個(gè)點(diǎn)breadth-v1 指數(shù) 23.3 vs 54.0校準(zhǔn)是一條溫度曲線。Kev-4B/9B/27B 在 5% 誤差預(yù)算下可自動(dòng)化的新數(shù)據(jù)決策占比 0.52–0.69仍低于 Jev 的 0.70——概率不能重排閾值必須在自己數(shù)據(jù)上驗(yàn)證?？偟呐袛嗍荎ev 不是「免費(fèi)的 Jev」而是「可控的 Jev 替代品」——它把決策模型的選擇權(quán)、訓(xùn)練權(quán)和部署權(quán)全部還給了開發(fā)者。對于風(fēng)控、審核、工單分診這類「結(jié)構(gòu)化決策 低延遲 數(shù)據(jù)不出內(nèi)網(wǎng)」的場景一張 RTX 3090 上跑一個(gè)自己微調(diào)過的 4B 或 9B可能比繼續(xù)依賴一個(gè)跨境托管 API 更可靠、也更便宜。這大概就是它「突然火了」的真正原因?！久赓M(fèi)下載鏈接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own項(xiàng)目地址: https://gitcode.com/gh_mirrors/kev2/kev創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考