K3.1 Pro 的發(fā)布稿只有一句話講技術(shù):K3 基座不動(dòng),后訓(xùn)練算力大幅加碼,RL 框架、長(zhǎng)上下文推理、沙箱、rollout 調(diào)度整條鏈路重做。細(xì)節(jié)在 K3 技術(shù)報(bào)告里(arXiv 2607.24653)。這篇把它拆開講,看 Agent RL 到底卡在哪。先說結(jié)論長(zhǎng)程 Agent RL 的吞吐,不取決于推理 kernel 多快,取決于三件事:長(zhǎng)尾軌跡怎么處理、1M 上下文的狀態(tài)放哪、沙箱能不能暫停。01 路線:基座不動(dòng),只加后訓(xùn)練基座(K3)2.8T 總參數(shù),104B 激活每個(gè) token 從 896 個(gè)專家里選 16 個(gè)?每個(gè) block 是 3 層 KDA 1 層 Gated MLA1M 上下文,原生多模態(tài)后訓(xùn)練(K3 報(bào)告)不是訓(xùn)一個(gè)通才。3 個(gè)領(lǐng)域 × 3 檔推理強(qiáng)度,共 9 個(gè)專家,再用多教師 on-policy 蒸餾合并。通用任務(wù):推理、視覺、搜索、知識(shí)工作通用 Agent:長(zhǎng)程助理、深度研究編碼 Agent:SWE、kernel、Web 開發(fā)推理強(qiáng)度怎么控:給每道題定一個(gè) token 預(yù)算 b0(用冷啟動(dòng)模型估),軌跡超過 τ·b0 就把獎(jiǎng)勵(lì)直接改成-1。先用大 τ 訓(xùn)出 max 檔,再把 τ 逐步調(diào)小,得到 high 和 low。Agent 任務(wù)里,計(jì)入預(yù)算的是累計(jì)輸出,包括推理和工具調(diào)用參數(shù)。K3.1 在此之上把 RL 鋪到數(shù)百個(gè)領(lǐng)域?；旌喜呗院退惴ǜ膭?dòng),博客沒有公布。02 等最慢的那條軌跡寫代碼的 Agent,一個(gè)任務(wù)能跑幾小時(shí),多數(shù)幾分鐘就完。同步 RL 要等所有軌跡結(jié)束才更新,GPU 都在陪最慢的幾條。K3 用的是partial rollout:每輪: 采 N 個(gè) prompt 每個(gè) K 條軌跡 活躍 N×K 條 完成 λ 比例 → 暫停生成 整組跑完的 → 去優(yōu)化 沒跑完的 → 掛起 下一輪開頭優(yōu)先恢復(fù)代價(jià)是數(shù)據(jù)陳舊:一條長(zhǎng)軌跡橫跨好幾輪,前半段是舊策略生成的。報(bào)告靠策略優(yōu)化里的逐 token 正則,把更新限制在局部鄰域,硬吃這種 off-policy。算一筆賬(我舉的例子)1024 條軌跡,90% 二十分鐘跑完剩下 10% 要三小時(shí)同步:每輪 3 小時(shí)λ0.9:每輪約 20 分鐘另一個(gè)常見誤判:推理提速不等于訓(xùn)練提速。假設(shè) rollout 里推理只占 40%,其余是跑工具和驗(yàn)證,推理快 2 倍,總耗時(shí)只少20%。03 1M 上下文,狀態(tài)放哪K3 的 RL 用 co-located 部署,一個(gè) 1M 上下文實(shí)驗(yàn)控制在幾百?gòu)?GPU?？ㄊ×?代價(jià)是 rollout 要留 KV,和訓(xùn)練狀態(tài)搶 CPU 內(nèi)存;前綴一旦 miss,重算 1M 的代價(jià)極高。難點(diǎn)一:兩種緩存混著用MLA 的 KV 隨長(zhǎng)度增長(zhǎng),按 token 分頁(yè)。KDA 的循環(huán)狀態(tài)大小固定,每個(gè)請(qǐng)求只有一份。K3 把兩者放進(jìn)同一個(gè)分頁(yè)池,頁(yè)大小統(tǒng)一,一套分配、引用計(jì)數(shù)和驅(qū)逐邏輯。代價(jià)在 prefix cache:KDA 狀態(tài)只能在稀疏的邊界存快照,所以共享塊大小被迫是1024–6144 token,命中粒度也跟著變粗。難點(diǎn)二:RL 里的內(nèi)存調(diào)度write-back 外部 KV 池:活躍塊留 GPU,閑置前綴被驅(qū)逐時(shí)才寫到 CPU DRAM,復(fù)用前預(yù)取。KDA 狀態(tài)和對(duì)應(yīng) MLA 塊一起搬。比 write-through 少很多無謂拷貝。訓(xùn)練狀態(tài)讓位:一輪訓(xùn)練結(jié)束,權(quán)重和優(yōu)化器狀態(tài)卸到 NVMe;rollout 結(jié)束后釋放 KV 池。自動(dòng)節(jié)流:上下文越跑越長(zhǎng),按平均長(zhǎng)度定死并發(fā),早期太保守,后期爆 KV 被搶占。改成看活躍數(shù)、排隊(duì)數(shù)、KV 利用率動(dòng)態(tài)放請(qǐng)求。reference 模型借梯度緩沖:權(quán)重放 CPU,用時(shí)搬進(jìn)策略模型的 FP32 梯度緩沖區(qū),配合 ZeRO-2 雙緩沖預(yù)取,一塊算、一塊取下一個(gè) chunk,顯存零增加。K3.1 說優(yōu)化了長(zhǎng)上下文推理和訓(xùn)練效率,多半是繼續(xù)壓命中率、搶占和拷貝開銷,具體沒有公布。04 沙箱:要能暫停K3 的沙箱 AgentENV 用 Firecracker 微虛機(jī)。起因:早期用容器,模型亂操作引發(fā)過內(nèi)核 panic 和死鎖。而模型要能掛磁盤、跑容器、起虛機(jī),必須接近真機(jī)。指標(biāo)數(shù)值checkpoint133 msresume49 ms等推理占沙箱壽命最高 98%內(nèi)存超賣比最高 6.5×累計(jì)沙箱5122 萬(wàn)個(gè)四個(gè)能力Pause/Resume:暫停的沙箱不占內(nèi)存和 CPU。98% 的時(shí)間在等模型,暫停后資源就能讓給別的任務(wù)。Fork:從當(dāng)前狀態(tài)復(fù)制一份去跑驗(yàn)證,不污染原環(huán)境。Snapshot:定期存檔,出錯(cuò)回滾。增量 checkpoint:只存臟頁(yè)。規(guī)模上:數(shù)萬(wàn)個(gè)鏡像各異的沙箱要在數(shù)秒內(nèi)起來。用 OverlayBD鏡像、自定義 ublk 驅(qū)動(dòng)、存儲(chǔ)層共享加 P2P 傳輸,做到亞秒級(jí)啟動(dòng)。粗算:若沙箱只有 2% 時(shí)間在真干活,并發(fā)上限理論上能到 50 倍量級(jí),實(shí)際會(huì)被恢復(fù)開銷打折。partial rollout 的“下一輪接著跑”,靠的就是這個(gè)。05 環(huán)境與獎(jiǎng)勵(lì)RL 優(yōu)化的是獎(jiǎng)勵(lì)函數(shù),不是你真正想要的東西。環(huán)境有漏洞,模型就會(huì)鉆。白盒環(huán)境:把 Agent harness 拆成可組合模塊(工具接口、系統(tǒng)提示、上下文管理、skills、記憶、子 Agent),能還原 Kimi Code、Claude Code、Codex 等,也能拼新的。訓(xùn)練時(shí)給不同任務(wù)隨機(jī)換 harness,防止模型只會(huì)一套工具。任務(wù)合成:用 Agent 持續(xù)上網(wǎng)擴(kuò)展一張分層的知識(shí)圖譜,按概念節(jié)點(diǎn)檢索資料、合成任務(wù),覆蓋冷門知識(shí)。不可驗(yàn)證任務(wù):Agent 裁判必須先讀產(chǎn)物、生成評(píng)分細(xì)則、逐候選打分、寫入記分板;同時(shí)用長(zhǎng)度預(yù)算壓制“寫長(zhǎng)騙分”。K3.1 新增的環(huán)境質(zhì)檢平臺(tái),具體門禁規(guī)則沒有披露。兩個(gè)相關(guān)結(jié)果:幻覺:claim 級(jí)幻覺率 23.4% →8.3%(內(nèi)部壓力測(cè)試)網(wǎng)安:發(fā)現(xiàn)漏洞能力隨后訓(xùn)練規(guī)模上漲,溯源到 mid-training 語(yǔ)料和 RL 環(huán)境本來就混著相關(guān)內(nèi)容。開源版兩處都刪了,xdev-bench-hard 90.5% →81.0%。降得不多,通用編碼變強(qiáng)后這類能力還會(huì)順帶漲06 性能表現(xiàn)官方拿 14 項(xiàng)評(píng)測(cè),對(duì)比 Opus 5.5、Fable 5.1、GPT-6 Astra、GLM-5.3 和 DeepSeek-V4.1-Flash,所有模型都開到最大思考強(qiáng)度。K3.1 Pro 的位置:6 項(xiàng)第一、5 項(xiàng)第二、2 項(xiàng)第三、1 項(xiàng)第四。編碼與 Agent評(píng)測(cè)K3.1 Pro對(duì)比SWE Marathon51.7 · 第1Opus 5.5 46.3Agents Last Exam43.2 · 第1Opus 5.5 42.6Terminal-Bench 4.065.7 · 第2Opus 5.5 66.4GPT-6 Astra 58.2Kimi Code Bench 長(zhǎng)程61.2 · 第2GPT-6 Astra 66.5K3 55.95Terminal-Bench Science38.1 · 第4GPT-6 Astra 68.1Opus 5.5 63.3知識(shí)工作與多模態(tài)評(píng)測(cè)K3.1 Pro對(duì)比OfficeQA Pro v264.4 · 第1Opus 5.5 62.2HLE(帶工具)70.0 · 第1Opus 5.5 67.7GDP.pdf34.6 · 第1GPT-6 Astra 34.2ZeroBench(帶工具)63.0 · 第1Opus 5.5 61.0Frontier Finance58.6 · 第2Fable 5.1 60.8GDPVal-AA v2.11846 · 第2Opus 5.5 1866ChartoGraphy90.2 · 第2GPT-6 Astra 91.0BenchCAD(帶工具)92.7 · 第3Opus 5.5 96.2GPT-6 Astra 95.9OSWorld V2.179.6 · 第3Opus 5.5 81.8Fable 5.1 80.7綜合評(píng)測(cè)(官方圖)1)強(qiáng)項(xiàng)在哪長(zhǎng)程、多步、帶工具的任務(wù):SWE Marathon、Agents Last Exam、OfficeQA、HLE 帶工具,都是第一。這和 RL 的訓(xùn)練目標(biāo)吻合,模型在這些任務(wù)上要連續(xù)決策幾十到上百步。2)短板在哪Terminal-Bench Science 只有 38.1,和 GPT-6 Astra(68.1)、Opus 5.5(63.3)差一大截,科學(xué)計(jì)算類終端任務(wù)還不行。BenchCAD 帶工具 92.7,不帶工具 72.8(Opus 5.5 是 73.0),說明差距主要在工具使用。Frontier Finance 比 Fable 5.1 低 2.2 分。3)從 K3 到 K3.1 的躍遷Kimi Code Bench 長(zhǎng)程:55.95 → 61.2經(jīng)營(yíng)決策:8.9 → 37.0,約 4.2 倍金融研究:58.8 → 70.4xdev-bench-hard(pass3):33.3 → 81.0,平均成功率 15.9% → 64.5%4)幻覺率(越低越好)不帶工具:K3.1 Pro 5.4,GPT-6 Astra 4.2,Opus 5.5 6.8,Fable 5.1 11.4Hard 帶工具:K3.1 Pro 8.3,GPT-6 Astra 5.5,Opus 5.5 15.0,Fable 5.1 23.3兩項(xiàng)里 K3.1 Pro 都只落后于 GPT-6 Astra,比 Opus 5.5 低不少?？趶绞恰昂e(cuò)誤的事實(shí)性聲明占比”,壓力測(cè)試集,不代表日常。5)token 開銷xdev-bench-hard 給了每條成功軌跡的平均 token(輸入 / 輸出):K3.1 Pro:159.8M / 546KDeepSeek-V4.1-Flash:162.2M / 1.5MGLM-5.3:381.1M / 3.6MGPT-5.6 Sol:93.5M / 336K輸出量比 DeepSeek 少約三分之二、比 GLM 少約 85%,和前面“超預(yù)算就罰 -1”的訓(xùn)練方式對(duì)得上。這只是一個(gè)基準(zhǔn)上的數(shù)字,別當(dāng)通用結(jié)論。6)速度K3.1 Pro Highspeed 官方稱速度是 Pro 的 2–3 倍。測(cè)法沒說(是輸出速度還是端到端耗時(shí))。對(duì)長(zhǎng)程 Agent,單次請(qǐng)求變快不等于整個(gè)任務(wù)變快。7)看數(shù)字時(shí)的口徑官方圖腳注:所有模型開最大思考強(qiáng)度;Claude 可能含 fallback,GPT 可能含 cyberguard。Kimi 的部分成績(jī)用 Claude Code 等 harness 自測(cè),對(duì)手成績(jī)來自各家公布值或榜單。Kimi Code Bench、Hallu Bench、xdev-bench-hard 和內(nèi)部金融基準(zhǔn)都是 Kimi 自家的。07 官網(wǎng)演示天宮戰(zhàn)斗游戲(Unreal Engine 5.8)36 開間、半徑 1750 米的列柱回廊Blender 程序化建模的巨龍,MetaHuman 主角3600 萬(wàn)源三角面,Nanite Lumen3D 汽車展示頁(yè)(Three.js)滾動(dòng)驅(qū)動(dòng),布料揭幕,四章節(jié)車庫(kù),結(jié)尾是 968 個(gè)零件的爆炸圖?？梢灾苯油?https://fqo4jx65co4xu.ok.kimi.link/機(jī)場(chǎng)雨林谷(Blender)19.5 秒、1080p、60fps 建模動(dòng)畫。人體步行仿真296 塊骨骼 402 塊肌肉167 個(gè)任務(wù)、420 次評(píng)審仿真人從幾秒摔倒,到連續(xù)邁步 11.2 秒手臂獎(jiǎng)勵(lì)怎么調(diào)都沒用,模型轉(zhuǎn)頭去查動(dòng)力學(xué),找出 36 處肩部肌肉力臂算錯(cuò),修完重訓(xùn)。視頻和更多案例:https://www.kimi.com/en/blog/kimi-k3-1-pro Kimi K3.1 Pro 拆解:Agent RL 卡在哪
K3.1 Pro 的發(fā)布稿只有一句話講技術(shù):K3 基座不動(dòng),后訓(xùn)練算力大幅加碼,RL 框架、長(zhǎng)上下文推理、沙箱、rollout 調(diào)度整條鏈路重做。細(xì)節(jié)在 K3 技術(shù)報(bào)告里(arXiv 2607.24653)。這篇把它拆開講,看 Agent RL 到底卡在哪。先說結(jié)論長(zhǎng)程 Agent RL 的吞吐,不取決于推理 kernel 多快,取決于三件事:長(zhǎng)尾軌跡怎么處理、1M 上下文的狀態(tài)放哪、沙箱能不能暫停。01 路線:基座不動(dòng),只加后訓(xùn)練基座(K3)2.8T 總參數(shù),104B 激活每個(gè) token 從 896 個(gè)專家里選 16 個(gè)?每個(gè) block 是 3 層 KDA 1 層 Gated MLA1M 上下文,原生多模態(tài)后訓(xùn)練(K3 報(bào)告)不是訓(xùn)一個(gè)通才。3 個(gè)領(lǐng)域 × 3 檔推理強(qiáng)度,共 9 個(gè)專家,再用多教師 on-policy 蒸餾合并。通用任務(wù):推理、視覺、搜索、知識(shí)工作通用 Agent:長(zhǎng)程助理、深度研究編碼 Agent:SWE、kernel、Web 開發(fā)推理強(qiáng)度怎么控:給每道題定一個(gè) token 預(yù)算 b0(用冷啟動(dòng)模型估),軌跡超過 τ·b0 就把獎(jiǎng)勵(lì)直接改成-1。先用大 τ 訓(xùn)出 max 檔,再把 τ 逐步調(diào)小,得到 high 和 low。Agent 任務(wù)里,計(jì)入預(yù)算的是累計(jì)輸出,包括推理和工具調(diào)用參數(shù)。K3.1 在此之上把 RL 鋪到數(shù)百個(gè)領(lǐng)域?；旌喜呗院退惴ǜ膭?dòng),博客沒有公布。02 等最慢的那條軌跡寫代碼的 Agent,一個(gè)任務(wù)能跑幾小時(shí),多數(shù)幾分鐘就完。同步 RL 要等所有軌跡結(jié)束才更新,GPU 都在陪最慢的幾條。K3 用的是partial rollout:每輪: 采 N 個(gè) prompt 每個(gè) K 條軌跡 活躍 N×K 條 完成 λ 比例 → 暫停生成 整組跑完的 → 去優(yōu)化 沒跑完的 → 掛起 下一輪開頭優(yōu)先恢復(fù)代價(jià)是數(shù)據(jù)陳舊:一條長(zhǎng)軌跡橫跨好幾輪,前半段是舊策略生成的。報(bào)告靠策略優(yōu)化里的逐 token 正則,把更新限制在局部鄰域,硬吃這種 off-policy。算一筆賬(我舉的例子)1024 條軌跡,90% 二十分鐘跑完剩下 10% 要三小時(shí)同步:每輪 3 小時(shí)λ0.9:每輪約 20 分鐘另一個(gè)常見誤判:推理提速不等于訓(xùn)練提速。假設(shè) rollout 里推理只占 40%,其余是跑工具和驗(yàn)證,推理快 2 倍,總耗時(shí)只少20%。03 1M 上下文,狀態(tài)放哪K3 的 RL 用 co-located 部署,一個(gè) 1M 上下文實(shí)驗(yàn)控制在幾百?gòu)?GPU?？ㄊ×?代價(jià)是 rollout 要留 KV,和訓(xùn)練狀態(tài)搶 CPU 內(nèi)存;前綴一旦 miss,重算 1M 的代價(jià)極高。難點(diǎn)一:兩種緩存混著用MLA 的 KV 隨長(zhǎng)度增長(zhǎng),按 token 分頁(yè)。KDA 的循環(huán)狀態(tài)大小固定,每個(gè)請(qǐng)求只有一份。K3 把兩者放進(jìn)同一個(gè)分頁(yè)池,頁(yè)大小統(tǒng)一,一套分配、引用計(jì)數(shù)和驅(qū)逐邏輯。代價(jià)在 prefix cache:KDA 狀態(tài)只能在稀疏的邊界存快照,所以共享塊大小被迫是1024–6144 token,命中粒度也跟著變粗。難點(diǎn)二:RL 里的內(nèi)存調(diào)度write-back 外部 KV 池:活躍塊留 GPU,閑置前綴被驅(qū)逐時(shí)才寫到 CPU DRAM,復(fù)用前預(yù)取。KDA 狀態(tài)和對(duì)應(yīng) MLA 塊一起搬。比 write-through 少很多無謂拷貝。訓(xùn)練狀態(tài)讓位:一輪訓(xùn)練結(jié)束,權(quán)重和優(yōu)化器狀態(tài)卸到 NVMe;rollout 結(jié)束后釋放 KV 池。自動(dòng)節(jié)流:上下文越跑越長(zhǎng),按平均長(zhǎng)度定死并發(fā),早期太保守,后期爆 KV 被搶占。改成看活躍數(shù)、排隊(duì)數(shù)、KV 利用率動(dòng)態(tài)放請(qǐng)求。reference 模型借梯度緩沖:權(quán)重放 CPU,用時(shí)搬進(jìn)策略模型的 FP32 梯度緩沖區(qū),配合 ZeRO-2 雙緩沖預(yù)取,一塊算、一塊取下一個(gè) chunk,顯存零增加。K3.1 說優(yōu)化了長(zhǎng)上下文推理和訓(xùn)練效率,多半是繼續(xù)壓命中率、搶占和拷貝開銷,具體沒有公布。04 沙箱:要能暫停K3 的沙箱 AgentENV 用 Firecracker 微虛機(jī)。起因:早期用容器,模型亂操作引發(fā)過內(nèi)核 panic 和死鎖。而模型要能掛磁盤、跑容器、起虛機(jī),必須接近真機(jī)。指標(biāo)數(shù)值checkpoint133 msresume49 ms等推理占沙箱壽命最高 98%內(nèi)存超賣比最高 6.5×累計(jì)沙箱5122 萬(wàn)個(gè)四個(gè)能力Pause/Resume:暫停的沙箱不占內(nèi)存和 CPU。98% 的時(shí)間在等模型,暫停后資源就能讓給別的任務(wù)。Fork:從當(dāng)前狀態(tài)復(fù)制一份去跑驗(yàn)證,不污染原環(huán)境。Snapshot:定期存檔,出錯(cuò)回滾。增量 checkpoint:只存臟頁(yè)。規(guī)模上:數(shù)萬(wàn)個(gè)鏡像各異的沙箱要在數(shù)秒內(nèi)起來。用 OverlayBD鏡像、自定義 ublk 驅(qū)動(dòng)、存儲(chǔ)層共享加 P2P 傳輸,做到亞秒級(jí)啟動(dòng)。粗算:若沙箱只有 2% 時(shí)間在真干活,并發(fā)上限理論上能到 50 倍量級(jí),實(shí)際會(huì)被恢復(fù)開銷打折。partial rollout 的“下一輪接著跑”,靠的就是這個(gè)。05 環(huán)境與獎(jiǎng)勵(lì)RL 優(yōu)化的是獎(jiǎng)勵(lì)函數(shù),不是你真正想要的東西。環(huán)境有漏洞,模型就會(huì)鉆。白盒環(huán)境:把 Agent harness 拆成可組合模塊(工具接口、系統(tǒng)提示、上下文管理、skills、記憶、子 Agent),能還原 Kimi Code、Claude Code、Codex 等,也能拼新的。訓(xùn)練時(shí)給不同任務(wù)隨機(jī)換 harness,防止模型只會(huì)一套工具。任務(wù)合成:用 Agent 持續(xù)上網(wǎng)擴(kuò)展一張分層的知識(shí)圖譜,按概念節(jié)點(diǎn)檢索資料、合成任務(wù),覆蓋冷門知識(shí)。不可驗(yàn)證任務(wù):Agent 裁判必須先讀產(chǎn)物、生成評(píng)分細(xì)則、逐候選打分、寫入記分板;同時(shí)用長(zhǎng)度預(yù)算壓制“寫長(zhǎng)騙分”。K3.1 新增的環(huán)境質(zhì)檢平臺(tái),具體門禁規(guī)則沒有披露。兩個(gè)相關(guān)結(jié)果:幻覺:claim 級(jí)幻覺率 23.4% →8.3%(內(nèi)部壓力測(cè)試)網(wǎng)安:發(fā)現(xiàn)漏洞能力隨后訓(xùn)練規(guī)模上漲,溯源到 mid-training 語(yǔ)料和 RL 環(huán)境本來就混著相關(guān)內(nèi)容。開源版兩處都刪了,xdev-bench-hard 90.5% →81.0%。降得不多,通用編碼變強(qiáng)后這類能力還會(huì)順帶漲06 性能表現(xiàn)官方拿 14 項(xiàng)評(píng)測(cè),對(duì)比 Opus 5.5、Fable 5.1、GPT-6 Astra、GLM-5.3 和 DeepSeek-V4.1-Flash,所有模型都開到最大思考強(qiáng)度。K3.1 Pro 的位置:6 項(xiàng)第一、5 項(xiàng)第二、2 項(xiàng)第三、1 項(xiàng)第四。編碼與 Agent評(píng)測(cè)K3.1 Pro對(duì)比SWE Marathon51.7 · 第1Opus 5.5 46.3Agents Last Exam43.2 · 第1Opus 5.5 42.6Terminal-Bench 4.065.7 · 第2Opus 5.5 66.4GPT-6 Astra 58.2Kimi Code Bench 長(zhǎng)程61.2 · 第2GPT-6 Astra 66.5K3 55.95Terminal-Bench Science38.1 · 第4GPT-6 Astra 68.1Opus 5.5 63.3知識(shí)工作與多模態(tài)評(píng)測(cè)K3.1 Pro對(duì)比OfficeQA Pro v264.4 · 第1Opus 5.5 62.2HLE(帶工具)70.0 · 第1Opus 5.5 67.7GDP.pdf34.6 · 第1GPT-6 Astra 34.2ZeroBench(帶工具)63.0 · 第1Opus 5.5 61.0Frontier Finance58.6 · 第2Fable 5.1 60.8GDPVal-AA v2.11846 · 第2Opus 5.5 1866ChartoGraphy90.2 · 第2GPT-6 Astra 91.0BenchCAD(帶工具)92.7 · 第3Opus 5.5 96.2GPT-6 Astra 95.9OSWorld V2.179.6 · 第3Opus 5.5 81.8Fable 5.1 80.7綜合評(píng)測(cè)(官方圖)1)強(qiáng)項(xiàng)在哪長(zhǎng)程、多步、帶工具的任務(wù):SWE Marathon、Agents Last Exam、OfficeQA、HLE 帶工具,都是第一。這和 RL 的訓(xùn)練目標(biāo)吻合,模型在這些任務(wù)上要連續(xù)決策幾十到上百步。2)短板在哪Terminal-Bench Science 只有 38.1,和 GPT-6 Astra(68.1)、Opus 5.5(63.3)差一大截,科學(xué)計(jì)算類終端任務(wù)還不行。BenchCAD 帶工具 92.7,不帶工具 72.8(Opus 5.5 是 73.0),說明差距主要在工具使用。Frontier Finance 比 Fable 5.1 低 2.2 分。3)從 K3 到 K3.1 的躍遷Kimi Code Bench 長(zhǎng)程:55.95 → 61.2經(jīng)營(yíng)決策:8.9 → 37.0,約 4.2 倍金融研究:58.8 → 70.4xdev-bench-hard(pass3):33.3 → 81.0,平均成功率 15.9% → 64.5%4)幻覺率(越低越好)不帶工具:K3.1 Pro 5.4,GPT-6 Astra 4.2,Opus 5.5 6.8,Fable 5.1 11.4Hard 帶工具:K3.1 Pro 8.3,GPT-6 Astra 5.5,Opus 5.5 15.0,Fable 5.1 23.3兩項(xiàng)里 K3.1 Pro 都只落后于 GPT-6 Astra,比 Opus 5.5 低不少?？趶绞恰昂e(cuò)誤的事實(shí)性聲明占比”,壓力測(cè)試集,不代表日常。5)token 開銷xdev-bench-hard 給了每條成功軌跡的平均 token(輸入 / 輸出):K3.1 Pro:159.8M / 546KDeepSeek-V4.1-Flash:162.2M / 1.5MGLM-5.3:381.1M / 3.6MGPT-5.6 Sol:93.5M / 336K輸出量比 DeepSeek 少約三分之二、比 GLM 少約 85%,和前面“超預(yù)算就罰 -1”的訓(xùn)練方式對(duì)得上。這只是一個(gè)基準(zhǔn)上的數(shù)字,別當(dāng)通用結(jié)論。6)速度K3.1 Pro Highspeed 官方稱速度是 Pro 的 2–3 倍。測(cè)法沒說(是輸出速度還是端到端耗時(shí))。對(duì)長(zhǎng)程 Agent,單次請(qǐng)求變快不等于整個(gè)任務(wù)變快。7)看數(shù)字時(shí)的口徑官方圖腳注:所有模型開最大思考強(qiáng)度;Claude 可能含 fallback,GPT 可能含 cyberguard。Kimi 的部分成績(jī)用 Claude Code 等 harness 自測(cè),對(duì)手成績(jī)來自各家公布值或榜單。Kimi Code Bench、Hallu Bench、xdev-bench-hard 和內(nèi)部金融基準(zhǔn)都是 Kimi 自家的。07 官網(wǎng)演示天宮戰(zhàn)斗游戲(Unreal Engine 5.8)36 開間、半徑 1750 米的列柱回廊Blender 程序化建模的巨龍,MetaHuman 主角3600 萬(wàn)源三角面,Nanite Lumen3D 汽車展示頁(yè)(Three.js)滾動(dòng)驅(qū)動(dòng),布料揭幕,四章節(jié)車庫(kù),結(jié)尾是 968 個(gè)零件的爆炸圖?？梢灾苯油?https://fqo4jx65co4xu.ok.kimi.link/機(jī)場(chǎng)雨林谷(Blender)19.5 秒、1080p、60fps 建模動(dòng)畫。人體步行仿真296 塊骨骼 402 塊肌肉167 個(gè)任務(wù)、420 次評(píng)審仿真人從幾秒摔倒,到連續(xù)邁步 11.2 秒手臂獎(jiǎng)勵(lì)怎么調(diào)都沒用,模型轉(zhuǎn)頭去查動(dòng)力學(xué),找出 36 處肩部肌肉力臂算錯(cuò),修完重訓(xùn)。視頻和更多案例:https://www.kimi.com/en/blog/kimi-k3-1-pro