EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions作者Jincheng Zhong, Weizhi Wang, Che Jiang, Kai Tian, Zhenzhao Yuan, Junlin Yang, Dianqiao Lei, Kaiyan Zhang核心發(fā)表機(jī)構(gòu)Frontis.AI論文鏈接arXiv:2606.23654v1發(fā)布于arXiv 預(yù)印本cs.CL二、研究背景與動(dòng)機(jī) / Background Motivation企業(yè)級(jí) agent 正在越來(lái)越多地直接運(yùn)行在工作區(qū)workspace內(nèi)部它們需要讀取異構(gòu)格式的輸入文件、調(diào)用各種工具、在持久化 Linux 工作空間中操作并交付可供業(yè)務(wù)人員直接使用的工件artifact例如校準(zhǔn)后的 Excel 報(bào)表、HTML 頁(yè)面、演示文稿、項(xiàng)目文檔等。這種部署形態(tài)與傳統(tǒng)的“單輪問(wèn)答”截然不同最終答案不再是一段文本而是一個(gè)需要滿足業(yè)務(wù)約束、格式要求與語(yǔ)義準(zhǔn)確性的文件產(chǎn)物。然而現(xiàn)有評(píng)估體系遠(yuǎn)遠(yuǎn)沒(méi)有跟上這一變化。論文從三個(gè)具體差距gap出發(fā)定位自己的工作。第一個(gè)差距是企業(yè)真實(shí)性與可擴(kuò)展任務(wù)構(gòu)建之間的張力。已有的工作區(qū)類(lèi)基準(zhǔn)如 Workspace-Bench、WorkArena、TheAgentCompany、EnterpriseBench、EntWorld 等雖然把評(píng)估場(chǎng)景搬進(jìn)了企業(yè)環(huán)境但任務(wù)大多由人工編寫(xiě)、在模擬環(huán)境中生成或基于公開(kāi)數(shù)據(jù)集構(gòu)造缺少自然發(fā)生的、帶有真實(shí)企業(yè)語(yǔ)義的任務(wù)形態(tài)。真實(shí)企業(yè)會(huì)話中包含大量噪聲——群聊時(shí)間戳、賬號(hào)哈希、引用消息塊、多輪追加指令、脫敏的 URL 與文件路徑、跨文件對(duì)比需求等——這些都是人工構(gòu)造任務(wù)難以復(fù)現(xiàn)的。論文試圖從真實(shí)工作場(chǎng)所會(huì)話中直接恢復(fù)可復(fù)現(xiàn)的任務(wù)從而彌合“真實(shí)發(fā)生”與“可用于評(píng)測(cè)”之間的鴻溝。第二個(gè)差距是多維評(píng)估的缺失?，F(xiàn)有基準(zhǔn)往往只報(bào)告一個(gè)綜合正確率或任務(wù)成功率。但企業(yè) agent 的實(shí)際部署者需要回答的問(wèn)題要復(fù)雜得多同一模型在不同 harness 下表現(xiàn)能差多少產(chǎn)物是否真的交付成功視覺(jué)上是否合格運(yùn)行一次要花多少錢(qián)、多少時(shí)間技能注入能否帶來(lái)可遷移的提升為此論文在定位上與 WildClawBench報(bào)告 harness 效應(yīng)、ClawBench強(qiáng)調(diào)環(huán)境與狀態(tài)接地執(zhí)行、Claw-SWE-Bench擴(kuò)展到倉(cāng)庫(kù)級(jí)代碼修復(fù)和 AgenticVBench引入多模態(tài)生產(chǎn)任務(wù)保持對(duì)話但明確提出企業(yè) agent 評(píng)估應(yīng)聯(lián)合報(bào)告 hm 組合、多模態(tài)判定、工件交付質(zhì)量、成本與時(shí)間。第三個(gè)差距是任務(wù)類(lèi)級(jí)技能評(píng)估的缺失。已有基準(zhǔn)要么完全不適合技能評(píng)估要么只能在單個(gè)任務(wù)項(xiàng)上評(píng)估技能無(wú)法回答“從一個(gè)任務(wù)類(lèi)中提取的技能能否提升該類(lèi)中保留任務(wù)的表現(xiàn)”。論文將企業(yè)技能視為“遷移單元”通過(guò)保留任務(wù)上的交叉遷移實(shí)驗(yàn)來(lái)測(cè)量技能的泛化能力。這一設(shè)計(jì)直接支撐了“技能注入是高方差過(guò)程”這一重要結(jié)論。表 1 給出了論文與六個(gè)代表性基準(zhǔn)的定位對(duì)比。EnterpriseClawBench 在任務(wù)數(shù)量852 個(gè)完整任務(wù) / 120 個(gè) Lite 任務(wù)、真實(shí)來(lái)源Real-source、多模態(tài)工件、顯式技能評(píng)估、成本/時(shí)間報(bào)告和 hm 組合數(shù)量32 個(gè)上均處于領(lǐng)先位置。它的獨(dú)特之處在于任務(wù)全部來(lái)自真實(shí)使用痕跡而非為基準(zhǔn)撰寫(xiě)成功與否通過(guò)交付文件工件定義并且顯式支持技能遷移實(shí)驗(yàn)。四、實(shí)驗(yàn) / Experiments4.1 數(shù)據(jù)集與評(píng)估指標(biāo) / Datasets MetricsEnterpriseClawBench 包含兩個(gè)評(píng)測(cè)集合完整集包含 852 個(gè)自動(dòng)構(gòu)建的可復(fù)現(xiàn)任務(wù)Lite 集是經(jīng)過(guò)人工審計(jì)的 120 任務(wù)子集。主排行榜在 Lite 集上運(yùn)行用于保證評(píng)分的人工可審計(jì)性完整集用于可擴(kuò)展性檢查驗(yàn)證自動(dòng)管道構(gòu)建的任務(wù)是否能夠保持 Lite 集上的模型排序。數(shù)據(jù)集的統(tǒng)計(jì)特征呈現(xiàn)高度企業(yè)異質(zhì)性。7 個(gè)角色類(lèi)別覆蓋產(chǎn)品/項(xiàng)目、工程/IT、HR/行政、高管/管理、銷(xiāo)售/客戶、市場(chǎng)/營(yíng)銷(xiāo)、財(cái)務(wù)/運(yùn)營(yíng)。輸入文件類(lèi)型與輸出工件模態(tài)均高度異構(gòu)輸入包括 Excel、DOCX 轉(zhuǎn)錄稿、PDF、錄音文件、代碼、日志、圖片等交付物包括校準(zhǔn)后的電子表格、HTML 頁(yè)面、PPTX 演示文稿、業(yè)務(wù)報(bào)告、PRD 文檔、JSON 等。期望交付物計(jì)數(shù)總和大于 852因?yàn)椴糠秩蝿?wù)要求多個(gè)文件或多種輸出類(lèi)型。每個(gè)任務(wù)附帶六類(lèi)元數(shù)據(jù)恢復(fù)后的 fixtures、重寫(xiě)后的 prompts、角色類(lèi)別、技能子類(lèi)、硬規(guī)則、語(yǔ)義 rubrics。由于會(huì)話包含企業(yè)內(nèi)部?jī)?nèi)容數(shù)據(jù)不公開(kāi)發(fā)布可復(fù)用的是構(gòu)建與評(píng)測(cè)協(xié)議。評(píng)估指標(biāo)分為兩層。第一層是硬規(guī)則通過(guò)情況包括文件類(lèi)型、數(shù)量、非空性、可打開(kāi)性、traceback 與占位符檢查。第二層是語(yǔ)義評(píng)分由文本或視覺(jué)判題器在五個(gè)維度上給出 0–1 之間的分?jǐn)?shù)。除得分外評(píng)測(cè) runner 還系統(tǒng)記錄運(yùn)行時(shí)間、token 使用、成本、工具調(diào)用次數(shù)與證據(jù)警告作為多維評(píng)估的組成部分。判題器可信度通過(guò)兩類(lèi)一致性指標(biāo)衡量LLM–LLM 一致性不同判題器模型在同一批工件上的 Spearman 秩相關(guān)與 LLM–人類(lèi)一致性判題器與人類(lèi)評(píng)分者的 MAE 與 Spearman 相關(guān)。4.2 主實(shí)驗(yàn)結(jié)果 / Main Results主排行榜在 Lite 集上評(píng)測(cè)了 32 個(gè) harness–model 組合判題器使用 Sonnet 4.6文本與視覺(jué)。圖 4 展示了完整排行榜。最高得分是 Codex GPT-5.5 的 0.663沒(méi)有任何組合接近飽和。論文強(qiáng)調(diào)這一結(jié)果說(shuō)明企業(yè)工件類(lèi)任務(wù)對(duì)當(dāng)前最強(qiáng)系統(tǒng)而言仍遠(yuǎn)未解決。一個(gè)最清晰的模式來(lái)自 harness–model 交互效應(yīng)Claude 模型族在 Hermes harness 下性能顯著下降。Sonnet 4.6 在 Claude Code、DeepAgents、OpenClaw 下得分穩(wěn)定在 0.62–0.64但在 Hermes 下驟降至 0.458Opus 4.6 與 Haiku 4.5 呈現(xiàn)相同趨勢(shì)。痕跡分析揭示了原因Claude 模型通常依賴主動(dòng)環(huán)境探測(cè)、腳本執(zhí)行和多步修復(fù)而 Hermes harness 更頻繁地通過(guò)批準(zhǔn)檢查approval checks阻斷這些行為、將受阻步驟路由為委托子任務(wù)、并返回過(guò)長(zhǎng)的執(zhí)行痕跡導(dǎo)致文件寫(xiě)出循環(huán)在完成前被截?cái)?。結(jié)果是會(huì)話可能在/workspace/outputs下沒(méi)有穩(wěn)定交付文件就結(jié)束。同一模型在 Claude Code 或 DeepAgents 下通常能完成任務(wù)說(shuō)明這是 hm 兼容性問(wèn)題而非模型單獨(dú)能力差距。成本與得分的關(guān)系呈非線性正相關(guān)。圖 9 的散點(diǎn)圖顯示從極低成本系統(tǒng)到中等成本系統(tǒng)分?jǐn)?shù)增益顯著超過(guò)中檔后額外成本的改善遞減整體呈“對(duì)數(shù)形狀”。顯著的異常值是 Hermes/Claude 族組合——高模型成本未轉(zhuǎn)化為高分?jǐn)?shù)這進(jìn)一步印證了 hm 交互問(wèn)題對(duì)成本效益的破壞性。按角色類(lèi)別分解圖 5GPT-5.5 是最穩(wěn)健的通才在多個(gè)角色類(lèi)別上領(lǐng)先。最難的類(lèi)別是營(yíng)銷(xiāo)marketing和財(cái)務(wù)/運(yùn)營(yíng)finance/operations。人工檢查表明這些任務(wù)結(jié)合了重文檔理解與生成、公司特定場(chǎng)景與約定以及公共訓(xùn)練數(shù)據(jù)中較少見(jiàn)的業(yè)務(wù)慣例這部分解釋了得分偏低的原因。按預(yù)期交付物類(lèi)型分解圖 6GPT-5.5 在 HTML、代碼/JSON 和多個(gè)交付物密集類(lèi)中最強(qiáng)Opus 4.6 在電子表格上最強(qiáng)。實(shí)驗(yàn)同時(shí)觀察到在視覺(jué)判定下電子表格和演示文稿類(lèi)工具有系統(tǒng)性的分?jǐn)?shù)膨脹與純文本交付物相比。該模式在判題器消融研究中重現(xiàn)說(shuō)明當(dāng)前多模態(tài) LLM 判題器對(duì)細(xì)粒度企業(yè)工件的校準(zhǔn)能力弱于文本判題器。Rubric 五維語(yǔ)義診斷圖 7顯示當(dāng)前系統(tǒng)普遍在 communication quality 和 task relevance 上優(yōu)于 grounded accuracy。原因在于企業(yè)任務(wù)要求閱讀大型輸入文件并將證據(jù)帶入業(yè)務(wù)工件agent 經(jīng)常無(wú)法在大型上傳文件中定位用戶要求的關(guān)鍵信息或在長(zhǎng)時(shí)執(zhí)行過(guò)程中丟失這些信息。這一維度的系統(tǒng)性短板指向了企業(yè) agent 落地的核心瓶頸不是表達(dá)而是證據(jù)保持。全集可擴(kuò)展性檢查在自動(dòng)構(gòu)建的 852 個(gè)任務(wù)上運(yùn)行了 4 個(gè) DeepAgents 組合表 2。GPT-5.5 得分為 0.766Sonnet 4.6 為 0.749Haiku 4.5 為 0.632GPT-4.1-mini 為 0.336。排序與主排行榜完全一致GPT-5.5 Sonnet 4.6 Haiku 4.5 GPT-4.1-mini且即使最強(qiáng)模型也未飽和。這表明自動(dòng)管道構(gòu)建的完整基準(zhǔn)能夠保留人審 Lite 子集的排序區(qū)分度支持管道有效性。主實(shí)驗(yàn)部分還提供了一個(gè)完整的單案例拆解展示判題器如何區(qū)分“部分成功”與“完全完成”。任務(wù)要求對(duì)兩個(gè) Excel 文件其中一個(gè)含大量Err:504單元格做跨文件校準(zhǔn)與現(xiàn)金流分析交付一個(gè)表格文件。ClaudeCode/Haiku 4.5 的最終聊天回復(fù)聲稱“全部通過(guò)、準(zhǔn)確無(wú)誤”并給出了總收入、總成本、總毛利等統(tǒng)計(jì)。但視覺(jué)判題器將電子表格渲染為頁(yè)面圖像后發(fā)現(xiàn)異常值未被明確處理且任務(wù)要求的現(xiàn)金流分析完全缺失。該案例最終得分為 0.66總體評(píng)語(yǔ)指出“輸出在校準(zhǔn)和分析方面有一定深度但未完全覆蓋任務(wù)要求的現(xiàn)金流分析”。這說(shuō)明對(duì)產(chǎn)物的視覺(jué)/語(yǔ)義核驗(yàn)?zāi)苡行ёR(shí)別 agent 自我報(bào)告的過(guò)度自信。4.3 消融實(shí)驗(yàn) / Ablation Study4.3.1 判題器可靠性消融判題器是 EnterpriseClawBench 評(píng)分體系的核心因此論文對(duì)其可靠性做了密集的消融驗(yàn)證。LLM–LLM 一致性在 Lite 集上重新評(píng)分 32 個(gè) hm 組合的工件。GPT-5.4-text 與 Sonnet 4.6 文本判題器之間的 Spearmanρ 0.918 \rho 0.918ρ0.918n 1,853GPT-5.4-visual 與 Sonnet 4.6 視覺(jué)判題器之間的ρ 0.866 \rho 0.866ρ0.866n 1,428。這表明有能力的判題器之間能保持大致排序。LLM–人類(lèi)一致性48 個(gè)樣本包文本/視覺(jué)各半由人類(lèi)評(píng)分者獨(dú)立評(píng)分表 3。文本路由上Sonnet 4.6 與人類(lèi)評(píng)分的 MAE 為 0.134Spearmanρ 0.790 \rho 0.790ρ0.790對(duì)齊良好。視覺(jué)路由上MAE 擴(kuò)大到 0.303Spearman 為?0.259出現(xiàn)負(fù)秩相關(guān)。也就是說(shuō)在視覺(jué)工件上判題器對(duì)哪份產(chǎn)物更好的人類(lèi)判斷幾乎沒(méi)有預(yù)測(cè)能力且系統(tǒng)性地比人類(lèi)更保守。論文明確指出多模態(tài)工件評(píng)估尚未成熟這是基準(zhǔn)暴露的關(guān)鍵問(wèn)題。附錄中的判題器消融補(bǔ)充圖 10從兩個(gè)視角進(jìn)一步展開(kāi)。水平視角顯示不同判題器使用不同的絕對(duì)分?jǐn)?shù)尺度強(qiáng)模型通常更保守較弱的判題器給出的分?jǐn)?shù)更高因此不同判題器的分?jǐn)?shù)不能混入同一排行榜。垂直視角顯示有能力的判題器保持主排行榜的大致排序但中部排名的不穩(wěn)定性最大且視覺(jué)工件比文本工件更明顯。圖 10 的熱力圖按 Sonnet 4.6-main 分?jǐn)?shù)排序同時(shí)呈現(xiàn)文本路線與視覺(jué)路線的分?jǐn)?shù)分布直觀展示了判題器模型選擇對(duì)評(píng)測(cè)結(jié)論的影響。4.3.2 技能注入消融正遷移與負(fù)遷移技能遷移實(shí)驗(yàn)揭示了技能注入的高方差特性。論文以“會(huì)員等級(jí)皇冠圖標(biāo) HTML 頁(yè)面”這一保留任務(wù)為例詳細(xì)展示了正負(fù)兩種可能。正遷移案例中無(wú)技能注入時(shí) agent 生成了membership_crowns.html判題器評(píng)語(yǔ)為“交付物基本完成任務(wù)要求三等級(jí)皇冠顏色區(qū)分明確、頁(yè)面布局清晰但 Q 萌 3D 風(fēng)格實(shí)現(xiàn)深度不足配飾精細(xì)度遞進(jìn)不夠顯著?！贝藭r(shí)得分為 0.756。注入一段通用的前端頁(yè)面實(shí)現(xiàn)技能后定義全局 CSS 變量、按骨架逐頁(yè)實(shí)現(xiàn)、檢查圖標(biāo)配置、驗(yàn)證 grid 對(duì)齊、確保瀏覽器直接渲染等agent 生成了membership_crown_icons.html判題器評(píng)語(yǔ)變?yōu)椤敖桓段锿暾麑?shí)現(xiàn)了三等級(jí)皇冠圖標(biāo)展示顏色差異化和配飾遞進(jìn)明確整體質(zhì)量良好但 3D 立體深度略顯不足。”得分提升至 0.844。數(shù)值關(guān)系為S 無(wú)技能 0.756 → 注入技能 S 有技能 0.844 , Δ skill 0.088 S_{\text{無(wú)技能}}0.756 \xrightarrow{\text{注入技能}} S_{\text{有技能}}0.844, \quad \Delta_{\text{skill}}0.088S無(wú)技能?0.756注入技能?S有技能?0.844,Δskill?0.088負(fù)遷移案例使用同一個(gè) held-out 任務(wù)。無(wú)技能注入時(shí)評(píng)語(yǔ)為“頁(yè)面完整展示三等級(jí)皇冠圖標(biāo)且差異化明確但基礎(chǔ)皇冠造型偏離皇冠標(biāo)準(zhǔn)形態(tài)、3D 深度有限整體質(zhì)量中等偏上?！弊⑷肫颉敖桓缎螒B(tài)和設(shè)計(jì)系統(tǒng)”的技能后得分不僅沒(méi)有提升反而從 0.756 降至 0.555S 無(wú)技能 0.756 → 注入技能 S 有技能 0.555 , Δ skill ? 0.201 S_{\text{無(wú)技能}}0.756 \xrightarrow{\text{注入技能}} S_{\text{有技能}}0.555, \quad \Delta_{\text{skill}}-0.201S無(wú)技能?0.756注入技能?S有技能?0.555,Δskill??0.201注入后評(píng)語(yǔ)為“頁(yè)面布局和等級(jí)標(biāo)注完成度較好但皇冠圖標(biāo)造型偏離皇冠參考形態(tài)且3D精細(xì)度不足核心視覺(jué)交付物質(zhì)量有限?！币簿褪钦f(shuō)技能改善了布局與標(biāo)注但核心視覺(jué)交付物皇冠圖標(biāo)的形態(tài)準(zhǔn)確性與 3D 精細(xì)度反而受損。兩相對(duì)照說(shuō)明技能注入可能引導(dǎo) agent 優(yōu)先遵循通用交付規(guī)范而犧牲針對(duì)當(dāng)前任務(wù)細(xì)粒度要求的視覺(jué)質(zhì)量。4.3.3 消費(fèi)者–創(chuàng)建者矩陣在更系統(tǒng)的層面論文報(bào)告了技能遷移矩陣圖 8。實(shí)驗(yàn)覆蓋多個(gè)消費(fèi)者 agent 與三個(gè)技能創(chuàng)建者每個(gè)矩陣單元報(bào)告“無(wú)技能分?jǐn)?shù) → 注入后分?jǐn)?shù)”及 delta。GPT-5.5 是最強(qiáng)創(chuàng)建者平均遷移 delta 為 0.0681且未出現(xiàn)負(fù)向遷移。Kimi K2.6 次之平均 delta 0.0518增益集中在強(qiáng)消費(fèi)者如 Codex/GPT-5.5和 OpenClaw/Kimi K2.6 上。Haiku 4.5 是最弱創(chuàng)建者平均 delta 為 ?0.0941且對(duì) OpenClaw/Kimi K2.6 產(chǎn)生顯著退化。一個(gè)重要發(fā)現(xiàn)是創(chuàng)建能力與消費(fèi)能力不對(duì)齊。Haiku 4.5 雖然是弱創(chuàng)建者但 DeepAgents/Haiku 4.5 作為消費(fèi)者時(shí)能力不錯(cuò)3 個(gè)注入技能中有 2 個(gè)改善基線。而強(qiáng)消費(fèi)者也可能對(duì)創(chuàng)建者選擇敏感Codex/GPT-5.5 在所有三個(gè)創(chuàng)建者下均獲益但 Hermes/Kimi K2.6 與 OpenClaw/Kimi K2.6 被 Haiku 創(chuàng)建的技能傷害。論文據(jù)此得出結(jié)論技能注入是高方差過(guò)程取決于創(chuàng)建者質(zhì)量、消費(fèi)者行為、創(chuàng)建者–消費(fèi)者適配和消費(fèi)者基線分?jǐn)?shù)因此必須以消費(fèi)者–創(chuàng)建者矩陣在任務(wù)類(lèi)級(jí)別評(píng)估技能而非報(bào)告單一平均值。六、局限性與展望 / Limitations Future WorkEnterpriseClawBench 的局限性首先來(lái)自數(shù)據(jù)來(lái)源的單一性。所有任務(wù)來(lái)自一家 AI 初創(chuàng)公司在三個(gè)月內(nèi)的內(nèi)部會(huì)話企業(yè)規(guī)模、行業(yè)屬性、agent 平臺(tái)約定和員工使用習(xí)慣都會(huì)在任務(wù)分布中留下印記。論文明確承認(rèn)單一企業(yè)部署的結(jié)果可能不具普遍代表性。不同行業(yè)如金融、醫(yī)療、制造業(yè)的文檔類(lèi)型、合規(guī)要求和業(yè)務(wù)約定很可能產(chǎn)生完全不同的任務(wù)分布與難度曲線。未來(lái)需要來(lái)自多家企業(yè)、多個(gè)平臺(tái)的會(huì)話數(shù)據(jù)來(lái)驗(yàn)證構(gòu)建協(xié)議的可遷移性。第二個(gè)局限是數(shù)據(jù)不可發(fā)布。由于會(huì)話包含內(nèi)部?jī)?nèi)容、附件、工具痕跡與業(yè)務(wù)工件完整數(shù)據(jù)集無(wú)法公開(kāi)這限制了第三方在完全一致的 task 上直接復(fù)現(xiàn)結(jié)果。論文的應(yīng)對(duì)是將“可復(fù)現(xiàn)性”定義為在發(fā)布協(xié)議與代碼框架下可重建而非直接獲取數(shù)據(jù)。但即便如此重建過(guò)程仍依賴原始專(zhuān)有會(huì)話外部研究者無(wú)法獨(dú)立驗(yàn)證構(gòu)建管道的每一步對(duì)最終任務(wù)集合的影響。一個(gè)更可取的未來(lái)方向是發(fā)布足夠大的脫敏后樣本或者提供一個(gè)模擬會(huì)話生成的合成版本使研究社區(qū)能在不接觸敏感數(shù)據(jù)的前提下進(jìn)行方法學(xué)復(fù)現(xiàn)。第三個(gè)局限來(lái)自判題器本身尤其是視覺(jué)判題器。LLM–人類(lèi)一致性實(shí)驗(yàn)中文本路由的 Spearman 達(dá) 0.790但視覺(jué)路由出現(xiàn)負(fù)秩相關(guān)?0.259且 MAE 高達(dá) 0.303。這意味著在電子表格、PPT、HTML 渲染圖像等多模態(tài)工件上當(dāng)前最強(qiáng) LLM 判題器對(duì)“哪個(gè)產(chǎn)物更好”的判斷與人類(lèi)幾乎不一致。這是一個(gè)必須嚴(yán)肅對(duì)待的評(píng)測(cè)學(xué)問(wèn)題如果評(píng)測(cè)器本身不可靠那么主排行榜的視覺(jué)相關(guān)結(jié)論就存在不確定性。論文對(duì)此的立場(chǎng)是透明的——在報(bào)告主結(jié)果的同時(shí)強(qiáng)制附帶判題器消融與人類(lèi)相關(guān)性校準(zhǔn)但這不能替代一個(gè)本質(zhì)上更可靠的視覺(jué)判定方法。未來(lái)需要專(zhuān)門(mén)針對(duì)企業(yè)工件的多模態(tài)判題器訓(xùn)練數(shù)據(jù)或者引入更細(xì)粒度的可驗(yàn)證中間表征如表格結(jié)構(gòu)解析、渲染差異檢測(cè)來(lái)輔助判定。第四個(gè)局限是門(mén)控造成的覆蓋范圍偏差。fixture 缺失、脫敏不可恢復(fù)、URL 不可達(dá)、任務(wù)目標(biāo)模糊如“****自動(dòng)投遞”這類(lèi)原始 agent 都無(wú)法消歧的指令都會(huì)被排除在基準(zhǔn)之外。這保證了基準(zhǔn)內(nèi)任務(wù)的機(jī)械可復(fù)現(xiàn)性但也意味著基準(zhǔn)不評(píng)測(cè) agent 處理數(shù)據(jù)缺失類(lèi)失敗和完全模糊指令的能力——而這些恰恰是真實(shí)企業(yè)部署中常見(jiàn)的運(yùn)營(yíng)挑戰(zhàn)。未來(lái)可以考慮單獨(dú)構(gòu)建“失敗恢復(fù)”任務(wù)類(lèi)專(zhuān)門(mén)評(píng)測(cè) agent 在信息不足時(shí)的澄清策略與降級(jí)行為。第五個(gè)局限是技能遷移評(píng)估的覆蓋范圍有限。目前技能實(shí)驗(yàn)僅聚焦于“前端頁(yè)面生成”一個(gè)任務(wù)子類(lèi)且保留任務(wù)只有 5 個(gè)統(tǒng)計(jì)功效有限。消費(fèi)者–創(chuàng)建者矩陣揭示了顯著的高方差現(xiàn)象但樣本量不足以支撐更細(xì)粒度的歸因分析——例如什么樣的技能內(nèi)容特征導(dǎo)致負(fù)遷移創(chuàng)建者模型在什么條件下能穩(wěn)定生成可遷移技能未來(lái)應(yīng)擴(kuò)展到更多任務(wù)子類(lèi)并增加保留任務(wù)數(shù)量使技能遷移的效應(yīng)量估計(jì)更加可靠。此外主排行榜上的 32 個(gè) hm 組合雖已覆蓋 5 個(gè) harness 與 9 個(gè)模型但模型版本迭代極快。論文的評(píng)測(cè)協(xié)議天然支持未來(lái)擴(kuò)展但如何讓排行榜隨時(shí)間演化而不失真仍是一個(gè)開(kāi)放問(wèn)題。成本與運(yùn)行時(shí)間的度量雖然被記錄但論文未給出這些維度的完整表格——這同樣是一個(gè)值得后續(xù)版本補(bǔ)充的內(nèi)容。七、總結(jié) / ConclusionEnterpriseClawBench 從真實(shí)企業(yè)工作區(qū)會(huì)話出發(fā)構(gòu)建了一個(gè)包含 852 個(gè)可復(fù)現(xiàn)任務(wù)的企業(yè) agent 基準(zhǔn)。它的核心貢獻(xiàn)不是發(fā)布一組靜態(tài)數(shù)據(jù)而是提供一整套可復(fù)用的構(gòu)建與評(píng)估協(xié)議從帶噪會(huì)話中恢復(fù)可復(fù)現(xiàn)任務(wù)的多級(jí)門(mén)控流水線由硬規(guī)則與語(yǔ)義判定構(gòu)成的兩層評(píng)分體系聯(lián)合 harness–model 組合、工件交付、成本、運(yùn)行時(shí)間與技能遷移行為的多維評(píng)估框架以及以消費(fèi)者–創(chuàng)建者矩陣為核心的任務(wù)類(lèi)級(jí)技能遷移評(píng)估協(xié)議。實(shí)證結(jié)果展示了企業(yè) agent 評(píng)測(cè)的復(fù)雜面貌。最佳配置 Codex GPT-5.5 僅得到 0.663 分說(shuō)明這一任務(wù)領(lǐng)域遠(yuǎn)未飽和Claude 模型族在 Hermes harness 下的顯著降級(jí)揭示了 harness 與模型的深刻交互視覺(jué)判題器與人類(lèi)評(píng)分的負(fù)秩相關(guān)暴露了多模態(tài)企業(yè)工件評(píng)估方法的滯后技能注入實(shí)驗(yàn)在同一任務(wù)上同時(shí)產(chǎn)生了 0.088 的正遷移和 ?0.201 的負(fù)遷移證實(shí)了技能遷移的高方差本質(zhì)。這些發(fā)現(xiàn)共同支撐了論文的核心主張企業(yè) agent 評(píng)測(cè)必須報(bào)告 harness–model 組合、工件交付、視覺(jué)質(zhì)量、成本、運(yùn)行時(shí)間和技能遷移行為而不是把性能壓縮成一個(gè)單一分?jǐn)?shù)。原文摘要:Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness–model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBenchPDF鏈接:https://arxiv.org/pdf/2606.23654v1部分平臺(tái)可能圖片顯示異常請(qǐng)以我的博客內(nèi)容為準(zhǔn)