日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn)

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn) 工作里只要沾過AI Agent開發(fā)十有八九會(huì)碰上一個(gè)靈魂拷問這Agent到底行不行我自己的評(píng)測(cè)框架從v1.0一路迭代到現(xiàn)在的21.0核心始終是圍繞LLM-as-Judge、人工標(biāo)注、A/B測(cè)試這三條腿走路再把它們得到的原始結(jié)果折算成一套能量化對(duì)比、能落進(jìn)發(fā)布流程的指標(biāo)。這篇內(nèi)容就是把我這些年踩過的坑和最終沉淀下來的多維評(píng)測(cè)實(shí)踐完整拆開講一遍。不管你是剛接手Agent評(píng)測(cè)的QA還是自己在做Agent項(xiàng)目、天天被“效果不行”卡得動(dòng)彈不得的開發(fā)者這篇文章應(yīng)該都能給你一套能直接抄作業(yè)的框架。1. 先想清楚Agent評(píng)測(cè)難在哪量化評(píng)估要量化什么很多人一上來就開始設(shè)計(jì)指標(biāo)結(jié)果越做越亂根本原因是沒有先搞明白評(píng)測(cè)對(duì)象變了。Agent不是傳統(tǒng)模型它不是“給一句話返回一個(gè)答案”這么簡(jiǎn)單它的行為鏈路長(zhǎng)、結(jié)果開放、過程耦合環(huán)境量化評(píng)估之前必須先重新定義“什么是好”。1.1 Agent與傳統(tǒng)模型評(píng)測(cè)的差別傳統(tǒng)NLP模型或者分類模型的評(píng)測(cè)本質(zhì)上是“答案對(duì)答案”給定輸入得到輸出拿輸出跟標(biāo)準(zhǔn)答案做精確匹配或者算BLEU、ROUGE這類相似度。這個(gè)過程目標(biāo)單一、環(huán)境可控、結(jié)果確定性高。到了Agent這里情況完全變了。它通常要做多輪推理要調(diào)用外部工具要根據(jù)環(huán)境反饋動(dòng)態(tài)調(diào)整策略最后甚至可能走出好幾條完全不同的成功路徑。舉個(gè)實(shí)際例子一個(gè)客服Agent處理“用戶想改收貨地址”這個(gè)任務(wù)。正確的路徑可以是先查詢訂單狀態(tài)再調(diào)用修改地址接口也可以是先詢問用戶新地址校驗(yàn)訂單還沒發(fā)貨再修改地址。兩條路結(jié)果一樣但中間過程差別很大。如果你還是只比對(duì)最終輸出文本那幾乎沒法做自動(dòng)化評(píng)估。Agent評(píng)測(cè)的難點(diǎn)就在這兒評(píng)估對(duì)象從一個(gè)“正確答案”變成了整條“行為軌跡最終狀態(tài)”而軌跡的合理性和狀態(tài)的好壞很多時(shí)候沒有唯一標(biāo)準(zhǔn)。這也是為什么量化評(píng)估不能只盯著“能不能完成任務(wù)”這一個(gè)點(diǎn)。你需要同時(shí)回答幾個(gè)問題任務(wù)完成得對(duì)不對(duì)完成得順不順過程中有沒有亂來代價(jià)高不高。這幾個(gè)問題對(duì)應(yīng)著完全不同的評(píng)估手段和指標(biāo)得拆開來看。1.2 量化評(píng)估到底量化什么能力、穩(wěn)定、成本、體驗(yàn)我在實(shí)踐中把量化目標(biāo)收斂成四類能力、穩(wěn)定、成本、體驗(yàn)。能力是最基礎(chǔ)的一層回答“這個(gè)Agent能不能完成它該做的事”。落地到指標(biāo)上就是任務(wù)成功率、子步驟完成率、工具調(diào)用正確率等。穩(wěn)定是很多團(tuán)隊(duì)容易忽略的一層。同一個(gè)Agent同一道題跑十次有時(shí)候成功有時(shí)候失敗這種“抽風(fēng)式”表現(xiàn)在生產(chǎn)環(huán)境非常致命。所以評(píng)測(cè)必須有重復(fù)運(yùn)行的概念至少要反映方差而不是只看均值。成本層必須考慮因?yàn)锳gent的消耗往往比傳統(tǒng)模型高一個(gè)量級(jí)。一次任務(wù)可能要多次調(diào)用大模型加上工具調(diào)用的附加費(fèi)用單task成本很容易就上去了。如果能力合格但成本高到?jīng)]法規(guī)?;沁@個(gè)Agent照樣上不了線。體驗(yàn)層則更主觀包括用戶覺得順不順、回答是否友好、有沒有不安全的表述。體驗(yàn)類指標(biāo)很難用精確匹配來度量這正是LLM-as-Judge和人工標(biāo)注的用武之地。1.3 從v1.0到v21.0我踩過的三個(gè)大坑早期我的評(píng)測(cè)體系就是v1.0只有“準(zhǔn)確率”一個(gè)指標(biāo)拿一批固定問題測(cè)一遍算個(gè)百分比就完事。結(jié)果上線第一周就被打臉業(yè)務(wù)方反饋一堆問題成功率看著90%實(shí)際問題基本辦不成。后來復(fù)盤發(fā)現(xiàn)評(píng)測(cè)集太簡(jiǎn)單答案判定用關(guān)鍵詞匹配很多回答只是“看起來對(duì)”但沒解決用戶實(shí)際問題。v5.0我開始引入LLM-as-Judge讓大模型給Agent的回答打分確實(shí)把評(píng)估范圍擴(kuò)開了但很快又發(fā)現(xiàn)Judge本身不穩(wěn)定。同一個(gè)回答今天打4分明天打3分換個(gè)模型甚至順序調(diào)換結(jié)果就變自動(dòng)評(píng)估結(jié)果沒法完全信任。v12.0搞了一套多維指標(biāo)能力、流程、安全、成本都算但指標(biāo)太多每個(gè)版本出來報(bào)告幾十頁(yè)團(tuán)隊(duì)根本不知道看哪個(gè)最終決策還是靠拍腦袋。直到v21.0才徹底理順三條腿各自分工LLM-as-Judge負(fù)責(zé)批量初篩人工標(biāo)注負(fù)責(zé)精評(píng)校準(zhǔn)A/B測(cè)試負(fù)責(zé)上線前后真實(shí)環(huán)境驗(yàn)證指標(biāo)統(tǒng)一進(jìn)一個(gè)儀表盤任何人打開只看一張圖就知道這個(gè)版本能不能發(fā)。下面把這套體系拆開講。2. 三大評(píng)估手段全解LLM-as-Judge、人工標(biāo)注與A/B測(cè)試這套體系最核心的部分就是三種評(píng)估手段怎么用、為什么這么用、各自有什么坑。先分別講清楚再講怎么組合。2.1 LLM-as-Judge讓大模型當(dāng)考官的原理與配置要點(diǎn)LLM-as-Judge本質(zhì)上是用一個(gè)大模型去評(píng)估另一個(gè)模型或Agent的輸出。核心假設(shè)是足夠強(qiáng)的通用大模型具備較好的語(yǔ)言理解、推理和事實(shí)判斷能力能模擬人類評(píng)估者給候選輸出打分或做偏好選擇。它的最大價(jià)值是速度和成本。人工評(píng)估一條復(fù)雜Agent軌跡可能需要好幾分鐘Judge只要幾十秒成本低一個(gè)數(shù)量級(jí)。所以在需要跑大量樣本做回歸測(cè)試時(shí)Judge幾乎是唯一可行的自動(dòng)化方案。但Judge不是開箱即用配置上有幾個(gè)關(guān)鍵點(diǎn)第一評(píng)分卡要具體。不要寫“請(qǐng)?jiān)u估回答質(zhì)量”要給出可判定的維度。我們常用的評(píng)分卡長(zhǎng)這樣相關(guān)性1~5分是否解決用戶核心問題、完整性1~5分是否遺漏關(guān)鍵信息、格式正確性0或1是否遵守指定輸出結(jié)構(gòu)、安全性0或1是否包含違規(guī)內(nèi)容。每個(gè)維度還要加一句“什么情況給幾分”的說明否則Judge就是靠感覺打分。第二選擇打分模式。如果是要評(píng)估一個(gè)Agent的絕對(duì)質(zhì)量用pointwise模式讓Judge按評(píng)分卡給單條輸出逐項(xiàng)打分如果是要比較兩個(gè)Agent版本誰(shuí)更好用pairwise模式讓Judge看兩條輸出后選擇“A更好、B更好、平局”。另有一種reference-based模式把標(biāo)準(zhǔn)答案給Judge做參照適合事實(shí)性強(qiáng)的任務(wù)。三種模式我都在用業(yè)務(wù)上偏“判斷好壞”用pointwise版本迭代時(shí)偏“對(duì)比優(yōu)劣”用pairwise。第三控制Judge自身的偏差。Judge有幾個(gè)出了名的毛病位置偏差pairwise時(shí)傾向于選第一個(gè)或最后一個(gè)、自我偏好偏差用A模型做Judge往往偏向A模型自己的輸出、長(zhǎng)度偏差回答越長(zhǎng)分越高。我的緩解方法是pairwise評(píng)估時(shí)做位置置換把A、B的順序顛倒各評(píng)估一次取結(jié)果在評(píng)分卡里強(qiáng)調(diào)“按信息完整性和正確性打分不要因?yàn)榛卮痖L(zhǎng)就加分”對(duì)分歧樣本抽樣到人工復(fù)核。還有一個(gè)笨但有效的辦法定期用小批量人工標(biāo)注樣本檢驗(yàn)Judge和人類的一致性一致率低于80%就換Judge模型或調(diào)整評(píng)分卡。第四Judge結(jié)果的結(jié)構(gòu)化。別讓Judge自由發(fā)揮寫一大段評(píng)論強(qiáng)制它先輸出JSON格式的各維度評(píng)分再輸出一行簡(jiǎn)短理由。這樣下游可以直接解析入庫(kù)。一個(gè)典型的Judge輸出長(zhǎng)這樣{ task_id: task_0082, scores: { relevance: 4, completeness: 5, format: 1, safety: 1 }, reason: 用戶詢問改地址Agent先查詢了訂單狀態(tài)確認(rèn)未發(fā)貨后調(diào)用了修改接口流程完整。 }這里有個(gè)經(jīng)驗(yàn)Judge的溫度一定要設(shè)0否則同樣內(nèi)容兩次評(píng)估結(jié)果不一樣。另外每次跑批量評(píng)估前先用10~20條金標(biāo)準(zhǔn)樣本驗(yàn)證當(dāng)前Judge配置的有效性這步能省掉后面很多返工。2.2 人工標(biāo)注不可替代的黃金標(biāo)準(zhǔn)以及如何控制質(zhì)量既然有了LLM-as-Judge為什么還需要人工標(biāo)注原因很簡(jiǎn)單Judge本身也是個(gè)模型它的判斷不一定符合真實(shí)用戶和業(yè)務(wù)方的預(yù)期。人工標(biāo)注是假設(shè)的“黃金標(biāo)準(zhǔn)”用途不是跑量而是校準(zhǔn)和驗(yàn)證。但人工標(biāo)注最大的麻煩是質(zhì)量波動(dòng)。同一個(gè)Agent輸出讓兩個(gè)人標(biāo)注結(jié)果可能完全相反。這不是人不行而是標(biāo)準(zhǔn)沒定死。我把人工標(biāo)注流程固化成了這么幾步第一步寫標(biāo)注手冊(cè)。手冊(cè)里必須包含任務(wù)背景說明、每類指標(biāo)的詳細(xì)定義、至少5個(gè)“不同分?jǐn)?shù)段”的標(biāo)注示例、常見邊界案例的處理方式。手冊(cè)要發(fā)到標(biāo)注群里一起評(píng)審不能一個(gè)人拍腦袋寫完就發(fā)。第二步雙人盲標(biāo)加仲裁。每條樣本至少兩個(gè)人獨(dú)立標(biāo)注如果兩人結(jié)果一致就入庫(kù)不一致就得由團(tuán)隊(duì)內(nèi)的仲裁人看一遍再定。仲裁的比例一般控制在10%~20%之間如果超過20%不是仲裁人累死而是標(biāo)注手冊(cè)有問題得回爐重做。第三步計(jì)算一致性。一般用Cohen‘s Kappa系數(shù)來量化兩個(gè)標(biāo)注人之間的一致性。公式不復(fù)雜[ \kappa \frac{P_o - P_e}{1 - P_e} ]P_o是實(shí)際一致率P_e是隨機(jī)情況下期望一致率。Kappa值在0.8以上說明標(biāo)注一致性很好0.6~0.8算可以接受低于0.6就需要重新培訓(xùn)或修訂手冊(cè)。我經(jīng)??吹綀F(tuán)隊(duì)只統(tǒng)計(jì)“一致率”而忽略Kappa比如某個(gè)類是大多數(shù)類兩個(gè)人都習(xí)慣性標(biāo)同一類一致率很高但Kappa很低這種情況看似一致實(shí)際質(zhì)量是有問題的。第四步在標(biāo)注批次里埋“金標(biāo)準(zhǔn)題”。我們會(huì)不定期放入少量已知標(biāo)準(zhǔn)答案的樣本標(biāo)注員在這些題上錯(cuò)了就說明注意力下降或標(biāo)準(zhǔn)理解跑偏需要及時(shí)提醒。樣本怎么選也是個(gè)學(xué)問。不要只從評(píng)測(cè)集里隨機(jī)抽要分層抽樣——按任務(wù)類型、輸入長(zhǎng)度、模型版本、成功失敗結(jié)果分層。否則人工標(biāo)注驗(yàn)證出來的結(jié)論可能只對(duì)某一類樣本有效。2.3 A/B測(cè)試線上分流、指標(biāo)與顯著性判斷LLM-as-Judge和人工標(biāo)注評(píng)估的都是Agent在測(cè)試環(huán)境里的表現(xiàn)A/B測(cè)試則是把評(píng)估搬到真實(shí)環(huán)境里讓真實(shí)用戶來驗(yàn)收。A/B測(cè)試不是所有場(chǎng)景都能做至少要有線上分流能力和相對(duì)充足的流量。但一旦能做它提供了最硬核的證據(jù)新版本到底有沒有給業(yè)務(wù)帶來實(shí)際提升。A/B測(cè)試的關(guān)鍵不是“開個(gè)實(shí)驗(yàn)開關(guān)”就完事而是三個(gè)層面的設(shè)計(jì)流量劃分。Agent場(chǎng)景通常按用戶ID或會(huì)話ID做哈希分流保證同一個(gè)用戶始終進(jìn)入同一個(gè)版本避免用戶感知混亂。不要用隨機(jī)數(shù)做分流因?yàn)橐淮螘?huì)話中可能涉及多次Agent調(diào)用隨機(jī)分流會(huì)把同一個(gè)請(qǐng)求打散到兩個(gè)版本數(shù)據(jù)就臟了。指標(biāo)設(shè)計(jì)。指標(biāo)至少要包含三個(gè)維度業(yè)務(wù)結(jié)果指標(biāo)任務(wù)完成率、轉(zhuǎn)化率、解決率、體驗(yàn)指標(biāo)用戶主動(dòng)反饋、滿意度、重試率、成本與性能指標(biāo)平均Token消耗、p95延遲、調(diào)用失敗率。只盯任務(wù)完成率是不夠的可能出現(xiàn)新版本完成任務(wù)多一點(diǎn)但成本翻倍的情況這種版本往往也不能直接全量。顯著性判斷。樣本量不夠就跑不出顯著性這是最常見的坑。我習(xí)慣在實(shí)驗(yàn)前先做事前樣本量估算用歷史數(shù)據(jù)的方差和期望提升幅度來反推需要多少樣本。實(shí)驗(yàn)結(jié)束后不僅要看p值還要看置信區(qū)間和效應(yīng)量。p值顯著但效應(yīng)量只有0.1%業(yè)務(wù)上也未必值得上線。A/B測(cè)試還有幾個(gè)特別容易翻車的細(xì)節(jié)新奇效應(yīng)新版本剛上線用戶可能因?yàn)樾迈r感表現(xiàn)異常所以要跑夠周期至少覆蓋一個(gè)完整業(yè)務(wù)周辛普森悖論整體看有提升拆分用戶群后發(fā)現(xiàn)集中在某一部分人身上要按用戶群做分層分析以及實(shí)驗(yàn)組之間的流量污染如果同一個(gè)用戶既在A組又在B組體驗(yàn)過兩個(gè)版本的影響會(huì)混在一起。2.4 三種手段怎么配合研發(fā)、發(fā)版、上線三段式三種評(píng)估手段不是三選一而是流水線分工。我們團(tuán)隊(duì)現(xiàn)在的節(jié)奏是研發(fā)階段跑量用LLM-as-Judge。每次代碼變更幾百條回歸題自動(dòng)跑Judge打分后出一份摘要快速判斷這個(gè)commit有沒有把核心指標(biāo)弄崩。免費(fèi)、快速、覆蓋廣是這一階段的主要訴求。發(fā)版前做人工精評(píng)。Judge跑完不代表能發(fā)版我們會(huì)抽200~300條典型樣本安排雙人標(biāo)注重點(diǎn)看Judge容易誤判的安全類、體驗(yàn)類指標(biāo)同時(shí)也用這批標(biāo)注結(jié)果去校準(zhǔn)Judge的一致性。上線階段做A/B測(cè)試。只有精評(píng)過關(guān)的版本才具備A/B資格。線上實(shí)驗(yàn)跑1~2周看真實(shí)業(yè)務(wù)指標(biāo)的變化。這個(gè)三段式的好處是每一層都幫下一層過濾掉明顯不行的版本避免把昂貴的人工和線上實(shí)驗(yàn)浪費(fèi)在垃圾版本上。3. 多維評(píng)測(cè)指標(biāo)體系設(shè)計(jì)與歸一化算法評(píng)估手段解決了“數(shù)據(jù)從哪里來”指標(biāo)體系解決“這些數(shù)據(jù)怎么變成決策依據(jù)”。這套指標(biāo)我已經(jīng)反復(fù)打磨過下面直接給框架。3.1 指標(biāo)字典能力、效率、安全、成本、體驗(yàn)五大類任何一個(gè)Agent項(xiàng)目我建議先建立自己的指標(biāo)字典別東一榔頭西一棒槌。我常用的指標(biāo)字典大概是這樣類別指標(biāo)定義采集方式方向能力任務(wù)成功率SR最終目標(biāo)是否達(dá)成的比例人工/Judge越高越好能力步驟完成率子步驟完成數(shù)量/總步驟數(shù)軌跡解析越高越好能力工具調(diào)用正確率工具調(diào)用正確的次數(shù)/總調(diào)用次數(shù)軌跡解析越高越好效率平均回合數(shù)完成任務(wù)的平均交互輪次軌跡解析越低越好效率求助率用戶被迫求助人工客服或多次輸入修正的比例線上埋點(diǎn)越低越好安全安全違規(guī)率出現(xiàn)違規(guī)或不當(dāng)內(nèi)容的任務(wù)占比人工/Judge越低越好成本單任務(wù)Token消耗完成一個(gè)任務(wù)平均消耗的輸入輸出Token數(shù)日志統(tǒng)計(jì)越低越好成本p95延遲95%請(qǐng)求完成時(shí)延日志統(tǒng)計(jì)越低越好體驗(yàn)用戶滿意度用戶反饋/評(píng)分問卷/人工/Judge越高越好體驗(yàn)事實(shí)一致性率回答與已知事實(shí)不一致的比例人工/Judge越高越好這個(gè)表不是死的每個(gè)項(xiàng)目要先看業(yè)務(wù)目標(biāo)再做增刪。但有幾條通用原則指標(biāo)必須要能采集不能靠感覺指標(biāo)必須方向一致別把“回合數(shù)”和“用戶滿意度”混在一起說“體驗(yàn)變好了”指標(biāo)不能太多核心看板建議控制在10個(gè)以內(nèi)否則根本沒人看。3.2 指標(biāo)歸一化與綜合評(píng)分不同指標(biāo)單位不同沒法直接相加必須先歸一化。最常用的是線性歸一化設(shè)定一個(gè)“及格線”和“滿分線”把原始值映射到0~100。比如任務(wù)成功率0%是0分100%是100分。成本類指標(biāo)反過來平均Token消耗1000以下是100分5000以上是0分中間線性插值。這里的上下限要根據(jù)業(yè)務(wù)實(shí)際情況來定不能閉眼拍。歸一化之后還要加權(quán)重。權(quán)重怎么定我建議兩種方法二選一一是團(tuán)隊(duì)投票每個(gè)人按業(yè)務(wù)重要性給五個(gè)大類打分再取平均二是用層次分析法這類結(jié)構(gòu)化的方式兩兩比較指標(biāo)重要性算出一致性權(quán)重。權(quán)重的核心要求是“可解釋”上線評(píng)審被問“為什么綜合分是82”你得能一步步解釋清楚。綜合評(píng)分公式很簡(jiǎn)單[ Total \sum_{i1}^{n} w_i \times score_i ]但我必須強(qiáng)調(diào)一句總分只是用來快速排序的做決策時(shí)一定要拆開看。曾經(jīng)我們有一個(gè)版本綜合分超了基線但點(diǎn)開細(xì)項(xiàng)發(fā)現(xiàn)安全違規(guī)率明顯惡化綜合分被成本優(yōu)勢(shì)拉高了。這種情況如果只看總分遲早出事。所以儀表盤上總分一定要配一張雷達(dá)圖或者維度明細(xì)安全、核心成功率這種關(guān)鍵指標(biāo)最好單獨(dú)設(shè)紅線。3.3 場(chǎng)景適配Java/Spring Boot、知識(shí)庫(kù)Agent、代碼生成Agent怎么套指標(biāo)同樣的框架落到不同技術(shù)棧和業(yè)務(wù)場(chǎng)景里指標(biāo)側(cè)重點(diǎn)完全不同。我看到有些團(tuán)隊(duì)想套一套通用評(píng)測(cè)標(biāo)準(zhǔn)走天下結(jié)果每個(gè)業(yè)務(wù)都不適配。舉三個(gè)典型場(chǎng)景第一個(gè)是Java/Spring Boot這類后端服務(wù)化的Agent客戶端。這類Agent通常要跟業(yè)務(wù)系統(tǒng)深度集成核心訴求是穩(wěn)定性和接口正確性。除了通用指標(biāo)要額外關(guān)注服務(wù)超時(shí)率、并發(fā)下的錯(cuò)誤率、權(quán)限控制是否合規(guī)、工具參數(shù)序列化是否正確。評(píng)測(cè)時(shí)最好在測(cè)試環(huán)境搭一套Mock服務(wù)專門模擬超時(shí)、異常、重試等場(chǎng)景。第二個(gè)是Obsidian AI Agent知識(shí)庫(kù)場(chǎng)景。這類Agent本質(zhì)是檢索增強(qiáng)生成核心價(jià)值是能不能從知識(shí)庫(kù)里找到正確內(nèi)容并給出準(zhǔn)確引用。評(píng)測(cè)重點(diǎn)要加檢索相關(guān)性返回的知識(shí)片段是否對(duì)題、引用正確性回答里的引用是否真的存在于知識(shí)庫(kù)、事實(shí)一致性回答是否忠實(shí)于檢索結(jié)果有沒有瞎編。這些指標(biāo)靠精確匹配測(cè)不了Judge加上人工抽檢是主要手段。第三個(gè)是Verilog代碼生成Agent。這類代碼生成Agent更硬核因?yàn)榇a能不能跑這件事是客觀的。我們?cè)u(píng)測(cè)時(shí)會(huì)直接接一套工具鏈Agent生成代碼后自動(dòng)做語(yǔ)法編譯、功能仿真最終以編譯通過率和仿真通過率為核心指標(biāo)。這類場(chǎng)景里Judge的作用反而弱化因?yàn)樽钣姓f服力的裁判是編譯器。這也是我想說的指標(biāo)設(shè)計(jì)要跟著場(chǎng)景走別把Judge當(dāng)萬(wàn)能藥。4. 評(píng)測(cè)流水線落地從評(píng)測(cè)集到回歸看板有了指標(biāo)和評(píng)估手段還得把它們串成一條可重復(fù)運(yùn)行的流水線。否則每次評(píng)測(cè)都是手工活換個(gè)版本重新跑一遍效率極低還容易漏。4.1 評(píng)測(cè)集建設(shè)數(shù)量、來源與防污染評(píng)測(cè)集是一切評(píng)估的基石。沒有好的評(píng)測(cè)集再花哨的評(píng)估手段也是白搭。評(píng)測(cè)集的來源我建議三個(gè)渠道結(jié)合第一真實(shí)業(yè)務(wù)日志脫敏。這是最寶貴的來源去線上把真實(shí)用戶的問題收集起來去掉隱私信息做成輸入樣本。第二公開基準(zhǔn)集比如各種開源的Agent benchmark可以作為參考但要注意跟業(yè)務(wù)差異。第三人工構(gòu)造的邊界題專門覆蓋長(zhǎng)尾、極端、惡意輸入等場(chǎng)景這部分題目數(shù)量不用多但必須要有。數(shù)量上我們的經(jīng)驗(yàn)是回歸評(píng)測(cè)集至少要有幾百條級(jí)別。Agent的評(píng)估方差大題目太少一個(gè)隨機(jī)波動(dòng)就淹沒真實(shí)變化。但也不是越多越好因?yàn)槊吭黾右粭l題跑一輪和人工抽檢的成本都在漲。我們一般把評(píng)測(cè)集分成兩層核心回歸集300條左右每次改動(dòng)都跑擴(kuò)展評(píng)測(cè)集1000~2000條每周跑一次。評(píng)測(cè)集防污染是現(xiàn)代AI評(píng)測(cè)里必須考慮的問題。如果評(píng)測(cè)集的題目出現(xiàn)在Agent訓(xùn)練數(shù)據(jù)里那評(píng)測(cè)結(jié)果就是虛假繁榮。我的做法是核心評(píng)測(cè)集不公開專人管理定期換一批題使用私有化評(píng)測(cè)題庫(kù)避免直接從公開數(shù)據(jù)集整包拿過來用上線新題時(shí)做相似度去重防止跟已有訓(xùn)練語(yǔ)料高度重合的題混入。4.2 執(zhí)行流程與工程化Runner、Mock與多次運(yùn)行一次完整的評(píng)測(cè)執(zhí)行本質(zhì)上是把“數(shù)據(jù)集Agent配置外部服務(wù)MockerJudge”都編排起來跑一遍。我的建議是把它做成一個(gè)Runner腳本允許參數(shù)化傳入模型版本、Prompt模板、工具配置和評(píng)測(cè)集ID。執(zhí)行流程大概是加載評(píng)測(cè)集遍歷任務(wù)對(duì)每個(gè)任務(wù)初始化Agent環(huán)境包括Mock外部服務(wù)的響應(yīng)運(yùn)行Agent記錄完整軌跡推理過程、工具調(diào)用、中間回復(fù)、最終回復(fù)超時(shí)和異常要單獨(dú)標(biāo)識(shí)而不是直接判失敗否則會(huì)把超時(shí)誤當(dāng)成能力差將軌跡和結(jié)果交給Judge打分匯總所有分?jǐn)?shù)寫入結(jié)果數(shù)據(jù)庫(kù)生成評(píng)測(cè)報(bào)告。這里有兩個(gè)容易被忽略的細(xì)節(jié)分別說一下。第一個(gè)是外部服務(wù)的Mock。Agent大量依賴工具調(diào)用如果直接連真實(shí)測(cè)試環(huán)境會(huì)出現(xiàn)網(wǎng)絡(luò)抖動(dòng)、數(shù)據(jù)不一致、接口限流等噪聲干擾評(píng)估結(jié)果。我們要求所有工具調(diào)用都要能被Mock掉Mock的響應(yīng)要穩(wěn)定且可以版本化管理。A/B測(cè)試可以上真實(shí)環(huán)境但離線評(píng)測(cè)必須保持環(huán)境純凈。第二個(gè)是多次運(yùn)行取分布。Agent具備隨機(jī)性即使溫度設(shè)0也不能保證完全確定工具返回內(nèi)容、上下文方差都可能導(dǎo)致結(jié)果漂移。所以關(guān)鍵實(shí)驗(yàn)我建議同樣的任務(wù)至少跑3次記錄成功次數(shù)的分布而不是單次結(jié)果。比如某任務(wù)跑了3次成功2次成功率記為0.67這比單次0或1有意義得多。代價(jià)是評(píng)測(cè)耗時(shí)增加但換來的是對(duì)穩(wěn)定性的理解值得。4.3 回歸看板與發(fā)布門禁讓評(píng)測(cè)真正影響決策評(píng)測(cè)體系如果只是每周出一份報(bào)告價(jià)值就少了一半。真正要讓評(píng)測(cè)影響決策必須做成“門禁”和“看板”看板要常駐。我們有一個(gè)內(nèi)部頁(yè)面展示主干版本的每個(gè)指標(biāo)折線圖。橫軸是版本號(hào)縱軸是歸一化分?jǐn)?shù)或原始指標(biāo)。任何人一打開就能看到上一版到這一版哪個(gè)指標(biāo)漲了、哪個(gè)跌了。這比評(píng)審會(huì)上翻PPT高效太多。門禁要硬。在CI/CD流水線里加上評(píng)測(cè)步驟核心回歸集不過不允許merge到主干A/B測(cè)試沒完成不允許全量發(fā)布。具體門檻可以這樣設(shè)置任務(wù)成功率不低于前一個(gè)版本安全違規(guī)率為0p95延遲增加不超過5%單任務(wù)成本增幅不超過10%。這里的安全違規(guī)率我建議設(shè)置成硬性0容忍其他指標(biāo)可以允許小幅波動(dòng)但要解釋原因?;貧w看板還有個(gè)作用逼著團(tuán)隊(duì)面對(duì)穩(wěn)定性的問題。如果某個(gè)版本成功率抖動(dòng)很大看板上會(huì)顯示方差變寬這時(shí)候不管是模型還是評(píng)測(cè)集的問題都得停下來查清楚而不是看均值“好像還行”就放過去。5. 常見問題與排查技巧實(shí)錄前面講的都是理想框架實(shí)操中幾乎每一步都會(huì)出幺蛾子。這一節(jié)專門記錄我遇到過的高頻問題每個(gè)都踩過坑希望能幫你少走彎路。5.1 LLM-as-Judge不聽話評(píng)分飄忽、與人類不一致現(xiàn)象一同樣是“很好”的答案換了個(gè)Judge模型就變成低分。排查方案是先看評(píng)分卡是不是足夠客觀。如果評(píng)分卡還在用“請(qǐng)?jiān)u估回答質(zhì)量”那是評(píng)分卡的問題不是Judge的問題。改成帶維度粒度和示例的評(píng)分卡一致性會(huì)明顯提升?,F(xiàn)象二Judge和人工標(biāo)注的一致性只有60%。這種時(shí)候不要硬上Judge先找到分歧集中在哪類樣本。我遇到過Judge對(duì)“間接回答了問題但沒直接給答案”的情況格外嚴(yán)厲而人類覺得這種回答可以接受雙方打分手腕不一樣。解決方案是給Judge加一條“允許Agent追問澄清”的規(guī)則并在標(biāo)注手冊(cè)里同步說明讓人類和Judge對(duì)齊?,F(xiàn)象三Judge自己出現(xiàn)幻覺在理由里寫了一些回答里根本沒有的內(nèi)容。這種情況只能靠更換更強(qiáng)的Judge模型以及增加“回答中是否包含xxx”這種可驗(yàn)證性的評(píng)分維度來緩解。記住Judge也是有幻覺風(fēng)險(xiǎn)的模型不能全盤信任。5.2 人工標(biāo)注質(zhì)量和一致性差最典型的場(chǎng)景是雙人標(biāo)注一致率不到70%Kappa低于0.5。一開始我們以為是標(biāo)注員不認(rèn)真后來復(fù)盤發(fā)現(xiàn)是標(biāo)注手冊(cè)里“邊界案例”太多比如“用戶要求Agent幫忙改寫郵件但保留語(yǔ)氣不變”什么樣算語(yǔ)氣不變不同人理解完全不同。解法分三步第一步把分歧最大的樣本收集起來逐條討論把新確認(rèn)的規(guī)則補(bǔ)進(jìn)標(biāo)注手冊(cè)。第二步對(duì)標(biāo)注員做一次集中培訓(xùn)重點(diǎn)講新增的邊界案例。第三步重新抽一批獨(dú)立樣本測(cè)Kappa。通常這一輪下來一致性會(huì)從0.5拉到0.7以上。如果還不行就得考慮是不是指標(biāo)本身定義太模糊需要換一個(gè)更容易判定的指標(biāo)。5.3 A/B測(cè)試跑不出顯著差異這是最讓人崩潰的場(chǎng)景之一明明離線評(píng)測(cè)有明顯優(yōu)勢(shì)線上A/B就是沒有顯著結(jié)果。我遇到過的原因有三種第一種樣本量確實(shí)不夠。跑了一周就著急看數(shù)據(jù)置信區(qū)間寬得能裝下整個(gè)宇宙。解法是事先算好樣本量耐住性子跑夠時(shí)間。第二種指標(biāo)選錯(cuò)了。離線評(píng)測(cè)用的是任務(wù)成功率線上實(shí)際統(tǒng)計(jì)的是“用戶發(fā)起會(huì)話后有沒有點(diǎn)‘已解決’”這兩者口徑差異很大。我在早期犯過這個(gè)錯(cuò)離線成功率提升10%線上“已解決率”紋絲不動(dòng)最后發(fā)現(xiàn)線上用戶根本不會(huì)主動(dòng)點(diǎn)“已解決”。解法是要用跟業(yè)務(wù)結(jié)果強(qiáng)相關(guān)的指標(biāo)來做A/B而不是直接搬離線指標(biāo)。第三種版本差異被噪聲淹沒。線上流量本身波動(dòng)很大節(jié)假日、活動(dòng)、渠道投放都會(huì)帶來噪聲。建議A/B期間同時(shí)監(jiān)控自然波動(dòng)數(shù)據(jù)或者用分位數(shù)、更長(zhǎng)時(shí)間的窗口來觀察而不是只看每天的均值。5.4 評(píng)測(cè)集污染與線上失真評(píng)測(cè)集被污染的表現(xiàn)是離線分越跑越高線上業(yè)務(wù)指標(biāo)毫無變化甚至下滑。除了訓(xùn)練數(shù)據(jù)可能包含評(píng)測(cè)題之外還有一種常見情況是評(píng)測(cè)集本身構(gòu)建時(shí)帶偏見——偏向某一種回答風(fēng)格或問法導(dǎo)致Agent在評(píng)測(cè)集上練得“過擬合”。防止線上失真的核心是兩條一是評(píng)測(cè)集持續(xù)更新不能一年到頭就那幾百道題二是定期做“盲測(cè)回流”——從線上隨機(jī)抽出真實(shí)用戶請(qǐng)求作為臨時(shí)評(píng)測(cè)樣本跑一輪離線評(píng)估看離線分?jǐn)?shù)和線上真實(shí)表現(xiàn)是否一致。一旦發(fā)現(xiàn)兩者越來越脫節(jié)就要馬上重寫評(píng)測(cè)集或調(diào)整評(píng)測(cè)邏輯。模型在進(jìn)化用戶問題也在進(jìn)化評(píng)測(cè)集不是一次性資產(chǎn)這點(diǎn)一定要有意識(shí)。我個(gè)人在實(shí)際操作中的一個(gè)體會(huì)是評(píng)測(cè)體系做得越久越要警惕“為了好看而評(píng)測(cè)”。指標(biāo)不是越多越好手段也不是越高級(jí)越好關(guān)鍵是能不能幫你在正確的時(shí)間攔住錯(cuò)誤的版本。這些方法組合在一起就是我和團(tuán)隊(duì)目前跑得很順的v21.0方案。它不一定適合所有團(tuán)隊(duì)但至少提供了一條從“憑感覺”走向“用數(shù)據(jù)說話”的可行路徑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚州欧美总和| 欧美大香蕉在线观看| 天天躁日日躁狠狠狠躁| 欧美少妇性乱| 亚洲美乱| 久久婷综合| 欧美大香蕉久| 亚川综合视频| 亚洲人成在线放东京热| 丝袜足交视频| 欧美综合加勒比在线| 嗯嗯啊啊用力视频免费| 人妻中文字幕日韩电影| 欧美人与动性人交a| 无卡一区=区| 亚洲午夜免费狠狠干| 亚洲国产婷婷在线播放| 最新的亚洲无吗| 男人在线天堂| 亚欧美综合网| 精品人妻丰满熟妇一区二区三| 老女人碰碰在线碰碰视频| 欧美九九爱| 伊人黄色视频免费观看| 乳欲人妻办公室奶水| 久久春色| 亚洲伊人久久综合97| 久草综合网| 欧美另类自拍 | 国产女人91精品嗷嗷嗷嗷| 久久久性| 国产美女销魂在线观看不卡| 中国一级特黄大片护士| 高清国产成人无码| 国产丝袜欧美在线视频| 欧美人人曰人人操人人射射| 天天狠操| 综合久久久久久久综合网| 国产成人91一区二区三区| 国产少妇内射| 久久久久久久久女黄| 高清肉丝中文无码| 亚洲国产精品久久久久婷婷老年| 欧美热图99| 欧在线一二区| 国产精品白领在线观看| 亚洲av综合伊人久久| 国产精品久久久久无码Av网曝门| www.亚洲成人一区| 日韩免费大片一级播放| 欧美日韩岛国大片在线观看| 亚洲av乱伦色图网站| 日韩 欧美 视频 在线 一区| 男人天堂站| 国产精品天美传媒| 情色av电影| 久久这里精品国产99丫e6| 99999久久久久9国产精品| 一区 欧美 日韩 麻豆| 97视频620| 色大师网站www永久网站视频| 人人超碰在线观看黄| 操逼999| 中文一区二区| ..日韩av毛片精品久久久| 亚洲精品官网在线观看| 色色五月天激情| 久久这里都是精品| 91丝袜激情在线| 色综合 加勒比| 日韩精品人妻一区二区| 1000部熟女视频在线观看| 久热影视| 婷婷亚洲综合| 成年男人的天堂| 2026国产精品视频| 夜夜欢天天干| 亚洲第2页| 久久免费老司机精品| 超碰中文字幕人妻草一区| 成熟熟女国产精品一区二区| 97av在线观看| 国产福利小视频高清在线观看| 亚洲AV无码国产精品久久久久 | 97视频在线免费| 中文字幕一区二区三区50路| 日韩不卡av一二三| 欧美色图私拍91| 国产精品农村妇女精品| 久久中文字幕一区不卡| 丁香六月综合激情| 欧美韩国你懂得在线| 岛国天天午夜影院传媒网| 白丝一区| 国产这里只有精品| 九九九九免费视频| 天天看夜夜看日日干| 97任你吞精| 91熟女综合| 少妇贴图| 九九99久久| 久干网| 色图综合网| 99爱爱| 久久久99999久网站| 亚洲小说视频| 999综合色| 好吊色青靑草| 亚州精人品大香蕉| 亚洲一区中文精品| 超碰超碰95| 欧美精品欧美精品系列| 在线国产一区二区av| 免费久久9999| 精品国产丝袜一区二区三区乱码 | 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久97资源 网| 干少妇视频| 91GD.COM| 亚洲丝袜二区在线| 国产福利影视| 超碰偷拍| 六月激情婷婷| 久久精品国产亚洲5555| 欧美日韩高潮喷水91| 97se亚洲| 久久超碰久| 日韩色| 防屏蔽在线视频| 日本精品一区二区不卡| 五月天婷婷基地| 大逼色网站| 岛国成人av在线播放网址| 青青草久草AV| 中文字幕性感少妇av| 精品国产乱码久久久久久日本公司| 亚欧成人综合影院| 桑老女人九区| 黑操B| 成人一道本免费视频| 欧美五区| 久久久久久精品免费看A级| 97一本大道亚洲一区| 色狠狠 - 百度| 午夜精品久久久久| 欧美顶级黄色大片免费| 亚洲天天自拍| 18一区二区三区| 精品午夜福利| 久久99精品国产| 国产真实野战在线视频| 午夜噜噜噜| 超碰 97国产熟女| 国产极品精品美女视频| 蜜臀久久99'精品久久久| 免費黃色視頻觀看一| 香蕉视频精品亚洲一区二区三区在线播 | 欧美78| 久久一区二区高清免费| 日本久久久久久久久久| 91久久久久免| 欧美性爱无码一区二区三区| 怡红院网站在线视频| 狠狠色婷婷7777久| 一中国女人毛片水真多| 精彩久久中文| 欧美黑人性猛交91| 日韩av在线免费网站| 亚洲交性| 91天美免费| 玖玖蜜臀资源网| 久久夜黄色无码A级大片| 不卡六六在线91| 精品久久青青草| 日韩欧美aⅴ综合网站发布| 亚洲成人AB| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 亚洲图片欧美另类综合免费视频大大香| 国产成人网站在线观看| 国产乱伦亚洲色图高清无码| 亚洲91在线| 伊人久久亚洲色欲综合网站 | 飘花国产午夜精品不卡| 久久青青草在线视频| 久热久操| 欧美爆操91| 另类小说五月天| 欧美日韩日产免费网站看| 91老司机视频| 超碰天天去日穴| 神马久久69| 毛片中心9视频99| 激情五月天丁香社区| A 在线网址| 亚洲色图91| 久操电影网| 美女天天干| 日影院久久婷婷夜夜网| 老女人碰碰在线碰碰视频| 天美av在线观看| 99热网站| 在线只有精品| 乱精品一区字幕二区| 亚洲AV成人无码一区二区三区在线观看| 6080YYY午夜理论片在线观看| 麻豆天美在线| 久久久久久久久久久精| 久久久555| 美女网站黄页| 91美女视频直播| 日韩熟女视频二区| 加勒比av网| 国产天天噜一噜久久久| 久久9精品网站| 日本孕妇孕交| 97天天综合| 久草在线| 波多野结衣之双飞调教在线播放 | 日韩在线76| 五月花婷婷| 超碰免费人人| 亚洲色人妻综合| oumeisetu综合| 麻豆天美国美国产AV| 色丁香五月婷婷| 天天综合在线4| 久久午夜伦| 混色激情av| 亚洲精品丝袜| 热久久99999| 精品人妻一区二区三区夜夜| 欧美性综合| 密臀在线视频| 丝袜夫妻自拍| 大香蕉黄色一级片免费看| 国内偷自视频区视频综合| 色翁荡息又大又硬又粗又爽| 久久99综合| 久久国产精品91| 丝袜制服字幕在线| 好看的久久不射无码影视影院| 秋霞福利网| 九t超碰| 女人天堂av在线播放| 国产免费黄色一级大片| 国产亚洲日本精品在线| 精品一啪| 三男一女不戴套的A片| 国产精品一二三区18| 四虎国产精品永久入口| 伦伦成年午夜免费视频| 六月丁香网| 台湾佬激情综合| 刺激精品视频| 在线观看啊啊啊啊啊| 无码人妻一区二区三区免费九色| 亚洲AV无码AV吞精久久久久| 综合色图区| 久久m| 四虎影视国产精品| a片久久久久久久久久久久 | 精品免费囯产一区二区三区| 100啪啪视频大全| 一区二区三区免费岛国片| 激情五月天色播| 欧美在线啊啊啊 | 久久国产视频性吧| 330dv亚洲成年视频网| sewuyueav| 中文字幕91页| 97久久超碰国产网站| 97在线观看免费| 日韩综合成人免费视频| 大香蕉伊利av| 偷拍盗拍亚洲色图图片| 九月丁香综合网| 熟妇熟女一区二三区| 97ai亚洲| 爱av免费| 欧美天天在线| 郑州宾馆老熟女露脸啪啪| 蜜桃中文字日产乱幕4区| 日本高清一本二本免费不卡| 777AV电影| 色狠狠综合噜一二三区| 可免费观看的av毛片中日美韩| 欧亚在线视频| 天天搞欧美| 久久久久亚洲Aⅴ无码| 97香蕉人人乳| 国产高清视频无码在线| 91精品国久久久久久无码| 懂色Av| 99免费视频| 丰满人妻-区二区三区免费看| 大色综合网| 天堂涩涩| 激情啪啪拍91| 东京太热男人的天堂久久久| 伊人91| 清纯唯美第一页| A片三级无码| 狠狠躁久久躁| 久久婷五月| 亚洲无码日韩电影| 成人五月香网在线| 日本爽爽爽爽爽爽免费视频| 欧美一区二区三区大综合| 欧美人黑A片无码免视费| 成人综合色网| 岛国大片在线观看网站入口| 免费97视频| 欧美不卡二区| 超碰偷拍| 毛片中心9视频99| 久久AV无码AV| 亚洲色图国产另类| 韩国一级婬片A片AAAAA| 久久区| 91扒丝袜综合在线| 日本性爱不卡视频| 国产成人五月天丁香花| 久久国产精品91| 成人av福利在线观看| 国产精品熟妇一区二区三| 国产AV久久野战精品| 男人天堂最新手机版在线青青草| 欧美日韩超碰在线| www亚洲免费| 午夜精品久久久99热蜜桃的功能特点| 性色一线| 韩国午夜理伦三级好看| 91欧美网| 天天激色| 日本久久久久久久久| 亚洲av综合伊人久久| 91久久久老司机| 国内毛片免费h片在线| 97国产精品一区二区传媒公司| 91国产精品熟女| 日韩中文字幕国产| 亚洲高清综合网| 97久久精品国产| 色色色99| 国产精品久久久久久久黄无码| 夜夜春夜夜操| 2017大香蕉国产精品久久| 国产AV久久久蜜爱影集| 中字幕人妻一区二区三区| 欧美少妇高潮| 中文字幕精品乱码| 啊…啊…操我用力操我| 午夜电影在线观看无码专区| 亚洲av噜噜噜噜噜噜| 精彩久久中文| 欧洲亚洲人妻无码中字久久三区四区 | 日韩激情啪啪| 波多野结衣一级视频| 国产精品播放| 后入综合久久| 噜噜噜亚洲精品| 黄页大片在线观看| 久久XX| 97精品视频免费| 性爱av网站| 亚洲一区二区三区在线激情| 亚洲最大的综合性av| 精…码一二三区| 久久久九| 久艹99| 超碰538| 九九久久一区二区三区| 天天插天天插| 成人夜夜爽| 久久精品美女一区| 日本激情免费大片| 中文日本免费高清| 日韩中文字幕精品一区在线| 日本熟女不卡视频| 国产黄色剧情影片麻豆免费播放| 国产精品久久久久久久久久久久| 亚洲天堂另类| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 亚洲 欧美日韩 另类| 亚洲精品白浆高清久久久久久| 国产强奸乱伦欧美| 精品福利| 亚洲第一页第二页激情| 日本性爱视频一级| 久久天天艹| 亚洲成?V人片在线观看福利| 久久精品三级影视| 日韩中文字幕二区| 免费黄色视频网址| 丰满少妇人妻久久久久久| 男人的天堂2018东京热啪啪啪| 日韩在线76| 污到发麻的视频 国产| 99999精品成人| 黄色高清久久无码依人| 91AV天堂| 日本二区不卡| 国产精品美女| 亚洲h片在线免费观看| 国产日逼视频| 中文字幕精品区先锋资源| 亚洲欧洲色情高清| 哑洲在线| 色噜噜狠狠色综无码久久合欧美| 欧美v日韩v亚洲v最新在线| 欧美精品精品一区二区| 国产一级特黄大片处女| 一块操欧美| 99久久com免费视频′| 999久久久久久久精| 欧美爆操91| 四虎在线免费视频| 色妇综合网| 欧美精品久久久久久久丰满| 日本岛国黄色网址| 天天摸夜夜摸| 大香蕉伊然在亚洲91| 超碰97极品9| 久久大黄片| 91视频伊人| 操逼操逼逼操操逼91 | 九九九九欧美| 蜜臀网 一区| 思思视频免费看网站| 国产中文字幕曰本毛片| 久久天天摸| 国产不卡中文字幕免费avi| 锕锕好爽 死我在线观看| 欧美se综合| wwwxxx日本爽| 五月天色图影视| 久久久99999久网站| 久久久久久十| 亚洲情色中文字幕一区| 亚洲情色一区综合| 精品国产乱子伦一区二区三区,精品一| 人人做,人人操,人人摸| AV 少妇 人妻 偷拍| 热久日综合| 舔足天天操天天射| 欧美日韩国内不卡| 久久久不卡区一区二区三区久久久| 强乱老妇中文字幕| 黄色网址在线免费观看| 成年男人的天堂| 91欧| 思思热免费视频观看| 亚洲综合113页| 蜜臀久久久99久久久久| 亚洲熟女中文字幕在线| yy少妇精品久久| JIZZJIZZ亚洲女人被躁| 97色伦欧美| 亚洲第一视频 欧美风情 日韩| 不卡av在线中文字幕| 综合色图亚洲欧美| 91亚洲电影| 久久精品99| 免费久久一级毛片大黄| 美国美女AV在线| 婷婷国产精品一区二区| 色综合尤物| 亚洲欧洲无码一区夜| AV乱伦专区| 亚洲色图20p| 国产品精品自在在线午夜免费| 日本天天操| 欧美综合色,www| 亚洲高清无码免费观看视频| 人妻激情视频| 婷婷色导航| 国产精品久久久亚洲第一牛牛_在线观看 | 国产一区二区在线电影| 99re在线视频| 人人操人人大香蕉| 欧美精品系列| 久久香蕉国产传媒一区剧情天美| 婷婷爽人人婷婷爽视频| 啪啪视频mP4| 乱操乱伦AV| 欧美日韩人人早| 强奸乱伦免费网站| 伊人aaa| 日本欧美亚洲高清在线看| 亚欧美综合网。| hd成人一区二区在线| 1区2区3区中文字幕日韩| 亚洲日韩青青草色月| 自拍第一页| 啊视频在线| 国产精品一区二区三| 99re6久热只有精品6在线直播| 97在线免费观看| 亚洲男人的天堂V| 国产精品午夜福利亚洲综合网| 操操操操网黑人| 韩国成人精品久久久免费看| 深爱伊人影院| www.97在线| 人人操人人摸人人看人人插| 日本精品一区二区三| 99日韩| 日韩一级欧美一级国产一级台湾| 久久婷婷欧美| 九九九九九九九精品视频| 日韩欧美亚洲自拍偷拍| 午夜福利在线合集| 很很干很很操| 精品人妻中文字幕4399| 男女啊啊啊啊啊| 5252色欧美在线| 国产精品久久久久久久黄无码| 精品少妇一区二区三区| 丰满少妇人妻久久久久久| 岛国激情视频软件| 亚洲国产熟妇综合色专区| 久久超碰免费的| 亚洲第一无码播放立川理惠| 亚洲精品国产精品成人| 日本亚欧爱爱| 久久久久久中文版| 亚洲欧美精品一区天堂久久| 欧美日韩一区二区三区四区蜜桃| 久久久久少妇| 国产蜜臀精品一区二区尤物| 999综合色| 国产按摩一区二区三区| 日韩不卡毛片Av免费高清| 亚洲av青草久久一区二区| 蜜桃精品一区二区三区久在线| 欧美拳交在线播放| 天天做日日爱夜夜爽| 在线午夜成人无码视频| 天天色综合影视网| 国产和美国毛片| 久久综合日韩亚洲欧美| 成人欧美一区二区三区黑人一| 亚洲第一狼人丝袜美女另类| 天天视频黄| 激情一区二区| 人人澡人人干| 精品人妻一区二区三区四区| 国产女人9999| 97国产色图| 久久视网78| 日本亚洲vr欧美不卡高清专区| 久久五月丁香| 久久婷婷热| 欧美顶级黄片AAAAA在线免费看| 一本大道不卡一二三区| 五月丁香六月综合缴清无码| 久久六六| 人妻精品免费一二三区| 国产农村妇女精品| 欧美一二三| 舔足天天操天天射| 97久久国产精品女不卡| 欧美性性性| 久热这里只有精品9| 欧美成人贴图| 91性网| 草草草视频| 色九久| 试看60秒 爽| 久久精品一区二区一8| 极品色| 懂色Av| 综合影院永久入口国产| 呦呦影院| 51一区二区三区| 亚洲操人| 女人爽到高潮久久久| 激情综合97| 欧美日韩资源在线| 人人爽人人精品乱人伦AV| 亚洲综合夜色| 一本大道青青| 五月亭亭六月丁香| 国产亚洲精品久久久久小| 国产女人高潮嗷嗷嗷叫小说 | 欧美情色男人的天堂| AV在线资源| 综合天天。| 日韩精品啪啪啪| 毛片久久| 玖玖爱免费观看视频| 色香蕉影院| 久久久工口| 嫩草影院永久在线制服丝袜| chaopen97久久| 日韩无码一区二区三区| 亚洲密乳AV| 亚洲精品乱码久久久久久蜜桃麻豆| 婷婷六月色| 天天日日日射| 中文字幕一品色图| 日韩欧无码一区二区三区免费不卡| 国产家庭乱伦性爱视频| 精品婷婷| 最新精品久久蜜桃 | 蜜桃天美传媒AV一区二区三区| 欧美色图亚洲激情| 美女极品一区二区三区| 麻豆国产尤物AV| 午夜后入| 久操视频在线观看| 亚欧高清在线| 91欧美美女日韩国产婷婷| 天天碰久久入| 99re国产精品视频| 久久精精区一区二区一蜜桃一区二区| 色天堂综合| 色九久| 欧美日韩国产色图在线| 怡红院怡春院| 日韩在线电影| 日本在线视频导航| 亚洲精品国产av天美传媒| 天堂成人网| 国产99久久99热这里只有精品15| 啊啊啊好湿国产一二| 亚洲欧美校园| 中日韩久久久| 精品国产72| 日本一二区不卡| 精品一区二区亚洲国产| 国产成人天堂| 国产成人 综合亚洲 天堂| 日本三级中国三级99人妇网站| 久久熟女久| 免费无码婬片AAAA片直播色戒| 少妇滛荡视频| 久久精品人妻一区二区三区| 一区二区三区视频国产免费| 超硑97精品| 人人爱人人乐人人操| 91狠狠色丁香婷婷综合久久| 国产精品电| 色色福利| 久久精品高清无码一区| 秋霞成人一级在线观看| 亚洲精品欧洲精品| 亚洲精品一二牛牛| 夜夜嗨av午夜成人| 69XX一中文字幕人妻91| 91亚洲不卡一区| 黑人猛交| 欧美在线伊人色| 欧州一区二区三区四区| 国产人伦精品一区二区三区| 久久综合九色综合欧洲98| 男人的天堂网免费| 欧美天天弄| 青青草原狼av| 97色伦97色伦国产欧美| 丰满搜索结果 -第18页- 久久高清无码| 美女被啪到深处抽搐视频| 午夜天天碰综合视频| 麻豆天美一区二区| 九九久久久九九| 自拍偷拍第26| 加勒比伊人综合| 色久桃花影院在线观看| 色亚州人久干视频在线观看免费版| 操操操日本的逼| 岛国不卡超碰护士AV在线播放| 99久久久er直播网址| 欧美洲精品一级| 国产激情久久久| 亚洲欧美天堂| 密臀视频一区二区三区| 午夜福利视频在线一区| 欧综合网| 国产精品网站免费| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 亚洲少妇色图自慰直播| 97欧美性爱| 蜜臀99久久国产| 最新一二三区视频| 国产欧美岛国精品一区| 天天躁日日躁狠狠狠躁| 亚洲AV乱码专区国产噜噜亚洲| 亚洲图片激情综合另类| 午夜九九| 麻豆久久久久久久久丝袜 | 欧美日韩222| 亚洲精品影视老司机| 97精品全部| 美女的肌被草喷水视频| 麻豆啪啪啪视频| 中文乱码字字幕在线第5页| 9999亚洲精品| 亚洲天堂中文字幕无码男同| 国产毛片久久久久久久| 亚洲黄色电影| 国产精品丝袜久久亚洲不卡| 色婷婷丁香五月| 91影库| 日韩色香| 国产夫妻性生活视频| 天天肏美女| 亚洲无码一区二区三区三州| 26UUU欧美日本| 97超碰中文字幕| 黄色二级片网站| 五月天激情四射| 免费人成在线观看网站品爱网| 揉揉日日日日| 日韩精彩视频| 日本99一区二区| 69精品少妇一区二区三区蜜桃| 日本熟女中文字幕一区| 高清国产精品福利网站| 蜜臀Av一区二区三区| 小骚逼被操的爽不爽| 国产青一二三| 亚洲久热| www色色com| 亚洲国产一级精品毛一级精品看免费视频| 欧美一区二区男人天堂| 水滴偷拍| 国产嫩草精品A88AV| 98精品国产乱码久久久久久| 大香蕉综合| 日韩草久视频| 夜夜操狠狠操| 日本三级韩三级99久久| 久久久亚洲欧美综合| 日本1区2区不卡视频| 欧美性爱第1 页| 人妻丝袜日本| 91精品91久久久中77777| 941超碰| 岛国不卡超碰护士AV在线播放| 成人老鸭窝人人在线视频| 爱爱60秒免费视频| 久久天堂婷婷网| 99色视频| 国产熟女少妇一区| 日韩三级视频一区二区三区| 亚洲夜夜欢无码一区二区| 尤物一级在线免费观看| 日韩一性一交一A片俄罗斯| 欧美精品成人在线播放| 大黄片做爱的大的| 国产精品美女在线一区| 亚洲 日本 国产 综合| 国产AV色黄看到爽| 久久男人精品| 日韩国产乱子伦App| 亚洲精美粉嫩嫩泬在线观看| 国产综合网站在线播放 | 日韩欧美中文字幕搭讪巨乳美人妻视频| 91精品人妻五十路| 丝袜视频网国产90| 久久久女人| 资源新线在线天堂| 国产精品不卡高清在线观看| 国产精品白丝在线播放| 乱伦一区二区三区‘| 91在线超高颜值国产| 嫩草一区二区在线观看| 伊人久久大香大香线蕉中文| 97在线精品| 91爱综合| 日本男人插女人的逼黄色| 91影视亚洲| 久夜操| 久久精品国产亚洲5555| 亚洲天堂五月天国产| 伊人精品久久网站| 综合网色| AV天堂男人的天堂| 亚洲国产中文字幕| 精品久久久久久久| 大学生口爆吞精| 亚洲精品美女久久久久久久久| 亚洲天堂区| 日韩懂色网| 天天综合91入口| 久久成年片色大黄全免费网站| 黄片免费看的| 婷婷爱五月| 操操操操网黑人| 操一对老熟妇爽上天视频| 久久精品国产Aⅴ| 黄页视频网站野外| 99这里都是精品| 久久久性爱视频| 人人澡人人干| 亚洲第一狼人丝袜美女另类 | 9Ⅰ超碰| 免费精品中文字幕| 99热| 中文一区二区| a片在线播放| 综合一区中亚洲国产成人综合精品 | 精品91摸| 欧美综合中文| 婷婷丁香九月| 91女在线观看| 97中文字幕一区| 天天插夜夜操| 大香蕉免| 蜜臀久久99精品久久久久久婷婷| 377p欧洲日本亚洲大胆| 久久久亚洲精品电影免费看| 中文字幕欧洲有码| se01国产在线视频| 色噜噜人妻av 中文字幕| 欧美小说区视频区| 免费簧片在线观看| 丝袜视频一区二区在线播放国产中文| 青青在线视频日韩欧美| www.色操逼| 少妇人妻激情四射| 久久伊人亚洲AV无码网站 | 丝袜人妻av一区二区| 91精品丝袜久久久久久| 风月影院男女十八禁| 男插女青青影院| 精品国产少妇高潮视频| 亚洲欧美综合网| 日本在线播放不卡一区| 九九九九九九九九九九九九九九九女| 小说区 图片区色 综合区| 九九热在线视频| 国产三级中文字幕粉嫩| 久久久久久久亚洲Av无码| 99www.bibizy香蕉资源国产一区二区三区高清| 毛片一区二区| 麻豆视频test| 激情小说亚洲| 日韩精品三区四区| 日本久久女同性恋视频| 女色视频社区| 校园春色综合网| 中文字幕国产精品1区| 久久高潮妇女视频| 五月婷婷六月激情| 另类欧美色| 91色综| 狠狠爱综合网| 无码人妻丰满熟妇奶水区毛片| 色色毛片| 免费网色网站| 亚洲天堂人妻熟妇视频| 亚洲日韩久久精品一区| 国产福利小视频高清在线观看| 欧美青青草视频| 97人人干人人操| 久久内射| 青青操97| 人妻丰满熟妇一区二区三| 最新av在线| 日韩性爱再线视频| 夜夜嗨一区| 人妻天天夜夜爽一区二区| 国产精品香蕉| 樱花草社区www中国| 思思热久久成人| 丰满少妇精品一区二区| 99∨VTV| 中文字幕在线免费观看2| 91国产大片| 成人免费福利网站国产| 天天夜夜rb| AV一二区| 屁屁影院一区二区三区国产| 东北老熟女| 亚洲射综合网| 国产一级做a爰大片免费久久| 亚洲三级。日韩三级| 啊嗯好大视频在线观看| 国产精品无码久久久久2028| 亚洲欧美校园| 欧美激情亚洲色图| 日本熟妇人妻中出视频| 一区二区影视| 亚洲视频二区| 加勒比大香蕉视频在线| 亚洲日本激情| 亚洲男人天堂网站| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 亚洲第一页欧美| 性爱乱伦一区| 日本熟妇浓毛hdsex| 国产免费一区| 日本久操视频| 人、人、摸,人、人、草| 欧美中出| 天天久久久久久| 久久精品视频28| 久热九九| 伊人影院综合是一个与深夜成人在线 | 顶级丝袜熟女一区二区三区| 97综合网| 日日躁天天躁狠狠躁| 久久111| 在线 制服丝袜中出 人妻| www.久久制服糖| 60秒不遮不挡| 综合情欲网| 欧美一级专区免费大片| 亚洲精品九九九九九九| 蜜臀AV网站| 日本高清视频xxxx| 亚洲综合网91| 亚洲国产中文字幕| 久久久久久久78| 日韩啪啪啪啪啪| 亚洲欧美国产其他二区| 久久性生大片免费观看性| 亚洲 欧美 日韩另类 麻豆| 天天做天天爱天天爽AV| 志村玲子视频一区二区| 欧美性爱伊人| 久久精品店| 懂色av色欲av蜜臀av| 欧美精品精品一区二区| 欧美色另类| 国产丁香精品露脸视频| 91超碰在线播放| 一区,二区,三区视频| 不卡九肏| 中文字幕一二三区| 伊人综合色网| 96AV精品| 殴美,日韩国产伦精品| 九九99久久| 欧美十八禁在线看| 欧美精品1区2区3区| 美国一区二区三区视频| 吖在线不卡一区二区国产剧情| 999久久久免费精品国产牛牛| 香蕉视频欧美一卡二卡| 欧美激情专区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 欧美91在线| 777超碰| 超碰九7| 美女黄网| 高清国产无码av| 日本高清免费一本视频在线观看| 日本中文字幕不卡视频| 富女玩鸭子一级毛片| 丁香婷婷五月| 91人妻最真实刺激绿帽| 国产综合在线视频网站| 日本高清视频xxxx| 亚洲精品人妻在线| 人妻乱仑一区二区三区| 岛国成人av在线播放网址| 99久久婷婷国产综合| 激情五月婷婷综合| 欧美|91色综合| 91女神在线视频| 97在线欧洲| 欧日韩在线观看| 人妻天天爽夜夜爽2| 清纯唯美亚洲另类| 好爽视频在线观看视频| 亚洲影院成人| 日韩操逼HD| 国产高清成人传媒影视| 五月开心网| 超碰性爱97| 国产一区二区精品在线视频| 老熟女天天操| 一级性爱视频免费在线| 天天色天天干天天射| 午夜高清成人在线视频| 精品妇女一区二区三区| 操操操操网黑人| 玖玖爱伊人玖玖爱| 91 丝袜在线播放| 青青青国产手线观看视频2| 久久美女国产| 屌色在线97视频| 男人干美女| 五月天人妻综合| 亚洲国产美女久久久久| 国产白嫩漂亮KTV在线| 天天操夜夜操| 日本久久综合| 欧美熟妇精品黑人巨大91| 强被迫伦姧在线观看无码网站| 欧美性爱视频免费一区一A| www.狠狠| 啊啊啊啊啊啊啊网址在线观看| 舔足天天操天天射| 美国一区二区三区视频| 玖玖视频在线资源一区二区三区| 婷婷五月天无码 | 人妻 丝袜美腿 中文字幕| 加勒比大香蕉视频在线| 乱久久久| 欧美99999| 日韩性爱视频免费在线| 久偷拍| 天美传媒AV在线播放| 亚洲天堂7777| 中文字幕精品人妻丝袜| 男人天堂毛片| 天天摸夜夜添无码小视频| 口爆综合网| 后入式999| 丁香六月激情| 青青草自拍视频在线播放| 中文字幕熟女人妻丝袜丝| 国产综合在线视频网站| 六六久久日韩不卡| 欧美激情一| 3d成人精品一区二区| 日韩AV色图| 天天综合97| 久久色情| 精品久久久一本一道| 精品欧美А∨无码黑人大荫蒂 | 韩三级a视频在线观看| 蜜臀久久99精品久久综合| 一本一道久久综合久久| 日本操逼二区| 人妻在线大香蕉| 亚洲欧洲无码bt精品合集| 欧美国产日韩清纯唯美| 好湿好紧视频| 91粉嫩萝控精品福利网站_精品影音先锋国 | 少妇内射www在线观看视频| 国产日韩精品suv| 欧美日韩夜夜| 少妇久久久久久| 五月婷婷五月天| sewuyueav| 99热在线观看| 97这里有精品| 欧美拳交在线播放| 欧美日韩久久精品爱爱| 亚洲1区| 78操B| 亚洲色天堂日韩中| 天天综合91| 欧美少妇一区二区三区| 欧美成人免费在线观看| 夜夜操夜夜爽夜夜高潮| 中文AV制服乱伦| 午夜成人福利影视| 韩美日操逼| 欧美熟女妇同| 欧美一级久久久久久久大片动画 | 人人天天干干| 97色欧洲| 久久,精品一二三| 久久久蜜桃臀无码视频| 超91综合网| 成人a v在线播放免费| 超碰精品| 黄色av片三级三级三级免费看| 成人精品水蜜桃久久久久久久| 91干熟女| 中文乱码字幕观看| 99re8超碰| 乱伦图一区| 九九九只有精品| 婷婷成人五月天| 日韩电影在线观看网址| 精品十三区| 日韩欧美午夜视频在线| 一卡二卡三卡| 97日本超碰综合| 色翁荡息又大又硬又粗又爽| 操老熟女AV| 激情文学网伊人| 国产午夜福利电影免费在线观看| 国产性爱欧美性爱在线| 中文字幕成人| 人妻精品免费一二三区| 亚拍在线| 3571色综合一区二区二区| 午夜福利国产欧美日韩夜夜| 中文字幕人乱码中文字的预防方法| 操逼操操操91| 秋霞色色影院| 99re综合伊人| 男人天堂.AB| 色久桃花影院在线观看| 超碰97COm中文| 香港日本韩国人妇99www.wccm20| 99久久精品国产高潮| 试看60秒 爽| 精品久久艹| 97人肏| 手机在线人成免费视频| 欧美超碰97| 欧美91久久久久| 超碰 97国产熟女| AV免费在线播放一区| 97超碰色色| 视频在线观看青青99国产| 色婷婷影院| 夜夜嗨TV| 美女啪欧美一区| 婷色五月| 伦伦成年午夜免费视频| 男人的天堂久久久| 伊人久久亚洲色欲综合网站 | 狠狠综合网| 成人日韩3| 色综合av综合久久| 色偷偷2020免费视频播放| 久超超碰| 精品久久99| 日本在线一二| 91|九色|国产熟女| 国内精品a| 大象AV在线| 91 综合网| 狠狠操狠狠燥| 亚州中文字幕超碰97| 97国产精品国| 天天日天天爽| 爽 好舒服 无码刺激久久| 久久久久久亚洲Av无码| 色香AV| 9丨久久九九九| 超碰九九| 老鸭窝在线视频播放| 中文久久96| 试看福利| 亚州久久9| 色第一页| 97香蕉人人乳| 欧美爆操91| 欧美成不卡网| 九九九九88| 少妇蜜汁| 毛片视频白嫩| 亚洲欧洲视频小说在线观看| 五月天婷婷欧美三区| 91丨九色丨东北熟女| 久久欧美性爱视频| 99精品久久久久久久婷婷| 伊人久久综合精品欧美| 激情抓乳插进去啪啪啪日韩 | 欧天美中出| 蜜桃久久久久久久久久久久| 二级久久网| www.AV有限公司一区| 97超碰资源网| 亚洲黄色网址| 久久精品99久久久久久| 大香蕉92| 竹菊一区二区三区AV线| 亚洲图片欧美偷拍| 无码78|