日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

聚合Kappa掩蓋LLM-judge失真:用Python驗證MUD評估中的系統(tǒng)偏差

聚合Kappa掩蓋LLM-judge失真:用Python驗證MUD評估中的系統(tǒng)偏差 最近在評估大模型對話能力時我遇到一個很有意思的問題兩個大模型裁判LLM-judge對一組 MUD 場景生成內(nèi)容打分的 Cohen’s Kappa 非常高說明它們之間“高度一致”。但后來把人類評分拉出來一對比才發(fā)現(xiàn)兩個裁判同時偏向冗長、帶有大量空話的回復(fù)。換句話說裁判之間的一致并不等于裁判的正確。這種現(xiàn)象并不少見但它很難被聚合一致性指標捕捉。這篇文章我想用一套可復(fù)現(xiàn)的 Python 小實驗把“MUD 作為 AI 評估場景”和“LLM-judge 在聚合 Kappa 掩蓋下失真”這件事拆開講清楚。文章適合正在做 LLM 應(yīng)用評測、智能體評估、自動評估 pipeline 的開發(fā)者也適合想了解如何科學(xué)使用大模型做裁判的算法工程師。1. 為什么需要 MUD 這樣復(fù)雜的 AI 評估場景1.1 LLM 應(yīng)用評測已經(jīng)不能靠“單輪問答”早期評測大模型時我們習(xí)慣用單選題、百科問答、代碼補全這類靜態(tài)數(shù)據(jù)集。優(yōu)點是方便批量跑、容易算準確率但缺點也很明顯真實業(yè)務(wù)里的大模型很少只做一次問答?,F(xiàn)在的 AI 應(yīng)用往往需要多輪對話、工具調(diào)用、長期規(guī)劃、角色一致性、上下文記憶等復(fù)雜能力。以智能客服為例用戶可能先問物流再問退款中間還會穿插情緒化表達客服機器人必須跟蹤多輪狀態(tài)而不是每句話都獨立回答。當(dāng)任務(wù)變復(fù)雜后簡單的靜態(tài)評測指標就不好用了。我們不僅需要“答得對不對”還要關(guān)心“在復(fù)雜環(huán)境里能不能穩(wěn)定完成任務(wù)”。這時候MUD 這類開放式交互環(huán)境就顯得很重要。1.2 MUD從游戲到智能體評估環(huán)境MUD 全稱是 Multi-User Dungeon最早是多人實時文本冒險游戲。它沒有畫面玩家通過輸入指令在房間里探索、戰(zhàn)斗、解謎、聊天。MUD 的核心是“長周期、多智能體、自由文本交互”這和大模型智能體面臨的環(huán)境非常相似。在 AI 評估中MUD 可以被改造成一個模擬環(huán)境智能體需要理解房間描述、物品狀態(tài)、NPC 對話。每個決策都會改變環(huán)境狀態(tài)。任務(wù)目標往往不是一句話能說完的需要多步推理。不存在唯一標準答案評估天然帶有主觀性。正因為開放性強MUD 很適合用來考察 LLM 的復(fù)雜推理、指令遵循和長期一致性。它不像傳統(tǒng) benchmark 那樣有固定正確答案而是需要人工或自動化評委去判斷“這次行為是否合理”。當(dāng)然MUD 不是唯一的選擇。類似的還有網(wǎng)文互動、多輪 Agent 模擬、開放世界文本游戲等。但它們共同的特點是輸出空間很大評估困難這也就引出了 LLM-judge 的用武之地。1.3 LLM-judge用模型評估模型因為人工評測成本高、速度慢很多團隊開始讓 GPT 級別的大模型充當(dāng)裁判對被測模型的輸出打分或排序。這種“用模型評估模型”的方式業(yè)界通常叫 LLM-as-a-judge也就是 LLM-judge。LLM-judge 的優(yōu)點很明顯速度快可以并行跑??梢越o定復(fù)雜 rubric比如“是否禮貌”“是否回答完整”。比 n-gram 匹配更接近語義判斷。能處理開放生成任務(wù)。但缺點也同樣明顯大模型裁判本身也有偏好、偏見和誤差。如果評測結(jié)果只依賴一個裁判容易出現(xiàn)“裁判自己也不知道在評什么”的情況。于是團隊會引入多個裁判然后計算一致性指標比如 Cohen’s Kappa來衡量裁判之間是否穩(wěn)定。問題就出在這里一致性很高不代表失真的可能性低。1.4 本文主要內(nèi)容與讀者收獲這篇文章不會只停留在概念層面。我準備用一個 Python 小實驗?zāi)M兩個 LLM-judge 對一組 MUD 輸出進行評分然后展示兩個核心問題Cohen’s Kappa 能反映兩個裁判之間的穩(wěn)定性但它不關(guān)心裁判是否和人類“標準答案”一致。當(dāng)多個裁判共享同一種偏差時聚合 Kappa 不僅發(fā)現(xiàn)不了偏見反而可能給人一種“評估可靠”的錯覺。讀完本文你會理解Cohen’s Kappa 的計算邏輯和局限性。LLM-judge 常見失真來源。如何用 Python 快速計算 Kappa 和發(fā)現(xiàn)系統(tǒng)偏差。在 MUD 場景設(shè)計評估方案時應(yīng)該怎么組合人類、多個裁判、結(jié)構(gòu)化指標。2. 環(huán)境準備與基礎(chǔ)概念2.1 運行環(huán)境本文示例以 Python 3.9 為準使用以下庫numpypandasscikit-learnmatplotlib版本不需要完全固定但建議 scikit-learn 版本在 1.0 以上因為部分 API 在舊版本里可能表現(xiàn)不一致。如果你使用的是 Anaconda直接安裝即可。2.2 安裝依賴創(chuàng)建虛擬環(huán)境python -m venv venv source venv/bin/activate # Windows 下執(zhí)行 venv\Scripts\activate安裝依賴pip install numpy pandas scikit-learn matplotlib如果你只是臨時運行也可以使用 Jupyter Notebook。本文代碼盡量不依賴 Notebook 特性可以直接保存為.py文件運行。2.3 Cohen’s Kappa 是什么Cohen’s Kappa通常用希臘字母 κ 表示是衡量兩個評分者一致性的指標。它不同于簡單準確率因為它排除了“隨機一致”的部分。公式長這樣κ (Po - Pe) / (1 - Pe)Po 是觀察到的評分一致率也就是“兩名裁判實際給出相同分數(shù)的樣本比例”。Pe 是隨機一致概率也就是“即使兩個裁判瞎猜也可能碰巧一致的期望概率”。如果 κ1說明兩個裁判完全一致κ0說明一致性和隨機水平差不多κ為負說明一致性比隨機還差。在 sklearn 里可以用一行代碼計算from sklearn.metrics import cohen_kappa_score judge_a_scores [1, 2, 3, 4, 5] judge_b_scores [1, 2, 2, 4, 5] kappa cohen_kappa_score(judge_a_scores, judge_b_scores) print(kappa)2.4 為什么用 Kappa 而不用準確率這里的準確率是指“兩個裁判打分相同的樣本比例”。假設(shè)兩個裁判有 80% 的樣本打分相同看起來很高但如果其中某個分數(shù)出現(xiàn)頻率特別高隨機一致的概率也會很高。舉一個極端例子一個裁判永遠打 5 分另一個裁判 95% 時間打 5 分。那么兩者“一致率”是 95%看起來非常好。但實際這兩個裁判幾乎沒有提供有效區(qū)分度。Cohen’s Kappa 通過減去隨機一致概率避免這種“高分一致性假象”。所以在自動評估中Kappa 是一個更穩(wěn)健的一致性指標。不過Kappa 只能回答“有沒有一致性”回答不了“一致在哪個方向上”。接下來我們就要看一個典型的失真場景。3. LLM-judge 評估中的失真問題3.1 LLM-judge 的常見偏差類型實際使用 LLM-judge 時常見的系統(tǒng)偏差包括位置偏差候選答案放在前面還是后面會影響裁判評分。冗長偏差回答越長越容易被評高分哪怕很多內(nèi)容是廢話。自我偏好同一個大模型家族更偏愛自己生成的答案。權(quán)威偏差語氣更像專家的回答容易被高估。格式偏差包含 Markdown、列表結(jié)構(gòu)的內(nèi)容可能得分更高。這些偏差不是偶發(fā)錯誤而是系統(tǒng)性的。也就是說在大量樣本上裁判總會朝著某個方向偏移。如果在 MUD 場景里評估智能體通常沒有標準答案只能靠裁判判斷“行為是否合理”這些偏差就會被放大。比如裁判可能認為“更長的行動描述”代表著更深入思考但實際上只是智能體在湊字。3.2 聚合一致性指標的盲區(qū)當(dāng)兩個 LLM-judge 存在相同方向的偏差時它們的評分會高度一致因此 Kappa 會很高。舉個例子人類覺得某個 MUD 回復(fù)質(zhì)量是 3 分。Judge A 和 Judge B 都因為“回復(fù)夠長”“格式好看”而打 5 分。Judge A 和 Judge B 在 100 個樣本里有 90 個打分完全一致。這時 Kappa 可能高達 0.8給人感覺“評估系統(tǒng)很穩(wěn)定”。但問題在于兩個裁判都偏離了人類真實期望。這種偏差不是隨機噪聲而是共同的方向性偏差聚合指標根本不會暴露它。這就是標題中所說的“aggregate κ misses”聚合 Kappa 會漏掉 LLM-judge 的失真。它不是指標算錯了而是指標設(shè)計上就不負責(zé)捕捉“一致但錯誤”的情況。3.3 一個簡單例子說明聚合 Kappa 掩蓋系統(tǒng)偏差我們把問題簡化成三組評分人類評分代表真實質(zhì)量。Judge A 評分代表大模型裁判1。Judge B 評分代表大模型裁判2。假設(shè)人類認為大部分 MUD 回復(fù)質(zhì)量在 3 分左右但 Judge A 和 Judge B 都傾向于給偏長回復(fù)加 2 分于是它們經(jīng)常打 5 分。兩個裁判之間高度一致但它們和人類相關(guān)性很差。如果用 Kappa 衡量裁判之間的一致性得到的是虛假的“高效度”。如果只匯報這個指標評估結(jié)果就會失真。后面我們會用代碼模擬這個過程并計算一個“偏差程度”指標來捕獲它。4. 實戰(zhàn)用 Python 驗證“Kappa 失真”4.1 項目結(jié)構(gòu)為了簡單我們只使用一個文件mud_eval_demo/ ├── eval_demo.py └── output/ └── scores.csveval_demo.py是主腳本運行后會在終端輸出 Kappa、人類-裁判相關(guān)性、偏差指標并生成一張對比圖。4.2 構(gòu)造模擬數(shù)據(jù)我們先構(gòu)造 200 個 MUD 場景輸出。真實“質(zhì)量分”human_score從 1 到 5 分布但裁判存在一個系統(tǒng)偏差當(dāng)回復(fù)長度超過某個閾值時他們傾向于在人類評分基礎(chǔ)上加 1 到 2 分。為了更接近現(xiàn)實我還會給裁判加一點隨機噪聲讓數(shù)據(jù)看起來不是那么“規(guī)律性偏差”而是更像真實模型輸出的評分。代碼如下import numpy as np import pandas as pd np.random.seed(42) n 200 true_quality np.random.normal(loc3.0, scale0.8, sizen) true_quality np.clip(true_quality, 1, 5) # 模擬回復(fù)長度質(zhì)量越高回復(fù)可能越長 response_length 80 true_quality * 20 np.random.normal(0, 15, n) def judge_score(true_q, length, bias_threshold150, max_bias1.5): bias 0.0 if length bias_threshold: # 超過閾值的回復(fù)裁判會系統(tǒng)性加分 bias max_bias * (length - bias_threshold) / 100.0 bias min(bias, max_bias) score true_q bias np.random.normal(0, 0.3) return np.clip(score, 1, 5) judge_a np.array([judge_score(t, l) for t, l in zip(true_quality, response_length)]) judge_b np.array([judge_score(t, l) for t, l in zip(true_quality, response_length)]) # 評分取整模擬 1-5 離散打分 human_score np.rint(true_quality).astype(int) judge_a_score np.rint(judge_a).astype(int) judge_b_score np.rint(judge_b).astype(int) df pd.DataFrame({ human_score: human_score, judge_a_score: judge_a_score, judge_b_score: judge_b_score, response_length: response_length.astype(int) }) df.to_csv(output/scores.csv, indexFalse) print(df.head())注釋里需要解釋這里故意讓裁判對長回復(fù)有正向偏好同時保留隨機噪聲模擬真實場景。4.3 計算一致性 Kappa接下來計算 Judge A 與 Judge B 之間的 Cohen’s Kappa同時計算人類與 Judge A、人類與 Judge B 之間的 Kappa作為對比。from sklearn.metrics import cohen_kappa_score kappa_ab cohen_kappa_score(df[judge_a_score], df[judge_b_score]) kappa_human_a cohen_kappa_score(df[human_score], df[judge_a_score]) kappa_human_b cohen_kappa_score(df[human_score], df[judge_b_score]) print(fJudge A vs Judge B Kappa: {kappa_ab:.4f}) print(fHuman vs Judge A Kappa: {kappa_human_a:.4f}) print(fHuman vs Judge B Kappa: {kappa_human_b:.4f})在這個模擬中你大概率會看到 Judge A 與 Judge B 的 Kappa 明顯高于人類與任一裁判的 Kappa。這就是“聚合失真”的一種表現(xiàn)形式裁判之間更一致但裁判和真實標準的一致性較差。4.4 檢測系統(tǒng)性偏差Kappa 不夠用我們就需要額外計算能反映系統(tǒng)偏差的指標。一個簡單但有效的方法是計算裁判評分與人類評分的平均差值mean signed deviation。df[dev_a] df[judge_a_score] - df[human_score] df[dev_b] df[judge_b_score] - df[human_score] mean_dev_a df[dev_a].mean() mean_dev_b df[dev_b].mean() print(fMean deviation (Human vs Judge A): {mean_dev_a:.4f}) print(fMean deviation (Human vs Judge B): {mean_dev_b:.4f})如果平均差值大于 0說明裁判整體偏向給高分小于 0則偏向給低分。這個指標并不會受到“裁判之間一致”的干擾。同時我們可以計算“方向一致偏差率”same_direction ((df[dev_a] 0) (df[dev_b] 0)).mean() print(fBoth judges overrate same samples: {same_direction:.4f})這表示兩個裁判在多大比例樣本上同時高估或同時低估。如果這個比例很高說明它們共享同一種偏差而聚合 Kappa 恰恰會忽略這種共同的扭曲。4.5 可視化對比為了更直觀我會生成三張子圖人類評分與 Judge A 評分散點。人類評分與 Judge B 評分散點。兩個裁判評分散點。如果人類與裁判的散點更分散而裁判之間散點更集中說明裁判之間的高度一致可能不是質(zhì)量信號而是偏差共振。import matplotlib.pyplot as plt fig, axes plt.subplots(1, 3, figsize(14, 4)) axes[0].scatter(df[human_score], df[judge_a_score], alpha0.6) axes[0].plot([1, 5], [1, 5], colorred, linestyle--) axes[0].set_title(Human vs Judge A) axes[0].set_xlabel(Human score) axes[0].set_ylabel(Judge A score) axes[1].scatter(df[human_score], df[judge_b_score], alpha0.6) axes[1].plot([1, 5], [1, 5], colorred, linestyle--) axes[1].set_title(Human vs Judge B) axes[1].set_xlabel(Human score) axes[1].set_ylabel(Judge B score) axes[2].scatter(df[judge_a_score], df[judge_b_score], alpha0.6) axes[2].plot([1, 5], [1, 5], colorred, linestyle--) axes[2].set_title(Judge A vs Judge B) axes[2].set_xlabel(Judge A score) axes[2].set_ylabel(Judge B score) plt.tight_layout() plt.savefig(output/kappa_distortion.png, dpi120) plt.show()這里故意把人類評分作為參考軸方便對比。4.6 運行結(jié)果說明運行腳本后你可能會得到類似這樣的輸出Judge A vs Judge B Kappa: 0.6231 Human vs Judge A Kappa: 0.4210 Human vs Judge B Kappa: 0.4105 Mean deviation (Human vs Judge A): 0.8100 Mean deviation (Human vs Judge B): 0.8350 Both judges overrate same samples: 0.7400裁判之間的 Kappa 明顯大于人類與裁判之間的 Kappa。平均偏差都是正的說明兩個裁判整體給分偏高。74% 的樣本兩個裁判同時高估說明它們共享了相同的系統(tǒng)偏差。如果只看第一個 Kappa你會以為評估結(jié)果很可靠。但后面的偏差指標直接拆穿了這一點。這就是為什么在真實項目里不能只匯報聚合一致性指標。5. MUD 場景中如何設(shè)計更可靠的評估方案5.1 多維度評分MUD 場景沒有唯一答案直接打一個綜合分很容易被偏差帶偏。更推薦拆成多個評價維度例如行為合理性智能體是否采取了合理的行動。長期一致性是否和之前的決策、角色設(shè)定保持一致。指令遵循是否遵循了任務(wù)約束。信息利用是否合理利用了房間、物品、NPC 提供的信息。語言質(zhì)量是否清晰、自然、不冗余。每個維度單獨評分再使用 Kappa 進行一致性檢查。這樣至少能定位“到底哪個維度上裁判產(chǎn)生了偏差”。如果在“語言質(zhì)量”上裁判總給高分但在“行為合理性”上明顯不一致那說明偏差可能來自表述風(fēng)格而非任務(wù)完成度。5.2 引入人類錨點只靠 LLM-judge 很容易陷入“裁判互相確認偏見”的循環(huán)。最穩(wěn)妥的辦法是抽一部分樣本做人類標注然后計算人類與裁判的一致性。具體做法從評測集中隨機抽取 10%-20% 樣本。邀請至少兩位有經(jīng)驗的人類標注者評分。計算人類標注者之間的 Kappa確認人類標注本身是一致的。再計算 LLM-judge 與人類標注的 Kappa、平均偏差、偏差方向比例。如果 LLM-judge 和人類偏差較大就需要調(diào)整 prompt 或?qū)υu分做校準。在 MUD 這種復(fù)雜環(huán)境里人類標注成本高所以樣本量不需要大但必須保證覆蓋不同類型的場景比如戰(zhàn)斗、解謎、社交對話、任務(wù)切換等。5.3 偏差校準與公平性分析如果發(fā)現(xiàn) LLM-judge 存在穩(wěn)定的高估或低估可以在后處理階段做校準。一個簡單的校準方法是線性校正比如from sklearn.linear_model import LinearRegression X df[[judge_a_score, judge_b_score]] y df[human_score] model LinearRegression().fit(X, y) calibrated_score model.predict(X)但這只是線性校準無法修正非線性的偏好。更復(fù)雜的做法是直接在 prompt 中加入示例校準也就是 few-shot calibration。給裁判看幾個“人類認為 3 分但模型可能打 5 分”的例子告訴它需要注意冗長偏差。此外可以按樣本子組做公平性分析。比如把 MUD 場景按“探索型”“戰(zhàn)斗型”“對話型”分類分別計算 LLM-judge 與人類評分的偏差。如果偏差只出現(xiàn)在某一類場景說明裁判沒有理解該場景的評估標準。5.4 長序列一致性評估MUD 評估通常是多步長序列。一個細小的錯誤可能在后續(xù)幾步被放大也可能被充分彌補。對于長序列直接對“整段內(nèi)容”打一個分很粗糙。建議按“任務(wù)里程碑”拆分每個里程碑單獨打分。最后計算序列層面的綜合分。同時評估智能體是否能保持角色一致性、是否遺忘關(guān)鍵信息。這一步仍然會用到 LLM-judge但最好讓裁判逐段給分并附帶一句話解釋然后再匯總。解釋信息可以幫助人工抽查裁判的判斷邏輯也方便定位失真點。6. 常見問題與排查思路下面把實際使用 LLM-judge 和 Kappa 時常見的問題整理成一個表格。問題現(xiàn)象常見原因解決思路兩個裁判 Kappa 很高但評測結(jié)果和業(yè)務(wù)反饋不符裁判共享同一種系統(tǒng)偏差比如冗長偏好引入人類錨點計算偏差方向和大小裁判之間 Kappa 很低裁判 prompt 理解不一致或評分標準模糊統(tǒng)一評分 rubric增加 few-shot 示例同一裁判重復(fù)評估同一內(nèi)容兩次結(jié)果不一致大模型采樣溫度過高設(shè)置 temperature0 或多次采樣取平均裁判總給某個分數(shù)段打高分出現(xiàn)了位置偏差或長度偏差隨機交換候選順序平衡長度因素人類標注者之間 Kappa 也很低MUD 任務(wù)開放性過強標準難以統(tǒng)一細化評分維度先做標注培訓(xùn)用 Kappa 時樣本類別不均衡Cohen’s Kappa 會出現(xiàn)奇異值改用加權(quán) Kappa 或查看混淆矩陣prompt 里只寫“請打分”裁判不知道關(guān)注什么維度提供明確 rubric、示例、反面案例排查順序建議先看裁判之間 Kappa確認穩(wěn)定性。再看人類與裁判的 Kappa確認真實性。分析偏差方向和偏差分布。檢查分數(shù)混淆矩陣看偏差集中在哪個分值區(qū)間。抽查裁判給出的解釋文本定位 prompt 中可能誤導(dǎo)裁判的規(guī)則。如果發(fā)現(xiàn) Kappa 高但偏差大不要急著調(diào)整 prompt先確認是不是“兩個裁判一起偏”。可以繪制人類評分和裁判評分的散點圖再看平均偏差通常一眼就能發(fā)現(xiàn)。7. 工程實踐建議與最佳實踐7.1 不要只匯報一個一致性指標在自動化評估報告里我建議至少包含裁判之間的一致性指標。裁判與人類基準的一致性指標。裁判與人類基準的系統(tǒng)偏差均值、方向比例。按維度拆分的偏差分析。每個維度一致性和偏差都放一起看。這樣團隊才能區(qū)分“穩(wěn)定可靠”和“穩(wěn)定但偏離”。7.2 多裁判 投票并不等于消除偏見很多人認為多引入幾個裁判最后投票或取平均就能減少偏差。但如果所有裁判都被訓(xùn)練在相似的語料上偏好很容易趨同。更好的做法是選擇不同來源、不同規(guī)模的模型組合比如一個擅長推理的模型和一個擅長指令遵循的模型。并且讓每個裁判獨立評估看不到其他裁判的結(jié)果避免被先入為主的信息影響。7.3 保留裁判解釋方便回查每次讓 LLM-judge 打分時都要求它輸出評分分數(shù)。簡短理由。對照 rubric 的逐項判斷。哪怕這些解釋只是一句話也能在后排查時救大命。尤其是在 MUD 場景行為是否合理很依賴上下文沒有解釋的評分基本無法復(fù)現(xiàn)和審計。7.4 定期更新人類基準樣本LLM-judge 的偏差不是固定的。當(dāng)被測模型表現(xiàn)變好、輸出風(fēng)格變化后裁判的舊偏差可能會被放大。建議每隔兩個版本重新抽取一批人類標注樣本重新校準裁判。如果業(yè)務(wù)迭代很快可以只針對新增能力場景做小樣本校準不需要全部重標。7.5 敏感場景必須標記置信度在 MUD 這類開放生成場景中如果裁判的評分和人類錨點偏差過大應(yīng)該標記為“低置信度結(jié)果”不直接進入自動決策流程。這也是一種安全邊界寧可不自動判斷也不要讓裁判帶偏結(jié)果。7.6 記錄評估數(shù)據(jù)與教訓(xùn)每次評估都應(yīng)該記錄裁判模型版本。prompt 版本。采樣參數(shù)。人類標注樣本。評估結(jié)果和偏差指標。這些數(shù)據(jù)可以幫助團隊長期打磨評估體系。LLM-judge 不是一個“一次性工具”它需要像測試集一樣持續(xù)維護。8. 總結(jié)與接下來可以深入的方向這篇文章的核心觀點可以概括成一句話Cohen’s Kappa 適合衡量裁判之間的穩(wěn)定性但它不能發(fā)現(xiàn) LLM-judge 的系統(tǒng)性失真。在 MUD 這類開放式、長序列、多路徑的 AI 評估場景里多個裁判很可能共享同一個偏差導(dǎo)致聚合 Kappa 很高但整體評估結(jié)果偏離真實質(zhì)量。我們通過一個 Python 模擬實驗演示了這個問題。做法是構(gòu)造帶有“長回復(fù)偏好”的裁判然后用 sklearn 計算 Kappa結(jié)果顯示裁判之間的一致性高于它們與人類的一致性。這說明聚合指標必須和偏差指標、人類錨點、維度拆分一起使用才能真正支撐評估結(jié)論。接下來你可以從以下幾個方向繼續(xù)深入學(xué)習(xí)加權(quán) Cohen’s Kappa 和 Fleiss’ Kappa了解不同一致性指標的適用場景。研究 LLM-judge 的 prompt 設(shè)計例如 Chain-of-Thought 打分、對比評測、pairwise 排序。嘗試在 MUD 或者自制文本環(huán)境中跑一個 Agent再讓兩個不同模型做裁判對比 Kappa 與人類評分的差異。如果有條件把評估結(jié)果做成一個監(jiān)控 Dashboard讓偏差指標可以持續(xù)跟蹤。最終你還是需要回到自己的業(yè)務(wù)場景里做抽樣驗證。自動評估指標可以幫助節(jié)省時間但不能替代人對公平性和質(zhì)量的判斷。希望這篇文章的代碼和排查思路能幫你少踩一些 LLM-judge 的陷阱。如果你在實際項目里曾遇到過“裁判之間 Kappa 很高但大家公認結(jié)果不對勁”的情況歡迎按文中的方法復(fù)現(xiàn)一遍多看看裁判給出的解釋文本通常很快就能找到病因。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天澡天天爽日日AV| 91爆操视频| 成人小说视频在线精品欧美| 天天爽天天| 91无码人妻| 91社区伊人| 免费观看的av| 欧美少妇高潮| 九九色逼| 91N综合网| 亚洲国产精品9999在线观看| 少妇高潮对白在线观看| 99热线麻豆| 日本丝袜人妻内射| 五月天伊人| 五月婷丁香| 少妇久久久免费| 在线有码中文字幕| 91麻豆天美国产| 96精品久久久久久久久久| 中日高清无码操逼视频| 国产91 丝袜在线播放| a在线观看| 久久9亚洲| 视频在线97| 美国aaaaa一级黄片| 久久9久9久99久9久9| 男人天堂2030| 欧美大香蕉卡久久| 亚洲无992tv| 99热精品在线播放| 久久久精品网站| 2020中文字幕| 人人人人人人少妇| 日本亚欧爱爱| 人妻嗯啊啊在线播放| 美女诱惑久久| 人妻无码后入| 人人操人人舒服| 67914亚洲精品| 久久精品女同亚洲女同13| 脫衣舞一区二区三区| 97欧美精品综合| 欧美在线天堂| 日本一区二区三区欧美日韩中文字幕| 亚洲综合在线第一页| 日韩乱伦视频| 男人的天堂com| 天天爽夜夜操| 国产色图乱伦| 99热免费精品| 国产精品亚洲高清在线| 人人色人人操在线| 91综合网在线| 亚洲综合有玛| 无码黑人精品一区二区三区三| 美国三级日本三级久久99| 26uuu国产免费观看| 97国产中文| 老色69| 欧美后入式| 最新欧洲欧美日本激情网站| 免费看黄片现成| 色眯眯av| 国产黄a三级三级三级av在线看| 日本人妻中文字幕精品| 亚州,欧美在线| 日韩av女优在线免费一区| 日韩国产精品人妻无码久久久| 东京成人一区| 丝袜美腿av女优在线| 亚洲91少妇| AV天堂国产| 亚州,欧美在线| 欧美天天综| 一级A片女人高潮叫床| 国产女主播视频在线观看| 激情五月天综合网| 色狠狠 - 百度| 91模特在线观看| 久久綜合很很很| 一区在线观看中文字幕| 超碰色男人操熟女| 国产精品一区二区三区四区五区| 97超碰亚洲| 99超级碰免费视频| 国产亚洲精品玖玖玖在线观看| 日本天天人人狠狠在线日美女 | 亚洲精品蜜桃久久久久久久| 日韩啪啪网| 搡老熟女免费视频| 国产白丝网站| 欧美大片天天看| 激情第四色| 亚洲精品国产专区在线观看| 神马久久免费电影观看| 色婷婷婷五月天激情四射| 日韩成人免费电影| 爱妃国产亚洲视频中文字幕| 性高潮久久久久久久久久久| 欧美激色| 97草草| 亚洲第一页欧美| 超碰人人色| 欧美国产欧美在线观看| 国产精品久久久久久高清无码免费看| 熟女熟妇一区二区三四区| 51国产午夜精品视频| 蜜桃AV天堂| 欧美视频激情久久久久久| 亚洲 图片 综合91| 久久婷婷五月天| 乱论91| 久9爱精品| jiujiujiujingpin| 99re9这里只有精品| 久久九色| 久久丁香| 激情av| 人人扣人人操| 国产高清无码一区三区二区| 国产一区自拍欧美日韩| 无遮挡又黄又刺激的视频| 97视频播放| 精品女同一区| 国产欧美一区激情交| 亚洲 自拍偷拍 欧美| 美国日韩黄片| 人妻二区| 亚洲激情综合另类男同| 中文字幕精品一区欧美| 性爱Av免费| 精品蜜乳AV免费观看| 久久国产乱子伦精品免费女,网站| 91亚.色| 天欧美在线| 久久久久久裸体| 91亚洲欧美综合高清在线| 蜜桃在线观看一区二区三区| 91久久堂| 精品国产a∨一区天美传媒| 熟妇无码视频三区| 人人九九精| 我爱操| 校园春色美腿丝袜 | 欧美少妇第一页| 91精品成人www| 婷婷视频网| 婷婷五月天色色| 一区二区日韩欧美久久| 混色激情av| 大香蕉伊人网WWWn0n| 天天综合色电影| 激情五月综合网| 激情自拍 校园春色| 91女人的网站| 蜜臀亚洲中文| 加勒比海成人视频网| 欧美青青草视频| 欧美肥臀在线| 久操免费在线| 亚洲无码太久| 国产小u女在线观看| 久久精品三级影视| 亚洲综合另类| 天天碰久久入| 国产精品露脸在线观看| 在线无码操| 综合色图区| 久久黄黄| 欧日韩在线观看| 97天天在线| 中字一区| 天天综合欧美| 亚洲av噜噜噜噜噜噜| 天天插夜夜操| 夜夜肏2021| 六六久久日韩不卡| 1024手机看片欧美日韩| 久久无码精品| 国产精品久久99日日| 黄色av一区二区在线| 中文字幕五区| 久9久9久9久9久9久9| 九九九精品美女| 日欧操屄| 日本一级特级毛片视频| 人妻22p| 天天日日日射| 久久成人东京热人妻| 麻豆天天躁天天揉揉AV| 日本不卡一区| 亚洲最大网站av| 久久精品免费| 欧美综合色,www| 成人精品久久久午夜福利| 国产激情av女片自拍| 免费看美国人人爽,人人操| 久久久久久91香蕉国产| 大茄子熟女AV导航| 日韩免费大片一级播放| 综合网亚| 天天综合网在线观看| 伊人久久在线视频观看| 9/A片| 精品人妻二区三区| 婷婷综合网站| 肉丝网站91| 久久风骚城市人| 欧美日韩性爱电影在线| 天天日老熟妇| 蜜臀久久久99久久久久| 91动漫操逼视频| 综合 青草 伊久久 影院 综合| 97久久天天综合色天天综合色电影| 精品无码秘 人妻一区二区| 中文字幕av乱伦| 欧美性,亚州色| 少妇久久久久久久| 亚洲精品色| 国产精品久久久777| 97精品免费| 欧美成人性爱视频大全| 老熟妇一区二区三区啪啪| 中文字幕久久婷婷丁香五月天| 大香蕉五月天婷婷| 中文字幕一品色图| 在线观看AV片| 四虎在线观看网站| 日韩中文字幕人妻视频| 日韩久久三区| 国产日韩中文字幕欧美| 久久久久久免费电影| 五月天婷婷基地| 乱伦熟女专区| 60秒免费小视频| 91久久精品蜜臀| 丁香五月性爱| 人妻人久久精品中文字幕| a男人的天堂久久一级A毛片| 99色| 日韩av情韩国爱禁区av一区二区| 少妇高潮特黄A片| 嗯嗯啊好大| 在线观看亚洲成人精品| 玖玖蜜臀资源网| 美女黄页网站| 婷婷五月花| 果冻传媒A片麻豆熟妇人妻| 久久日韩肥臀| 亚洲AV永久无码一区仙野| 91精品免费| 日本高清_区二区三区| 中文字幕片| 综合色色婷婷| 操逼操逼视频操逼| 日韩av性爱在线播放| 9久9久| 蜜臀久久99精品| 精品久久久久黄少妇| 色五月婷婷久久| 9美女超碰在线免费观看| 精品一区二区三区国产| 91综合国产精品| 欧美国产操逼| 超碰色综合| 99re视频在线观看这里只有精品| 天天射夜夜骑| 91黑丝少妇| 99久久无码| 久久国产精品91| 日日操免费视频| 性色av一区二区| 国产中文字幕曰本毛片| 伊人久日| 97超碰jingpin| 国产精品人妻免费精品| 青青草成人视频在线观看二区| 日人妻视频91| 少妇被c 黄 免费观看| 久久夜嗨| 综合久久99| 亚洲全色网| 麻豆精品A片免费观看| 亚洲免费成人在线高清无码视频| 在线 欧美 亚洲| 91欧美高清| 一区二区免费电影久久| 国产丁香精品露脸视频| 特级大荫道BBwBBwBBW| 免费又黄又裸乳的视频| 骚货操死你| 最新AVzaixian| 日本色色色网站免费看不卡| 美女91色黄18| 精品国产精品一区二区| 国产精品亚洲天堂网址| 97亚洲欧美| 五月开心久久AV官网| 91色婷婷综合久久中文字幕二区| 老熟女乱伦片| 新怡红院| 好爽免费视频,| 99热这里只有精品9| 午夜.DJ高清在线观看免费7| 九久精品| 在线电影亚洲色图| 青青草原综合久久大伊人精品| 淫荡熟女乱伦网| 美女久久久久久久久久久| 欧美日韩精品久久| 日本天天吊| 偷拍自拍在线视频观看| 日韩熟女操逼| 中欧人妻丝袜中文字幕| 国产精品色约约| 六月丁操逼| 亚洲人成网www| 久干9操| 欧美性第一页| 美女高潮国产高清| 强奸熟女一区二区三区 | 有码免费观看| 欧美视频在线视频免费va| 欧美性爱第一页久久| 大香蕉日韩| 91视频综合在线| 久久蜜桃综合网| 五月综合视频| 综合色图区| 欧美精品99久久久**| 色图综合网| 大粗鳼巴久久久久| 日韩射图| 一级免费精品| 亚洲诱惑天堂| 色色色色色色色色综合| 中文字幕-区二区三区四区视频中国| 色九九综合| 久久riav中文精品| 91在线秘 男同| 天天上日日上日韩精品| 欧美中出| 欧美日本成人一区二区| 极品国产内射| 欧亚日韩一区在线| 亚洲综合首页| 天久久久噜噜噜久久国产精品爽爽| 蜜桃AV天堂| 2020中文字幕在线| 91模特在线观看| 天天日天天操VV| 亚洲综合在线高清| 精品人妻一区二区三区-国产精品 一个人在线看的黄色电影网站 | 久久久久亚洲精品| 青青草视频在线观看一区二区| 老女人爆菊| 国产蜜臀精品一区免费尤物| 人妻久久久久久久久久久久久久久| 成片免费播放| 午夜婷婷| 久久久一热在线播放| 青青草视频爽一爽| 美女大乳久久久久久久女人18| 亚洲。日韩。欧美| 国产精品午夜成人福利| 国厂麻豆77q4| 综合一区二区影视| 欧美大色交| 欧美亚洲清纯| 美女久久久久久久久久久| 加勒比综合网| 在线亚洲 欧美 日本专区| 无码免费在线观看黄色片| 中文字幕日韩专区精品系列| 欧美日韩国产高清在线一二三区 | 色色99| 欧美91在线+|+欧美| 高清不卡一二三区视频......| 大稥蕉免费视频这里只有精品| 天天透伊人| 天天日日日射| 老女人91| 深夜视频| 俄罗斯一区二区视频在线观看| 国产精品视频麻豆入口| 333kkkk·亚洲com久久| 欧美成人一区二区三区在线播放| 国产一区二区三区影片| 日本91白丝| 激情亚洲天堂| 老熟妇一区二区三区| 无码九九| 国产又粗又大硬免费色网视频| 精品国产一区二区三区在线播出| 网页导航五月天免费一二三区| 国产成人+综合亚洲+天堂| 日本曲间由美性生活片| 久久妇| 亚洲午夜精品久久久中文影院| 91亚洲欧美激情| 五月婷亚洲精品天堂| 日韩欧美tv一区二区在线观看| 五十路三级片| 探花激情视频| 亚洲永久AV无码精品秋霞| 欧色综合| 超碰美国| 亚洲精品一区二区三区在线播放 | 日韩精品9999| 久久久91| 少妇xx精品| 性爱动态120秒| 加勒比五月天| 午夜操一操| 国产麻豆福利av在线播放| 亚洲 日韩 欧美 国产综合体| 懂色AV中文| 久久青娱乐| 日本高清视频xxxx| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 久久精品色欧美aⅴ一区二区| 天天摸天天插天天日| 欧美中字不卡| 97天天日| 九热视频| 欧美青青草视频| 一本色道综合久久欧美| 精精夜夜| 精品天堂| 十八禁啪啦拍视频无遮挡| 欧美熟女妇同| 天天日天天干天天色| 色色五月婷婷| 亚洲系列欧美| 能在线播放的国产三级| 欧美亚洲丝袜美女电影| 欧美色图第一页| 亚洲精品三| 9999久久久久| 蜜桃视频成a人v在线| 日本午夜福利视频| 国产精品久久久| 91综合在线| q2午夜理论片夜色av| 日韩在线性爱免费视频| 97久久久久久久精| 午夜精品久久久久久久久久久久久| 欧美特大黄一级片片免费| 成人十八禁日韩欧美一二三| 日本三级A片网站com| 青青11操操操操操操操操| 激情综合网一盗摄| 乱伦av国产| 亚洲人妖网| av影片在线观看不卡| 天天日少妇逼AV| 另类欧美综合| 天天干天天做| 91色狼| renqi久久久久久久久久久久| 97亚洲色图| 亚洲乱熟女一区二区三区大香蕉| 欧美熟女丝袜| 日韩国产乱子伦App| 好屌色综合| 天天草夜夜草高潮片| silk lablo在线观看一区二区| 日本性交操一区二区不卡系列| 免费看污网站| 午夜亚洲国产理论秋霞| 精品久久九| 日韩欧美综合激情| 亚洲男人天堂2| 我要看免费韩日黄片| 久久精品噜噜噜成人看免欧美大片| 无码日韩网站| 久久97精品久久久久久久不卡| 艹比视频国产精品| 久操在97| 九九性爱网| 国产路线专区| 久久综合久久综合人久久夜精品| 国产精品探花色| 蜜臀AV成人精品蜜臀AV久久| 亚洲97久久精品亚洲| 亚洲综合伊人| 超碰免费人人| 久久久性| 亚洲色丰满少妇高潮| 欧美三级中文字幕hd| 91美女视频。| 区日韩亚洲乱码av电影| 中文字幕精品一区欧美| 国产精品午夜精品| 蜜乳av首页| 亚洲色图欧美色图另类图片| www.高清无码诱惑一区.com| 日韩av在线播放不卡| 欧美碰碰综合色| 国产成人久久久精品免费AV| 午夜舔阴达高潮视频免费看| 色欧洲97| 国产激情在线| 国产强奸无码乱伦| 99色婷婷| 骚货 中文字幕 av| 免费男人的天堂| 综合色久| 无码免费在线观看黄色片| 嗯嗯啊啊亚欧精品| 激情综合网五月婷婷五月天| 久久啊啊啊| 欧美日韩国产电影| 性爱综合网| 1级黄色夫妻对换性交免费看| 蜜乳av一区二区三区四区不卡| 日韩啪啪啪啪啪| 免费啪啪av| 国语精品av| 欧美精品四区| 欧美视频一区二区在线| 日韩一级二级三级| 日本新免费二区三区| 久久婷婷五月天| www.99中文字幕| 男人天堂网站| 久艹99| 亚洲欧美大香蕉| 6080YYY午夜理论片在线观看| 国产精品白丝AV| 久久久av爱| 婷婷色色五月天| 国产一区在线观看无码AV| 亚洲中文字幕av| 精品999日本| 素人播放一区| 欧美色五月| 久久久久久久亚洲Av无码| 肉动漫无遮挡h在线观看| 国产日产欧产美韩系列麻豆免费| 日韩少妇丰满亚洲| 日韩乱码Av| 国产97色在线| 中文字幕123| 色妇综合网| 色欧美色交综合| 亚洲人在线| 67914亚洲精品| 久久精品国产亚洲AV成人直播| 人人干黄色| 大香蕉综合| www.夜夜| 日本久久网| 色婷亚洲五月在线观看| 黄色欧美性爱视频| 亚洲一级性爱视频免费看| 日本中文字幕不卡视频| 欧美精品宗合| 97天堂| 99热伊人| 久久久久久九| 亚洲人妻日日日| 密臀成人视频久久久| 欧美青青草视频| 91精产一区二区三区| 国产精品久久久久久久久久久久久久久久久久 | 国产精品人妻无码久久久老鸭窝| 日本媚薬中文字幕在线| 亚洲交性| 美女啊啊啊啊啊| 男人的天堂久久狠| 欧美日韩精品久久| 欧美午夜视频| 粉嫩AV一区夜夜嗨| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 好吊色综合| 啊啊啊好大好深| 91久久国产精品| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 嗯嗯啊啊啊啊轻点视频| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 抽插爽| 99热aaa| 91天美传媒在线| 91美女看B| 亚洲鸥美色图| 婷婷国产精品九区| 黄总AV色图| 亚洲AV不卡在线观看尤物| 蜜伊人色综合97| 精品一区二区三区四区女| 亚洲无限观看| 欧美日韩亚洲少妇寂寞影院正在播放| 亚州欧美在线| 啪啪啪男女亚洲中文字幕99| 激情小说亚洲| 国产9 9在线 | 亚洲| av天堂精品久久| 大香蕉免费乱伦视频| 狠狠色综合网| 国产免费一区二区在线A片视频| 国产亚洲精品自在线亚洲情侣| 婷婷色色网| 毛片视频白嫩| 韩日精品福利视频一区不卡在线免 | 997色在线| 超碰在线91| 日韩字幕一区| 婷婷亚洲五月***久久| 韩国成人精品久久久免费看| 国内三级自拍小视频在线观看| 日韩啪啪啪啪啪| 国产精品。| 亚洲棕合电彰| 亚洲久草AV色图| 综合亚洲欧美| 777琪琪午夜免费A片| 天天日B夜夜干B时时操B| 99热超碰| 玖玖超碰熟| 亚洲成人贴图| 高清无码 国产精品| 99热66| 少妇三P| 殴美性天天| 女同女同恋久久级三级| 日本午夜福利影院| 精品久久久久黄少妇| 欧美黑人168页欧美黑人167| 亚洲欧美日韩偷拍色图| 狠狠色噜噜狠狠狠狠狠色综合久久 | 人妻啊啊人妻啊啊| 丝袜喷水在线| 97欧美色综合| 午夜男女爽爽大片免费观看| 青青草在线视频播放器| 牛牛AV人人夜夜澡人人爽| 成人免费不卡在线视频| 亚洲av热热色| 美女啊啊啊啊啊啊| 日韩一性一交一A片俄罗斯| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 97碰碰日本乱偷人妻中文的| 97Ai亚洲| 人人做人人妻人人夜视频| 人人超碰在线观看黄| 欧洲精品一级二级精品综合视频综合| 成全在线观看免费观看| 无码9区| 中文字幕欧美日本乱码一线二线| PMv在线观看| 五月丁香综合| 日日日大屁股骚女人精品| 男生通女生屁股| 中文字幕乱在线伦视频中文字幕乱码在线 | 日韩精品大香蕉伊人在线| 亚洲另类天堂| 狠狠综合| 97综合久第一页| 91碰超| 嗯嗯啊啊用力视频免费| 九九热av| 九月婷婷久久| 亚洲交换| 日本Xx性爱| 99热导航| 亚洲欧洲中文日韩女优乱码| 在线观看十八禁| 久久久久久加勒比| 乱伦3P视频| 欧美日韩亚洲五月天婷婷| 亚洲伊人久久综合97| 欧美制服网站美腿丝袜| 青草精品视频日本久久久久网站在线| 欧美人妻精品一区二区| 欧美大色交| 亚洲天堂一区二区久久| 91成人在线| 亚洲综合小视频小说在线观看| 亚洲天堂男人天堂| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 老司机天天操| 草伊人高潮喷水超碰| 试看日韩黄片| 97蜜桃综合| 张柏芝国产一区在线观看| 青青草操逼逼视频| 国产三级片在线观看| 人妻少妇视频在线播放| 亚洲日韩国产精品| www鬼畜国产男人的天堂| 久久久无码视频| 色嘟嘟人妻天堂网| 国产成人久久精品蜜臀| 99久久无色码| 日韩欧洲操屄视频| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 顶级丝袜熟女一区二区三区| 亚洲日本韩国在线| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 另类图片五月天| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 国产女主播视频在线观看| 中文字幕免费看大片| 久久久久久久久久久久色网| 日韩精品99999| 超碰免费97| A啊啊在线观看| 上海一级黄片| 青青久日| 爽爽歪在线视频| 日韩激情电影中文字幕| 国厂麻豆77q4| 91动漫操逼视频| 九九操久久国产免费视频| 屌色在线97视频| 黑人免费福利视频| 亚洲精品 超碰| 琪琪精品免费一区二区三区| 色香网| 99热这里只有精| 一级片在线观看高清无码| 日韩淫色网| 欧美亚洲中文字幕| 久久69| oumeizonghese,www| 天天日天天干天天整| 亚洲综合首页| 91综合国产精品| 久99久视频| 无码一区免费在线不卡| 成人熟女区| 国产免费一区二区在线A片视频| 亚洲啪啪综合?v一区综合精品区| 丝袜视频一区二区在线播放国产中文| 操逼视频免费日韩无码| 亚洲少妇在线观看| 欧美亚洲涩涩| 成人片在线播放| 欧美A片中文字幕| 91天天综合在线观看| 男人的天堂在线有码| 久草国产在线视频| 94色色电影网| 成人片视频| 小少妇| 黄页视频网站野外| 色欲av国内精品久久久久久| 先锋音影AV| 亚洲成人av色网| 久久高清欧美国产| 中日韩一区二区三区欧美| 国产AV天美传媒一区二区三区 | 日韩欧美偷拍美女视频| 亚洲综合小说另类图欧美视频激情小说色五月天 | 欧美日韩香蕉| 人人模人人看| 天天综合麻豆视频| 欧美性区| 免费看毛片操穴| 国产呦精品一区二区三区下载 | 天堂а√在线最新版在线 | 翔田千里无码一区| 男人天堂2030| 免费99精品国产自在在线| 久久伊人网视频一区二区三区| 性久久| 香蕉人欧美综合| 久久久久久无码人妻中文字幕| 伊人久久大香线综合无码| 人人天天欧洲| 日韩av乱伦| 中文字幕交换人妻| 亚洲黑丝在线| 天操天操夜操夜月操月年年操操| 近亲乱伦一区二区| 日韩 国产 欧美自拍| 欧美色另类| 国产乱弄免费在线视频。| 成人综合色网| 久久激情视频| 成人性爱av| 国产美女口爆吞精视频| 玖玖爱影院| 久久精品国产亚洲粉嫩| 操老熟女AV| 欧美成人色| 鸥美插入视频| 激情深爱五月天| 再深点灬舒服灬太大了好硬好爽| 韩国成人精品久久久免费看| 美国黄片aaa| 久久精品国产亚洲AV清纯| 亚洲色阁| 人妻丝袜日本| 先锋女优在线观看视频| 97超碰精品图片| 欧美最婬乱婬爆婬牲视频| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 超碰97护士| 国产精品网址| 色与欲影视| 欧美日韩另类激情图片| 人人摸人人舔一区二区| 加勒比久久av| 久久噜噜噜精品国产亚洲综合| 欧美91久久久久| 久操视频在线| 欧美97免费| 国内一级精品| 天天亚洲| 九九AV| 精品国产AV一区天美传媒| 在线观看啊啊啊啊啊| 亚洲狠狠入| 粉嫩av一区二区三区天美传媒| 精品一级| 国产激情视频一区区三区| 91无码人妻精品一区二区三区蜜桃| 中文字幕国产| 大逼色网站| 好属操| 无码人妻一区二区三区免费九色| 风月影院十八禁| 女色综合| 色妺妺AⅤ| 四方色播| 中文字幕后石码四区五区| 国产偷人伦激情在线观看| 曰韩人妻中文字幕在线| 少妇一级婬片免费放一级a性色.| 翔田千里无码一区| 强免费黄色网址| 欧美色www亚洲国产阿娇要播| 青青草女人天天干| 第45页一区二区| 国产女人和拘做爰视频| 少妇啪啪自拍| AV男人天堂网| 精品国产一区二区久久| 久久性爱网站| 翔田千里AV无码秘 三区| 香蕉精品二区二区 | 国产午夜福利电影免费在线观看 | 神马久久久久久| 久久久555| 色综合超碰超| 成片免费播放| 午夜一区二区三区国产| 亚洲色 国产 欧美 日韩| 免费看日本操逼视频| 久久大香蕉手机高清| 91美女視頻| 亚洲男人的天堂va亚洲男人社| 欧美色www亚洲国产阿娇要播| 九色精品视频导航1| 熟女被操视频网址| 国产精品青青草| 成人热久久精品| 中文字幕国产| 久久久一区二区三区四区五区| 91综合色噜噜| 久久久久亚洲av综合波多野制衣| 国产伦精品一区二区三区在线观| 白丝1区2区3区| 91欧美丝袜| 欧美天天影院| 欧美特大AA级黄片| 婷婷丁香五月激情啪啪| 中文久久一区| 伊人国产AV| 一个国产在线综合网站| 激情五月婷| 99热 按摩 日韩| 999精品久久久久久久| 亚洲自拍天堂| 丝袜熟女2P| 夜夜免费视频| 亚洲欧美高清无码| 337p大胆噜噜噜噜噜91Av| 色诱avtt| 清纯唯美亚洲另类| 小视频玖玖| 久久久久9久久久久| 国产天美传媒精品| 天天干天天操天天操夜夜操天天操 | 精品综合久久久久久97| 欧美三级偷拍| 国产h片在线观看视频| 日本丝袜美腿人妻九九| 欧美九九九| AA特级绝黄| 自拍欧美| 久久精品国产Aⅴ| 五月天精品| 天天操熟妇| 久久91视频| 国产农村妇女精品一| 久久青青草在线视频| 久精品无码av一区二免费国产在线观看 | 在线五区| 久久黄色性爱视频| 五月天色图| 婷婷五月天激情四射| 去干网最新版| 久久久久久裸体| 久久国产免费激情视频| 日韩一级二级在线| 男人天堂2019| 久久精品高清AV| 偷拍在线观看视频| 黄色视频60分钟| 日韩av三四区| 国产精品999aaa| 丁香九月激情啪| 亚洲中亚日激情视频| 国产Aα| 最新av在线| 先锋影音av先锋一区| 观看免费区二区三区二| 亚洲天天更新| 亚洲精品色| 精品大全99999| 十八禁视频网站| 五月天人妻综合| 日本护士高潮| 易易A毛视频| 六月婷婷综合| 亚洲国产精品久久久久婷婷老年| 亚洲国产欧美另类自拍| 国产丰满熟夫69mpp| 久久精品 六十路 熟女 欧美| 男人的天堂啪啪啪啪啪蜜桃不卡| 伊人欧美大香蕉视频| 久久亚洲av成人无码国产| 99热线麻豆 | 96国产污污污丝袜| 双插性欧美一二三区| 97爱b| 18禁网站在线播放| 亚洲色图美腿丝袜| 综合免费无码中文| 亚欧美色图| 免费AV播放| 91亚洲欧洲| 97国产精品国| 一区二区三区在线美女| 绯色AV粉色AV蜜臀AV| 欧美亚洲自拍另类人妻| 精品四五区| 大香蕉一区二区在线观看.| 国精综合一二三区影视| 人妻少妇被猛烈进入中| 久久大陆| 日韩欧美俄罗斯A片| 激情在线青青操| 97色干| 国产精品99999| 又黄又粗又硬又长又大| 亚洲乱伦图片视频| 亚洲精品一区二区免费在线观看| 日本一区二区成人在线| 久超碰这里只有精品| 九九九九九九九精品视频| 精品视频一区二区| 日日黄色三级网站| 日韩性爱网址| 少妇久久| 精品人妻1237| 草草影院最新网址| 999色欧美中文字幕| 丁香五月AV| 人妻二区| 亚洲精品97p| 国产精品老熟女一区二区| 欧美天天搞| 欧洲天天在线| 综合在线导航一区| 91日产桃蜜| 10000部十八禁看电影| 国产精品亚洲无码| 综合五月天| 青青草成人视频在线观看二区| 狠狠色噜噜狠狠狠狠狠色综合久久 | 天美传媒精品久久视频| 操逼啊啊啊91| 333kkkk·亚洲com久久| 成人午夜小视频手机在线看| 萌白酱自拍视频| 亚洲少妇视频| 久久久久久99999国产精品| 男人天堂久久精品不卡| 欧美色图在线视频少妇| 久久婷婷一区| 婷婷午夜清品久久久久久久性色视频观| 欧美色九九| 九九九色| 欧美日韩亚洲一区二区在线观看| 国产精品无码久久久久2025| 天天色综亚洲91污| 啊啊好多水| 国产精品久久发布| 免费黄色A片| 激情啪啪拍91| 日本久久久久久久久| 超碰综合97在线| 日本高清熟女久久一区| 亚洲九九九| 嗯嗯,好大,好爽,好骚| 激情五月天综合网| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲人综合19| 日韩资源网| 日韩av三四区| 十八禁视频网站| 人人模人人看| 亚洲一区二区中文字幕| 亚洲视频二区| 97免费视频网| 亚洲有薄码区日本系列中文字幕| 欧美探花网| 99久久无码| 伊人九九九| 91狠狠狠| 综合一区二区影视| 99热色精品| 青草草免费网站av| a'v在线资源| 99国产女人| 另类图片五月天| 国产丝袜美腿美女麻豆| 欧美图片偷拍| AA丁香综合激情| 亚洲激情综合| 色色色色网站| 午夜操逼不卡| 午夜男女爽爽爽影院视频| 干超碰碰熟女| 激情小说亚洲| 蜜臀久久久99久久久久 | 欧美日韩国产精品久久色婷婷| 很很很很操| 国产在线不卡导航| 性色avv| 欧美另类色图片| 日本三级韩国三级99| 日本123区操B视频| 欧美性爱视频免费一区一A | 天天干一干| 噜噜吧,噜噜色,噜噜| 日本免费人成视频播放120秒| 欧美性爱18观看| 久久超碰国产一区二区三区| 久久精品人妻一区| 中文字幕在线观看网址| 亚洲se91| 9丨久久九九九| 俺也射| 婷婷九月丁香| 97网站在线观看| 99热欧美| 少妇三p| 91视频综合| 在线日韩日本亚洲国产| 永久电影三级在线观看| 91精品导航| 亚洲自拍97| 高清国产无码av| 91精品亚洲内射孕妇| AA级电影三区| 立川理惠被中出无码| 女人与公拘交酡2020视频| 在线岛国新天堂8| 岛国视频一二三区| 操逼操操操91| 欧美色色色| 婷婷啪啪| 厕所偷拍在线| 精产国品一区二三产品| 91九九九吃| 超碰在线日韩一区| 国产精品视频在线观看| 曰韩人妻中文字幕在线| 少妇一区二区三区高速| 亚洲国产成人精品久久久国产成人一区二区三. | 五月天婷精品激情| 国产精品无码AV网站| 亚洲高潮少妇| 97色爱| 亚洲人码13| 欧美宗合网| 视频国产成人精品日本亚洲18| 亚洲免费成人在线高清无码视频| 探花一区在线| 91超级碰碰碰| 蜜桃精品一区二区三区ww | 九区国产| 91老司机视频| 边做饭边操逼逼| 熟女精品va中文字幕| 99精品久久久久久久婷婷| 婷婷99| 99欧美| 亚洲精品97在线| 91挑色欧美| 欧美另类天堂| 免费人成毛片乱码| 麻豆综合一区av| 强奸乱伦动态污图免费| 草草影院在线视频| 亚洲日韩肥臀视频在线观看| 精品久久99| 久热99999| 久久精品国产亚洲5555| 盗摄女人妻在线| 蜜臀av在线播放一区二区三区| 国产精品久久久视频| 91性| 亚洲 欧美综合| 无码一区二区精品视频久久久春药| 久久AV无码网址| 操人妻丝袜高跟| 欧美色图在线视频少妇| 激情黄色片在线观看| 国产精品噜噜噜日日日| 曰韩少妇无码| 中文字幕在线免费观看| 无码国产Av| 婷婷AV一区二区三区| 久草视频制服诱惑| 欧美白嫩在线放| 久久啊啊| 青娱乐欧美激情一区二区 | 亚洲综合网电影91| ai欧美亚洲小说| 日韩一级二级三级免费看完整版 | 婷婷五月影院| 99在线视频播放| 一区二区高清视频| JIZZJIZZ国产精品喷水| 久久亚洲不卡| 欧美日韩亚洲国产中文永久天天看| 嗯嗯啊啊好爽| 性爱1区| 少妇专区一二三四五| 91无码西班牙视频在线| 日韩不卡av一二三| 97精品视频网站| 激情熟女12P| 亚州精品一区二区三区香中文字幕在线| 中字一区| 男人天堂黄片| 麻豆区99999| 一本久道久久综合狠狠爱一密臀精| 围产精品一区二区三区视频播放| 玖色AV| 另类老少妇| 午夜人人操| 亚洲AV免费在线观看|