日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南 簡介法研杯2019相似案例匹配第二名解決方案附帶CAIL2020/2021司法考試賽道冠軍團隊材料是一份面向法律人工智能與自然語言處理競賽選手及研究者的完整工程代碼包。方案覆蓋法律文本相似度匹配與司法考試自動答題兩條任務(wù)線圍繞案件事實、爭議焦點、判決結(jié)果等關(guān)鍵信息的抽取與表示展開涉及文本預(yù)處理、詞向量與預(yù)訓(xùn)練語言模型應(yīng)用、特征工程、相似度計算、模型融合與超參數(shù)調(diào)優(yōu)等環(huán)節(jié)有助于理解司法場景下NLP模型從數(shù)據(jù)到部署的全流程實現(xiàn)。壓縮包共二十二個文件核心為六個Python腳本對應(yīng)訓(xùn)練、預(yù)測、評測與命令行推理等模塊另有Shell腳本、Dockerfile、Markdown文檔和依賴清單可快速搭建容器化運行環(huán)境整體僅一百九十二KB輕量易用。已有二百六十六人學(xué)習(xí)資料中還包含說明文檔、Docker配置思路、模型結(jié)構(gòu)示意圖以及代碼注釋和調(diào)參記錄可按文檔復(fù)現(xiàn)比賽方案也可遷移到相似案例檢索、裁判文書分類、法律問答等任務(wù)。1. 法研杯2019相似案例匹配為什么所有基線模型都栽在“案由”上拿到法研杯2019相似案例匹配這個任務(wù)時大多數(shù)人第一反應(yīng)是“這不就是文本相似度嗎BERT拉出來跑一跑就行”。結(jié)果真正跑起來才發(fā)現(xiàn)法律文本和通用文本壓根不是一回事。被告、案由、爭議焦點、裁判結(jié)果每一段信息對“相似”的貢獻權(quán)重完全不同通用語義匹配模型拿到的分數(shù)往往卡在一個尷尬的區(qū)間離榜單前排差一大截。這個比賽的實質(zhì)是給定三篇文書——一個查詢案例和兩個候選案例——判斷哪個候選與查詢更相似??粗莻鹘y(tǒng)排序任務(wù)但法律文書的特殊性在于法條引用和事實描述的重復(fù)率極高字面相似不一定案情相似。第二名方案之所以能打關(guān)鍵是抓住了兩個點把數(shù)據(jù)清洗和法律文本的結(jié)構(gòu)化特征做透模型層面用預(yù)訓(xùn)練語言模型搭配針對法律文本設(shè)計的交互方式而不是直接套用通用匹配網(wǎng)絡(luò)。CAIL2020/2021司法考試賽道冠軍團隊的做法對數(shù)據(jù)集和文檔做了系統(tǒng)梳理也驗證了同一件事法律AI的落地瓶頸不在模型結(jié)構(gòu)而在任務(wù)理解和數(shù)據(jù)加工的細度。這篇文章按我實際做過的順序來從數(shù)據(jù)構(gòu)建和預(yù)處理開始到模型選型、訓(xùn)練細節(jié)、評估指標(biāo)再到踩過的坑和推理階段的調(diào)優(yōu)技巧。內(nèi)容圍繞法研杯2019相似案例匹配展開方法和代碼同樣適用于CAIL的司法考試賽道以及其他法律句子對/文書對匹配任務(wù)。2. 數(shù)據(jù)集與文書預(yù)處理相似案例匹配的分數(shù)一半在這里2.1 CAIL2019-SCM數(shù)據(jù)集的結(jié)構(gòu)和標(biāo)注暴露的問題法研杯2019相似案例匹配使用的是CAIL2019-SCM數(shù)據(jù)集我從這個數(shù)據(jù)集入手對齊任務(wù)口徑。比賽數(shù)據(jù)每個樣本包含三份刑事法律文書A、B、C其中A是查詢文書B和C是候選文書任務(wù)是從B/C中選出與A更相似的那個。標(biāo)簽是0或10表示B與A更相似1表示C與A更相似。這個數(shù)據(jù)集的標(biāo)注口徑是“案情相似度”依據(jù)是罪名的最終認定。也就是說如果A和B都被認定為盜竊罪而C被認定為詐騙罪那么B就是正確答案——即便C在文字表面上有更多與A重合的詞語也是錯誤答案。這里就埋了第一個也是最大的坑不能用普通文本相似度的思路去處理表面字詞重合度高不能說明案情相似。拿到原始數(shù)據(jù)后我先做了幾個基礎(chǔ)檢查bash# 查看原始數(shù)據(jù)目錄結(jié)構(gòu) find ./data -type f | head -50 # 統(tǒng)計樣本數(shù)和字段情況以一份JSON為例 python -c import json with open(./data/exercise_contest/raw/train.json) as f: data json.load(f) print(樣本總數(shù):, len(data)) print(字段:, list(data[0].keys())) print(data[0].keys()) 代碼邏輯說明第一段用find命令快速摸清文件分布第二段加載一份樣本確認字段名和樣本量。這個數(shù)據(jù)集的原始文件在官方渠道可以下載但注意不同版本的字段可能略有差別有的版本叫a、b、c有的版本叫text_a、text_b、text_c需要先弄清楚再寫后續(xù)代碼。提示比賽數(shù)據(jù)的格式在不同階段初賽、復(fù)賽會有差異復(fù)賽數(shù)據(jù)量更大且部分為無標(biāo)簽樣本預(yù)處理腳本的參數(shù)要預(yù)留擴展空間。2.2 從JSON到訓(xùn)練集切分、標(biāo)簽映射、長文本截斷原始數(shù)據(jù)是JSON列表每條包含A/B/C的文本和標(biāo)簽。實際使用時我一般把數(shù)據(jù)拆成(query, candidate, label)的格式這樣可以復(fù)用通用的句子對數(shù)據(jù)集處理流程。pythonimport json import random # 讀取原始數(shù)據(jù) with open(./data/exercise_contest/raw/train.json, r) as f: raw json.load(f) # 轉(zhuǎn)換為句子對格式 samples [] for item in raw: q item[a] pos item[b] neg item[c] label item[label] # label0 - b與a更相似label1 - c與a更相似 # 統(tǒng)一轉(zhuǎn)成 (query, b, c, label)后續(xù)建模時再按label選擇正負樣本對 samples.append({query: q, cand_b: pos, cand_c: neg, label: label}) # 切分訓(xùn)練/驗證集比例 9:1 random.seed(42) random.shuffle(samples) split_idx int(len(samples) * 0.9) train_samples samples[:split_idx] valid_samples samples[split_idx:] print(f訓(xùn)練集大小: {len(train_samples)}, 驗證集大小: {len(valid_samples)}) # 保存為jsonl方便后續(xù)讀取 with open(./data/train.jsonl, w) as f: for s in train_samples: f.write(json.dumps(s, ensure_asciiFalse) \n)代碼邏輯說明把三元組轉(zhuǎn)換成句子對任務(wù)的標(biāo)準(zhǔn)格式。這里沒有直接把B/C展開成正負樣本對而是保留了三元組結(jié)構(gòu)因為后續(xù)模型需要同時看到B和C才能學(xué)到“相對相似度”——即A與B的相似度、A與C的相似度之間的差值。如果過早展開成獨立的句子對會丟掉這個相對信息。參數(shù)說明train/valid切分比例9:1是常用做法為了避免驗證集分布偏差需要設(shè)置固定隨機種子這里用42。更穩(wěn)妥的做法是按案由分層抽樣但CAIL2019-SCM的數(shù)據(jù)量才一萬條左右簡單隨機切分基本夠用。2.3 法律文書分詞與去噪別急著上大模型法律文書的文本質(zhì)量和通用語料差別很大直接扔給BERT之前有幾個去噪步驟是必須做的。我在這個項目里踩過坑一開始跳過了預(yù)處理直接跑BERT結(jié)果驗證集分數(shù)比baseline還低——原因是文書末尾的“本判決自送達之日起生效”這種格式化表述干擾了匹配判斷而它們在全語料里出現(xiàn)頻率極高模型很容易學(xué)會“看到這些字就認為相似”的捷徑。pythonimport re def clean_legal_text(text): # 去掉文書編號、抬頭和落款 text re.sub(r(刑\s*事\s*判\(zhòng)s*決\s*書), , text) text re.sub(r[(]\s*[0-9]{4}\s*[)]\s*[^\s。]{1,20}刑初[^\s。]{0,10}號, , text) text re.sub(r(公訴機關(guān)|被告人|辯護人)[^。]*。, , text) # 去掉多余空白 text re.sub(r\s, , text) return text.strip() # 應(yīng)用清洗并輸出統(tǒng)計前后文本長度變化 sample_text train_samples[0][query] clean_text clean_legal_text(sample_text) print(f清洗前長度: {len(sample_text)}, 清洗后長度: {len(clean_text)})代碼邏輯說明第一步去掉“刑事判決書”這類與案情無關(guān)的固定抬頭第二步用正則匹配文書號如“2019粵0305刑初1234號”第三步去掉“公訴機關(guān)……”、“被告人……”、“辯護人……”這些程序性段落——注意這一步要小心辯護人的辯護意見里可能包含關(guān)鍵案情是否去掉取決于后續(xù)模型對長文本的容忍度。我這里選擇去掉是因為數(shù)據(jù)集里的“被告人xxx男xxxx年xx月xx日出生”這類內(nèi)容純粹是個人信息與案情無關(guān)。參數(shù)說明這個正則里的[^\s。]{1,20}限定了法院名稱長度不會超過20個字符。如果你的數(shù)據(jù)里法院名很長可以適當(dāng)放寬到30。去噪后要重新統(tǒng)計文本長度分布如果出現(xiàn)某個樣本清洗后為空說明原始文書本身就是程序性文本直接丟棄即可不要硬留。提示這一步看似簡單但在CAIL2020司法考試賽道尤其重要——那里很多題目就是純案情描述清洗策略要和法研杯2019區(qū)分開。別拿一套正則打天下。3. 模型方案選型從雙塔到交互為什么排名靠前的方案都選交互式3.1 BERT-CLS、雙塔、跨編碼器的取舍邏輯相似案例匹配的建模方式有三條路線表示型雙塔、交互型跨編碼器、混合型。三條路線在法研杯2019的戰(zhàn)場上都有代表隊但成績分布極不均勻。雙塔模型DSSM/雙塔BERT的優(yōu)勢是快——兩邊各自編碼然后拿兩個向量做余弦相似度。但法律文書的特點是冗長動輒上千字雙塔模型把文本壓成一個768維向量時信息損失非常大。而且雙塔天然不擅長捕捉A和B之間“細顆粒度的局部對應(yīng)”關(guān)系——比如兩篇文書都在描述“入室盜竊”一個寫“撬鎖入戶”另一個寫“翻窗入院”雙塔模型很難在向量空間里精確對上這種細節(jié)。交互型模型把A和B同時拼在一起過編碼器每個token都能直接看到另一邊的token細粒度交互是它的天然優(yōu)勢。缺點是計算量大預(yù)測時要對每個candidate單獨跑一次前向。在法研杯2019的場景下候選只有兩個計算量完全可接受——所以最終榜單上前排方案基本都選擇了交互型。我當(dāng)時參考第二名方案的技術(shù)路線主模型用的是BERT-base中文版配合特定的類別差值學(xué)習(xí)策略大概結(jié)構(gòu)是這樣pythonimport torch import torch.nn as nn from transformers import BertModel, BertTokenizer class SimilarCaseMatcher(nn.Module): def __init__(self, model_namehfl/chinese-roberta-wwm-ext, dropout0.1): super().__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(self.bert.config.hidden_size * 2, 1) # 分別過編碼器再拼接等價于交互型的簡化版 def forward(self, a_input_ids, a_attention_mask, b_input_ids, b_attention_mask, c_input_ids, c_attention_mask): a_repr self.bert(a_input_ids, attention_maska_attention_mask)[0][:, 0, :] b_repr self.bert(b_input_ids, attention_maskb_attention_mask)[0][:, 0, :] c_repr self.bert(c_input_ids, attention_maskc_attention_mask)[0][:, 0, :] # 分別計算AB、AC的表示差交給分類器 ab_diff torch.abs(a_repr - b_repr) ac_diff torch.abs(a_repr - c_repr) score_ab self.classifier(self.dropout(torch.cat([a_repr, ab_diff], dim-1))) score_ac self.classifier(self.dropout(torch.cat([a_repr, ac_diff], dim-1))) # 返回相對分數(shù)訓(xùn)練時用 AB分數(shù) - AC分數(shù) 和 label 構(gòu)造排序損失 return score_ab, score_ac代碼邏輯說明這個結(jié)構(gòu)是“共享編碼器的三方輸入”方案——同一套BERT參數(shù)分別編碼A、B、C然后通過abs差別向量把AB和AC的差異喂給同一個分類頭。注意這里沒有用標(biāo)準(zhǔn)三元組loss而是讓分類頭分別輸出score_ab和score_ac再用兩者的差值去擬合label。參數(shù)說明hfl/chinese-roberta-wwm-ext當(dāng)時是效果最好的中文預(yù)訓(xùn)練模型比BERT-base原始權(quán)重在多項中文任務(wù)上穩(wěn)定提升1-2個點。如果你跑這個方案換成bert-base-chinese也能跑但最后的匹配準(zhǔn)確率會明顯有差距。3.2 排序損失是怎么設(shè)計的對比學(xué)習(xí)思路在相似案例匹配的落地訓(xùn)練這個任務(wù)可以有兩條路線一是把問題轉(zhuǎn)成二分類——“B和A更相似還是C和A更相似”二是顯式構(gòu)造排序損失。二分類的做法簡單粗暴但模型學(xué)到的是“B的絕對相似度分數(shù)”而不是“B相對于C的排名”——后者才是任務(wù)真正關(guān)心的。我在實際訓(xùn)練中用的是margin ranking的思路但這個“margin”要動點手腳。標(biāo)準(zhǔn)的margin ranking loss是讓正樣本對的分數(shù)比負樣本對高出至少一個固定的margin值。但法律文書對難度差異極大有的樣本中B和C案情幾乎一樣僅憑一個量刑細節(jié)區(qū)分有的樣本中B和C完全兩個方向模型很容易就能分開。固定margin在這兩種樣本上的梯度方向是沖突的。pythonimport torch.nn.functional as F def ranking_loss(score_ab, score_ac, label, margin0.3): score_ab: 模型認為B與A更相似的程度 score_ac: 模型認為C與A更相似的程度 label: 0 - 真實是B與A更相似; 1 - 真實是C與A更相似 # 統(tǒng)一方向始終讓 positive_score 大于 negative_score positive_score torch.where(label 0, score_ab, score_ac).squeeze(-1) negative_score torch.where(label 0, score_ac, score_ab).squeeze(-1) losses F.relu(negative_score - positive_score margin) return losses.mean()代碼邏輯說明torch.where(label 0, score_ab, score_ac)也就是選出正確配對對應(yīng)的分數(shù)作為positive_score錯誤配對對應(yīng)的分數(shù)作為negative_score。F.relu(negative_score - positive_score margin)的意思是只有當(dāng)negative_score比positive_score低超過margin時loss才為0否則就產(chǎn)生懲罰。參數(shù)說明margin取0.3是一個經(jīng)驗值。這個值太小會讓模型對難易樣本一視同仁太大則會讓模型在難樣本上過擬合、喪失泛化能力。我在驗證集上調(diào)過0.1到0.8的范圍0.3到0.5之間效果最好。一個更精細的做法是margin隨著訓(xùn)練輪數(shù)從0.5退火到0.2——實際驗證集分數(shù)能再漲一點點但收益有限基礎(chǔ)版本不用加。提示score_ab和score_ac來自同一個分類頭和同一套BERT參數(shù)這等于隱式做了一個權(quán)重共享的siamese結(jié)構(gòu)能有效防止兩個分數(shù)分布漂移。4. 訓(xùn)練細節(jié)與關(guān)鍵參數(shù)讓模型真正收斂到法律語義空間4.1 學(xué)習(xí)率、batch size、warmup和最長長度的搭配預(yù)訓(xùn)練模型微調(diào)時最核心的參數(shù)搭配是學(xué)習(xí)率、batch size和最大序列長度。我在法研杯2019這個任務(wù)上跑了很多組實驗最終穩(wěn)定的配置如下最大序列長度384第一版用512顯存和訓(xùn)練時間翻倍但驗證集分數(shù)幾乎沒有提升——因為法律文書的有效信息集中在事實描述部分截斷到384并不丟關(guān)鍵案情batch size最大序列長度384時單卡16再大容易OOM學(xué)習(xí)率2e-5配合warmup ratio 0.1訓(xùn)練輪數(shù)4個epoch超過后驗證集分數(shù)明顯下降過擬合信號非常清晰優(yōu)化器AdamWweight_decay取0.01pythonfrom transformers import AdamW, get_linear_schedule_with_warmup def build_optimizer(model, train_steps): no_decay [bias, LayerNorm.weight] optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.01}, {params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0} ] optimizer AdamW(optimizer_grouped_parameters, lr2e-5, eps1e-8) scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(train_steps * 0.1), num_training_stepstrain_steps ) return optimizer, scheduler代碼邏輯說明no_decay列表里的權(quán)重不做L2正則——這是BERT微調(diào)的通行做法因為LayerNorm的gamma/beta和bias項對weight_decay敏感加了會導(dǎo)致訓(xùn)練不穩(wěn)定。optimizer_grouped_parameters把參數(shù)分成兩組一組帶weight_decay一組不帶這是HuggingFace官方推薦的寫法。參數(shù)說明lr2e-5是BERT微調(diào)的標(biāo)準(zhǔn)起點。如果顯存不夠?qū)е耣atch size降到8可以適當(dāng)把學(xué)習(xí)率降到1.5e-5否則收斂不穩(wěn)。warmup_steps設(shè)為總步數(shù)的10%這樣前10%的步數(shù)內(nèi)學(xué)習(xí)率從0線性升到2e-5能有效避免預(yù)訓(xùn)練參數(shù)在開局被大梯度沖壞。4.2 如何正確評估相似案例匹配模型用Accuracy還是更細的指標(biāo)法研杯2019的官方評估指標(biāo)是Accuracy對B/C二選一選對了就是1錯了就是0。但只盯著Accuracy會掩蓋模型的很多問題——特別是類別不均衡和難易樣本混雜。我建議在驗證集上同時記錄Accuracy和每一類別的準(zhǔn)確率這樣能精確看出模型在label0和label1上的表現(xiàn)差異。pythondef evaluate(model, valid_loader, device): model.eval() total 0 correct 0 # 分別統(tǒng)計label0和label1的準(zhǔn)確率 label_correct {0: 0, 1: 0} label_total {0: 0, 1: 0} with torch.no_grad(): for batch in valid_loader: # 把batch里的a/b/c三路輸入搬到device input_ids_a batch[a_input_ids].to(device) attention_mask_a batch[a_attention_mask].to(device) # ... 同理b和c labels batch[label].to(device) score_ab, score_ac model( input_ids_a, attention_mask_a, # ... 其他輸入 ) # 判決哪個分數(shù)高就選哪個 preds (score_ac score_ab).long().squeeze(-1) correct (preds labels).sum().item() total labels.size(0) for lbl in [0, 1]: mask (labels lbl) label_total[lbl] mask.sum().item() label_correct[lbl] (preds[mask] labels[mask]).sum().item() acc correct / total acc0 label_correct[0] / max(label_total[0], 1) acc1 label_correct[1] / max(label_total[1], 1) print(fAccuracy: {acc:.4f}, label0 acc: {acc0:.4f}, label1 acc: {acc1:.4f}) return acc代碼邏輯說明預(yù)測結(jié)果對應(yīng)原始標(biāo)簽的轉(zhuǎn)換邏輯是——原始label0表示B與A更相似即正確答案為B原始label1表示C與A更相似即正確答案為C。所以當(dāng)score_ac大于score_ab時預(yù)測為1否則預(yù)測為0。參數(shù)說明這個評估函數(shù)里max(label_total[lbl], 1)是防止某個batch里只有一個類別導(dǎo)致除零。實際場景中l(wèi)abel0和label1的數(shù)量基本均衡但如果你的數(shù)據(jù)在跑數(shù)據(jù)增強后發(fā)生偏移這個保護就很重要了。建議每完成一個epoch就評估一次保存驗證集Accuracy最高的模型作為最終模型。5. 法研杯2019相似案例匹配的避坑清單五個血淚經(jīng)驗5.1 把“字面相似”當(dāng)“案情相似”——最典型的翻車現(xiàn)場現(xiàn)象模型在驗證集上準(zhǔn)確率能到0.75左右但死活上不去0.80細看預(yù)測結(jié)果發(fā)現(xiàn)大量錯誤案例里兩篇文書包含大量相同詞語——比如都出現(xiàn)了“錢包”“手機”“當(dāng)鋪”。原因法律文書的官方模板和固定表述太多模型很容易學(xué)到“詞面重合度越高、兩個案子就越像”的捷徑。但CAIL2019-SCM的標(biāo)注是對最終罪名認定的考量字面重復(fù)不等于案情重復(fù)。解決把預(yù)處理做扎實去掉文書抬頭、落款、被告人基本信息這些模板內(nèi)容。然后用TF-IDF做一個基線如果基線準(zhǔn)確率超過0.60說明數(shù)據(jù)里的“騙分特征”已經(jīng)被清得差不多了可以放心訓(xùn)練模型。如果TF-IDF基線還不到0.55回去檢查預(yù)處理——不要急著調(diào)模型。5.2 整段過長的文本直接撐爆顯存現(xiàn)象GPU顯存16GBbatch size只能設(shè)4訓(xùn)練速度奇慢且驗證集效果還不如batch size16跑出來的。原因序列長度設(shè)512導(dǎo)致padding率極高每一條樣本都由大量無效的[PAD]token填充。在batch size4的情況下這4條樣本里可能只有一半是有效長度另一半是padding等于浪費了大部分算力還在學(xué)“PAD位置沒有任何語義”。解決先統(tǒng)計數(shù)據(jù)集的文本長度分布把95分位的長度作為max_length的基準(zhǔn)。法研杯2019的數(shù)據(jù)集經(jīng)過清洗后95分位長度通常在350-400之間所以max_length384是最優(yōu)解。同時寫一個collate函數(shù)把batch內(nèi)的文本按長度排序再分桶減少padding占比。5.3 預(yù)訓(xùn)練模型選錯中文BERT差點讓我懷疑人生現(xiàn)象用bert-base-chinese跑了3個epoch驗證集Accuracy只有0.68比第二名方案報告的結(jié)果低了接近10個點。原因bert-base-chinese是字級別預(yù)訓(xùn)練對法律領(lǐng)域詞匯的表示能力不足?!氨I竊”“搶奪”“侵占”這三個詞在通用語料中語義距離較遠但在法律語義空間里是鄰近概念。字級別預(yù)訓(xùn)練模型捕捉不到這種領(lǐng)域內(nèi)的近義關(guān)系。而hfl/chinese-roberta-wwm-ext用了全詞掩碼Whole Word Masking把“盜竊”作為一個整體掩碼學(xué)到的表示明顯更適合法律文本。解決換用hfl/chinese-roberta-wwm-ext后同樣參數(shù)、同樣數(shù)據(jù)驗證集Accuracy直接跳到0.76。如果條件允許用法律領(lǐng)域的預(yù)訓(xùn)練模型效果會更好——但注意檢查模型的詞表是否覆蓋了法言法語中的生僻字以及模型的最大序列長度是否滿足你的需求。5.4 直接預(yù)測概率而不是差值——輸出層設(shè)計錯了現(xiàn)象驗證集Accuracy在0.75上下波動loss已經(jīng)降到很小了但預(yù)測結(jié)果的置信度分布很詭異——大量樣本的score_ab和score_ac都接近0.9。原因分類頭只學(xué)了每個絕對分數(shù)的幅度沒有學(xué)到兩者之間的對比關(guān)系。最后用Argmax決定勝負時兩個接近0.9的分數(shù)只需要一個微小擾動就會翻盤。解決最終判決用score_ab - score_ac的差值而不是單獨看某個score。同時可以在分類頭前加一個LayerNorm讓兩個分數(shù)分布穩(wěn)定在同一尺度。之后在驗證集上統(tǒng)計差值分布——差值集中在0附近的樣本就是那些真正困難的案例可以用tips/tricks處理見第6章。5.5 復(fù)賽和初賽的數(shù)據(jù)分布不一致——換數(shù)據(jù)集直接掉點現(xiàn)象初賽訓(xùn)練的模型直接上復(fù)賽的無標(biāo)簽測試集分數(shù)比baseline還差。用復(fù)賽半量標(biāo)簽重訓(xùn)后分數(shù)也沒恢復(fù)到初賽水平。原因初賽和復(fù)賽的案由分布不同、文書長度分布不同、甚至文書的模板年份也可能不同司法文書格式在不同年份有細微修訂。初賽數(shù)據(jù)里高頻出現(xiàn)的“盜竊罪”在復(fù)賽里可能變成了“故意傷害罪”模型在初賽學(xué)到的“偷竊行為描述詞”特征在復(fù)賽中成了噪聲。解決從初賽數(shù)據(jù)里挑出與復(fù)賽案由分布最接近的子集按案由分層抽樣把模型在子集上繼續(xù)做一輪domain adaptation微調(diào)。如果沒有案由標(biāo)注可以先對所有數(shù)據(jù)做一次無監(jiān)督聚類按聚類的類別重新采樣。6. 推理階段的最后沖刺閾值調(diào)節(jié)、證據(jù)級輸出與工程落地的馴服技巧模型訓(xùn)練完成后推理階段還能撈回不少分數(shù)。法研杯2019這類二選一任務(wù)最簡單的預(yù)測方式是比較score_ab和score_ac誰大。但實際部署時這個閾值不一定非要是0.5。先算差值diff score_ab - score_ac。在驗證集上統(tǒng)計diff的分布你會看到一個近似高斯分布。如果數(shù)據(jù)質(zhì)量高diff的正負區(qū)間和label的對應(yīng)關(guān)系會很清晰中間模糊地帶很窄。如果模糊地帶很寬說明模型對大量樣本缺乏區(qū)分信心此時可以引入一個拒絕預(yù)測機制當(dāng)|diff|小于某個閾值時讓投票規(guī)則或規(guī)則引擎介入而不是強行預(yù)測——這在司法輔助場景尤其重要寧可讓系統(tǒng)說“不確定”也不要給一個錯誤結(jié)論。另一個實用的技巧是證據(jù)級輸出——別只輸出一個分數(shù)把模型attention map里權(quán)重最高的top-10詞找出來用正則提取出包含這些詞的句子在UI上展示“為什么模型認為A和B更相似”。這對從業(yè)者的價值是用戶可以快速核驗?zāi)P偷呐袛嘁罁?jù)是否合理而不必盲信黑匣子。CAIL2020司法考試賽道上冠軍團隊也用了類似思路把題目和法條依據(jù)同時展示出來。代碼做過一個很小的模塊幫用戶直接看到“案件重合點”pythonimport jieba import numpy as np def show_key_overlap(query_text, cand_text, top_k10): # 用簡單詞頻實現(xiàn)關(guān)鍵重合詞生產(chǎn)環(huán)境可以換attention權(quán)重 q_words jieba.lcut(query_text) c_words jieba.lcut(cand_text) q_counter {} for w in q_words: if len(w.strip()) 2: q_counter[w] q_counter.get(w, 0) 1 c_counter {} for w in c_words: if len(w.strip()) 2: c_counter[w] c_counter.get(w, 0) 1 overlap_words set(q_counter.keys()) set(c_counter.keys()) overlap_words sorted(overlap_words, keylambda x: (q_counter[x] c_counter[x]), reverseTrue)[:top_k] return overlap_words代碼邏輯說明這個函數(shù)用jieba分詞從兩篇文書中提取各自的關(guān)鍵詞取交集后按出現(xiàn)頻次排序。生產(chǎn)環(huán)境用attention權(quán)重替換詞頻統(tǒng)計展示效果會更精確。參數(shù)說明len(w.strip()) 2過濾掉了單字虛詞這在法律文本里很重要——“的”“了”“在”幾乎出現(xiàn)在每個句子中不加過濾全是噪音。top_k10是展示層的經(jīng)驗值超過10個關(guān)鍵詞用戶就看不過來了。再聊一下推理性能。如果有大量候選文書需要匹配比如從1000篇文書中找最相似的交互型模型就要跑1000次完整前向速度會成為一個瓶頸。常見做法是兩階段檢索第一階段用雙塔模型快速召回top-50候選第二階段用本文的交互型模型精排。這個組合在法研杯2019里不需要候選只有2個但在CAIL2020司法考試的開放場景里非常必要。最后我習(xí)慣做一次全量的錯誤分析——把驗證集預(yù)測錯誤的樣本打印出來逐條看。絕大多數(shù)錯誤集中在這幾類罪名一樣但犯罪情節(jié)差異巨大的罪名不同但事實描述極其相似的復(fù)賽新增案由在訓(xùn)練集中完全沒出現(xiàn)的??炊嗔司蜁靼走@個任務(wù)的難點從來不在模型結(jié)構(gòu)是否花哨而在于你是否理解法律文本的“相似”到底意味著什么。第二名方案能拿到那個分數(shù)靠的也不是什么秘傳模型而是把數(shù)據(jù)、任務(wù)、模型三者對齊的工程耐心。法研杯2019相似案例匹配做完之后這個方案稍作修改就能遷移到CAIL司法考試賽道把多選分類的輸出頭換成閱讀理解式的span抽取把三元組輸入換成“題目備選答案對”其他訓(xùn)練技巧和避坑經(jīng)驗幾乎可以直接復(fù)用。如果你正準(zhǔn)備走類似的方向希望這篇文章能給到具體的幫助。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷亚洲中文字幕在线| 日韩亚洲欧美中文字幕| 狠狠色婷婷777| 超碰95| 麻豆国产成人精品| 九九av| 五月天我淫我色av| 久久黄人人爽视频| 婷婷五月天无码 | 青青草天天亲夜夜操网| 日本在线观看网址| 91熟女视频网| 91网站18+| 天天干天天日天天射黄色大片| 日韩欧美大力操| julia国产在线 | 歐美一級亂黃99在綫精品| 午夜福利免费精品视频| 国产一区在线观看无码AV| 肉丝中文无码高清| 亚洲熟女乱综合一区二区三区 | 色哟哟av| 欧美亚洲美少妇一区二区| 自偷自拍的亚洲视频| 小视频国产| 青青草一区二区高清无码视频 | 簧片免费看视频| 精品国产一区探花在线观看| 亚洲少妇在线观看| 欧美九一精品久久久熟妇| 亚州操操穴网| 91狠| 色五月婷婷网| 五月丁香久久| 欧美日韩丝袜| 东北女人av| 激情丁香婷婷| 日韩免费人妻色情网站| 蜜桃久久久久久久| 久久少妇视频| 60秒免费小视频| 99这里有精品| 花野真衣| 欧美一区二区传媒| 日本精品免费一区二区三区四区| 色综合91| 99r九九| 一色网男人的天堂| 操久久久久久| 校园春色制服丝袜中文字亚洲| 国产18精品亚洲精品| 大香蕉专区| 日韩欧美aⅴ综合网站发布| 最新国内自拍av免费| 人人做天天爱| 日韩激情小说一区二区| 黄色AAAAA欧美| 美中日韩无码| 青青草视频久久久久| 极品极品色影院| 成人免费在线网站| 97资源制服丝袜| 青青草操逼逼视频| 第45页一区二区| 麻豆伊人网| 涩涩久久精品| 精品无码久久| 大香蕉一人| 天天干18禁| 青青在线视频免费| aaa亚无码专区| 啪啪啪精品| 国产强奸91| 色欲蜜臀AV| 日韩乱伦视频| 亚洲91极品| 一区二区三区日韩欧美| 丝袜色综合| 国产精品爽爽v| 中文字幕一区二区免费在线| 三级片网站在线播放| 91精品久久久久久77777| 男人的天堂2010| 中文字幕 一区二区 亚洲无码| 久噜噜| 日韩黄色小说| 亚洲男人综合| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 日本999精品视频| 欧美超碰人妻97| 日本一二三免费久久| 国产欧美在线观看免费观看| 91人妻Pr| 欧美最大综合网| 久久精品—区二区三区内射| aⅴ日韩成人电影av在线免费看av大全 | www.亚洲成人一区| 亚洲精品国产精品乱码不99| 五月天伊人| 日韩97超碰| 欧亚无码视频| 欧美精品人妻视频| 天天综合网视频91| 逼操网站| 一区二区三区四区五区高清无码永久视频| 狠狠色五月亚洲91| 国产精品一二三在线看| 嗯嗯啊啊用力视频免费| 97在线免费| 人妻一区视频| 伊人久久久日韩一区| 熟女熟妇一区二区三四区| 日韩97| 啊视频在线| 国产妇女精品视频青青草| 亚洲在线欧美| 国产成人网址| 78操B| 很黄很色的视频在线观看| 日本高清一区二区在线| 国产亚洲日本| 欧美一二三级精品在线| 九九九九九九九精品视频| 99久久精品国产系列| 99re公开精品免费视频| 亚洲污污网站| 国产精品探花视频| 国产精品在线一区二区| 2024人人操人人摸| 99热伊人| 日本特黄f c2| 丁香九月婷婷| 天天影视综合网欧美精品| 日本大香蕉综合网红本杳社区| 日韩精品永久在线观看| 96精品久久久| 女优免费一区二区永久| 亚洲欧美不卡线| 九九成人视频| 男人的午夜天堂| 91人人爽人人爽| 亚洲?V无码专区在线电影| 久操99| 国产精品美女久久久久久网站| 97人人操人人干| 性高潮久久久| 97国产色综合| 97人人操人人摸人人爱| 十八禁一区二区无码观看| 无码丰满熟妇一区二区浪潮AV| 96精品久久久久中文字幕| 国产精品黑人一区二区三区| 午夜人人操| 久久久久久久久久久久久久9999| 欧美亚洲| 91狠狠综合久久| 激情六月天| 蜜臀久久99精品久久久久久-DVD原版全| 色欧美天天| 色牛aV| 超碰97久久观看| 中日韩欧美精品无码AⅤ一区二区| 丝袜高跟澳门91视频| 丁香六月激情综合| 蜜乳AV免费观看| 综合欧美日韩在线| 丁香激情网| 亚洲牲交| 亚洲图片激情综合另类| 夜夜做夜夜爽精品视频| 美女97超碰| 男女激情黄色网址| 亚洲偷拍自拍在线视频| 欧美综合区| 日本熟妇自慰性高潮一区二区三区| 图片区小说区| 老熟女乱伦片| 日韩精品三级| 中文字幕文字幕无码一区二区三区电影99| 一块操欧美性爱| 伊人网免费视频| 2019亚洲男人天堂| 日韩紧密久久| 视频分类 国内精品| 美女诱惑久久| 久久精品99久久久久久| 欧美一级欧美三级在线观看| 深田咏美亚洲精品福利社| av网站免费看| 男人的天堂三级| 亚洲 中文 女同| 成人 日本A片无码8888| AV乱伦国产| 无码人妻一区二区三区四区老鸭窝| 91女神在线视频| 久久精品性| 99999久久精| 日本道日本道中文字幕日本道最新日本道在线观看| 女同性恋一区二区三区精品视频| 99这里有精品视频| 五月天激情小说网| 色丁香久久| 成人性爱AV在线免费观看| 中文不卡视频| 熟妇一区,二区,三区。| 91色堂| 熟女人妻av在线资源,黄色的资源| 国内毛片无遮挡国产| 91色插| 日韩电影免费网站麻豆视频| 躁躁日曰躁2020| 久久久久久性爱片| 九九玖玖精品| 天天色悠悠激情| 99综合网| 日日干日日| 国岛片视频| 精品九九国产无码| 国产男女边吃边摸视频网站| 免费A片三p视频| 亚洲黄色a级片| 国产亚洲美日韩Aⅴ中文字幕无码成人| 怡红院一区二区熟女人妻| 国产强奸无码乱伦| 三级日韩一区二区三区| 丰满人妻-区二区三区免费看| 精品成人女人久久| 91女优在线观看 | 久久极品一区二区| 男人的天堂2019AV| 草蕉影视亚洲无码| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 曰本精品久久久| 日本有码影片下载| 欧美日韩一干二干| 伊人青青草久久| 天堂资源欧美| 先锋音影AV| 色老牛| 97超级色碰碰| 青草伊人久久| 丝袜足交视频| 4虎在线观看| 日夜伊人网| 97爱爱| 日韩偷拍一区二区三区| 精品久久久久久中文字幕三区| 黄色AAAAA欧美| 国产欧美日韩一区二区三区| 亚洲成A∨人影院在线欢看| 欧美黄色片AAAAA| 一区二区三区精品黑丝白丝酒店对鸡 | 67914在线兔费成人视频| 夜夜夜爽www精品视频| 极品人妻少妇综合| 欧美日韩*字幕一区| 中文字幕后石码三区四区| 国产熟女精品一区二区| 大香蕉视频一二三区| 国产精品嫩草影院免费| 色色五月天激情| 精品久久久av| 伊人国产视频| 花花AV导航| 中文?日韩?免费?精品| 日本十八禁免费看污网站| www久久国产精品| 亚洲一区二区精品福利| 99爱精品| 蜜桃视频啊啊啊啊| 久久久久久网址| 在线观看精品国产免费| 九九热五区| 国产91专区| AAAA欧美日韩| 亚州精品一区二区三区香中文字幕在线| 白丝jkav| 亚洲精品国语在线播放| 水野优香在线观看| 秋霞鲁丝午夜无码一区二区三| 九月丁香婷婷色| 日本3级一区二区免费| 加勒比AV网| 99re视频在线播放青草| 粉嫩绯色AV一区二区在线| 97视频在| 亚洲最大AV网| 久久激情视频| 伊人色综合网电影| 伊人伊人LD| 中文字幕欧美日韩三级| 男人天堂站| 中文字幕在线免费观看 | 天天天干977| av天堂手机版追回| 天天影视之亚洲综合网| 久草免费福利在线播放| 欧美 综合 亚洲| 一类无码操逼视频| 免费观看性欧美一级| 校园春色综合| 午夜男女爽爽爽影院视频| 97色伦欧美| 欧美99999| 99热免费| 亚洲春色欧美激情自拍| 2019天天操天天爽天天拍| 日韩欧美福利视频看看| 精爱久久| 亚洲欧美日韩免费电影| 精品妇操一区二区三区| 国产福利av精彩对白| 熟女91网| 69精品人人人人| 欧美色乱| 欧美 综合 亚洲| 久久三| 亚洲九九视频| 中文字幕av色| 午夜.DJ高清在线观看免费7| 狠狠操狠狠燥| 一本久道久久综合狠狠爱| 久久久久久久精| 一区二区三区日韩欧美| 大香蕉久| 一区在线精品中文字幕| 久久久久9| 五月天黄色激情视频| 91操熟女视频| 中文字幕乱碼在线| 俺去俺来也在线www| 97超碰9| 精品人妻1237| 中国东北熟女老太婆内谢| 啪啪啪男女亚洲中文字幕99| 老熟女区| julia高潮后不停追击中出| 亚洲av性爱电影| 60秒免费小视频| 日本综合色图| 亚洲 欧美 手机在线观看| 91这里只有精品| 亚洲色图 综合| 亚洲宅男天堂| 在线中文字幕极品av| 91性感在线| 97在线观视频免费观看| 艳美熟妇先锋一二三区| 久久99午夜精品一区人妻| 日夜伊人网| 综合97亚洲| 亚洲 日韩 欧美 国产综合体| CCYY草草影院地址入口| 成人羞羞视频国产| 欧洲综合色| 精品无码一区二区人妻久久蜜桃| 欧美不卡在线美女| 一区二区三区欧美激情| 手机在线免费看的av| 黑人性欧美| 91女优在线观看| 欧亚不卡| 国产精品久久久视频| 大色综合网| 五十路六十路七十路熟婆| 国产97av| 青青草在线视频播放器| 精品久久九| 亚洲欧美中日韩| 欧美日韩99| 日本色色色视频| 影音先锋日本乱伦| 熟女乱3伦999| 一级一性爱免费视频| 久久久555| 啊啊啊啊,啊啊好多水| 97久久久精品| 蜜臀AV成人精品蜜臀| 青青草九九九九九| 美女露胸露屁股| 久久超碰爱| 九九九九久久久| 婷婷大香蕉| 无套内射性感少妇视频| 成人av免费观看| 在线观看国产黄色| 亚洲色综合| 久久xxxx| 麻豆天美国美国产AV| AA丁香综合激情| 97干在线| 日日夜夜干| 99这里有精品| 国产精品九9| 天综合网| 天天看片麻豆| 亚洲日韩欧美一区二区| 国产精品一级二级在线| 欧美女同在线| 91美女视频。| 97亚洲综合影院| 日日夜夜精品视频| 91视频伊人| 操www| 国产树林里野战在线看| 99色综合| 99热aaa| 夜夜骑操视频| 综合网91| 欧美日韩免费性爱| 人妻22p| 欧美色偷拍 | AV天堂国产| 操逼大黄片| 曰韩成人免费视频| 午夜性| 亚洲精品国产熟女久久久| 五月天欧美色图| 天天欧美| 欧美性爱三区二区| 玖色AV| 日韩在线97| 五月天九九日国产精品一区二区三区| 激情欧美97| 秋霞一级鲁丝片A片| 国产三级多多影院2022国产AA一级毛片无码 | 免费自拍三级综合| 国产在线视视频有精品| 麻豆久久久久久久久丝袜| 97爱b| 东京热91| 免费精品中文字幕| 日韩人妻少妇中文字幕| 欧美传媒一区| 嗯嗯啊啊操我| 熟女六十路| 精品久久久久瑟瑟| 欧洲综合色| 小视频玖玖| 六六久久日韩不卡| 亚州欧美综合| 在线观看亚洲成人精品| 丁香六月婷婷综合| 青操影院| 久操com| 丝袜夫妻自拍| 97视频一区| 精品午夜福利国产一区二区在线观看 | 国产亚洲人妻综合日韩 久久| 综合视频91| 无码人妻一区二区三区免费九色| 在线观看av区| 天天操人人操骚逼网站| 日韩偷拍一区二区三区| 97人妻色| 中文字幕三四五区| 亚洲色欲天天人妻无码系列专区| 激情人妻另类| 操www| 欧美少妇一区二区三区| 国产精品农村妇女| 亚洲综合成人网| 欧美国产操逼| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 9999久久久久| 国产特级毛片AAAAAA高潮流水| 国产后入精品| 精品999一区二区| 操逼网免费无码视频| 91真人天天在线| 色综合一本| AV天堂电影网| 尤物网站91| 96精品在线| 久久久97| 一二三啪啪专区| 国产在线观看一区二区三区| 伊人青青一区成人视频在线观看区| 国产精品国产精品国产| 99这里有精品| 91一区二区三区蜜桃| 日日干日日操五月天伦理视频| 亚洲情欲| 性欧美体内射精| 欧美片第一页| 中亚黄色三级大片| 乱伦日本色图AⅤ| 九九九国产精品| 精品久久99| 九九热九九| 刺激性视频黄页| 日韩中文字幕国产| 日韩国产九九精品一区二区三区毛片| 乱伦熟女区| 91色亚洲| 日本999精品视频| 久久精品中文字幕观看| 亚洲激情在线| 精品人妻1237| 人妻系列无码专区中文有码| 亚洲97资源| 91在线页| 精品久久久久av影院| 尤物AV免费网站| 久久久草成人网站久久久草成人久久久草久久久| 久久久无码视频| 日日夜夜青青草母狗| 强歼乱伦资源网| 97欧美日韩综合| 丝袜AV一二三区| 成人免费看吃奶视频网站| 超碰欧美97资源| 蜜臀国产AV中文字幕| 色综合一本| 久久久天美| 国产成人资源| 无遮挡猛进视频免费无限观看| 欧美亚洲图片| 日韩人妻精品| 日日干夜夜操视频h| 日韩乱伦影音先锋| 乱欲视频| 久久成人东京热人妻| 大香蕉十区| 人人扣人人操| 狠狠色狠狠色狠狠五月| 男女啪啪啪18禁网站| 婷婷五月天色网| 第45页一区二区| 日韩成人网址| 亚洲午夜福利在线影院| 成 人 A V免费视频在线观看| 乱色老一区二区三区的观看方式 | 亚洲男人天堂网| 日韩精品国模| 加勒比AV网| 98一区二区精品| 多乙久久久久久| 欧美高清无码免费视频高清版| 久草综合网| 天天操天天日天天干| 天天综合网久久ww| 精品精品精品| 欧美激情五月天| 人、人、摸,人、人、草| 国产亚洲精品一区二区三区| 国产一区二区在线播放| 日本二区不卡| 自拍第一页| 美女干逼2| 狠综合网| 日韩无码AB| 台湾大香蕉99热| 久久9精品视频| 亚洲男人天堂Av| 天天爽天天操| 婷婷久草一区二区三区| 天天色综合图片| www99热| 99无码视频| 久久婷婷伊人| 99热9| 色99在线| 殴美牲| 欧美制服另类丝袜| 性色avv| 少妇蜜汁| 欧美72网页| 精品999日本| 蜜臀99999| 欧美国产有色电影| 综合网97| 91蜜臀人妻中文字幕在线| 亚洲第一男人天堂| 91丝袜| 美女天天干| 日韩高清黄片| 日本国产高清色www视频在线| 欧美日韩香蕉| 婷婷综合| 中文字幕天天天天天| 91中文精品日韩欧美在线| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产精品香蕉热久久新品| 中文字幕一区电影在线观看| 久久香蕉综合一本到3atv| 人妻中文字幕日韩电影| 九九色逼| AV天堂男人的天堂| 玖玖爱伊人玖玖爱| 天天综合欧美| 日韩乱伦AⅤ| 国产精品午夜高潮呻吟久久av| 色色色999| 欧美AB在线观看| 久草在| 91M一社| 亚洲网站一区二区在线| 交换娇妻呻吟声不停中文字幕| 综合操逼| 色香阁在线| 二三四区精品| 操人妻视频| 日本 色 导航| 日韩人妻大香蕉| 中文字幕久久精视频久久大全| 青青草国产一区二区三区| 欧美AB在线| 做爱A级亚欧| 久久婷婷一区二| 超碰欧美在线欧美| 国产精品操| 黄色免费网页无码| 日韩天堂av电影在线观看| www久久精品| 中国AAAAAA黄色片| 99色婷婷| 亚洲天堂资源| 国产精品一区二区亚洲人成毛片| 婷婷五月综合在线| 啊啊啊不要嗯嗯在线观看| 91成人18| 99久久婷婷国产综合精品草原| 欧美亚洲AN| 国产精品一区二区三区四区五区| 国产精品久久久久久久毛片1| 伊色综合天堂色97| 欧美性少妇| 青青操综合网| 1204金沙人妻懂旧版免费| 精品69网| 日本色色色| 爱丝福利| 国内毛片国产专区二| 在线观看A啊啊啊| 99热| 啊啊啊啊啊啊啊国| 五十路三区在线| 二色av| www.久久超碰| 久久久久久AV无码免费网站| 天美一区在线| 国产51色综合久久免费| 97色色国产视频| 国内亚洲高清无码| 人妻插插人妻人| 黑人娇小av在线播放| 五月婷婷六月色| 欧美偷拍| 6080yy午夜理论三级一区二区三区无码| 午夜亚洲| 婷婷丁香久久| 鸥美中出| 大香蕉伊利av| 色网站导航大全| 九九九久千久久激情蜜桃在线看| 欧洲在线性爱视频| 天天综合影院91| 以及麻豆国产入口在线观看免费| 亚洲三级网址久久最新| 影音先锋少妇| 亚洲鸥美色图| 欧美精品自慰系列寂寞少妇 | 国语av最新自产拍在线观看| 99热大香蕉伊在线| 国产福利影视| 亚州性9| 日韩中字av一区| 久艾草在线精品视频在线观看| m欧洲一级午老| AA特级绝黄| 亚洲精品国产拍免费91在线| 2020中文字幕| 亚洲av无码成电影在线播放| 蜜桃视频一区二区三区| 久久久麻豆精品| 久久久久久久久久久久色网| 毛片17S| 操逼片国产| 99精品无码| 麻豆久久久一区二区| 日本韩国国产精品一区| 超碰无码五月97| 九九在线视频| 国产强奸91| 老鸭窝成人| 91在线免费观看处女| 色色香蕉| 中文久久久| 日韩精品大香蕉伊人在线| 静品嫩模一区二区| 岛国黄片网站| 加勒比无码毛片| 黄色成品网站| 在线啊v一区| 国产 亚洲 一二三四| 久热99999| 欧美性爱一内片一区二区三区| 在线观看AV片| 三上悠亚在线毛片91| 欧美高潮| 射欧美综合| 激情四射五月天| 亚洲激情综合另类男同| 日夜伊人网| 91女优在线观看| 91AV老熟女视频| 97久久超碰| 欧美精品日韩久久久九| 91亚洲网| 综合网亚洲在线| 六月婷婷一区二区三区| 天天欧美色| 国产女人91精品嗷嗷嗷嗷| 天堂69亚洲精品中文字| 欧美综合网A| 日本久久久精品电影| 97超碰色屌| 91大胆欧美| 国产日韩欧美三级片| 国产中文精品一区二区在线观看| a片久久久久久久久久久久 | 日韩亚洲欧美中文字幕| 深夜激情| 亚洲色天堂九9| 天天操天天看| 久久久久久久久久久999| 久久国产精品91| 天堂岛av| 色五月婷婷麻豆在| av中文在线| 免费看一级a性色生活片久久无| 性影在线视频| www..com操老师| 天天做天天爱夜夜爽毛片试看| 亚州91| 综合网天天| 搡老女人老91二区| 91精品人妻一区二区三区蜜桃| 亚洲性刺激| 久久激情四射婷婷丁香五月天| 午夜无码熟妇丰满人妻| 久久久99999久网站| 夜夜福利| 91激情综合| 人妻无码视频一区二区三区久久| 色臀aV| 人妻美腿丝袜日韩| 久久精品六区| 亚欧洲日韩国产精品| 丝袜 中出 制服 人妻 美腿 中文字幕| 91男人综合| 久久久555| 一起草在线视频| J?P?NESEHD熟女熟妇伦| 黄色片A级一区二区三区| 国产日韩欧美操逼视频| 国产三级多多影院2022国产AA一级毛片无码| 日韩av不卡在线看| 精品一啪| 超碰免费在线| ′ !γ}丶。。久久精品欧美一区二区三区 | 夜夜狠狠躁日日躁色视频| 91网站18在线| 欧美日韩美女精品久草一区二区三区 | 亚洲资源一区| 国产精品美女久久久久久网站| 久久久久亚洲熟妇熟女| 高清成年美女黄网站免费大全| 伊欧美综合视频| 99热这里只有精| 日本少妇va7777| 综合一区二区影视| 久久久久久久| 韩国手机不卡无码三级视频| 亚洲成熟国产精品美女| 91丝袜美女国产| 欧美亚洲一区二区久久久婷精品大包诱| 久久99精品国产| 久夜操| 亚洲精品国产日韩无码AV永久免| 美女一区二区国产精品| 五月激情在线| 日本淫穴在线| 天天拍夜夜| 国产成人一级av88| 国产玖玖| 99re在线精品78| 9118禁| 在线一道啪| 综合色图亚洲欧美| 欧美日韩另类字幕中文| 亚欧美色| 午夜黄色免费在线观看| 国精品一区二区三| 国产一区二区在线看| 乱伦熟女专区| 五月天成人综合| 99精品高潮| 国产强奸无码乱伦| 国产免费永久精品无码| 天天看特黄的免费网站| 伊人欧美大香蕉视频| 岛国片在线视频网站| 综合网色| 欧亚揄拍偷拍精品视频 | 小少妇| 四季av一区二区凹凸精品小说 | 久久久久久久9最新免费视频观看| 99re这里只有精品9| 大色综合网| 97超级欧美| 秋霞 色色| 97电影院超碰| 97亚洲自在精品在线观看| 99老司机精品视频在线观看| 色av中文字| 色淫网站优优视频| 综合欧美日本三级| 啊啊啊啊啊啊啊在线| 波多野结衣AV无码一区| 九色 人妻 大香蕉| 国产精品在线免费| 亚洲av无码成人精品国产| 亚洲欧美精品久| 蜜乳视频网站| 夜夜嗨av午夜成人| 日本成a人v网站在线观看| 夜夜嗨一区二区| 少妇无码999| 婷婷午夜| 亚洲激情久久久伊人综合| 新婚人妻扶着粗大强行坐下| 一区二区三区成人| 欧美日韩亚洲一区二区在线观看| 91麻豆天美国产| 翔田千里无码一区| 激情图片亚洲色图| AV一起草在线| 欧美色天堂网在线视频| 免费观看性欧美一级| 国产AV天美| 国产精品久久久久久高清无码免费看| 久久国产精品,久久国产| 国产精品不卡高清在线观看| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | www黄片免费看com| 亚洲图片欧美另类综合免费视频大大香| 亚洲1区2区三区高清中文字幕| 一区二区视频你懂的| 日韩综合无码色欲vv| 最新av在线| 午夜爽爽爽在线观看永久入口姬片| 吉川爱美亚洲二区在线 | 插入粉嫩少妇视频| 欧美综合区| 欧美日韩亚洲天堂| 江都AV在线| 大香蕉黄色一级片免费看| 国产第11页| 操美女高潮抽搐白浆| 亚洲风情在线观看| 蜜桃中文字日产乱幕4区| 色色网91| 夜夜国自区| 黑丝少妇在线观看| 97久久久| 亚洲精品1区| 超碰在线成人| 免费精品无码一级毛片牛牛影视 | 成人小说视频在线精品欧美| 美女丝袜激情小说| 九九在线精品| 欧美区亚洲区偷拍区| 欧美第二页午夜| 五月天开心网| 国产一区二区免费福利片| 91九九九吃| 日韩一级二级| 久久黄色性爱视频| 美女9118禁| 97精品97| 亚洲成人av色网| 欧美精品成人在线播放| 手机在线大香蕉| 91爱看| 六月婷激情福利天堂69| 精品人体无圣光凹凸| 91 天天综合| 狠狠夜色午夜久久综合在线| 婷婷久久网| 自拍偷拍国产欧美日韩韩| 久9综合在线| 啊啊啊啊啊在线观看网址 | 五月天婷婷欧美三区| 操逼视频色| 人人妻人人爱人人玩| 日本不卡一区二区三区| 白丝1区2区3区| 天天看,天天做| 国产成人99久久亚洲综合| 大香蕉懂9| 加勒比伊人影院| 这里是精品| 99操逼| av在线免费一区二区| 伊人影院日本| 97国产|免费| 日本黄页视频在线观看| 一区二区三区日韩欧美| 很很干很很操| 国内三级自拍小视频在线观看| 九九精品无码专区免费| 好爽视频在线观看| 久久原创中文| 99热 按摩 日韩| 欧美超碰96| 亚洲人成网www| 日韩婷婷| 亚卅熟女乱色| 日本一区二区三区四区免费观看| 欧美亚洲素人制服精品| 日本一级真人黄色性爱视频| 国产9l 大屁股| 99AV| 蜜汁欧美| 国产麻豆91欧美一区二区久久婷婷国产精品| 精品久久大胆人体| 操b网站亚洲无码| 超碰性爱97| 色综合潮| 超碰碰97| 久久久久亚洲精品| 天天天天天天天天综合| 中文字幕-区二区三区四区视频中国| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 天天操美美| 欧色性第一页| 东京热熟女亚洲视频网站| 久久久久久久久久久久黄色| 91嫩草欧美| 日本99一区二区| 最新av在线| 我中文字幕6区| 少妇色综合| 久久成人午夜狠狠| 亚洲素人综合| 日韩精品三级| 淫荡网址| 无码高清操逼| 国产AAAAAABBBBB| 国产成人一级av88| 黄色网址在线免费观看| 日本国产成人亚洲精品无码| 亚洲乱熟女一区二区三区大香蕉| 九九色精品| 亚洲少妇色| 97蜜桃综合| 四虎免费看黄| 精人妻无码一区二区三区伊人直播| 色偷偷人人玩人人舔人人操人人摸人人爽| 97久久天天综合色天天综合色电影| 激情四射婷婷六月天| 密臀国产在线| 91人人操| 高清无码一区二区三区| 91在线精品| 久久99操天天日| 人妻插插人妻人| 麻豆天美在线喷水AV| 欧美性五月| 97综合国产| 蜜乳Av成人片网站| 激情久久久| 91n美女视频| 久久久久密臀视频| 九九九九热只有精品| 91人妻在线视频| 精品无码久久久久久国产浪潮| 人人妻人人狠人人| 97中文超碰| 国产精品天干天干综合网麻豆| 亚洲女优有码无码高清| 97在线观看| 日韩人妻中文视频| 色婷婷六月| 日本99一区二区| julia国产在线 | 欧美精品偷拍| 色爱天堂| 免费观看国产小粉嫩喷水精品午| 91精品久久久久久综合五月天| 熟妇人妻一区二区| 中文字幕免费在线观看| 亚洲熟伦熟妇AV无码春色| 日本肉体xxxx裸交| 欧亚不卡| 97欧美日韩| 婷婷影院入口| 嗯嗯啊啊操死我| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 中文一区二区婷婷视频| 中文字幕第95页| 中文字幕美女91| 91美女中出| 少妇人妻在线| 中文字幕在线观看永久| 欧美嗯啊……在线观看视频免费| 91日日夜夜| 小视频国产| 中文字幕国产精品1区| 91老妇女| 亚洲乱码国产乱码精网站| 伊人色综合超碰| 超碰97 线线 在现| 十八禁视频网站| 色娱乐色呦呦夜夜夜夜av| 2024黄色视频| 欧美亚洲日韩人妻在线观看| 综合大香蕉美。| 最新三级网址| 第45页一区二区| 最新国产精品| 日本有码久久| 麻豆精品.欧美精品.日韩精品.| 黄色视频特级毛片| 97精品97久久| 大黄片做爱的大的| 超碰97玖玖爱| 国产精品又黄又猛又粗| 亚洲色图91欧美日韩| 伊人九九九| 丁香五月色| 四虎精品永久在线观看| 在线性黄高清免费视频| 超碰免费欧美7| 黄色电影观看久久9| 超碰综合色| 乳欲人妻办公室奶水| 九九亚洲精品| 亚洲精品三区在线观看| 色五月第四色| 亚洲av综合色区图片亚洲| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 日韩AV一起草| 玖玖综合视频| 国产超碰在线| 少妇高潮九九九九| 色香阁在线| 青青操网| 色天堂综合| 日欧亚洲二三区大片不卡| 我爱搞逼综合网| 综合自拍| 精品国产乱子伦一区二区三区,精品一| 9999久久久久| 亚洲天堂男人天堂| 很黄很污的免费网站| 人妻偷拍一区二区三区| 另类av综合久久| 99精品久久久久久久婷婷| 亚洲女人毛茸茸91| 婷婷香蕉| 色网站导航大全| 亚州日韩97| 麻豆这里只有精品| 91日韩| 日本不卡二三区| 黄色欧美性爱视频| rion磁力链接| 久久亚州高清| 日韩乱伦影音先锋| 日本在线伊人啪啪| 欧美久久婷| 欧美aaaaaaa| 欧洲视频在线| 曰本精品久久久| 夜嗨影院| 天久久久噜噜噜久久国产精品爽爽 | 国产精品一区二区麻豆| 99热免费| 99re热有精品视频国产| 公司1区2区3区精产精| 亚洲午夜免费狠狠干| 18啪啪手机免费性爱| com 首页 18岁 禁区 女优 免费 精选 同城| 黑丝少妇在线观看| 免费1级a做爰片观看| 国语精品av| 躁躁日曰躁2020| 久/久精品99看9| 久久黄片国产一区二区| 一二区在线观看视频| 97精品视频免费| 色五月婷婷在线| 看大黄色大片原件| 欧美美女视频| 青草视频人妻在线观看| 久久久久久性爱片| 天天日天天干天天整| 夜夜草我| 久草免费在线视频| 欧美大色交| 91人妻丝袜无码| 国产18精品亚洲精品| 囯产精品久久久久久久久久梁医生 | 欧美精品人妻视频| 国产高清成人传媒影视| 爱妃国产亚洲视频中文字幕| 2017,超碰| 色情婷婷久久五月天| 亚洲最大黄网| 日韩啪啪网| 日本性爱网址| 东京热视频网| 亚洲福利影院一区久久| 欧美色爱综合| 亚洲精品97中文字幕| 又摸又舔在线观看网站| 五月天黄色av| 一区二区偷拍拍视频| 乱伦系列一区二区| 国产精品一区午夜福利| 国产肏逼网站| 久久久九九九| 天天日天天干少妇日| 欧美97网| 中文字幕免费在线观看| 黄色片G G G| 欧洲小说色图视频另类| 亚州再线| 亚洲五区熟女| 亚洲AV乱码专区国产噜噜亚洲| 九九内射在线| 九九久久99| 在线国产探花| 99啪啪视频| ?亚洲伊人伊成久久人综合网| 国产操操日韩三级黄| 国产一级高跟丝袜| 成人小说视频在线精品欧美| 波多野结衣之双飞调教在线播放| 91老熟女| 日本东京热久久久电影| 欧美人体性爱互联网第一页婷婷日本| 97国产精品一区二区传媒公司| 91日韩网站| 床戏久久久av一区二区麻豆| 亚洲AV不卡在线观看| 日本天堂在线播放| 在线 欧美 亚洲| 精品国产乱码久久久久久日本公司| 97超碰色中文字幕| 黑人粗大V S日韩女优视频| 夜夜夜夜爽| 欧洲亚洲人妻无码久久三区四区| 亚洲在线网站| 熟女熟妇伦久久影院毛片一区二区 | 超碰这里有精品| 国产日韩中文字幕欧美|