日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

未知數(shù)據(jù)分類驗(yàn)證基線實(shí)戰(zhàn):基于MSP與AUROC的圖像開放集評(píng)估

未知數(shù)據(jù)分類驗(yàn)證基線實(shí)戰(zhàn):基于MSP與AUROC的圖像開放集評(píng)估 在真實(shí)的圖像分類落地場(chǎng)景中困擾我們的往往不是“已知類別識(shí)別得不夠準(zhǔn)”而是模型在面對(duì)從未見過的輸入時(shí)依然會(huì)給出一個(gè)十分自信的錯(cuò)誤答案。比如安防攝像頭采集到一種訓(xùn)練階段完全沒有出現(xiàn)過的物品分類器沒有能力判斷“我不認(rèn)識(shí)它”反而會(huì)把它強(qiáng)行歸到某個(gè)已知類別里。這個(gè)問題如果得不到控制直接上線就會(huì)帶來(lái)誤報(bào)、漏報(bào)和運(yùn)營(yíng)上的連鎖風(fēng)險(xiǎn)。本文圍繞 “VeriCam: A Verification Baseline for the Classification of Unknown Data” 展開。這里的關(guān)鍵詞并不單指某一套固定代碼而是代表一類任務(wù)如何在視覺分類系統(tǒng)中建立“未知數(shù)據(jù)分類驗(yàn)證基線”并用量化指標(biāo)評(píng)估模型對(duì)未知輸入的響應(yīng)。適合正在做圖像分類、開放集識(shí)別、模型上線前評(píng)估的算法工程師和學(xué)生閱讀。讀完你會(huì)掌握一套最小可運(yùn)行的驗(yàn)證基線流程包括數(shù)據(jù)劃分、未知樣本構(gòu)造、MSP 置信度基線、AUROC/FPRTPR95 指標(biāo)計(jì)算以及容易踩坑的細(xì)節(jié)。1. 未知數(shù)據(jù)分類為什么需要驗(yàn)證基線1.1 從閉集分類到開放世界分類傳統(tǒng)的圖像分類模型通常遵循閉集假設(shè)訓(xùn)練集和測(cè)試集來(lái)自同一組類別模型只需要在有限類別里選擇概率最大的答案。這種假設(shè)在學(xué)術(shù) benchmark 里非常常見但現(xiàn)實(shí)世界并不是一個(gè)封閉集合。攝像頭、傳感器、用戶上傳內(nèi)容隨時(shí)可能帶來(lái)未見過的類別。我們可以把這些輸入統(tǒng)稱為 Unknown Data也就是模型訓(xùn)練階段沒有見過的數(shù)據(jù)。此時(shí)模型面對(duì)的是開放世界既要能區(qū)分已知類別之間的差異也要能識(shí)別出“這個(gè)樣本不屬于任何已知類別”。“Unknown Data”并不是單一概念。它可以包括與已知類別完全不同的新類別與已知類別語(yǔ)義相近但分布不同的數(shù)據(jù)數(shù)據(jù)損壞、噪聲、對(duì)抗擾動(dòng)帶來(lái)的異常輸入與任務(wù)完全無(wú)關(guān)的背景內(nèi)容。如果模型不具備對(duì)未知輸入的判斷能力那么它輸出的置信度分?jǐn)?shù)就沒有意義。所以我們需要一種“驗(yàn)證基線”先把模型面對(duì)未知數(shù)據(jù)時(shí)的行為量化出來(lái)再?zèng)Q定是否需要改進(jìn)算法。1.2 Verification Baseline 到底驗(yàn)證什么Verification Baseline 可以理解為一套標(biāo)準(zhǔn)化的驗(yàn)證流程。它回答的問題非常明確當(dāng)模型遇到 Unknown Data 時(shí)它能不能保持“謹(jǐn)慎”具體來(lái)說(shuō)驗(yàn)證基線需要完成三件事。第一把已知類別和未知類別放在同一個(gè)評(píng)價(jià)框架里讓問題從“這張圖是哪個(gè)類”變成“這張圖是否來(lái)自已知類別空間”。第二為每個(gè)樣本計(jì)算一個(gè)可比較的置信度分?jǐn)?shù)例如最大 Softmax 概率分?jǐn)?shù)高代表模型認(rèn)為樣本更接近已知類別。第三在固定的指標(biāo)下匯報(bào)模型區(qū)分已知和未知的能力而不是只看分類準(zhǔn)確率。用 VeriCam 這類名稱作為驗(yàn)證基線本質(zhì)上是為了強(qiáng)調(diào)視覺場(chǎng)景中的可復(fù)現(xiàn)評(píng)估。真實(shí)項(xiàng)目里算法團(tuán)隊(duì)經(jīng)常用不同的數(shù)據(jù)集、不同的預(yù)處理方式、不同的評(píng)價(jià)口徑各自驗(yàn)證得到的結(jié)論無(wú)法橫向比較。有了統(tǒng)一基線后任何改進(jìn)方法都可以先在同一個(gè)協(xié)議上跑一遍確認(rèn)提升真實(shí)有效。1.3 與 OSR、OOD、異常檢測(cè)的關(guān)系這里有必要區(qū)分幾組經(jīng)?;煜母拍钜?yàn)椴煌瑘?chǎng)景里“未知數(shù)據(jù)”的定義差別很大。開放集識(shí)別也就是 Open Set Recognition簡(jiǎn)稱 OSR關(guān)注的是模型能否在測(cè)試時(shí)正確拒絕“新類別”同時(shí)保留對(duì)已知類別的識(shí)別能力。分布外檢測(cè)也就是 Out-of-Distribution Detection簡(jiǎn)稱 OOD Detection關(guān)注的是測(cè)試樣本是否來(lái)自訓(xùn)練分布之外比如 CIFAR-10 模型遇到 SVHN 圖像。異常檢測(cè)也就是 Anomaly Detection通常更關(guān)注數(shù)據(jù)中的少量異常點(diǎn)例如工業(yè)質(zhì)檢中的缺陷樣本。這三個(gè)方向在方法上經(jīng)常互相借鑒但評(píng)價(jià)口徑并不完全一致。本文以視覺圖像分類為主線重點(diǎn)解決 OSR 和 OOD 方向上都需要的核心問題如何構(gòu)造 Known/Unknown 數(shù)據(jù)并給出一個(gè)可靠的驗(yàn)證基線。2. 基線實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)2.1 問題形式化定義為了把問題講清楚我們可以做一個(gè)形式化定義。假設(shè)有已知類別集合K {c1, c2, ..., cM}模型使用 K 中的訓(xùn)練數(shù)據(jù)完成分類因此模型見過所有已知類別。測(cè)試階段我們輸入兩類樣本已知類樣本標(biāo)簽確實(shí)屬于 K未知類樣本標(biāo)簽不屬于 K。驗(yàn)證基線的目標(biāo)不是判斷未知樣本具體屬于哪個(gè)新類別而是計(jì)算一個(gè)二分類判斷樣本是否為已知類別可以把來(lái)自已知類別的樣本視為正類把來(lái)自未知類別的樣本視為負(fù)類。這樣原本的“M 類分類問題”就被轉(zhuǎn)換成一個(gè)“驗(yàn)證問題”。Verification Baseline 的名稱也因此而來(lái)我們驗(yàn)證的其實(shí)是模型對(duì)已知類別空間的信任邊界。2.2 數(shù)據(jù)集應(yīng)該怎么劃分建立驗(yàn)證基線的第一步是準(zhǔn)備數(shù)據(jù)。為了保證實(shí)驗(yàn)可復(fù)現(xiàn)建議把數(shù)據(jù)劃分成四份數(shù)據(jù)集合數(shù)據(jù)來(lái)源是否參與訓(xùn)練用途已知類訓(xùn)練集已知類別中的訓(xùn)練樣本是訓(xùn)練分類器已知類驗(yàn)證集已知類別中的驗(yàn)證樣本否只用于選閾值確定判定邊界已知類測(cè)試集已知類別中的測(cè)試樣本否評(píng)估已知類識(shí)別能力未知類測(cè)試集未知類別樣本否評(píng)估對(duì)未知類的拒識(shí)能力一個(gè)常見的錯(cuò)誤是只用訓(xùn)練集上的表現(xiàn)來(lái)評(píng)估模型或者讓測(cè)試用的未知類別以任何形式出現(xiàn)在訓(xùn)練階段。這樣得到的結(jié)果會(huì)偏樂觀無(wú)法反映真實(shí)線上場(chǎng)景。未知類數(shù)據(jù)在驗(yàn)證階段應(yīng)該保持完全不可見。另一個(gè)關(guān)鍵點(diǎn)是閾值不能直接在測(cè)試集上挑選否則會(huì)產(chǎn)生信息泄漏。更規(guī)范的做法是先用已知類驗(yàn)證集確定一個(gè)能保證指定已知類召回率的閾值再把這個(gè)閾值固定下來(lái)去測(cè)試集上評(píng)估最終的混淆矩陣和指標(biāo)。2.3 核心指標(biāo)選擇分類任務(wù)里準(zhǔn)確率并不能完整反映驗(yàn)證基線的質(zhì)量。因?yàn)槿绻阎惡臀粗悢?shù)量不平衡模型即使把所有樣本都判為“已知”也可能獲得很高的準(zhǔn)確率。這里采用更合適的指標(biāo)。AUROCArea Under the ROC Curve是最常用的指標(biāo)之一。它的含義是隨機(jī)抽取一個(gè)已知類樣本和一個(gè)未知類樣本已知類樣本的分?jǐn)?shù)高于未知類樣本的概率。AUROC 越高說(shuō)明模型對(duì)已知和未知的區(qū)分能力越強(qiáng)。AUROC 接近 0.5 表示模型基本沒有區(qū)分能力接近 1 表示區(qū)分能力很強(qiáng)。FPRTPR95 是另一個(gè)工程中很重要的指標(biāo)。TPR 表示已知類樣本被正確判定為已知類的比例FPR 表示未知類樣本被錯(cuò)誤判定為已知類的比例。FPRTPR95 的含義是當(dāng)模型能識(shí)別出 95% 的已知類樣本時(shí)有多少比例的未知類樣本會(huì)被誤判成已知類。這個(gè)指標(biāo)直接對(duì)應(yīng)業(yè)務(wù)中的“誤報(bào)率”在很多安全敏感場(chǎng)景中非常關(guān)鍵。除了上述指標(biāo)還可以額外統(tǒng)計(jì)已知類準(zhǔn)確率、未知類拒識(shí)率以及混淆矩陣方便從不同角度觀察結(jié)果。3. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)3.1 運(yùn)行環(huán)境本文示例以 PyTorch 為基礎(chǔ)實(shí)現(xiàn)環(huán)境要求如下。版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整這里重點(diǎn)演示配置和代碼思路。操作系統(tǒng)Windows / Linux / macOS 均可Python建議使用 3.8 或更高版本深度學(xué)習(xí)框架PyTorch建議使用較新的穩(wěn)定版本數(shù)據(jù)集工具torchvision指標(biāo)計(jì)算scikit-learn數(shù)值計(jì)算NumPy。在命令行中安裝核心依賴pip install torch torchvision sklearn numpy如果你的機(jī)器有 CUDA 顯卡可以安裝對(duì)應(yīng)版本的 GPU PyTorch如果沒有CPU 版本也能完成整個(gè)演示只是訓(xùn)練速度會(huì)慢一些。安裝時(shí)盡量統(tǒng)一依賴版本避免不同包之間的接口沖突。3.2 演示項(xiàng)目結(jié)構(gòu)為了讓代碼模塊清晰建議按下面的目錄組織工程VeriCam-Demo/ ├── data_utils.py # 數(shù)據(jù)集劃分與 Known/Unknown 構(gòu)造 ├── models.py # 小型視覺分類網(wǎng)絡(luò) ├── metrics.py # 驗(yàn)證基線評(píng)估指標(biāo) └── run_demo.py # 主流程訓(xùn)練、閾值選擇、評(píng)估這份結(jié)構(gòu)足夠做一次完整實(shí)驗(yàn)。你在實(shí)際項(xiàng)目中可以繼續(xù)擴(kuò)展出config.py管理超參數(shù)、inference.py對(duì)接線上推理但核心的驗(yàn)證協(xié)議與這里的邏輯保持一致。4. 完整代碼實(shí)現(xiàn)4.1 數(shù)據(jù)劃分與 Unknown Data 構(gòu)造我們需要從 CIFAR-10 數(shù)據(jù)集中切出已知類別與未知類別。例如選擇其中 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這樣能保證數(shù)據(jù)集的加載非常簡(jiǎn)單環(huán)境允許時(shí)會(huì)自動(dòng)下載到本地。值得注意的是這種劃分方式會(huì)讓未知類與已知類來(lái)自同一個(gè)數(shù)據(jù)集語(yǔ)義上仍屬于同一分布因此驗(yàn)證難度偏低。它適合用來(lái)打通實(shí)驗(yàn)流程。在更嚴(yán)格的實(shí)驗(yàn)中建議使用 CIFAR-100 或 Tiny ImageNet 等數(shù)據(jù)集裁剪出的圖像作為真正意義上的 Unknown Data。先把流程跑通再替換為更困難的數(shù)據(jù)是比較穩(wěn)妥的思路。下面是data_utils.py的完整代碼# 文件路徑VeriCam-Demo/data_utils.py import torch from torch.utils.data import Subset, Dataset from torchvision import datasets, transforms class VerificationDataset(Dataset): 將原始 Subset 包裝成驗(yàn)證數(shù)據(jù)集。 is_known1 表示該樣本屬于已知類別空間 is_known0 表示該樣本屬于未知類別空間。 def __init__(self, subset, is_known): self.subset subset self.is_known int(is_known) def __len__(self): return len(self.subset) def __getitem__(self, index): x, y self.subset[index] return x, y, self.is_known def filter_by_classes(dataset, allowed_classes): 只保留 dataset 中類別在 allowed_classes 里的樣本。 allowed_classes 是 list[int]。 allowed_set set(allowed_classes) indices [ i for i, (_, label) in enumerate(dataset) if int(label) in allowed_set ] return Subset(dataset, indices) def get_cifar10_datasets(data_root./data, known_classes(0, 1, 2, 3, 4)): 返回?cái)?shù)據(jù)字典包含 - known_train: 訓(xùn)練分類器使用的已知類訓(xùn)練集 - known_val: 用來(lái)選擇閾值的已知類驗(yàn)證集 - known_test: 已知類測(cè)試集 - unknown_test: 未知類測(cè)試集 train_transform transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding4), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) # 下載并加載完整 CIFAR-10 full_train datasets.CIFAR10( rootdata_root, trainTrue, downloadTrue, transformtrain_transform ) full_test datasets.CIFAR10( rootdata_root, trainFalse, downloadTrue, transformtest_transform ) all_classes set(range(10)) known_set set(known_classes) unknown_classes sorted(all_classes - known_set) # 過濾出已知類訓(xùn)練數(shù)據(jù) known_train_full filter_by_classes(full_train, known_classes) # 再?gòu)囊阎愑?xùn)練數(shù)據(jù)中切出驗(yàn)證集例如 5000 個(gè)樣本 n len(known_train_full) n_val 5000 indices list(range(n)) torch.manual_seed(0) val_indices set(torch.randperm(n)[:n_val].tolist()) train_indices [i for i in indices if i not in val_indices] known_train Subset(known_train_full, train_indices) known_val Subset(known_train_full, sorted(val_indices)) # 已知類測(cè)試集和未知類測(cè)試集 known_test filter_by_classes(full_test, known_classes) unknown_test filter_by_classes(full_test, unknown_classes) # 包裝成驗(yàn)證數(shù)據(jù)集 return { known_train: VerificationDataset(known_train, is_known1), known_val: VerificationDataset(known_val, is_known1), known_test: VerificationDataset(known_test, is_known1), unknown_test: VerificationDataset(unknown_test, is_known0), }這段代碼需要注意三個(gè)地方。第一驗(yàn)證集的索引來(lái)自已知類訓(xùn)練數(shù)據(jù)內(nèi)部不能和測(cè)試集有交集。第二VerificationDataset返回的第三個(gè)元素 1/0 用來(lái)告訴評(píng)估函數(shù)當(dāng)前樣本是已知還是未知。第三隨機(jī)種子固定為 0方便復(fù)現(xiàn)在真實(shí)項(xiàng)目中可以把 seed 作為參數(shù)傳入方便做多次重復(fù)實(shí)驗(yàn)。4.2 定義視覺分類網(wǎng)絡(luò)本文用一個(gè)小型 CNN 而不是大型預(yù)訓(xùn)練網(wǎng)絡(luò)。原因是驗(yàn)證基線討論的重點(diǎn)在協(xié)議和指標(biāo)上使用小型網(wǎng)絡(luò)可以在普通 CPU 機(jī)器上完成訓(xùn)練方便讀者快速?gòu)?fù)現(xiàn)。# 文件路徑VeriCam-Demo/models.py import torch.nn as nn class SmallCNN(nn.Module): 適用于 CIFAR-10 32x32 輸入的小型卷積網(wǎng)絡(luò)。 輸出維度為 num_classes不包含 Softmax。 def __init__(self, num_classes5): super(SmallCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, num_classes), ) def forward(self, x): return self.classifier(self.features(x))CIFAR-10 的圖像尺寸是 32x32。經(jīng)過三次MaxPool2d(2)后特征圖會(huì)縮小到 4x4最后引入AdaptiveAvgPool2d((1, 1))把特征圖統(tǒng)一池化到 1x1保證網(wǎng)絡(luò)對(duì)輸入尺寸變化有更好的魯棒性。需要重點(diǎn)理解的是網(wǎng)絡(luò)最后一層輸出的是 logits不是概率。我們?cè)诤罄m(xù)計(jì)算最大 Softmax 概率時(shí)會(huì)先對(duì) logits 做 Softmax再取最大值。不要把 Softmax 寫進(jìn)模型里因?yàn)橛?xùn)練時(shí)使用的交叉熵?fù)p失函數(shù)會(huì)自動(dòng)結(jié)合 logits 和 Softmax單獨(dú)把 Softmax 放進(jìn)模型反而會(huì)增加數(shù)值不穩(wěn)定性。4.3 評(píng)估指標(biāo)實(shí)現(xiàn)在驗(yàn)證基線中我們要計(jì)算三個(gè)核心結(jié)果AUROC、FPRTPR95、混淆矩陣。下面把指標(biāo)封裝成獨(dú)立模塊方便在訓(xùn)練結(jié)束后直接調(diào)用。# 文件路徑VeriCam-Demo/metrics.py import numpy as np from sklearn.metrics import roc_auc_score, roc_curve def compute_metrics(known_scores, unknown_scores, threshold): 計(jì)算驗(yàn)證指標(biāo)。 參數(shù) - known_scores: 已知類樣本的置信度分?jǐn)?shù) - unknown_scores: 未知類樣本的置信度分?jǐn)?shù) - threshold: 判定閾值分?jǐn)?shù) threshold 判定為已知類 返回 - dict 類型的指標(biāo)結(jié)果 y_true np.concatenate([ np.ones(len(known_scores)), np.zeros(len(unknown_scores)), ]) y_score np.concatenate([known_scores, unknown_scores]) # 在固定閾值下計(jì)算混淆矩陣相關(guān)指標(biāo) pred (y_score threshold).astype(int) tp np.sum((pred 1) (y_true 1)) fn np.sum((pred 0) (y_true 1)) fp np.sum((pred 1) (y_true 0)) tn np.sum((pred 0) (y_true 0)) known_acc tp / max(tp fn, 1) unknown_acc tn / max(tn fp, 1) auc roc_auc_score(y_true, y_score) fprs, tprs, _ roc_curve(y_true, y_score) # 找到 TPR 0.95 時(shí)盡量低且首次滿足條件的 FPR valid_indices np.where(tprs 0.95)[0] fpr_at_tpr95 fprs[valid_indices[0]] if len(valid_indices) 0 else float(nan) return { auc: auc, fpr_at_tpr95: fpr_at_tpr95, known_acc: known_acc, unknown_acc: unknown_acc, confusion_matrix: { tp: int(tp), fn: int(fn), fp: int(fp), tn: int(tn), }, } def select_threshold_by_known_scores(known_scores, tpr_target0.95): 使用已知類驗(yàn)證集的分?jǐn)?shù)挑選閾值。 目標(biāo)是讓已知類樣本保留 tpr_target 比例的召回率。 if len(known_scores) 0: raise ValueError(known_scores 不能為空) # 例如 tpr_target0.95則取已知樣本分?jǐn)?shù)分布的 5% 分位點(diǎn) # 約 95% 的已知樣本分?jǐn)?shù)會(huì)大于等于該閾值 threshold np.percentile(known_scores, (1 - tpr_target) * 100) return float(threshold)這里的閾值選擇邏輯非常重要。我們是在“已知類驗(yàn)證集”上選擇閾值而不是在測(cè)試集上選擇。測(cè)試集只負(fù)責(zé)最終評(píng)估這樣可以避免閾值過擬合。如果線上業(yè)務(wù)對(duì)誤報(bào)率更敏感可以把閾值定得更高如果希望盡量少漏掉已知類樣本可以調(diào)低閾值。驗(yàn)證基線的意義恰恰就是提供一個(gè)可調(diào)節(jié)的評(píng)估框架而不是固定某一條規(guī)則。4.4 主流程訓(xùn)練與驗(yàn)證最后是主流程代碼。它會(huì)依次完成訓(xùn)練、分?jǐn)?shù)采集、閾值選擇和指標(biāo)計(jì)算。# 文件路徑VeriCam-Demo/run_demo.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader from data_utils import get_cifar10_datasets from models import SmallCNN from metrics import compute_metrics, select_threshold_by_known_scores def collect_confidence_scores(model, loader, device): 遍歷數(shù)據(jù)集返回最大 Softmax 概率分?jǐn)?shù)和 is_known 標(biāo)簽。 model.eval() scores_list [] known_list [] with torch.no_grad(): for x, _, is_known in loader: x x.to(device) logits model(x) probs torch.softmax(logits, dim1) max_probs probs.max(dim1).values scores_list.append(max_probs.cpu().numpy()) known_list.append(is_known.numpy()) scores np.concatenate(scores_list) is_known np.concatenate(known_list) return scores, is_known def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) print(device:, device) # 使用 5 個(gè)類別作為已知類 known_classes [0, 1, 2, 3, 4] num_classes len(known_classes) datasets get_cifar10_datasets( data_root./data, known_classesknown_classes, ) train_loader DataLoader( datasets[known_train], batch_size128, shuffleTrue, num_workers2, drop_lastTrue ) val_loader DataLoader( datasets[known_val], batch_size256, shuffleFalse, num_workers2 ) known_test_loader DataLoader( datasets[known_test], batch_size256, shuffleFalse, num_workers2 ) unknown_test_loader DataLoader( datasets[unknown_test], batch_size256, shuffleFalse, num_workers2 ) model SmallCNN(num_classesnum_classes).to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() epochs 10 for epoch in range(epochs): model.train() total_loss 0.0 correct 0 total 0 for x, y, _ in train_loader: x x.to(device) y y.to(device) logits model(x) loss criterion(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * x.size(0) pred logits.argmax(dim1) correct (pred y).sum().item() total y.size(0) train_acc correct / max(total, 1) avg_loss total_loss / max(total, 1) print(fepoch{epoch 1}, loss{avg_loss:.4f}, train_acc{train_acc:.4f}) # 1. 在已知類驗(yàn)證集上選擇閾值 val_scores, val_known collect_confidence_scores(model, val_loader, device) # val_known 應(yīng)該全是 1閾值選擇只看已知類分?jǐn)?shù) threshold select_threshold_by_known_scores( val_scores, tpr_target0.95 ) print(selected threshold:, round(threshold, 4)) # 2. 在測(cè)試集上評(píng)估 known_scores, _ collect_confidence_scores(model, known_test_loader, device) unknown_scores, _ collect_confidence_scores(model, unknown_test_loader, device) results compute_metrics( known_scoresknown_scores, unknown_scoresunknown_scores, thresholdthreshold, ) print(AUROC:, round(results[auc], 4)) print(FPRTPR95:, round(results[fpr_at_tpr95], 4)) print(known_acc:, round(results[known_acc], 4)) print(unknown_acc:, round(results[unknown_acc], 4)) print(confusion_matrix:, results[confusion_matrix]) if __name__ __main__: main()這里有幾個(gè)工程細(xì)節(jié)需要解釋。第一模型訓(xùn)練使用交叉熵?fù)p失輸出維度是 5。訓(xùn)練過程中只使用 known_classes 對(duì)應(yīng)的 5 類數(shù)據(jù)未知類數(shù)據(jù)完全沒有參與訓(xùn)練。這保證了驗(yàn)證基線考察的是模型面對(duì)全新類別的泛化能力而不是記憶能力。第二閾值的選擇來(lái)自驗(yàn)證集。select_threshold_by_known_scores會(huì)找出一個(gè)閾值使得約 95% 的已知類驗(yàn)證樣本能夠被正確保留。然后我們固定這個(gè)閾值再到 known_test 和 unknown_test 上評(píng)估。第三所有測(cè)試都使用torch.no_grad()包裹并讓模型進(jìn)入 eval 模式。如果忘記調(diào)用model.eval()BatchNorm 層在推理時(shí)仍然會(huì)使用當(dāng)前 batch 的均值和方差導(dǎo)致結(jié)果不穩(wěn)定。5. 運(yùn)行與結(jié)果分析5.1 運(yùn)行命令在項(xiàng)目目錄下直接運(yùn)行python run_demo.py第一次運(yùn)行會(huì)自動(dòng)從互聯(lián)網(wǎng)下載 CIFAR-10 數(shù)據(jù)集。下載完成后控制臺(tái)會(huì)輸出類似下面的內(nèi)容device: cpu epoch1, loss1.5321, train_acc0.3892 epoch2, loss1.3147, train_acc0.5021 epoch3, loss1.1842, train_acc0.5621 ... epoch10, loss0.9313, train_acc0.6881 selected threshold: 0.4213 AUROC: 0.7721 FPRTPR95: 0.4215 known_acc: 0.6924 unknown_acc: 0.6203 confusion_matrix: {tp: 3421, fn: 1579, fp: 1898, tn: 3102}以上輸出只是格式示意。不同機(jī)器、不同隨機(jī)種子和不同訓(xùn)練輪數(shù)一定會(huì)產(chǎn)生差異重點(diǎn)不是記住某個(gè)具體數(shù)字而是理解每一行結(jié)果的含義。5.2 怎樣解讀這些結(jié)果AUROC 如果明顯高于 0.5說(shuō)明模型已經(jīng)具備一定的已知/未知區(qū)分能力。AUROC 很高不代表系統(tǒng)可以直接上線因?yàn)榫€上場(chǎng)景的未知數(shù)據(jù)分布會(huì)更復(fù)雜。FPRTPR95 則告訴我們?nèi)绻麡I(yè)務(wù)要求漏掉已知類的比例不超過 5%那么會(huì)有多少未知類樣本被誤判為已知。這個(gè)數(shù)字越低越好0 表示不存在誤報(bào)1 表示全部誤報(bào)。再看混淆矩陣。TP 是正確保留的已知類樣本FN 是漏掉的已知類樣本FP 是誤判為已知的未知類樣本TN 是正確拒識(shí)的未知類樣本。當(dāng)我們要設(shè)定業(yè)務(wù)閾值時(shí)往往是在 FN 和 FP 之間做權(quán)衡。不能說(shuō)“哪個(gè)數(shù)字越小越好”因?yàn)榻档?FN 通常會(huì)導(dǎo)致 FP 上升反之亦然。5.3 結(jié)果可視化的一種思路如果想讓驗(yàn)證結(jié)論更直觀可以增加一個(gè)簡(jiǎn)單的可視化代碼片段。這里不要求必須畫圖但展示思路import matplotlib.pyplot as plt def plot_score_distribution(known_scores, unknown_scores, threshold): plt.hist(known_scores, bins50, alpha0.6, labelknown) plt.hist(unknown_scores, bins50, alpha0.6, labelunknown) plt.axvline(threshold, colorred, linestyle--, labelthreshold) plt.xlabel(confidence score) plt.ylabel(count) plt.legend() plt.show()把 known_scores 和 unknown_scores 的分布畫出來(lái)可以很直觀地看到兩個(gè)分布的重疊程度。重疊越少模型對(duì)已知和未知的區(qū)分越好重疊越大說(shuō)明模型在很多未知樣本上也給出了高置信度這是非常危險(xiǎn)的信號(hào)。6. 常見問題與排查思路6.1 高頻問題排查表問題現(xiàn)象常見原因解決思路訓(xùn)練 loss 不下降學(xué)習(xí)率過大或模型結(jié)構(gòu)有誤降低學(xué)習(xí)率檢查數(shù)據(jù)標(biāo)簽是否錯(cuò)位AUROC 接近 0.5Unknown Data 與 Known Data 太相似或模型訓(xùn)練不充分換更難的數(shù)據(jù)集增加訓(xùn)練輪數(shù)檢查特征提取能力FPRTPR95 接近 1模型對(duì)所有樣本都給出高置信度考慮引入溫度縮放、Energy Score 等更復(fù)雜的 OOD 方法驗(yàn)證集上指標(biāo)高、測(cè)試集指標(biāo)低閾值在驗(yàn)證集上過擬合擴(kuò)大驗(yàn)證集規(guī)模使用交叉驗(yàn)證多次重復(fù)實(shí)驗(yàn)同一份代碼兩次運(yùn)行結(jié)果不同沒固定隨機(jī)種子或 GPU 計(jì)算存在非確定性固定 PyTorch 和 NumPy 種子多次運(yùn)行取均值Unknown Data 混入訓(xùn)練集后指標(biāo)異常偏高數(shù)據(jù)泄漏排查數(shù)據(jù)劃分的類別交集確保 unknown 完全不參與訓(xùn)練6.2 為什么 MSP 是最簡(jiǎn)單也是最穩(wěn)的基線Maximum Softmax Probability也就是最大 Softmax 概率是驗(yàn)證任務(wù)里最常見的 Baseline。它的核心假設(shè)是模型對(duì)已知類樣本會(huì)給出更高的最大概率對(duì)未知類樣本會(huì)比較猶豫。這個(gè)方案實(shí)現(xiàn)簡(jiǎn)單只需要在模型輸出后取 Softmax 最大值幾乎不需要修改網(wǎng)絡(luò)結(jié)構(gòu)所以它非常適合作為 Verification Baseline。但它的缺點(diǎn)也很明顯深度神經(jīng)網(wǎng)絡(luò)往往過度自信對(duì)分布外輸入也會(huì)給出較高的 Softmax 概率。正因?yàn)槿绱薓SP 通常是一個(gè)“下限”參考。如果某個(gè)新方法連 MSP 都打不過那說(shuō)明提升可能來(lái)自實(shí)驗(yàn)設(shè)置問題而不是算法本身。6.3 一個(gè)非常容易忽略的坑同源數(shù)據(jù)劃分在本文示例中我們讓 CIFAR-10 的 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這種做法雖然方便但會(huì)讓任務(wù)偏簡(jiǎn)單。因?yàn)橥粋€(gè)數(shù)據(jù)集內(nèi)部的圖像在風(fēng)格、分辨率、背景上高度一致模型很可能僅僅因?yàn)榧y理或者顏色分布差異就把未知類區(qū)分開。更貼近真實(shí)場(chǎng)景的做法是使用另一個(gè)數(shù)據(jù)集作為未知類。例如用 CIFAR-10 作為已知類分布用 CIFAR-100 或 SVHN 作為未知類分布。這樣才能驗(yàn)證模型是否學(xué)到了“對(duì)已知類別的語(yǔ)義邊界”而不是數(shù)據(jù)集的某種表面特征。在正式實(shí)驗(yàn)中建議至少準(zhǔn)備多個(gè)不同難度的 Unknown Data 集合避免單點(diǎn)結(jié)論。7. 最佳實(shí)踐與工程建議7.1 實(shí)驗(yàn)配置要可追溯驗(yàn)證基線的核心價(jià)值之一是“可復(fù)現(xiàn)”。我建議在項(xiàng)目中保存一份固定配置記錄下列信息已知類列表和未知類列表訓(xùn)練集、驗(yàn)證集、測(cè)試集的大小模型結(jié)構(gòu)、預(yù)訓(xùn)練權(quán)重來(lái)源優(yōu)化器、學(xué)習(xí)率、訓(xùn)練輪數(shù)隨機(jī)種子每天運(yùn)行使用的框架版本。一個(gè)可行的方式是把這些配置寫入 JSON 或 YAML 文件并將結(jié)果和配置一起存檔。這樣即使三個(gè)月后再回看實(shí)驗(yàn)結(jié)果也能知道當(dāng)前指標(biāo)是在什么條件下產(chǎn)生的。7.2 盡量使用多次獨(dú)立重復(fù)實(shí)驗(yàn)深度學(xué)習(xí)的訓(xùn)練過程有隨機(jī)性單次實(shí)驗(yàn)不足以證明方法優(yōu)劣。工程上建議固定一個(gè)隨機(jī)種子集合比如[0, 1, 2, 42]分別跑完實(shí)驗(yàn)后匯報(bào) AUROC 的均值和標(biāo)準(zhǔn)差。穩(wěn)定性和平均值同樣重要。如果某個(gè)方法在 seed0 時(shí)表現(xiàn)很好但換一個(gè) seed 就大幅下降那么它對(duì)實(shí)際業(yè)務(wù)的價(jià)值要打折扣。7.3 先定評(píng)估協(xié)議再做模型改進(jìn)很多團(tuán)隊(duì)拿到 Unknown Data 分類需求后第一反應(yīng)是換更好的 Backbone 或者更復(fù)雜的損失函數(shù)。但如果沒有先建立 Verification Baseline后續(xù)所有改進(jìn)都缺乏參照。更好的順序是固定數(shù)據(jù)劃分固定評(píng)估指標(biāo)跑最簡(jiǎn)單的 MSP 基線記錄 baseline 結(jié)果再逐步引入更復(fù)雜的算法例如溫度縮放、ODIN、能量分?jǐn)?shù)、OpenMax每次只改變一個(gè)變量比較結(jié)果。這套做法看起來(lái)不夠炫酷卻是保證技術(shù)演進(jìn)方向正確的關(guān)鍵。尤其在安全敏感場(chǎng)景中謹(jǐn)慎的評(píng)估流程比技巧更重要。7.4 對(duì)未知樣本保持“可解釋的拒絕”真實(shí)工程系統(tǒng)里模型除了輸出分類結(jié)果還需要輸出一個(gè)“不確定”信號(hào)。當(dāng)置信度分?jǐn)?shù)低于閾值時(shí)系統(tǒng)應(yīng)該走一條獨(dú)立的分支比如人工審核、二次校驗(yàn)或者直接拒絕。這個(gè)閾值的確定不應(yīng)該只依賴算法人員的經(jīng)驗(yàn)而要和產(chǎn)品、安全團(tuán)隊(duì)共同協(xié)商。驗(yàn)證基線提供的是模型能力量化結(jié)果業(yè)務(wù)側(cè)則要結(jié)合誤報(bào)成本和漏報(bào)成本選擇一個(gè)對(duì)業(yè)務(wù)最合理的閾值。8. 總結(jié)與下一步方向本文從驗(yàn)證基線設(shè)計(jì)的角度拆解了 Unknown Data 分類問題。我們先明確了 Unknown Data 與 OOD、OSR 的關(guān)系然后設(shè)計(jì)了一套可復(fù)現(xiàn)的數(shù)據(jù)劃分和評(píng)估協(xié)議。在代碼實(shí)現(xiàn)部分基于 CIFAR-10 構(gòu)建了已知類與未知類集合并以最大 Softmax 概率作為 Baseline計(jì)算了 AUROC、FPRTPR95 和混淆矩陣。這套流程的核心價(jià)值并不是把模型準(zhǔn)確率提得有多高而是幫助你在上線前回答三個(gè)問題模型是否對(duì)未知數(shù)據(jù)保持謹(jǐn)慎現(xiàn)有決策閾值會(huì)造成多少誤報(bào)新的改進(jìn)算法是否真的比 Baseline 更可靠如果你正在處理視覺分類相關(guān)的工程問題可以把這套代碼作為起點(diǎn)先把評(píng)估體系固化下來(lái)。后續(xù)可以繼續(xù)探索的方向包括使用不同難度的 Unknown Data 集合做壓力測(cè)試引入 ODIN 中的溫度縮放策略嘗試基于能量的分?jǐn)?shù)函數(shù)在分類網(wǎng)絡(luò)中加入 OpenMax 層來(lái)對(duì)開放集進(jìn)行建模。不同方法的適用場(chǎng)景差異很大但只要驗(yàn)證基線足夠穩(wěn)健所有方法都可以在同一個(gè)尺度下公平比較。如果本文對(duì)你有幫助可以收藏備用也歡迎在實(shí)踐中結(jié)合實(shí)際數(shù)據(jù)繼續(xù)驗(yàn)證和調(diào)整這套流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人八戒网站| 91精品人妻偷情| 国产亚洲精品一区二区三区| 欧洲一级性爱视频在线观看| 欧美三级一级| 欧美高清91| 99e久久国产精品| 99热精品在线播放| 97视频新免费| 呦呦影院| 午夜情侣自拍网站| 骚人妻少妇视频| 亚洲综合第一页| 在线性黄高清免费视频| 国产乱码精品久久久久久| 精品夜夜澡人妻无码AV| 亚洲春色欧美激情自拍| 日产狠狠干| 欧美亚洲成人在线一区二区三区| 91国产操逼视频| 成人在线视频网| 欧美一二在线| 久久人妻| 色五月婷婷久久| 国产精品在线网站| 插入逼91| 思思99热| 中文字幕99999| 日本大片日本一区二区免费高清| 天天综合站| AV一区观看| 91丨国产丨白浆| 97色欧洲| 老司机天天操| 天天插天天射| 久久大线蕉一区| 日韩综合无码一区久久92| 久久xxxx| 自拍第一页| 中国少妇XXXX做受| 级品肉射| 日韩av免费一级电影| 在线观看AV不卡| 人妻熟妇一区二区三区| 中文字幕狠狠玩| 久久9999| 久热99999| 精品无码一区二区三区| 99爱精品| 91亚洲影视| 精品区国产区一区二区三区| 久久综合av| 18禁在线视频| 国产精品久久久久亚洲av| 无遮挡一级毛片视频免费的| 91女人的网站| 国产视频一区二区三区在线免费观看| 九九九九九九九九九九九免费国产| 97在线视频免费看| 入口操逼网站| 人人妻人人色一区二区三区| 毛片电影一区二区三区| 色综九九九一区| 亚一综合久久久久久久久久| 午夜天堂网| 九九久久久| 91精品无码人妻系列| 天堂亚洲精品久久老牛| 粉嫩粉嫩一区性色AV片| 啊啊啊好大好湿| 久久久精品中文字幕爱豆| 男人的天堂在线2| 色婷婷一区二区三区久久| 天天日日夜夜| 综合久久9| 校园春色综合网| www.天天干| 一区二区三| 久草婷婷| 超清中文乱码字幕| 国产四虎在线| 思思热在线视频免费| 日韩成人色图| 豆花视频操逼网址| 久久99999| 欧美亚洲第一页| 男人的天堂日本东京热| 欧美视频一区二区在线| 91日韩网站| 五月丁香影视| 欧美亚州综合网图片| 亚洲激情四射| 亚洲欧美日韩免费观看| 国产久久一区二区| 亚洲精品人妻吞精av | 性久久久| 97情超碰色| 天天精品| 亚洲在线观看| 亚洲福利中文字幕在线| 青青草好吊色| 中文字幕97| 人人摸人人干| 被窝影院午夜看片无码| 91成人社区| 欧美色性爱| 91日韩网站| 久热伊人99re| 无卡一区=区| 国产粉嫩出水在线播放| 青青青在线高清视频在线一二三四区 | 爱欲AV| 女欧美一区二三区| 97视频在线观看网站| 午夜丁香婷婷| 看日韩美女二区三区免费操逼视频| 伊人成人中文字幕久久网| 欧美性生活免费网| 九九热超碰97亚洲最新香蕉| 亚瑟国产精品久久无码| 亚州,欧美在线| 人人喜人人妻| 午夜久久无码1000合集| 麻豆久久一区二区三区| 九九九九九九九九九五码| 国产一区二区三区导航| 玖玖爱影院| 青春草A| 国产女生在线| 和协影院中文字幕三区| 日本高清一区二区在线| 天天综合网91| x97av| 天天日天天爽| 欧美亚洲第一页| 97在线播放| 91人人看| 日本国产欧美高清在线| 亚洲欧洲激情卡通另类文学四射小说网站 | 六月色色| 欧美性爱18观看| 日韩精品作爱导航| 91操碰| 黑人美精品 A片| 91n处女在线观看| 中文字幕55555| 亚洲精品啪视频| 日本ZZ高免费A级视频| 91女人的网站| 国产精品一区二区黄片| 午夜亚洲WWW湿好大| 日韩av情韩国爱禁区av一区二区| 国色天香av| 亚洲无吗在线视频| 国产白丝在线| 99这里只有精品| 国产成人欧美一区二区三区的国产| 超碰97久| 欧美影音在线| 久极品在线观看| 久久99午夜精品一区人妻| 十八禁啪啪视频| 久久久成人免费av电影| 91亚州欧美| 九九综合| 亚洲成A∨人影院在线欢看| 香蕉视频欧美一卡二卡| 免费97视频| 青青青操| 日本综合色图| 日韩性爱免费视频在线网站| 日韩免费在线观看不卡| 97久久国产| 熟女91网| 亚洲青色欧美| 精品人妻夜夜草| 亚洲成人免费电影| 嗯嗯不要视频| 日本免费一区二区不卡 | 欧美性爱在线无码| 久久国产免费激情视频| 乱伦日本中文自拍| 日韩熟女精一区二区三区不卡| 中国的操老妇女| 青青国产精品在线| 丁香五月影院| 日日碰狠狠添天天爽超| 丰满人妻一区二区三区四区| 日韩三级在线观看网站| 91丝袜| 欧美国产视频| 素人美腿视频网站| 日韩天美| 日本 成 人 小说 电影 一区二区| 欧美做爰无码A片视频| 在线岛| 日韩无码视频黄色| 翔田千里AV无码秘 三区| 中韩中文字幕在线观看| 日日妻色网| 精品视频专区| 亚洲色图20p| 欧美亚州手机在线| 91美女丝袜诱惑视频| 国产精品久久久久综合| 91成人在线免费视频| 国内精品a| 国产精品爆乳懂色蜜乳| 在线播放成人高清免费视频| 国产无码久久高清| 日韩av在线免费网站| 夜夜嗨一区二区| 欧美综合色站| 亚洲黑丝在线| 99热精品在线观看| 欧美99热| 天天爽人人综合免费7799| 国产九九九九九九九九| 婷婷AV一区二区三区| 欧美少妇性爱网站| 国产性爱乱伦AV| 强奸乱伦Av网| 中文字幕国产| 国产女人与拘做受视频免费| 男人天堂黄片| 免费伦费视频在线观看| 欧美日韩一区二区三区四区蜜桃| 丝袜剧情| 黄色高清无码无码破解免费暗网| 色丁香五月婷婷| 99自拍视频在线观看| 天天躁日日躁AAAXX| 亚洲熟女中文字幕在线| 91精品大奶人妻| 国产精品久久久久久久久AV大片| 日韩欧美经典在线观看| 99久久综合网| 丁香激情网| 亚洲熟妇自偷自拍另欧美| 操久久久久久| 亚洲国产剧情少妇激情| 精品视频专区| 久久久久久久9最新免费视频观看| 欧美中字不卡| 蜜臀va69| 九久精品| 中文字幕乱码人妻二区三区| 亚洲高清无码在线桃色| 日本人妻A片成人免费看片| 日本色婷婷| 久久久999日本大片| 中文字幕91综合| 老熟女区| 1024手机看片欧美日韩| 男人天堂无码| 国内外内射高清视频| 操国产逼| 亚洲AV无码黄色强奸| 伊人久久大香大香线蕉中文| 精品成人av一区二区三区在线| 91丨九色丨大屁股| 五月天大香蕉| 日韩三级久久久| 小草精彩毛片| 91成人在线| 青草影院内射高潮| 国产夫妻性生活视频| 国产麻豆一区二三区| 久久超碰97中文字幕| 午夜后入| 超碰天天去日穴| 极品色| 精品国产一区二区三区在线播出| 日韩性爱电影一区| 思思热在线观看| 熟妇高潮一区二区免费视频| 欧美日动态视频| 国产精品白丝AV| 风月影院十八禁| 欧美日韩国产另类综合| 另类天堂| 丁香婷婷激情五月天无毒不卡| 亚洲色图 综合| 亚洲男人天堂2017| 可以在线观看的黄色网址| 久久草在线综合视频| 久久发布国产伦子伦精品| 欧美日动态视频| 欧美成人精品一区二区男人蜜臀| 精品免费视频国产一区| 男人a天堂手机在线版| 婷婷五月天激情网| 国产精品视频播放| 欧美精品庄| 日韩无码操逼片| 亚洲精品成人| 啊啊啊啊啊好大好舒服想要| 97超碰9| 一本精品日本在线视频精品| 色婷婷影院| 久久久久久久久久久久黄色 | 宅男影院久久久,99| 五月激情视频| 成人热久久精品| 久久线上视频免费看| 久久久精品中文字幕爱豆| 色牛牛AV| 久久综合精品一区二区三区| 亚洲毛片久久| 午夜一区二区三区国产| 哈哈操电影AV| 亚洲色图欧美色18直播在线| 无码人妻精品一区二区中文 | 啊啊啊好想要| 亚洲精品第一| 日韩内射视频| 欧美色老汉| 国产精品成人AV片免费看网站| 每日更新AV| 欧美黄色图片| 国产免费内射视频| 日韩精品亚洲专区在线影视| 一区二区三区四区姦女| 国产精品久久久久久久久久久久久久吹 | 亚洲精品成人动漫在线| 狠狠干综合| 噜噜噜亚洲精品| 日本影视久久免费| 九九色婷婷| 狠狠做深爱婷婷久久二区| 亚洲天堂久久久久久粉红视频| 成人激情无码在线视频| 天天91~综合入口| 久久激情视频| 国产一区二区精品久久99| 九九无码久久精品视频| 哈哈操 大香蕉| 精品偷拍13p欧美dodk视频| 欧美综合97www| 亚洲色图日韩丝袜制服一区二区五月在线 | 午夜精品久久一区二区| www.久久| 色网亚洲人| 麻花豆传媒剧国产MV出差| 男人的天堂啪啪啪啪啪蜜桃不卡| 国产av色网| 一类av片在线看| 高树玛利亚无码流出| 欧洲人妻视频| 再深点灬舒服灬太大了好硬好爽| 麻豆精品三区视频| 巨爆乳一区二区爆乳区| 综合网久久| 久久只有精品| 中文字幕黑人大片| 玖玖久久久| 日本午夜久久电影| 亚洲s色图| 天天色,天天干,天天干| 国产成人AV麻豆| 秋霞色色影院| 99国产在线绯色一区| 久久六六| 翘臀vidoes| 欧洲综合色图| 亚洲日韩一区电影| 国产精品夜夜| 五月丁香| 四虎影视欧美| 亚洲激情综合| 人妻精品一区二区| 久久99操天天日| 亚洲骚逼少妇| 五月丁香婷婷色| 天天干夜夜鈤| 五月天婷婷色| 日夜伊人网| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 人人色97| 又大又大又大又粗爽高潮观看 | 国产热RE99久久6国产精品首| 亚洲男人天堂视频| 国产激情在线观看| 超碰久久网| 91精品久久久久五月天精品| 熟妇高潮一区二| 91人妻精华帖| 色偷综合| 久久肏大逼| 丝袜美腿91| 91超碰人人操| 日本不卡五区| 日韩一级二级在线| 欧美精品成人在线播放| 欧美色道啊| 亚洲激情在线一区二区| 婷婷人妻激情| 久操九九九九| 26uuu欧美日韩| 精品无码人妻一区二区免费蜜桃| 3P乱轮视频| AV久日| 色婷婷丁香| 超碰美女97| 国产欧美美女免费观看视频| 日本三级A片网站com| 亚洲国内精品成人不卡| 偷窥自拍A片| 婷婷性网| 第二页中文字幕| 强奸乱伦AV网址| 中文久久96| 不卡啪啪视频| 欧美综合网在线| 青青草自拍视频在线播放| 自拍偷拍第26| 97视频在线视频| 秋霞视频一区二区| 中文字幕丰满人妻日本| 性爱欧美五月| 97干在线| 91爱看| 国产精品熟女乱伦| 电家庭影院午夜69久久夜色精品国产69乱| 97干天天| 亚洲色诱惑| 欧美精品宗合| 久热久| 超碰国产在线| 超碰色男人操熟女| 欧美色蜜桃97| 抽查国产福利主播| 懂色AV蜜臀无码精品APP| 无套后入双马尾| 91欧美偷拍| 新婚人妻扶着粗大强行坐下| 性猛交| 亚洲一二三| 日本一级黄色电影| 国产对白刺激视频| 久热最新在线杭州| 东北女人操比视频| 亚洲国产第一页综合视频| 看免费的黄片| 九九九九九九九九九国产精品| 亚洲情色一区三区| 99色色| 欧亚性爱在线视频| 九九九国产| 操操操操网黑人| 婷婷久久大香蕉| A一区片| 99草精| 精品美女在线视频| 啪啪啪综合网| 高潮的A片激情扒开一区| 加勒比99999| 草伊人高潮喷水超碰| 欧美视频在线视频免费va| 大屁股人妻女教师撅着屁股| 日日躁夜夜躁狠狠躁超爽| 男人天堂久久日韩| 久热伊人| 先锋色眉乱伦资源| 天天澡天天狠天天天做| 男人天堂毛片| 美美91成人国产精品欧美精品久久久久久久| 婷婷丁香五月激情啪啪| 密乳AV免费观看| 色妇综合网| 激情终合网| 日韩精品 资源| 日韩性爱免费视频在线网站| a男人的天堂久久一级A毛片| JuliaAnnXXX888| 国产精品电影推荐| 一区久久久二区| 国产又爽又黄| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 干我久操| 熟女人妻精品一区二区视频| 欧亚韩国999| 欧美视频第二页| 午夜精品久久久久久久男人的天堂 | 国产丝袜啪啪| 懂色av中文字幕| 久久有码| 日本美女性生活久久久久久久| 中日高清无码操逼视频| 久久毛卡| 91午夜无码| 丁香婷婷五月| 欧美97超碰| 日产精品久久久一区二区| 国产成人天堂| 日韩在线97| 欧美精品在线观看| 激情小说五月天| 日本午夜久久电影| 全球成人中文在线| 一区三区啪啪| 亚洲精品国产熟女久久久久久| 久久无码一区二区二三区性色| 2017天天操| 加勒比综合在线| 骚熟女AV网| 啊啊啊啊啊啊啊网址在线观看| 国产精品亚洲四五区在线观看| 91在线页| 日韩精品一二三四| 成人看片网站| 午夜大香蕉| 五月丁香六月婷| 国产精品无码论坛| 日本一区二区做爱的视频| 18禁精品网站在线看| 无码精品久久| 中文字幕日韩专区精品系列 | A级毛片在线看免费| 成人精品无码| 伊人国产成人av网站| …亚洲黄色厕厕女女在线播…| 99AV| 天天干人人乐| 中文字幕乱码在线观看| 亚洲男人天堂手机版| 综合网亚洲在线| 欧美瑟综合| 色偷偷2020免费视频播放| 四虎免费视频| 国产丝袜一区二区三区| 亚洲精品 欧美97色色| 亚洲色天堂九9| 欧美日韩国产色五月综合在线| 亚洲综合 欧美| 国产风韵犹存熟妇三区| 1024午夜激情男人的天堂| 天天舔天天日天天射| 精品美女久久一二三| 中文字幕久久亚州无码| 日韩97视频| 国产少妇内射| 亚洲欧美综合网| 操熟女91| 夜夜骑夜夜操| 大香蕉乱级| 午夜.DJ高清在线观看免费7| 亚洲国产成人福利在线观看| 亚洲 一区二区 自拍| 国产福利av精彩对白| 亚欧性爱在线无码| 蜜乳AV网址| 992这里有精品| 丁香六月婷婷久久综合| 亚洲AV成人无码一区二区三区在线观看| 亚洲精品 欧美精品| 九九自拍伦理| 色约约一区=区三区| 夜夜嗨TV| 久久69| 日本国产欧美一区三区二区| 九月激情婷婷| 亚洲综合中文字幕有码| AV九九| 1024亚洲中文字幕久在线看片你懂的 | 国产精品国产自产高清AV| 一类无码操逼视频| 国产成人在线观看综合| 精品一区二区三区蜜桃臀赵总 | 国产后入| 另类小说综合网| 在线中文字幕极品av| 激情综合网五月婷婷| 色老汉玖玖爱| 精品久久久久久久久久久久| 97情超碰色| 精品999一区二区| 久草尤物| 日本国产高清色www视频在线| 中日高清无码操逼视频| 碰碰在线视频| 久久久18禁| 亚洲午夜蜜臀| 高潮精品| 亚洲AV无码AV吞精久久久久| 五月天婷婷基地| 视频在线观看一二三区| 欧美韩日精品资源| 丝袜 中出 制服 人妻 美腿 中文字幕| 国产内射爽爽大片| 操逼无码一区| 黄色网址久久精品欧美喷水| 人妻熟女一区二区三区在线| 久久久久久人| av网站国产主播在线| 91成人久久| 精品超碰中文在线| 亚洲和欧美裸体美女双飞视频| 夫妻AV网站| 亚洲无992tv| 强奸乱伦中文字幕AV| 最新欧洲欧美日本激情网站| 极品粉嫩少妇视频| 日韩久射综合| 亚洲精品性爱片| 无套内射性感少妇视频| 亚洲图片欧美91N| 欧美在线色| www欧美91| 大学生口爆吞精| 久久综合五月天| 天天综合网1| 色原狠狠天天天| 无码免费在线观看黄色片| 夜夜草网站| 日日夜夜草草草| 亚洲 欧美 色图| 午夜120视频在线观看| 一品道视频一区二区三区| 校园春色宗合网| 欧美色图色综合| 中文字幕亚韩| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 在线播放成人高清免费视频 | 国内三级自拍小视频在线观看| 国产亚卅97| 97这里有精品| 日韩视频啪啪| 99re69| 91丝袜| 欧美国产伊人久久久久| 色婷婷蜜臀av| 91成人无码| 日本日皮视频逼| 免费久久9999| 亚洲综合第一页| 韩国黄色片精品久久久| 伊人网在线视频| 蜜臀一区二区三区在线 | 天天干人人乐| 久久久久国产一区二| 久久精品老司| 日韩在线观看三级电影| 色综合色欲色综合色综合色综合| 操逼999| 日B操| 花野真衣| 亚洲欧美91| 国产呦精品一区二区三区下载| 男人的天堂VA在线| 看日韩黄片| 丁香六月婷婷| 国产精品午夜福利| 亚洲成人久久一区二区| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 亚洲啪啪性视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 少妇久久久久| 午夜婷婷| 国产黑白丝在线| 色在线亚洲视频www| 日韩中文字幕熟妇人妻| 一二区在线观看视频| 女同女同恋久久级三级| 欧美日韩资源在线| 国产精品9999| 日韩成人综合网| 久久久无码精品人妻二区 | 思思热国产高清| 亚洲 欧美 91| 91天天综合日韩欧美| 久热9| 青青草原av| 超碰人人超在线观看| 91国产丝袜美女| 日本午夜操逼| 少妇3P性爱自拍| 欧美综合色站| 三级日本一区二区三区| 青青爽| 91春色| 欧美色五月| 色狠狠一区二区三区香蕉| 久久男女激情视频网站 | 亚洲欧美999| 四虎AV在线观看| 亚洲自拍97| 熟妇人妻精品一区二区视频色欲| 色妇综合网| 97中文超碰| 超碰欧美| 桃色六月天| 乱伦一二三区| 校园春色欧美色图| 亚洲欧洲av影音| 久久熟女人| 久草午夜| 97精品国产97久久久久久户外免费| 精品69网| 99热伊人| 国产97在线 | 亚洲| 99无码| 91天天综合网| 91 丝袜在线| 91丨九色丨国产丨人妻在线| 欧美亚洲厕所精品偷拍91| 中文字幕一区二区韩| 欧美色图97| 综合色啪| 躁躁躁日日躁2020| 老鸭窝亚洲毛片| 丁香五六月啪啪| 亚洲 欧美 另类 日韩 人妻一区| 做爱A级亚欧| 久久精品男人的天堂| 色色色99| 91综合网站| 亚洲男人的天堂V| 都市久久精品激情亚洲| 久久久免费懂色| 国产高清成人传媒影视| 日韩大香蕉AV影片| 色噜噜人妻av 中文字幕| av爱爱爱| 国产后入清纯| 五月婷婷综合网| 中文字幕精品探花视频| 欧亚日韩三区| 国产亚州高清国产拍精| 97美日韩视频| 麻豆久久久久久久久丝袜| 国产欧美精选激情视频| 久久久天美| 9久综合网| 人人看人人插| 四虎精品一区| 啊啊啊好爽快点啊啊啊嗯嗯| 操逼视频国产无套| 国内一区二区三区| 欧美日韩丝袜| 成人日韩3| K8久久久久| 偷拍欧美激情| 国产大学生口爆吞精合集| 欧美综合色图片| 日本淫色网| 国产aⅴ无码片毛片一级网站| 天天躁日日躁狠狠狠躁| 91色黑人少妇| 96久久精品一二三区色欲| 777超碰| 黑人与人妻| 欧美日韩99| 五月天婷婷在线看| 九九性视频| 日韩一级二级三级免费看完整版| 天天日天天操VV| 日韩国产成人自拍视频| 男人天堂资源| 精品无码久久久久| 伊人成人中文字幕久久网| 99久久久无码精品国产人| 加勒比av网| 67914亚洲精品| 黄色AAAAA欧美| 热热色中文无码| 传媒免费一区二区三区| 亚洲第一综合| 国产99精品一区二区三区免费| 91情色在线| www.高清无码诱惑一区.com | 日本天天操| 日韩三A大片在线观看| 美女好片色日本| 99操| 婷婷成人五月天| 亚洲第一精品在线视频| 久久久人妻| 色悠久久久av| 日本三级日本三级三级人妇四虎| 精品黑人一区二区| 人人妻碰人人免费| 精品人妻一区二区三区不卡断| 抽插爽| 麻豆天美国美国产AV| 天堂无码精品国产久| 性天堂| 密臀国产在线| 青青草日本中文字幕| 夜色五月天| 在线可观看的黄色网址| 国内外内射高清视频| 玖玖大干人妻| 中文字幕片| 99免费视频| 国产 无码 一区二区| 91精品人妻偷情| 另类小说欧美激情校园春色| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 亚洲色情在线影视| 中亚精品极乱| 日韩欧美俄罗斯A片| 国产JDAV无码视频在线观看| 天天干人人乐| 精品9999| 色大香蕉97N| 神马久久久久眼| 99热最新| 一个色导综合| 白丝AV| 内射黑丝袜| 91久久久视| 综合网,亚洲,欧美| 大香蕉九九| 一级啊性爱在线视频| 岛国毛片在线观看免费| 亚洲影院成人| 超碰欧美97| 四虎精品永久在线观看| 日欧毛片久久| 97色在线观看| 日本操逼无码| 欧美色图片91| 精品一区二区三区蜜桃臀赵总 | 欧美一区二区一级岛国大片| 蜜臀久久99精品久久久久久-DVD| 91少妇通奸网站| 伊人丝袜美腿高跟在线观看高清| 九九成人视频| 国产日本久久免费精品| 亚洲精品官网在线观看| 日本性爱欧美性爱| www.99色| 国产高清亚洲日韩一区| 午夜精品久久99蜜桃的功能章节| 国产精品一区二区三区在线| 91中文字幕在线观看| 超碰视97中文| 伊人少妇久久久| 狠色婷婷久久一区二区三区_| 躁躁日曰躁2020| 天天干天天日天天射黄色大片| 女人爽到高潮久久久| 黄污污污污| 99精品视频在线观看| 激情AV| 五月丁香影院| 久热91| 色欲天天综合网| av凤凰久久久| 亚洲欧美精品福利在线| 日韩人妻一区二区精品| 粉嫩在线一区二区懂色| 亚州AV无码国产精品| 国产真实野战在线视频| 人妻乱仑一区二区三区| 日操粉逼逼| 无码免费精品高清| 在线中文字幕极品av| 夜夜影视四色| 人妻熟女一区二区三区视频| 9I1性色影院| 91色夜| 精人妻一区二区三区| 欧美精品激情| 91n欧美| 78超碰| 麻豆亚洲AV成人无码久久精品| 欧美 日韩第一性色| 91美女视频直播| 无套后入双马尾| 午夜在线播放| 东北女人操逼| 日本操逼视频在线| AV麻豆免费一区| 日韩免费av片高清无码| 亚洲日韩视频二区| 中日亚韩免费视频| 首页中文字幕中文字幕免费| www.av在线观看| 97人人射| 91蜜臀熟女| 色好看av| 伦理弟一页| 99热国产精品| 婷婷丁香人妻 | 国产精品小视频一区二区三区| 一区二区 韩日AV| 精品少妇一区二区三区免费观看| 精彩视频日韩| 中文字幕-区二区三区四区视频中国| 超碰天天操| 自拍第一页| 精品人妻丰满熟妇一区二区三| 欧美牲| 性爱网站一区二区| 国内毛片婷婷六月色| 图片区小说区| 很很干很很操| 人妻出轨一区二区三区| 蜜桃久久精品一区二区三区| 国模久久在线| 欧美劲爆第一页| 色呦呦国产精品免费看| 精品少妇人妻av久久免费| 天天干天天操天天干天天操| 大香蕉婷婷| 国产精品久久久久久夜夜夜| 九九九九九九九九九五码| 青青草玖玖爱| 久久久555| 97国产伦理| 美女好片色日本| 国产偷人伦激情在线观看| 精品国产一区二区三区四区在线看 | 嗯嗯不要视频| 秋霞一集毛片观看| 日本www操操操| 骚逼高潮久久精品| 成人综合视频久久| 熟女熟妇伦久久影院毛片一区二区| 色五月av| 91深夜夜| 欧美在线视频99| 久久精品72| 午夜操操操| 97超碰色色| 亚洲精品人妻在线| 大香蕉人妻| 麻豆天美传媒在线视频天堂| 91色伦| av毛片aaaaa免费看| 亚洲AV无码黄色强奸| 95人妻爽爽人人做人人澡| 国产精品。| 欧美春色| 亚瑟国产精品久久无码| 亚洲1区| 天堂精品小草| 好湿好紧视频| 欧美的性爱网站免费| 日本污ww视频网站| 久久超碰、| 久草综合网| 无码高清操逼网址| 色婷婷综合网站| 欧美日韩国产男人| 欧美亚洲丝袜人妻制服中文99| 天天谢天天干| 精品久久久久久亚洲| 91久久久老司机| 极品另类| 日韩激情啪啪| 天天综合香 ld视频| 免费视频观看60秒| 色操逼网| 插入综合网| 人澡逼| 又大又大又大又粗爽高潮观看| 国产女人操逼视频| 在线天堂999| 色路综合| 视频在线观看免费一区二区三区| 青娱乐福利99| 日韩无码成人电影| 青青草精玖玖69精品| AV女优男人的天堂| 日本狂喷奶水在线播放212| 激情五月婷婷| 九九九九九九九九九五码| 78精品在线| 国产三级多多影院2022国产AA一级毛片无码 | 91无码人妻| 成人蜜乳小视频网站| 探花精品视频| 久9久精品视频| 一二三区操逼国产91| 久久九色| 在线黄色污污网站| 欧美激情精品| 亚洲古典另类欧美在线| 伊人网在线观看| 国产农村妇女毛片精品久久| 综合免费无码中文| 国产精品经典一卡久久久 | 欧亚性爱啪啪| 好看的91视频| 亚欧中文字幕在线视频| 性色综合网| 白天啪啪晚上啪啪视频| 色色无码| 97超碰公开| 亚洲成a人片在线观看中文!!!| 无码一区二区三区四区五区六区七区八区九区十区视频 | 精品久久久久久中文| 91亚洲影院综合| 欧美精品97| 人妻中文在线| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 中文字幕丰满人妻日本| 国产精品久久久鸭无码的功能| 中文字幕日韩人妻视频一区二区三区交换夫妻| 久久久久久精| 欧美夜夜狠| 中文字幕黄色一起草| 黄片www.| 本道在线| 亚洲成人福利电影免费| 日本超碰97日韩精品人妻| av一区二区三区不卡| 精品大久久| 天天欧美| 99热精品在线播放| 色香在线| 强奸国产精品视频| 久久綜合很很很| 黄色AV免费| 日本淫色网| 黄片www视频免费| 激情综合婷婷| 999色欧美中文字幕| 韩国一级做A片免费的| 欧洲精品久久| 为用户提供免费看黄网址在线观看| 精品夜夜澡人妻无码| 人人妻人人爽一区二区三区| 大香网伊人久久综合| 色悠悠伊人网五月天| www狠狠| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 亚洲精品白浆高清久久久久久 | 乱伦3P视频| 天天热精品| 探花一区在线| 亚洲激情欧美色图| 99啪啪视频| 亚洲天堂资源在线| 欧美在线播放aaaa| 97伊人超碰| 婷婷午夜| 久这精品中文在线观看视频| 黑操B| 日韩亚洲欧美中文字幕| 九九九九88| 偷拍精品一区二区三区| 欧美激情亚洲色图| a片 xxxx受爽视频| 97爱亚洲综合色| 亚洲图片色图欧美另类| 91/欧美| 久久av成人无码免费| 激情小说五月天| 色九久| 91麻豆天美国产欧美| 2017天天操| 99.色网| 正在播放国产精品一区| 国产精品丝袜久久亚洲不卡| 亚洲成a人片在线观看中文!!!| 麻豆a'v电影| 日本一级二级三级网站| 国产丁香精品露脸视频| 99热官网| 丝袜足交视频| 蜜桃传媒一区二区亚洲| 久久久精品电影| 国产精品久久久九九九| 黑人无码一区二区| 懂色AV网| 97资源超碰| 欧美一区二区日韩三区| 欧美熟女丝袜| av资源在线播放天堂| 九九热三级片| 日韩AV一区二区三区四四| 2024黄色视频| 夜草欧美| 色欲日韩欧美在线一区| 大鸡巴久久| 国产suv精品一区二区四| wwwxxx日本爽| 免看60秒涩涩视频| 欧美日韩国产高清在线一二三区 | 久久av网| 91三级理论片播放器| 韩日欧亚a级| 国产精品久久久视频| 国产精品亚洲一级av第二区| 精品一二三区女同| 国产伦乱91| 日本女人久久久| 91国产大片| 欧美黄片欧美黄片xxx| 91天堂| 日韩99神马视频片| 久草视频在线视频在线视频在线观看| 丝袜加勒比| 久久中文字幕在线观看| 蜜臀在线免费观看在线免费观看| 久干9操| 亚洲精品91| 欧美啪啪女女| 中国人高清www色视频免费| 中文字幕88av在线| 伊人久久大香大香线蕉中文 | 啊啊啊啊啊好舒服视频| 色爱综合网| 少妇一级婬片免费放一级a性色.| 国产精品一二三| 亚洲av总站| 国产精品老师| 亚洲av青草久久一区二区| 97视频在线视频| 97视频播放| 探花在线免费观看视频国产一区| 91中出视频| 亚洲色图欧美色图制服丝袜| 亚洲欧美日韩夜夜| 操b在线观看| 骚妻少妇精品性色无码四色A V| 天天透伊人| 无码抄逼网| 日韩成人精品| 精品美女少妇一区二区| 伊人一区二区三区| 99这里只有精品| 国产中文字幕在线点播| 天天欧美| 欧美玖玖爱免费玖玖| 北京专精特新企业招聘信息| 欧美视频边做饭边橾| 国产午夜福利专区综合| 97欧美日韩综合| 亚洲精品 欧美精品| 最新AVzaixian| 中文字幕性感少妇av| 日本成人A片网站| 九九九成人| 国外91| 欧美熟妇人体| 婷婷尹人大香蕉免费| 蜜乳AV一区| 日本中文字幕不卡视频| 好涩综合| 激情四射婷婷六月天| 91色五月俺来也| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 国产成人网站在线观看| 免费人成在线观看网站品爱网| 久久9精品| 青青草久久在线| 东北女人| 真实高潮91| 久草视频分类在线| 丝袜剧情| 国产a片操逼| 2021国产成人精品久久| 综合自拍| 久久久久人| 91精品婷婷国产综合久久竹菊|