日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

飛機(jī)100分類實戰(zhàn):細(xì)粒度圖像識別中如何用好獨立測試集

飛機(jī)100分類實戰(zhàn):細(xì)粒度圖像識別中如何用好獨立測試集 簡介本資源是面向深度學(xué)習(xí)圖像識別方向研究者與工程師的專用測試數(shù)據(jù)集聚焦航空器細(xì)粒度分類任務(wù)特別適用于模型性能評估與泛化能力驗證。數(shù)據(jù)集嚴(yán)格限定為飛機(jī)100類別的測試子集共3333張高質(zhì)量JPG圖像占全部2000個文件中的1998個輔以1個類別映射JSON文件和1個可視化Python腳本開箱即用無需額外標(biāo)注或格式轉(zhuǎn)換。壓縮包總大小878.43MB解壓后形成標(biāo)準(zhǔn)ImageFolder結(jié)構(gòu)data-test根目錄下包含100個子文件夾每類對應(yīng)獨立文件夾并以原始機(jī)型命名如波音737-76J便于直接接入PyTorch/TensorFlow等框架的DataLoader。目前已有588人學(xué)習(xí)下載配套的classes.json支持類別索引快速查詢可視化腳本可一鍵展示樣本分布與典型圖像顯著提升測試流程效率與結(jié)果可解釋性。 最近在幫一個做航空場景識別的朋友調(diào)試模型他發(fā)來一個數(shù)據(jù)集鏈接附帶了一句讓我印象很深的話這次測評只給測試集標(biāo)簽在主辦方手里模型跑出來的結(jié)果就是最終成績。這句話幾乎概括了深度學(xué)習(xí)圖像識別里最容易被人忽視的環(huán)節(jié)——測試集的意義。很多初學(xué)者接觸到的訓(xùn)練集、測試集往往是同一批數(shù)據(jù)隨手一split訓(xùn)練時還反復(fù)在測試集上觀摩結(jié)果最后真正面對一個獨立測試集時才發(fā)現(xiàn)模型的泛化能力遠(yuǎn)低于自己當(dāng)初的預(yù)期。而飛機(jī)100分類數(shù)據(jù)集測試集正是一個典型的用于裸考的數(shù)據(jù)集它不會陪你演練它的存在就是用來檢驗?zāi)阌?xùn)練的模型在沒見過的新樣本面前到底幾斤幾兩。這篇文章我想從飛機(jī)100分類這個具體場景出發(fā)聊聊拿到這樣的數(shù)據(jù)集后怎么理解它的地位怎么準(zhǔn)備數(shù)據(jù)流水線怎么設(shè)計評估流程會遇到哪些細(xì)粒度分類特有的坑以及這個數(shù)據(jù)集背后能延伸出什么實際應(yīng)用。適合正在做圖像分類入門、準(zhǔn)備參加視覺競賽或者需要在遙感、機(jī)場、航空器識別場景下做細(xì)粒度目標(biāo)識別的朋友參考。順帶說一句文章里給的代碼思路都偏PyTorch但你完全可以把同樣的邏輯遷移到TensorFlow、PaddlePaddle或者Ultralytics的框架上去。1. 為什么只有測試集的數(shù)據(jù)集反而最考驗功力1.1 訓(xùn)練集、驗證集、測試集到底在唱哪出戲很多剛上手深度學(xué)習(xí)的人對數(shù)據(jù)集的劃分只有一個模糊概念訓(xùn)練集用來訓(xùn)練測試集用來測試。這話大方向沒錯但在真實項目中三個集合的分工遠(yuǎn)比這句話細(xì)。訓(xùn)練集是教材模型從里面反復(fù)學(xué)習(xí)特征更新權(quán)重。驗證集是模擬考它的作用是調(diào)超參數(shù)、做早停Early Stopping、判斷模型有沒有過擬合。你可以反復(fù)在上面看結(jié)果、調(diào)整策略因為模型并沒有直接學(xué)過它。測試集才是期末考試卷和答案嚴(yán)格隔離模型在訓(xùn)練階段絕對不能接觸。它衡量的是模型面對從未見過的數(shù)據(jù)時是否真的學(xué)到了可泛化的規(guī)律。飛機(jī)100分類數(shù)據(jù)集測試集這種以測試集為唯一交付物的形態(tài)本質(zhì)上是在強(qiáng)迫你遵守教育學(xué)的鐵律不能拿考過的題去衡量學(xué)生的真實水平。倘若訓(xùn)練時把測試集的信息——哪怕是統(tǒng)計信息——偷偷用進(jìn)去后來評估出來的分?jǐn)?shù)就失去了公信力。在工程實踐中很多人會犯一個隱蔽的錯誤總愛拿測試集去做事后驗證看看模型在測試集上表現(xiàn)差是哪個類拖后腿然后針對性地調(diào)整數(shù)據(jù)增強(qiáng)參數(shù)。這在日常自嗨項目里問題不大但一旦到了公開測評、比賽榜單或第三方驗收場景這就是典型的測試集泄漏最后用測試集調(diào)參出來的模型上線面對真實分布時往往會原形畢露。1.2 拿到一個測試集背后通常是三類任務(wù)在等你當(dāng)有人給你只有測試集的數(shù)據(jù)時先想清楚自己處在什么場景這會直接影響后續(xù)所有操作。第一類是競賽評測。數(shù)據(jù)集的訓(xùn)練集有標(biāo)簽測試集沒有標(biāo)簽?zāi)P屯评沓龅慕Y(jié)果提交到平臺由主辦方用他們手里的隱藏標(biāo)簽計算榜單分?jǐn)?shù)。你真正能控制的只有訓(xùn)練集和驗證集的劃分方式測試集則是一個封閉的黑盒。飛機(jī)100分類數(shù)據(jù)集如果出現(xiàn)在這種場景里通常還有提交格式、類別編號等約定先讀清楚規(guī)則再動手。第二類是模型選型。一家公司想上一套飛機(jī)分類系統(tǒng)采購方會提供一批帶標(biāo)簽或者不帶標(biāo)簽的獨立測試數(shù)據(jù)讓多個候選模型分別輸出結(jié)果。這個測試集直接決定了誰能中標(biāo)。此時你的目標(biāo)不是做出一個在自建數(shù)據(jù)上好看的模型而是讓自己的模型在對方的封閉測試集上表現(xiàn)最穩(wěn)。第三類是學(xué)術(shù)基準(zhǔn)。論文里要報告我們在XX飛機(jī)數(shù)據(jù)集上達(dá)到SOTA為了方便和同行公平對比所有人必須在同一個官方測試集上跑。這個時候測試集的唯一價值就是可復(fù)現(xiàn)、可對比。搞明白這三類場景后你會發(fā)現(xiàn)測試集不僅是一份數(shù)據(jù)它本質(zhì)上是一種評估契約。敬畏這份契約是做好深度學(xué)習(xí)項目的第一步。2. 飛機(jī)100分類到底難在哪細(xì)粒度識別的三個硬骨頭2.1 100類不是100個物種是看起來都差不多的近鄰類飛機(jī)100分類如果只是區(qū)分客機(jī)、戰(zhàn)斗機(jī)、直升機(jī)那壓根不需要上深度學(xué)習(xí)傳統(tǒng)圖像特征加個SVM都能做到七七八八。但100類意味著什么意味著標(biāo)簽體系是按廠商、系列、型號往下切的比如波音737下面的737-700、737-800、737-900空客A320系列下的A319、A320、A321它們之間的外觀差異可能僅僅是機(jī)身長度幾米之差、艙門數(shù)量少一個、翼尖小翼形狀不同。這就叫細(xì)粒度圖像識別Fine-Grained Image Recognition它的核心難點不是這是什么物種而是同一物種下的不同亞種怎么區(qū)分。貓和狗之間的差異是結(jié)構(gòu)性的而737-800和737-900之間的差異往往是一個局部細(xì)節(jié)。模型如果只學(xué)整體輪廓很容易把同系列不同型號混在一起。在深度學(xué)習(xí)里解決細(xì)粒度分類的思路大體分兩條一是用更精細(xì)的注意力機(jī)制讓模型主動聚焦到機(jī)頭、機(jī)翼、尾翼、發(fā)動機(jī)短艙這些判別性區(qū)域二是用更強(qiáng)的數(shù)據(jù)增強(qiáng)比如隨機(jī)裁剪出局部區(qū)域強(qiáng)制模型學(xué)習(xí)部件特征而不是只盯整體。后面我會展開講。2.2 視角、遮擋、光照、背景同一個型號在不同環(huán)境下的外貌方差飛機(jī)分類數(shù)據(jù)集有個天然讓初學(xué)者頭疼的地方同類樣本的類內(nèi)方差I(lǐng)ntra-class Variance非常大而不同類的類間方差I(lǐng)nter-class Variance反而很小。一個典型的場景同樣一架空客A320停在地面平拍、起飛時仰拍、遙感衛(wèi)星俯拍、機(jī)場監(jiān)控低分辨率拍四張圖在像素層面幾乎不像同一個東西。飛機(jī)又很吃光照中午頂光下機(jī)翼反光會蓋掉機(jī)身細(xì)節(jié)陰天時輪廓模糊陰影遮擋時發(fā)動機(jī)位置都看不清。再加上機(jī)場跑道上常見的地勤車、廊橋、塔臺等復(fù)雜背景模型要想在所有條件下穩(wěn)定分類訓(xùn)練數(shù)據(jù)必須覆蓋足夠多變的拍攝條件。這里有個很容易踩的坑訓(xùn)練集里如果大量是某機(jī)場順光、正側(cè)面的標(biāo)準(zhǔn)照模型很可能學(xué)到的是在標(biāo)準(zhǔn)照環(huán)境下的分類而不是飛機(jī)的分類。一旦測試集換成俯拍、逆光或監(jiān)控視角準(zhǔn)確率斷崖式下跌。所以拿到飛機(jī)100分類測試集之前先看看訓(xùn)練集的圖像來源分布再決定數(shù)據(jù)增強(qiáng)策略是很有必要的。2.3 細(xì)粒度分類對數(shù)據(jù)增強(qiáng)和注意力機(jī)制的額外要求普通分類的數(shù)據(jù)增強(qiáng)套路是隨機(jī)裁剪、水平翻轉(zhuǎn)、顏色抖動這套組合拳在細(xì)粒度分類上遠(yuǎn)遠(yuǎn)不夠。因為模型本來就容易忽視細(xì)微差異你隨機(jī)裁剪反而可能把最具判別性的機(jī)頭或尾翼截掉。我個人在細(xì)粒度分類上更推薦這樣幾招隨機(jī)裁剪后放大Random Resized Crop強(qiáng)制模型從局部特征里找線索。隨機(jī)擦除Random Erasing或者Cutout防止模型死記某個部件的固定位置。Mixup、CutMix這種樣本混合增強(qiáng)在細(xì)粒度任務(wù)里能明顯提升魯棒性。測試時增強(qiáng)TTA推理時把每張圖做水平翻轉(zhuǎn)、多尺度變換最后對概率取平均。模型結(jié)構(gòu)層面可以優(yōu)先選帶通道注意力或空間注意力的網(wǎng)絡(luò)比如SENet、CBAM或者干脆用ViT這類Transformer架構(gòu)它們在細(xì)粒度任務(wù)里通常比純CNN更能捕捉判別性局部區(qū)域。訓(xùn)練完之后還可以用Grad-CAM畫一下激活圖看看模型實際盯的是機(jī)身還是背景——這一步對判斷模型到底學(xué)會了沒有特別有用。3. 從訓(xùn)練到測試搭建一個能刷飛機(jī)100分類測試集的圖像識別流程3.1 數(shù)據(jù)加載與預(yù)處理一切準(zhǔn)確率的地基模型再花哨如果數(shù)據(jù)讀取和預(yù)處理寫得潦草最終準(zhǔn)確率都會打折扣。飛機(jī)100分類數(shù)據(jù)集如果按ImageFolder的標(biāo)準(zhǔn)目錄組織PyTorch的torchvision.datasets.ImageFolder可以直接讀如果給了單獨的CSV標(biāo)注文件就自己寫一個Dataset子類。核心是把訓(xùn)練集和驗證集分開測試集單獨一條流水線別把測試集的標(biāo)簽或者統(tǒng)計信息混進(jìn)訓(xùn)練流程。以PyTorch為例基礎(chǔ)的預(yù)處理一般長這樣from torchvision import transforms # 訓(xùn)練側(cè)增強(qiáng)拉滿 train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 驗證/測試側(cè)只要確定性的預(yù)處理 test_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這里有兩個細(xì)節(jié)值得展開。第一個是歸一化參數(shù)上面用的是ImageNet的mean和std因為你接著會用ImageNet預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)輸入分布必須和預(yù)訓(xùn)練時的分布對齊。第二個是Resize到256再CenterCrop到224這是很多分類任務(wù)的默認(rèn)做法它相當(dāng)于在測試時做了一個輕微的空間擾動比直接把圖拉到224效果略好。要注意的是RandomResizedCrop里的scale(0.7, 1.0)是我針對細(xì)粒度分類調(diào)的。尺度下限別設(shè)太低否則裁剪出的區(qū)域太碎丟失關(guān)鍵部件信息。如果你發(fā)現(xiàn)模型總把相鄰型號搞混可以嘗試把尺度下限調(diào)到0.5強(qiáng)制模型關(guān)注更局部的特征。3.2 模型選型為什么我推薦先啃遷移學(xué)習(xí)這塊紅利飛機(jī)100分類數(shù)據(jù)集的樣本量通常不會大到能支撐一個幾十層的CNN從零開始訓(xùn)練。如果只靠訓(xùn)練集那幾萬張甚至幾千張圖從零訓(xùn)練一個ResNet50結(jié)果往往是欠擬合或者嚴(yán)重過擬合。這時候最劃算的做法是遷移學(xué)習(xí)拿一個在ImageNet上預(yù)訓(xùn)練好的模型把最后的全連接層換掉在飛機(jī)數(shù)據(jù)集上微調(diào)。遷移學(xué)習(xí)為什么有效因為ImageNet預(yù)訓(xùn)練模型的前幾層已經(jīng)學(xué)會了通用的視覺特征——邊緣、紋理、顏色塊、局部形狀這些底層特征對任何圖像任務(wù)都有用。你要做的只是讓模型的高層特征去適配飛機(jī)型號這個特定任務(wù)。這就像讓一個已經(jīng)會打羽毛球的人去學(xué)網(wǎng)球他不需要重新學(xué)眼睛追蹤球和跑動到位只需要調(diào)整揮拍動作。PyTorch里加載預(yù)訓(xùn)練模型并更換分類頭代碼非常簡單import torchvision.models as models import torch.nn as nn # backbone model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) num_features model.fc.in_features num_classes 100 model.fc nn.Sequential( nn.Dropout(0.2), nn.Linear(num_features, num_classes) )替換fc層的時候我習(xí)慣在前面加一個Dropout尤其是在訓(xùn)練樣本不算多的情況下Dropout能明顯抑制過擬合。你還可以把model.fc替換成兩層的小MLP比如Linear - ReLU - Dropout - Linear效果往往比單層更好但需要配合學(xué)習(xí)率調(diào)度來調(diào)否則容易震蕩。模型選型方面如果算力有限優(yōu)先ResNet50或者EfficientNet-B0/B1如果算力充足可以直接上ViT-B/16。實測下來ViT在細(xì)粒度任務(wù)上的收斂速度不如CNN快但上限通常更高尤其是當(dāng)你手里有多尺度數(shù)據(jù)增強(qiáng)撐腰的時候。3.3 訓(xùn)練超參數(shù)與策略模型能不能收斂就差這口氣選好模型后訓(xùn)練配置也很有講究。Fine-tune預(yù)訓(xùn)練模型時我最常用的基礎(chǔ)配置是優(yōu)化器AdamW初始學(xué)習(xí)率1e-4權(quán)重衰減1e-4?;蛘逽GDmomentum0.9初始學(xué)習(xí)率1e-3配合CosineAnnealingLR。分類頭新加的fc層的學(xué)習(xí)率可以設(shè)成骨干網(wǎng)絡(luò)學(xué)習(xí)率的10倍因為新層要從零學(xué)步子可以邁大點。Batch size8卡以下用32或者64顯存不夠就降到16但盡量不要低于16否則BatchNorm統(tǒng)計不穩(wěn)定。Epoch30到50輪配合早停監(jiān)控驗證集準(zhǔn)確率連續(xù)5輪不漲就停。這里我想多說一句學(xué)習(xí)率。很多人微調(diào)時習(xí)慣統(tǒng)一用1e-4其實骨干網(wǎng)絡(luò)和分類頭的學(xué)習(xí)率應(yīng)該分開對待。骨干網(wǎng)絡(luò)已經(jīng)學(xué)好了通用特征學(xué)習(xí)率太高會把預(yù)訓(xùn)練權(quán)重沖壞而新加的分類頭是隨機(jī)初始化的學(xué)習(xí)率太低又學(xué)得慢。所以我會用參數(shù)分組來做差異化學(xué)習(xí)率optimizer torch.optim.AdamW([ {params: model.backbone.parameters(), lr: 1e-5}, {params: model.head.parameters(), lr: 1e-4}, ])這個區(qū)分在細(xì)粒度分類上比普通分類更重要因為你需要保留骨干網(wǎng)絡(luò)在ImageNet上學(xué)到的精細(xì)紋理感知能力只針對飛機(jī)領(lǐng)域的特征做有限調(diào)整。損失函數(shù)上最常見的就是交叉熵?fù)p失。如果你發(fā)現(xiàn)某些飛機(jī)類別樣本特別少可以給交叉熵加類別權(quán)重或者用Label Smoothing。細(xì)粒度分類我用Label Smoothing的頻率很高它讓標(biāo)簽不是非0即1的硬目標(biāo)而是保留一點點模糊度能緩解模型對訓(xùn)練標(biāo)簽過于自信導(dǎo)致的過擬合。具體做法是把nn.CrossEntropyLoss()換成nn.CrossEntropyLoss(label_smoothing0.1)一行代碼的事收益通常很明顯。4. 模型拿到測試集之后評估環(huán)節(jié)的完整動作4.1 評估流程不是predict一下就算完很多人訓(xùn)練完模型把測試集丟進(jìn)模型里跑一遍準(zhǔn)確率就宣告結(jié)束。這份草率在飛機(jī)100分類這種細(xì)粒度任務(wù)上尤其容易出問題。一份合格的評估流程至少要包含下面這些動作。第一確認(rèn)模型處于評估模式。PyTorch里是model.eval()TensorFlow里是model.trainable False這一步會關(guān)閉Dropout和BatchNorm的訓(xùn)練行為。漏掉這一行測試集的分?jǐn)?shù)會莫名其妙地低一截因為Dropout在推理時仍在隨機(jī)丟棄神經(jīng)元輸出不穩(wěn)定。第二整個推理過程包裹在torch.no_grad()里面。測試時不計算梯度既節(jié)約顯存又加快速度。代碼如下def evaluate(model, test_loader, device): model.eval() correct_top1 0 correct_top5 0 total 0 all_preds [] all_probs [] with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) # [B, 100] probs torch.softmax(outputs, dim1) # Top-1 preds probs.argmax(dim1) correct_top1 (preds labels).sum().item() # Top-5 top5_preds probs.topk(5, dim1).indices correct_top5 sum([labels[i] in top5_preds[i] for i in range(labels.size(0))]) total labels.size(0) all_probs.append(probs.cpu().numpy()) top1_acc correct_top1 / total top5_acc correct_top5 / total print(fTop-1 Accuracy: {top1_acc:.4f}, Top-5 Accuracy: {top5_acc:.4f}) return all_probs第三把概率輸出保存下來而不是只保留精度的數(shù)字。因為后續(xù)要做混淆矩陣、錯誤樣本分析、TTA投票都需要原始概率。只留一個accuracy排查問題的時候還得重新跑一遍推理浪費時間。4.2 指標(biāo)解讀Top-1、Top-5、混淆矩陣到底看什么飛機(jī)100分類這種類數(shù)多、細(xì)粒度強(qiáng)的任務(wù)只報一個Top-1準(zhǔn)確率遠(yuǎn)遠(yuǎn)不夠。我習(xí)慣用一組指標(biāo)多維評估指標(biāo)說明細(xì)粒度任務(wù)里怎么讀Top-1 Accuracy預(yù)測概率最高的類別是否對基礎(chǔ)門檻但容易被類間混淆拖低Top-5 Accuracy前5個預(yù)測里是否包含正確類很能反映模型有沒有圈定正確范圍每類準(zhǔn)確率 / Recall每個類別的召回率快速揪出低分的那幾個類多半是標(biāo)注噪聲或樣本太少Macro-F1所有類F1的均值類別不均衡時比原始Accuracy更可信混淆矩陣哪個類被判成哪個類找最像兄弟的類別對指導(dǎo)后續(xù)優(yōu)化在實際項目里我最先看的是混淆矩陣。飛機(jī)100分類里最容易出現(xiàn)的錯誤是同一系列不同型號互相混淆比如波音737-700被識別成737-800。如果在混淆矩陣?yán)锇l(fā)現(xiàn)這類系統(tǒng)性錯誤說明模型沒有抓到關(guān)鍵判別部位而不是隨機(jī)出錯。這時候針對這兩個類多采集訓(xùn)練圖或者在數(shù)據(jù)增強(qiáng)里加大局部裁剪比例比盲目換網(wǎng)絡(luò)結(jié)構(gòu)更有效。Top-5準(zhǔn)確率在細(xì)粒度分類里尤其有價值。很多業(yè)務(wù)場景允許給候選列表比如塔臺輔助系統(tǒng)可以先給出Top-5的飛機(jī)型號再由調(diào)度員人工確認(rèn)。此時Top-5比Top-1更能反映系統(tǒng)的可用性。4.3 測試時增強(qiáng)(TTA)白撿的準(zhǔn)確率提升測試時增強(qiáng)簡單說就是把測試圖先做幾次變換得到多個預(yù)測再對預(yù)測概率求平均最終取平均概率最高的類別。最常用的TTA是水平翻轉(zhuǎn)和尺度縮放。以水平翻轉(zhuǎn)為例import torch from torchvision import transforms def predict_with_tta(model, img, device): model.eval() base_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) flip_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.RandomHorizontalFlip(p1.0), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) with torch.no_grad(): img_orig base_transform(img).unsqueeze(0).to(device) img_flip flip_transform(img).unsqueeze(0).to(device) prob_orig torch.softmax(model(img_orig), dim1) prob_flip torch.softmax(model(img_flip), dim1) # 注意翻轉(zhuǎn)后的預(yù)測類別要和原圖對齊 final_prob (prob_orig prob_flip) / 2.0 pred final_prob.argmax(dim1).item() return pred一個容易忽略的細(xì)節(jié)水平翻轉(zhuǎn)后模型的輸出概率對應(yīng)的還是原圖像的類別語義不需要對類別做鏡像映射。因為飛機(jī)型號分類是平移等變的不像數(shù)字6翻轉(zhuǎn)成9那種方向敏感任務(wù)。TTA在細(xì)粒度分類上通常能帶來1到3個百分點的Top-1提升成本只是推理時間翻倍。如果你的測評環(huán)境對推理時間要求不苛刻強(qiáng)烈建議加上。當(dāng)然TTA也要看場景。如果是比賽提交先確認(rèn)主辦方是否允許對測試集做多次推理。大多數(shù)情況下允許但有些線上測評會限制調(diào)用次數(shù)這時候TTA的性價比就要重新考量。5. 細(xì)粒度飛機(jī)數(shù)據(jù)集上踩過的雷數(shù)據(jù)質(zhì)量與泛化5.1 標(biāo)注噪聲有些標(biāo)簽從源頭就錯了飛機(jī)100分類數(shù)據(jù)集的標(biāo)注難度比普通物體分類高得多因為區(qū)分點太細(xì)。我自己在某次項目中隨機(jī)抽查了200張訓(xùn)練圖發(fā)現(xiàn)大概有10張的標(biāo)簽和圖片內(nèi)容對不上準(zhǔn)確說不是狗被標(biāo)成貓那種離譜錯誤而是波音777-300被標(biāo)成777-200ER這種張冠李戴。這種標(biāo)注噪聲對細(xì)粒度模型是致命的因為它們會直接扭曲類別邊界。怎么發(fā)現(xiàn)標(biāo)注噪聲一個有效的辦法是先訓(xùn)練一個模型然后找出訓(xùn)練集中l(wèi)oss最高的那些樣本比如交叉熵?fù)p失超過3的。這些高loss樣本往往就是兩種情況要么是特別難的正確樣本要么是錯標(biāo)/多標(biāo)的臟數(shù)據(jù)。把Top-100的高loss樣本人工過一遍你會很快發(fā)現(xiàn)規(guī)律。處理標(biāo)注噪聲有幾種策略。最簡單的是直接刪掉或修正錯標(biāo)樣本如果噪聲比例不大也可以在訓(xùn)練時用label_smoothing給模型一點緩沖防止它對錯標(biāo)樣本死記硬背。更進(jìn)階的做法是錯標(biāo)樣本重標(biāo)注但人力成本高適合只針對少量高頻混淆類別做。5.2 類別不均衡模型會偷偷只學(xué)多數(shù)類飛機(jī)100分類數(shù)據(jù)集的100個類別樣本量不可能完全均衡。熱門客機(jī)型號可能有一兩千張冷門的公務(wù)機(jī)或老舊型號可能只有幾十張。類別不均衡的直接后果是模型在訓(xùn)練時對多數(shù)類過擬合對少數(shù)類欠學(xué)習(xí)最終測試準(zhǔn)確率被多數(shù)類拉高看起來整體還不錯但少數(shù)類的每類準(zhǔn)確率可能只有30%。肉眼可見的表現(xiàn)是模型一看到曲面輪廓明顯的飛機(jī)就傾向預(yù)測成樣本量大的那幾個主流客機(jī)型號。解決不均衡我常用的三個辦法重采樣訓(xùn)練時對少數(shù)類樣本過采樣讓每個batch里各類數(shù)量盡量接近配合WeightedRandomSampler使用。損失加權(quán)交叉熵里給少數(shù)類更大的權(quán)重weight參數(shù)直接傳入CrossEntropyLoss。模擬過采樣對少數(shù)類做更強(qiáng)的數(shù)據(jù)增強(qiáng)相當(dāng)于用變換生成偽樣本。這三種方式我通常組合使用但注意別把采樣比例設(shè)得過于極端否則模型會對少數(shù)類過擬合反而丟掉通用特征。5.3 訓(xùn)練集和測試集分布不一致高分可能是假的細(xì)粒度分類里最隱蔽的坑是領(lǐng)域漂移Domain Shift訓(xùn)練集圖像和測試集圖像來源差異過大。測設(shè)集是網(wǎng)上爬的高清側(cè)拍訓(xùn)練集是遙感俯拍那訓(xùn)練得再好的模型也白搭。飛機(jī)100分類的測試集很可能故意和你手里的訓(xùn)練集不完全同源以檢驗?zāi)P驼嬲姆夯芰?。最常見的?yīng)對思路有三種。第一圖像歸一化的時候不要直接套ImageNet的mean/std而是用訓(xùn)練集和測試集的統(tǒng)計量重新算一遍消除掉不同拍攝設(shè)備帶來的顏色偏差第二在訓(xùn)練時加入更多針對測試集風(fēng)格的增強(qiáng)比如低分辨率模擬、模糊模擬、明暗變化模擬第三如果測試集沒有標(biāo)簽但數(shù)量夠大可以考慮半監(jiān)督學(xué)習(xí)用訓(xùn)練好的模型對測試集做高置信度偽標(biāo)簽再混合回去微調(diào)。最后這個操作有風(fēng)險偽標(biāo)簽一旦錯反而會把噪聲帶進(jìn)來所以偽標(biāo)簽的置信度閾值要設(shè)得很高比如0.99以上才采納。6. 一個測試集能延伸出哪些實用方向6.1 從分類到檢測YOLO和旋轉(zhuǎn)框的擴(kuò)展路徑飛機(jī)100分類解決的是這是什么型號但很多真實業(yè)務(wù)里第一步得先知道飛機(jī)在哪。這時候就需要從圖像分類往目標(biāo)檢測擴(kuò)展。比如Ultralytics YOLOv8在自定義數(shù)據(jù)集上訓(xùn)練先標(biāo)注出圖片里的飛機(jī)目標(biāo)框再配合分類模型去識別框內(nèi)型號是航空場景比較通用的兩段式方案。如果你用的圖像里飛機(jī)是斜著停的普通水平框會把翼展方向的背景也框進(jìn)去很影響下游任務(wù)精度。這時候需要考慮旋轉(zhuǎn)目標(biāo)檢測比如mmrotate和基于DOTA數(shù)據(jù)集的檢測方案。旋轉(zhuǎn)框能更貼合飛機(jī)輪廓提取出的區(qū)域也更干凈為后續(xù)細(xì)粒度分類提供更好的輸入。分類和檢測不是互斥的。我見過很多工程的做法是檢測網(wǎng)絡(luò)負(fù)責(zé)畫框分類網(wǎng)絡(luò)負(fù)責(zé)辨認(rèn)。把檢測網(wǎng)絡(luò)輸出的裁剪圖喂給分類模型既省去全圖滑窗的算力開銷又讓分類模型聚焦于飛機(jī)區(qū)域而不是亂七八糟的背景。6.2 從測試集反推業(yè)務(wù)落地的評估方式獨立測試集的價值不止在競賽里。放到真實業(yè)務(wù)中測試集其實就是對未來線上數(shù)據(jù)流的一次預(yù)演。你今天把評估腳本寫得多規(guī)范未來模型上線后做監(jiān)控和回歸測試就有多順手。我會建議在每個項目里都建一個評估即代碼的管道數(shù)據(jù)集版本、預(yù)處理參數(shù)、模型權(quán)重路徑、評估指標(biāo)、TTA開關(guān)全部用配置文件和腳本固定下來。下次模型迭代一鍵重跑同一份測試集就能清楚看到改動帶來的真實收益或損失。6.3 相關(guān)數(shù)據(jù)集與工具生態(tài)如果你對飛機(jī)細(xì)粒度識別這個方向感興趣還可以關(guān)注這些公開資源FGVC-Aircraft經(jīng)典的細(xì)粒度飛機(jī)分類基準(zhǔn)包含100種飛機(jī)型號和標(biāo)題里的飛機(jī)100分類天然對位。Aeroscapes航空場景語義分割數(shù)據(jù)集適合做機(jī)場、跑道、飛行器區(qū)域的分割任務(wù)。DOTA遙感旋轉(zhuǎn)框目標(biāo)檢測數(shù)據(jù)集里面有大量飛機(jī)目標(biāo)適合檢測方向進(jìn)階。工具層面torchvision、timm、mmclassification、Ultralytics YOLOv8、mmrotate都是非常實用的開源庫。timm里EfficientNet、ViT等模型的預(yù)訓(xùn)練權(quán)重很全換網(wǎng)絡(luò)結(jié)構(gòu)時強(qiáng)烈推薦優(yōu)先試timm的版本。最后再說一次我自己的經(jīng)驗別小看測試集這三個字。很多時候模型掉鏈子不是網(wǎng)絡(luò)結(jié)構(gòu)不夠花哨而是數(shù)據(jù)側(cè)和評估側(cè)沒做好。飛機(jī)100分類這種細(xì)粒度很強(qiáng)的任務(wù)尤其能逼著人把每個細(xì)節(jié)摳到訓(xùn)練有沒有泄漏測試信息、評估是不是正確的eval模式、標(biāo)簽有沒有臟數(shù)據(jù)、類別權(quán)重是不是失衡……哪一環(huán)偷懶測試集上都會很誠實地還給你。所以做這類項目我向來是先花時間把評估腳本寫到無懈可擊再回頭去折騰網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練技巧。這個順序要是反了大概率會在最后交答案的時候吃大虧。你手里的測試集值得你認(rèn)真對待。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产东北女人在线视频| 色性荡荡荡荡视频| 中文字日本乱码| 欧美日韩亚洲少妇寂寞影院正在播放 | 欧美日韩小说| 在线观看黄色电话| 天天日美女的B| 九九久久玖玖| 熟妇在线视频一区二区| 欧美性少妇| 无码天天操| 图色综合网| 亚洲天堂男人网| 亚洲成人久久美女| 日韩91网| 欧美成人性爱视频大全| 久久精品一区一起草| 秋霞一集毛片观看| 亚洲大色鬼| 亚洲精品91| 亚洲欧美激情在线视频| 白嫩91在线亚洲| 玖玖爱免费观看视频| 试看60秒| hd成人一区二区在线| 五十路熟女工口| 色操逼网| 51一区二区三区| 极品粉嫩少妇视频| 很黄很色的视频在线观看| 老熟女熟妇| 伊人久久综合影院精品久久久| 亚殴在线| 精品无码不卡视频| 亚洲自拍欧美色综合| 色官网色综合| 日本精品加勒比海一区| 中文字幕乱在线伦视频中文字幕乱码在线 | 久久性爱视频| 美女裸体无遮挡永久免费观看网站| 97超碰碰碰| 丁香九月婷婷| 91久久久老司机| 九九精品99| 久久99精品九九久久久婷婷| 99日精品欧美国产| 亚洲 欧美 精品专区 极品| 国产夜夜艹| 天天日天天搞天天干| 蜜臀99999| 污污汅18禁网站在线永久免费观看| 女人的天堂大香蕉网| 亚洲 自拍偷拍 欧美| 精品一久久久| 激情专区综合| 免费福利视频中文字幕| 亚洲天堂久| 天天做天天爽| 黄色操人| 91国产丝袜白虎| 大香蕉免费中文| 日本色色视频网站| 97中文热色| 日日噜噜夜夜久久亚洲一区二区| 91九色首页| 日本成人在线不卡一区二区三区| 日韩综合97P| 婷婷三区| 性爱av网站| 另类图片天天影视| 97超碰巨乳| 日本精品成人无码| 极品综合| 极品另类| Julia Annxxxxx| 亞洲久久直播| 激情国产乱伦Av| 美女黄站| 美女上床网站| 亚洲宗合电影| 日韩97超碰中文字幕| AA特级绝黄| 青娱乐91| 亚洲中文字幕一区二区| 成人黄页| 啊啊啊好舒服好爽啊啊啊视频| 国产理论视频在线播放| 日韩性爱1级片视频| 超碰在线一区| 91欧美网| 69久久| 天天看特黄的免费网站| 一区二区激情国产熟女| 乱伦3P视频| 伊人国产成人av网站| 日韩精品资源| 97操97干| 欧亚 另类 久| 密臀国产在线| 日韩丨制服丨中文|在线| 麻豆黄四叶草网站| 无码99| 亚洲色诱惑| 日韩无码黄色片| 97在线观| 91日产桃蜜| 亚洲情色无码一区二区三区| 九九九国产精品| 亚洲人妖网| 97免费在线视频在线观看| 九九热超碰| 操逼视频免费日韩无码| 黄网在线播放| 天堂日本亚洲欧美| 欧美A√综合网| 自拍盗摄一区| 另类专区加勒比| 国产精品欧美激在线| 中文字幕加勒比海高清无码免费视频| 亚洲永久AV无码精品秋霞| 亚洲欧美国产日本一区二区三区| 色情五月丁香| 五月天婷婷欧美三区| 一起草av| 大香蕉碰碰| 大香蕉97久久| 啊啊啊不要啊啊受不了了视频在线 | 久久久久久十| 精品福利| 亚洲欧美精品国产一区二区| 欧美 日韩 亚洲 春色| 中文字幕一区二区三区四区在线视频| 欧美日韩亚洲一区二区在线观看| 樱花蜜乳av| 国产99精品一区二区三区免费| 欧美日韩啪啪电影| 亚洲欧美综合区自拍另类| 亚洲囯产精品女人久久久| αⅴ天堂| 亚洲欧美在线观看2021| 91亚州欧美| 欧美人妻色| 91天射| 久草成人影片| 国产精品女aA片爽爽视频| 亚洲天堂资源网| 亚洲色图欧美色图另类图片| 亚洲一区二区三区播放在线| 国产树林里野战在线看| 另类视频在线| 亚洲 图片 欧美 色图| 99色视频| 色悠久久久av| 26uuu久久| 国产日韩在线播放| 日韩草久视频| 免费97视频| 国内一级精品| 欧美日韩国产三级黄色| 国产欧美伊人| 在线情色电影 91大| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 日韩一级二级三级免费看完整版| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 国偷自 一区二区| 日本综合色图| 国产欧美日韩精品中文| 亚洲综合春色| 久9久9久9久9久9久9| 五十路成人在线视频二区三区| 久久精品一区二区| 国产强奸超碰AV| 97人肏| 精品福利视频| 在线情色电影 91大| 中文字幕乱亚洲美女精品一区| 翔田千里无码一区| 人妻啊啊人妻啊啊| 玖玖超碰熟| 日本色色色网站免费看不卡| 伊人色综合网电影| 狠色婷婷久久一区二区三区_| 91bbbbbb| 五月婷婷综合在线| 91熟女少妇| 国产精品久久久无码aV去| 国产精品久久99日日| 亚洲欧洲偷拍一区| 超碰97综合网| 中文字幕一区 二区三四五 区日 日骚| 欧美青青视频| 免费视频无码| 亚洲午夜av| 国产网红精品| 久久性爱网站| 超清福利精品视频在线| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 蜜臀亚洲综合一二三四区| 青草精品视频日本久久久久网站在线| 看看日B真人视频| 97久久精品亚洲| 老熟妇一区二区三区啪啪| 麻豆久久精品亚洲精品88| 国产97色在线| 精品女同一区| 亚洲国产日韩欧美熟妇在线| 国产日韩中文字幕欧美| 操逼网站视频漫画国产| 亚洲精品白丝| 尤物一级在线免费观看| 国产AV天美传媒一区二区三区 | 久久久久久久久999| 国产精品久久久久久久久AV大片| 少妇精品久久久| 国产大陆天天艹| 校园春色欧美色图| 岛国A V在线免费看| 操逼日韩无码 | 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 日韩精品系列| 久久伦理视频久久大香蕉视频| 国产福利视频精品视频| 日本999精品视频| 久久春色| 任我爽视频在线观看| 国产精品点击进入在线影院高清| 中文一区二区婷婷视频| 又大又长又粗又爽又黄| 91老熟女91老女人| 欧美日韩国产在线| 少妇久久久久久| 欧美人妻二区三区| 亚洲麻豆av一区二区| 91中文精品日韩欧美在线 | 亚洲少妇色图自慰直播| 成年人网站在线免费观看| 97欧美精品综合| 日韩免费三级黄片电影| 亚洲宗合网| 999国产精品999| 色五月av| 久久人人妻| 亚洲精品免费中文字幕| 一区二区亚州激情久婷婷欧美| 国产男人又猛又粗又爽| 久草五月| 中文字幕三四区| 日韩精品99久久久久久中文字幕 | 久久久免费懂色| 丝袜熟女一区二区三区| 亚洲天堂资源在线| 色诱中文字幕| 日本亚洲熟女视频| 亚州熟女乱伦| 色香欲天天天天综合色| 97资源制服丝袜| 国产精品无码久久久久2025| 蜜臀网 一区| 欧美综合第一| 亚洲第一在线视频| 家庭乱伦国产精品| 色香网| 九九九九88| 人妻中文字幕日韩电影| 欧美亚洲首页| 五月天伊人网| 国产11页| 久久久久久综合久久伊人蜜月| 五月婷婷六月丁香| 欧美78p| 亚洲图片日本AⅤ欧美在线| 色男人色天堂东京热| 婷婷五月激情综合| 人人干人人操人人..com| 亚洲Av诱惑| 欧美 亚洲 综合 制服 另类| 大香蕉国产中文自拍| 日韩成人性爱电影在线播放| 欧美亚洲国产91在线| 国产精品乱码久久久、久久| 97亚洲欧美日韩| 噜噜噜狠狠色综合| 在线观看黄色电话| 欧美久久伊人| 欧美人妻精品一区二区| 国产亚洲精品农村妇女| 淫荡网址| 美女上床网站| 久久久久久久久国产| 国产怡红院| 99∨VTV| 欧美激情中文字幕另类小说| 久久精品福利影院| 国产中出内射一区二区| 91欧美大片| www久久久| 亚洲av综合色区无码一| 93人人操人人| 91肉片| 中欧人妻丝袜中文字幕| 亚洲精品熟妇1区2区3区。| 青娱乐手机日韩在线视频| 另类小说五月天| 综合久| 久操精品网| 婷婷伊人| 日本理论在线| av婷婷色婷婷色六月| 逼操网站| 在线中文字幕极品av| 国内精品嫩模A∨私拍小视频| 91老熟女| 亚洲日韩熟女人妻高清在线| 亚洲欧洲无码97久久精品| 欧美人妻精品| 69AV女优男人的天堂| 伊人久久大香线蕉无码| av网页一区二区三区| 极品综合| 日本午夜操逼| 超碰精品在线| 狠狠操夜夜操蜜桃视频三区| 成人网欧美风情| 啊啊啊啊啊啊好湿好爽视频| 久久国99999| 婷婷另类小说| 日本 情色 1区2区3区| 十八禁电影伊人网| 综合少妇网| 91人妻人人澡人人爽人人精品| 日韩高清一二三| 欧美激情 一区| 91欧美亚洲| 啊啊啊免费| 在线观看啊啊啊啊啊| 99热这里都是精品| 99老司机精品视频在线观看| 欧美日日操| 国产精品自在自拍视频| 蜜臀久久99精品久久久久久-DVD| 久操视频在线| 亚洲av噜噜噜噜噜噜| 日韩性爱人人爱人人操| 操逼日韩无码 | 大香蕉伊然在亚洲91| 欧美线天码中字| 男人的天堂三级| 亚洲在线a| 人人操人人干xxx| 日产操逼| 能看的av| 美欧老女人97| 欧美综合色图片| 麻豆国产97在线| 天天综合网日韩7799| 熟女丰满人妻一区| 久久人人爽av亚洲精品天堂桃色 | 好爽,再快点啊哈嗯嗯嗯嗯| 黑人中出21连凳花野真衣| 麻豆传媒一区二区在线观看| 综合激情一一91| 久久91| 久久精品国产亚洲AV无码电影| 5月婷婷6月六月丁香| 偷拍 精品 另类 四区| 国产 大胆 对白| 亚洲精品少妇| 国产精品老师| 国产亚洲精品美女久久久m| 丁香五月综合| 超碰这里只有精品| 九九九国产精品| 日本国产亚洲一区在线观看| 久99热| AV色五月天| 一个色导综合| 色哟哟-国产专区| 黄色工厂这里只有精品| 久久东京伊人一本到鬼色| 超碰79人人乐| 高清不卡 中文 人妻| 精品久久无码午夜福利| 成年男人的天堂| 人人操人人精品影片| 最新av中文字幕高清| 久久国产视频性吧 | 岛国网址国产| 91夜夜蜜桃臀1区2区3区| 精品人妻一区二区免费看| 欧美亚洲| 久久99精品国产| 国产成人91一区二区三区| www.夜夜| www久久精品| 操我啊啊啊啊啊| 欧美亚洲手机在线| 探花激情视频| 国产偷仑| 欧美爱三级日韩久久| 又黄又爽在线观看视频 | 丝袜美腿校园春色| 91av一区二区在线观看| 中文幕97| 欧美在线播放aaaa| 亚洲综合嫩| 久久免费精彩视频| 欧美色图亚洲激情| 人妻在线臀日韩| 欧美日韩国产一区二区小黄片大全| 超碰调教97| 九九九九热| 91丝袜| 色综合一区二区三巨| 超碰欧美| 久久一区,青青青青草视频在线播放| 亚洲欧美综合图片| 国产精品女同| 成人av福利在线观看| 青青草色情网站视频| 日韩乱中文 | 91最新综合| 国产精品视频自拍在线| 国产视频三区四区| 国产曰批免费观看久久久| 色婷婷淫色网| 九九人人操| 加勒比海色香蕉婷婷| 少妇被玩视频二三区| 国产精品日韩在线一区| 91在线国产后入风骚翘臀美女素人| 国产精品久久久三级无码| 丝袜加勒比| 久久大香蕉手机高清| 色在线亚洲视频www| 日本道久久综合色色| 人妻精品一区二区| 91精品国产乱码| 久操婷婷| 亚洲h片在线免费观看| 小骚逼被操的爽不爽| 日本护士高潮| 精品国产三级av韩国在线| 久啪| 国产欧美日韩在线观看麻豆传媒公司 | 青春草莓视频在线观看网址| 精品人妻一区二区乱码一区二区| 美女黄频a美女大全免费皮| 在线观看中文字幕| 综合激情一一91| 你操综合| 1024人妻| 欧美一区二区三区互相| 99re99在线视频| 婷婷丁香一区二区三区| 天天拍天天操| 免费精品人妻一区二区三| 夜夜欢天天干| 舔人妻中文免费视频| 人妻日日夜夜精品| 欧美特大黄一级片片免费| 久久国产AⅤ| 超碰精品97| 人人操 欧美| 欧美一区二区传媒| 欧美五十路熟| 亚洲日韩XXX| 正宗无毛一线天嫩逼| 久久久久日本视| 中文字幕成人理论在线| 熟妇xxxxx性春色| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 久久婷婷色| 国产9 9在线 | 亚洲| 男同专区一区二区三区在线| 老色鬼成人精品视频下载大在线观看| 午夜成人福利影视| 啊好大好舒服| 日韩一级欧美一级国产一级台湾 | 欧美精品 - 91爱爱| 国产在线76页| 天美传媒国产原创中文字幕亚洲欧美另类 | 日韩三级在线观看网站| 亚洲中文字幕熟女少妇一区二区| 国产精品一二三| 日韩无码久久熟女一级片| 色五月69夫妻| 成人久久精品| 东北女人| 91久久久老司机| 欧美男女午夜啪啪| 国产11页| 久操99| 久久精品一区二区三区不卡| 首页亚洲国产高跟丝袜诱惑视频| 国产AV高清AV无码| 国内精品久久久久影院亚洲| 最近的最新的中文字幕视频| 锕锕好爽 死我在线观看| 国产成人亚洲精品无| 亚洲精品第一| 嗯~啊~快点 死我视频| 精品一级| 人妻一区二区三区熟女| 东京热91| 国产精品久久久久婷婷二区次| 亚洲久久东京热一二三四五区视频| 亚洲999综合| 夜夜骑操视频| 91 国产丝袜在线播放-百度| 青青草原香蕉日本Ap| 久久久久久99999国产精品| 婷婷激情五月综合| 国产欧洲精品亚洲午夜拍精品| 尤物视频偷拍免费| 女人香蕉久久毛毛片精品| 欧美激情亚洲| 手机看片91人妻| 国产精品黑人一区二区三区| 国产亚洲精品激情| 麻豆啪啪啪视频| 五月天综合| 欧美|91色综合| 亚洲青青青视频在线| 激情亚洲天堂| 丁香7月婷婷| 澳门色噜噜色噜噜色噜噜色噜噜色噜噜| 啪啪啪综合网| 一级特黄aaa大片在线观看成人一级片在线观看 | 91精品国产综合久久久蜜臀| 天堂日本亚洲欧美| 亚洲成人一区二区精品| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 日韩欧美中文字幕搭讪巨乳美人妻视频| 99精品九九九九九九| 草草草视频在线免费看| 一起草日韩| 大香蕉综合网| 天堂亚洲精品久久老牛| 日本大香蕉综合网红本杳社区| 综合97| 飘花国产午夜精品不卡| 99色在线视频| 青青草色插素人| 人妻熟女一区二区三区视频| 久久无码成人| 天天影视色香色欲| 91无摭挡| 女人与公拘交酡2020视频| 亚洲图片欧洲图片aⅴ| 爱爱动态120秒| 欧美在线干| 牛牛AV人人夜夜澡人人爽| 国产剧情AV不卡在线观看| 成功精品影院| 久久久久久久久久久精| 中文字幕视频一区视频二区| 一本色道熟妇| 人妻日日干| 特级大荫道BBwBBwBBW| 蜜桃午夜视频一区二区 | 能在线播放的国产三级| 东京热激情视频一二三区| 日韩欧美偷拍美女视频| 思思久热在线精品66| 秋霞视频一区二区 | 泰国AV在线观看| 韩日欧亚a级| 欧美精品99久久久**| 精品女人999| 青青草AV色| 国产大学生口爆吞精合集| 日欧美色| 日本爽爽爽爽爽爽免费视频| 免费精品99| 97日韩欧美亚洲| 午夜精品探花| 青草园大香蕉| 国产人妖视频一区在线观看| 国产精品成人无码a v毛片| 精品91摸| 激情五月天中文字幕色| 偷窥自拍亚洲色图| 97在线免费视频观看| 91精品黄在线观看| JuliaAnnXXX888| 亚洲AV成人无码一区二区三区在线观看 | 韩国一级AAA| 久久男人网| 91啦人妻| 日日干男人的天堂| 国产精品永久免费10000| 中文字幕乱码人妻一区二区三区,99精品 | 日韩99神马视频片| 欧美性爱18观看| 久久a久久| 国产无码久久高清| 亚洲综合性感在线| 在线亚洲 欧美 日本专区| 中文字幕版| 欧美成人A√在线一区二区| yiren97| 天堂俺去俺来也www久久婷婷| 另类 综合 日韩 欧美 亚洲| 综合操逼| 青青草公开在线免费不卡视频| 国产久久久久久久久一区二区| 精品9999| 另类图片五月| 久久中文字幕不卡人妻| 91P0RNY大屁股人妻| 97内射偷拍| 久操凹凸视频| 人妻少妇精品无码专区二区密桃| 蜜臀久久99精品久久久老,,| 亚洲中字幕日本一区二区三区| 男人天堂站| 国产精品久久久久中文字幕| 四虎影视国产精品| 久久久久久中文字幕中文字幕最新| 蜜乳av一区二区| 你操综合| 熟妇的味道HD中文字幕| 久久久久久人| 天天搞在线综合网| 国产男人又猛又粗又爽| 国产熟码AV| 欧美日韩情色一区二区| 国产 亚洲 一二三四| 物业黑人 AV一区| 二色av| 青娱乐休闲视频在线观看| 国产精品电影推荐| 天天性射网| 97国产超湿| 黄页网站免费高清在线观看| 久久9精品| 日日橹狠狠爱欧美超碰| 亚洲男人的天堂亚洲| 国产三级在线现体验区| 欧洲精品二区| 亚洲999综合| 美女黄页| 亚洲操人| 加勒比久久综合网高清| 91亚洲欧美| 亚州五月| 亚洲色香| 精品久久久久黄少妇| 亚洲AV无码成人精品久久| Sekablack无码一区| 91在线观看,天天综合| 成人热久久精品| 日本熟妇一区二区三区| 综合久久六月久久婷婷| 先锋影音av先锋一区| 97久久超碰亚洲| 久久久熟妇熟女国产| 色五月婷婷麻豆在| 亚洲欧美日韩精品久| 欧美片第一页| 91丝袜| 九九超碰综合网| 媚薬在线视频麻豆| 91天美传媒精品| 日本超碰在线国产一区| 丰满的三级少妇欧美久久久| a天堂视频| 天天日天天搞天天干| 亚洲欧美高清无码| 大香蕉碰| 亚洲精品aa久久伊人| 欧美 日韩 亚洲 春色| 国产高清亚洲日韩一区| 国产97免费视频| 97国产精品一区| 久久久性少妇| 玖玖综合视频| 91精品操美女| 肉丝中文无码高清| 少好三P| 日本久久999| 91黑丝美女| 啊啊啊要高潮了| 东北老女人的激情视频| 精品视频专区| 国产十八禁视频| 影音先锋一区二区在线资源| 日韩美女高潮喷水视频| 免费网站观看www在线观| 欧洲射精91| 欧美精品第四五页中文字幕在线观看| 亚洲男人天堂网久久| 制服乱伦| 农村妇女一级二级三级视频| 婷婷尹人大香蕉免费| 天美国产三级传媒| 天天影视综合网欧美精品| 色婷婷五月天| 67914在线精品观看| 亚射在线| 97综合在线观看| 国产极品久久久| 欧美夜色| 日本护士高潮| 免费观看啪视频| 91亚洲黑人| 日韩av熟女一区二区三区成人| 天天操女人| 91中文精品日韩欧美在线| 亚州综合图片| 欧美激情黑人| 嗯嗯啊啊操我| 久久久久久久久久久免费精品| 综合操逼| 91狠狠色丁香婷婷综合久久| 口爆综合网| surenchaopeng| 长久操视频| 91亚洲情色| 欧美性爱精品七区| 国内毛片婷婷六月色| 色婷婷网| 国精品一区二区三| 欧美色图小说综合| 综合久久97| 国产精品一区av在线| 妺妺跟我一起洗澡没忍住| 婷婷99狠狠躁天天躁| 中文字幕 一区二区 亚洲无码| 欧美国产有色电影| 97精品一区二区视频在线观看| 家庭乱伦麻豆| 99精品久久久久久久婷婷| 色色婷| 狠综合网| 欧美性爱超碰97| 日韩国产十八禁| 成人天天爽| 亚洲第二页| 色综合国产在线观看| 国产一区二区在线电影| 色综合98| 91制服丝袜| 亚欧免费| 综合色图,成人综合网| 激情五月天校园春色网| 日日骚中文字幕| 东亚亚洲无码高清| 亚洲丝袜B诱惑| 中文字幕第7页| 色综合天天| 超碰公开久久网| 99在线观看视频在线高清| heyZO天然素人无码AⅤ专区| 午夜色婷婷| 中文字幕伊人| {男男暴菊gay无套网站| 天美传媒av 在线| 夜夜精品视频一区二区| 国产精品一区二区亚洲人成毛片 | 黄色成年| 亚洲欧洲精品视频发布| 美腿色图| 日本五区不卡| 亚洲啪啪视频一区二区| 射丝袜高跟鞋99| 嗯嗯不要视频| 91一起操| 青青草原av| 中国一区二区亚洲人妻| 激情终合网| 成人精品视频一区二区| 欧美日韩欧美| 九月丁香婷婷| 日韩特一级久久| 亚洲成人一区二区精品| 综合天天网| 精品人妻一区二区三区在线视频不卡| 99九九久久| 爱丝福利| 91精品国产麻豆国产自产在| 内射卯月麻衣| 黄色小视频日本txt| 亚州综合色图| 免费av在线播放二区| 欧美日韩免费专区在线| 色图综合网| 日韩精品人妻中文字幕有码午| 96麻豆精品一区二区三区| 狼人久草| 亚洲熟妇A V黑人| 欧美亚洲日韩人妻在线观看| 日韩精品-原创伙伴| 久久乐| 亚洲黑人在线| 中文字幕一区 二区三四五 区日 日骚| 91免费看中出视频| 国产又粗又又黄又猛| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 色欲天天综合久久久无码网中文| 天天透伊人| 国产一级高清免费观看| 免费AV中文网在线观看| 欧插网站| gogogo免费高清看中国国语| 亚洲激情色片| 一本久道在线综合视频| 中文字幕一区二区三区蜜桃视频| 国产综合网站在线播放 | 天久久久噜噜噜久久国产精品爽爽 | 极品少妇久久久| 精品一区二区三区蜜桃臀赵总| 欧美 亚洲 在线| 熟女一区二区| 中日亚韩免费视频| 久久久久久久久9| 亚洲精品99| 精品亚洲一区在线观看| 欧美78| 在线中文字幕极品av| 精品免费囯产一区二区三区| 欧美 亚洲 综合 制服| 波多野结衣AV无码一区| 欧美 亚洲 91| 久久精品国产精品亚洲艾通辽熟妇| 男人天堂2017| 青草影院内射高潮| 婷婷亚洲综合| 成全动漫视频观看免费下载| 欧美青青草视频| 亚洲欧美97√| 97露脸精品丝袜| 爽 好舒服 无码刺激久久| 欧美少妇色图| 久久99精品九九久久久婷婷| 在线播放成人网站| 亚洲啪啪综合?v一区综合精品区| 爱欲AV| 伊人女女资源在线观看| 免费操逼91| 91九九九吃| 97色插| 美女极品一区二区三区| 91麻豆天美国产欧美高潮| 啊啊啊啊视频免费| 黄网在线播放| 人妻中文字幕精品无码| 97精| 精品白丝一区| 高潮内射在线| 国产综合操逼高清| 人人操人人舒服| 97免费在线观看视频| 加勒比色综合| 亚洲熟妇熟在线电影视频| 欧美在线播放aaaa| 免费观看国产不卡av| 欧美综合网在线| 青青草华人在线欧美在线| 少妇被玩视频二三区| 丁香五月天啪啪| 岛国视频一二三区| 一级乱伦网站| 加勒比aⅴ| 91久久久久久久| 撸撸成人在线视频| 97精品一二区| 国产11页| 91操碰| 草莓精品视频| 91夜夜蜜桃臀1区2区3区| 3571色综合一区二区二区| 国产18精品亚洲精品| 免费看黄视频亚洲网站| 91看黄片| 国产辣妈在线视频福利| 99999re| 精品国产乱子伦一区二区三区,精品一| 呦女网站| 综合国产97| 97视频在线观看播放与子乱对白在线……| 91精品国产麻豆国产自产在| hd成人一区二区在线| 高清国产成人无码| 亚洲图片日本AⅤ欧美在线| 毛片久久| 久久国产熟女影院| 日本淫乱女一区二区三区视频| 欧美激情视频一区二区| 欧美三四五区| 男人的天堂VA| 欧美激情 亚洲色图| 亚洲中文字幕av | 东京成人一区| 欧美亚洲影视| 欧美白嫩在线放| 欧美色66| 日韩视频小说在线观看 | 亚洲 图片 综合91| 麻豆天美国美国产AV| 又大又黄国产| 欧美大香蕉在线观看| 欧美香蕉视xxx| 大吊色| 色眯眯射| 天堂射| 欧美激情视频一区二区三区不卡| 色女综合| 亚洲欧美日产国产91毛片| 精品无码久久久久| 乱伦av麻豆| 天天躁日日躁XXXXYY| 乱伦系列一区二区| 99热免费| 天天爱天天韩国日本牛牛牛牛| 爱射综合| 91+欧美| 久久 久久国内精品亚洲| 国产吹潮女在线观看| 97超碰精品图片| 久艹日日日| 影视综合无码少妇| 天天做日日做天天欢。| 久热免费视频| 久久久久久久少妇| 亚洲欧美日韩国产丝袜自拍中文| www. 男人天堂成人在线| 日本道人妻久久久在线不卡色视频| 高精欧美色| 久操91视频| 亚洲 自拍偷拍 欧美| 99日精品欧美国产| 操人妻少妇中文| 日韩美女,国产传媒,视频一区| 综合网97| 国产深喉视频一区二区| 99re免费视频精品全部| 国产精品视频白浆免费| 日本在线一二| 欧日韩在线观看| 99超碰碰| 亚洲综合另类小说色区亚洲成av人片在www | 精品无码人妻一区二区免费蜜桃| 欧美亚州综合网图片| 无码人妻一区二区三区色欲aⅴ| 国产极品一区二区三区三州| AV 少妇 人妻 偷拍| 超碰在线97国产| 风韵犹存大大大大香蕉 | 亚洲色婷婷综合久久久久中文| 日本不卡一二区| 国产操操日韩三级黄| 玖玖人人爱| 国产女主播视频在线观看| 熟妇综合一区二区三区| 温婉少妇玩3p| 日本不卡三级网在线播放| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 国产 v乱码一区二| 丁香激情网| 色网在线| 中文字幕蜜乳av| 色黄色美女大长腿午夜视频| 中文字幕黑人大片| 九九九精品色乱九九九| 牛牛操视频逼| 一二三四免费视频| 热G综合热G中文| 欧美日韩不卡a片| 91原创在线观看| 91天堂丝袜美腿| 久久成人国产| 天美一二三在线观看Av| 在线不欧美| 国产成人无码久久精品| 中文字幕伊人| 大香蕉www.超碰| 欧美老熟另类| 亚洲中文字幕熟女少妇一区二区| 自拍大香蕉乱插| 天天操天天射青青草| 操久久久久| 色久桃花影院在线观看| 91欧美长吊| 国产成年女黄特黄| 亚洲精品99| 国产午夜福利合集| 可以在线观看AV的网站| 青青草色插素人| 秋霞一级鲁丝片A片| 人人喜人人妻| 97久久国产| 亚洲欧美精品91| 97 国产精品| 国模精品娜娜一二三区| 国产女人9999| 特级毛片特黄久久免费看 | 最近的最新的中文字幕视频| 亚洲青青草| 欧美日韩国产高清在线一二三区| 久久九精品| AV天堂国产| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 中国一级操逼视频| www.91欧美| 大香蕉黄色一级片免费看| 亚洲狼狼干综合1| 国产在线视频午夜精华在| 97精品一二区| 国产一级内射高清视频| 日韩紧密久久| 大香蕉乱级| 青木玲在线不卡| 近亲乱伦一区二区| 91操熟女视频| 淫妻综合网| 人人妻人人澡人人爽人人精品浪潮| 久久久激情| 亚洲天堂资源网| 色色婷婷五月天| 老妇女91| 久久极品一区二区| 精品无码久久久久久久久果冻糖心| 在线啊啊啊啊| 另类欧美色| 99精品丰满人妻无| 亚洲视频精选| 日韩内射视频| 日韩性爱1级片视频| 欧美亚洲高清不卡| 天天日天天干天天整| 成人一级二级| 超碰碰碰碰| 囯产精品久久久久久久久久梁医生 | 级做a爱无码性色永久免费| 成人久久久精品| 亚洲黄色影视| 欧美性爱第一页久久| 丁香五月天婷婷姐| 一级黄色性爱A级片| 久久久91| 欧美在线啊啊啊 | 久久男人的天堂| 江都AV在线| 丰满人妻一区二区三区大胸懂色| 国产精品乱码久久| 亚洲视频一二区| 婷婷五月天激情四射| 精品国产一区探花在线观看| 狠狠爱AV| 骚货人妻偷情自拍在线视频| 狠狠操夜夜| 国产精品网址| 97色涩| 调教熟妇 久久久久久| 成人精品久久久午夜福利| 欧亚 另类 久| 中文字幕啊啊啊在线观看视频| 日本性爰一道本| 夜夜躁狠狠躁日日躁av| 精品国产国产AV| 人妻天天夜夜爽一区二区| 亚洲精品一二区| 久草在线| 91艹逼精品| 久久久一级| 国产a级午夜毛片| 久久久久亚洲熟妇熟女| 久久久久成人网| 欧美亚洲日韩16色| 日韩女优在线| 五月婷婷性爱| 日本不卡高清视频| 国产精品一区二区a| 天天干夜夜操一区二区| 中文字幕天天操| ′ !γ}丶。。久久精品欧美一区二区三区| www.99中文字幕| 欧美一级黄色免费专区| 久久老熟女| 99re在线视频这里只有精品| 久九干| 亚洲 91 在线| 免费观看的av| 91在线精品| 啪啪资源网| 日韩有码 一区二区三区| 亚洲天堂男人的天堂| 亚洲色婷婷综合久久久久中文| 日韩欧美偷拍美女视频| 网页导航五月天免费一二三区| 手机久操欧美综合色码| 亚州成人A√| 一区二区 韩日AV| 丁香五月综合| 性爱1区| 久操com| 国产一区二区三区白丝| 天堂综合网| 97视频播放| 久久日韩肥臀| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 免费国产电影一区二区| 99999国产| 99re6在线视频播放免费精品| 人人操人人射人人干| 成人在线永久| 美腿色图| 蜜色网色哟哟| 久久色激情一区二区三区| 久久人妻视频网| 五月天激情小说| 久久超碰爱| 黑丝内射一区二区三区| 97资源制服丝袜| 欧美日韩岛国大片在线观看| 日本黄色精品专区网站| 天天躁日日躁狠狠躁| 无码78| 97久久精品不卡| 亚洲精品久久久久久| 青久久| 久久精品男人的天堂| 97超级色碰碰| 亚洲熟女少妇免费视频| 九九九久| 亚洲丝袜二区在线| 欧美日韩小说| 成人性交午夜免费片| 欧美激情 亚洲色图| 蜜臀中文无码午夜| 伊色久人大在线| 大香蕉视频啪啪啪啪| 丝袜天堂网| 好涩综合| 人妻色偷色噜| 成人97人人超碰人人| 乱伦av麻豆| 91操操| 夜夜中出国产| 大香蕉天天看妹子| 日本最新1区2区3区| julia ann久久| 精品对白久久不卡| 日本成熟少妇A∨网站| 国产中文字幕在线点播| 国产精品色片一区二区| 国产浮力影院第1页| 九九Av| 青青草精玖玖69精品| 天美一区在线| 久久女人| 国产操伦| 丁香九月激情啪| 中文一区二区婷婷视频| 丝袜美女诱惑 91 视频| 国产中文字幕在线观看| 91欧美亚洲| 最新中文字幕精品在线| 亚洲色综合|