日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Cifar-10深度學(xué)習(xí)實(shí)戰(zhàn):從數(shù)據(jù)解析到模型訓(xùn)練全攻略

Cifar-10深度學(xué)習(xí)實(shí)戰(zhàn):從數(shù)據(jù)解析到模型訓(xùn)練全攻略 簡(jiǎn)介Cifar-10數(shù)據(jù)集是計(jì)算機(jī)視覺領(lǐng)域廣泛使用的開源圖像分類數(shù)據(jù)集由加拿大高級(jí)研究院相關(guān)團(tuán)隊(duì)創(chuàng)建適合深度學(xué)習(xí)初學(xué)者、算法研究人員及CNN模型開發(fā)者用于圖像識(shí)別模型訓(xùn)練與效果驗(yàn)證。壓縮包共8個(gè)文件包括5個(gè)data_batch訓(xùn)練批次、1個(gè)test_batch測(cè)試批次以及batches.meta類別元數(shù)據(jù)和readme.html說明文檔整體大小162.6MB。內(nèi)部為Python版本數(shù)據(jù)可直接配合TensorFlow、PyTorch等深度學(xué)習(xí)框架讀取訓(xùn)練集和測(cè)試集劃分清晰按批次存放便于分批加載與內(nèi)存管理。數(shù)據(jù)覆蓋飛機(jī)、汽車、鳥類、貓、鹿、狗、青蛙、馬、船、卡車10個(gè)常見類別共60000張32×32彩色圖像每張圖像包含RGB三通道共3072個(gè)像素特征。由于數(shù)據(jù)規(guī)模適中既適合初學(xué)者快速搭建CNN理解卷積、池化與全連接層也適合研究者對(duì)比不同網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)增強(qiáng)策略和正則化方法。目前已有2666人瀏覽學(xué)習(xí)是入門計(jì)算機(jī)視覺、實(shí)踐圖像分類與模型評(píng)估流程的高性價(jià)比資源。 Cifar-10這個(gè)數(shù)據(jù)集深度學(xué)習(xí)入門繞不過去的一道坎。我最早跑它的時(shí)候還在用TensorFlow 1.x為了把數(shù)據(jù)從batch文件里摳出來還得自己寫解析函數(shù)現(xiàn)在torchvision一行代碼就能搞定但很多人反而對(duì)數(shù)據(jù)本身少了點(diǎn)敬畏心。這篇就結(jié)合我用Cifar-10踩過的坑和總結(jié)出的經(jīng)驗(yàn)把這個(gè)數(shù)據(jù)集從里到外拆一遍從數(shù)據(jù)構(gòu)成到訓(xùn)練trick從常見報(bào)錯(cuò)到后續(xù)擴(kuò)展方向爭(zhēng)取讓新朋友少走彎路也讓老手能查漏補(bǔ)缺。1. 項(xiàng)目整體認(rèn)知為什么深度學(xué)習(xí)入門首選Cifar-101.1 數(shù)據(jù)集的誕生背景與定位Cifar-10由加拿大先進(jìn)研究院Canadian Institute For Advanced Research的Alex Krizhevsky、Vinod Nair和Geoffrey Hinton等人收集整理是Cifar系列里最廣為人知的一個(gè)。它和MNIST最大的區(qū)別在于圖像從28x28的單通道灰度圖變成了32x32的三通道彩色圖這個(gè)變化直接決定了模型要從看輪廓升級(jí)到看紋理、看顏色、看局部特征組合訓(xùn)練難度和模型容量需求完全不在一個(gè)量級(jí)。當(dāng)時(shí)收集這個(gè)數(shù)據(jù)集的初衷是為了給圖像識(shí)別算法提供一個(gè)比MNIST更具挑戰(zhàn)性又不至于像ImageNet那樣大到普通人根本跑不動(dòng)的中間檔數(shù)據(jù)集。32x32的分辨率現(xiàn)在看來很小但在2009年那個(gè)硬件環(huán)境下這個(gè)尺寸已經(jīng)足夠讓當(dāng)時(shí)的機(jī)器學(xué)習(xí)算法非常吃力。到今天Cifar-10依然是學(xué)術(shù)界快速驗(yàn)證新模型架構(gòu)、新訓(xùn)練技巧的標(biāo)準(zhǔn)試驗(yàn)田幾乎每一篇圖像分類論文都會(huì)順手在Cifar-10上報(bào)個(gè)結(jié)果。1.2 數(shù)據(jù)規(guī)模與類別分布細(xì)節(jié)Cifar-10一共包含60000張圖像分10個(gè)類別每個(gè)類別6000張具體類別包括飛機(jī)、汽車、鳥、貓、鹿、狗、青蛙、馬、船、卡車。其中50000張作為訓(xùn)練集10000張作為測(cè)試集。訓(xùn)練集和測(cè)試集的劃分是官方固定好的這樣不同研究者的實(shí)驗(yàn)結(jié)果才具有可比性這也是我在實(shí)際使用中反復(fù)強(qiáng)調(diào)的一點(diǎn)——不要自己重新切分訓(xùn)練集和測(cè)試集直接用官方劃分否則你跑出來的精度沒法跟論文里的數(shù)字直接對(duì)比。每張圖像尺寸是32x32x3意味著總共約3072個(gè)像素值每個(gè)像素值范圍是0-255。原始的Cifar-10數(shù)據(jù)存儲(chǔ)方式很有年代感用的是Python的pickle序列化格式分5個(gè)訓(xùn)練batch和1個(gè)測(cè)試batch每個(gè)batch里有一個(gè)叫data的numpy數(shù)組形狀是10000x3072另外還有l(wèi)abels列表和filenames列表。這個(gè)3072維的順序是先R通道的1024個(gè)像素、再G通道、再B通道不是常見的HWC排列第一次手動(dòng)處理時(shí)特別容易在這里出錯(cuò)。1.3 適用人群與實(shí)際應(yīng)用場(chǎng)景如果你剛學(xué)完神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)理論想找一個(gè)能快速出結(jié)果但又沒那么簡(jiǎn)單的項(xiàng)目練手Cifar-10是性價(jià)比最高的選擇。它不像MNIST那樣隨便一個(gè)線性模型就能到92%以上需要你真正理解卷積、池化、批歸一化、數(shù)據(jù)增強(qiáng)這些概念但又不需要像ImageNet那樣動(dòng)輒幾十張顯卡和多周訓(xùn)練時(shí)間。在單張消費(fèi)級(jí)顯卡上用PyTorch或TensorFlow從頭訓(xùn)練一個(gè)簡(jiǎn)單的CNN模型幾分鐘就能跑完一個(gè)epoch一兩個(gè)小時(shí)就能看到比較理想的收斂效果。除了練手Cifar-10在學(xué)術(shù)界的使用場(chǎng)景也很豐富。模型結(jié)構(gòu)搜索NAS、知識(shí)蒸餾、對(duì)比學(xué)習(xí)、對(duì)抗樣本攻擊與防御、神經(jīng)網(wǎng)絡(luò)可解釋性分析這些方向的研究者經(jīng)常把Cifar-10作為主要的評(píng)測(cè)基準(zhǔn)之一。甚至工業(yè)界在驗(yàn)證一個(gè)新的訓(xùn)練加速框架、分布式策略或推理優(yōu)化工具時(shí)也習(xí)慣先在Cifar-10上做小規(guī)模驗(yàn)證因?yàn)樗鼣?shù)據(jù)集小、迭代快能快速暴露框架層面的問題。2. 數(shù)據(jù)準(zhǔn)備實(shí)操三種加載方式詳解2.1 方式一使用PyTorch內(nèi)置API自動(dòng)加載PyTorch官方torchvision包內(nèi)置了Cifar-10的下載和加載接口這是目前大多數(shù)人采用的方式也是我最推薦的入門方案。核心代碼非常簡(jiǎn)單import torch from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)) ]) train_set datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) test_set datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform) train_loader torch.utils.data.DataLoader(train_set, batch_size64, shuffleTrue, num_workers4) test_loader torch.utils.data.DataLoader(test_set, batch_size64, shuffleFalse, num_workers4)這段代碼里的標(biāo)準(zhǔn)化參數(shù)是我踩過坑之后專門背下來的。Cifar-10數(shù)據(jù)集的RGB三通道均值是(0.4914, 0.4822, 0.4465)標(biāo)準(zhǔn)差是(0.2023, 0.1994, 0.2010)這三個(gè)數(shù)值是官方社區(qū)統(tǒng)計(jì)出來的不是隨便拍的。使用正確的均值方差做標(biāo)準(zhǔn)化和隨便用(0.5, 0.5, 0.5)相比在訓(xùn)練穩(wěn)定性和最終精度上區(qū)別很大特別是使用帶有動(dòng)量項(xiàng)的優(yōu)化器時(shí)不準(zhǔn)確的標(biāo)準(zhǔn)化參數(shù)會(huì)導(dǎo)致前期loss震蕩明顯。2.2 方式二手動(dòng)下載原始文件與解析如果遇到網(wǎng)絡(luò)問題導(dǎo)致自動(dòng)下載失敗或者你需要在離線環(huán)境下使用Cifar-10就必須掌握手動(dòng)下載和解析的方法。官方文件可以從CIFAR官網(wǎng)或者各鏡像站點(diǎn)獲取核心文件是cifar-10-python.tar.gz解壓后得到cifar-10-batches-py文件夾里面是5個(gè)data_batch_*文件、1個(gè)test_batch文件以及batches.meta文件。手動(dòng)解析代碼可以這樣實(shí)現(xiàn)注意unpickle方法和數(shù)據(jù)維度變換import pickle import numpy as np def unpickle(file): with open(file, rb) as fo: dict_data pickle.load(fo, encodingbytes) return dict_data data unpickle(cifar-10-batches-py/data_batch_1) images data[bdata].reshape(-1, 3, 32, 32).transpose(0, 2, 3, 1) labels data[blabels]這套代碼里的reshape和transpose是核心。原始數(shù)據(jù)排布是Nx3072前1024位是R通道、中間1024位是G通道、最后1024位是B通道。必須先reshape成Nx3x32x32再transpose才能得到我們習(xí)慣的Nx32x32x3格式。很多初學(xué)者在這里直接reshape成Nx32x32x3得到的結(jié)果是完全錯(cuò)亂的圖像排查半天才發(fā)現(xiàn)是通道順序問題。2.3 目錄結(jié)構(gòu)規(guī)劃與數(shù)據(jù)集復(fù)用在實(shí)際項(xiàng)目中數(shù)據(jù)集的目錄結(jié)構(gòu)值得提前規(guī)劃否則后期換機(jī)器、遷移代碼時(shí)容易出亂子。我習(xí)慣這樣組織project_root/ ├── data/ │ └── cifar-10-batches-py/ │ ├── batches.meta │ ├── data_batch_1 ~ data_batch_5 │ └── test_batch ├── checkpoints/ ├── logs/ └── train.pydata目錄單獨(dú)存放原始數(shù)據(jù)集checkpoints存模型權(quán)重logs存TensorBoard日志。這樣做的核心好處是代碼目錄和數(shù)據(jù)目錄分離后續(xù)做數(shù)據(jù)清洗或切換數(shù)據(jù)集不用改動(dòng)訓(xùn)練腳本同時(shí)可以在多個(gè)項(xiàng)目間共用同一個(gè)數(shù)據(jù)目錄避免重復(fù)下載。PyTorch的datasets.CIFAR10接口在檢測(cè)到root目錄下已有完整數(shù)據(jù)時(shí)會(huì)自動(dòng)跳過下載環(huán)節(jié)所以即使換了一臺(tái)機(jī)器只要把data目錄拷貝過去就能直接跑。3. 核心細(xì)節(jié)拆解從數(shù)據(jù)理解到模型設(shè)計(jì)3.1 數(shù)據(jù)特征分析與預(yù)處理策略Cifar-10的32x32低分辨率特性決定了它和ImageNet類高分辨率數(shù)據(jù)集在預(yù)處理策略上的本質(zhì)區(qū)別。因?yàn)榉直媛实蛨D像信息量有限過度的隨機(jī)裁剪可能導(dǎo)致關(guān)鍵目標(biāo)的邊緣被切掉很大一部分反而不利于模型學(xué)習(xí)。我在實(shí)踐中常用的增強(qiáng)組合是隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪padding4、CutOut或RandomErasing這套組合在ResNet系列上能穩(wěn)定帶來2-3個(gè)百分點(diǎn)的提升。這里有個(gè)特別實(shí)用的細(xì)節(jié)transforms.RandomCrop(32, padding4)會(huì)在原圖四周先填充4個(gè)像素的0再隨機(jī)裁剪出32x32的區(qū)域相當(dāng)于給模型提供了一定程度的平移不變性。填充方式默認(rèn)是零填充但我實(shí)測(cè)下來改為反射填充padding_modereflect在某些模型上效果會(huì)略微好一點(diǎn)因?yàn)樗粫?huì)在邊緣制造突兀的黑色邊界保留了更自然的圖像統(tǒng)計(jì)特征。3.2 模型結(jié)構(gòu)選型與參數(shù)量考量針對(duì)Cifar-10模型選擇范圍很廣取決于你的硬件條件和訓(xùn)練預(yù)算。我做過一些系統(tǒng)對(duì)比簡(jiǎn)單說說結(jié)論。如果你用的CPU訓(xùn)練建議用輕量的LeNet或修改版VGG-11通道數(shù)減半?yún)?shù)量在幾百萬級(jí)別單epoch時(shí)間可控。如果是單張RTX 3060或以上級(jí)別的顯卡ResNet-18是性價(jià)比最高的選擇參數(shù)量約1100萬用混合精度訓(xùn)練五分鐘左右就能跑完一個(gè)epoch50個(gè)epoch大約四小時(shí)就能收斂到93%以上的測(cè)試精度。需要強(qiáng)調(diào)的是Cifar-10版本的數(shù)據(jù)集尺寸小直接用為ImageNet設(shè)計(jì)的ResNet-18結(jié)構(gòu)其實(shí)有點(diǎn)殺雞用牛刀而且原始ResNet-18的第一個(gè)卷積層是7x7、stride2用在32x32輸入上會(huì)直接丟掉大量信息。因此社區(qū)慣例是在Cifar-10上把第一個(gè)卷積層改成3x3、stride1并且去掉后面的最大池化層。這個(gè)改動(dòng)非常關(guān)鍵不改直接跑的話精度會(huì)掉一截。3.3 訓(xùn)練配置與超參數(shù)選擇的深層邏輯訓(xùn)練Cifar-10的超參數(shù)配置我整理了一份經(jīng)過反復(fù)驗(yàn)證的基礎(chǔ)配置表直接抄就能跑出不錯(cuò)的效果。超參數(shù)推薦值說明優(yōu)化器SGDmomentum0.9weight_decay5e-4初始學(xué)習(xí)率0.1配合Cosine退火或分段衰減Batch Size128單卡推薦過大過小都會(huì)影響收斂訓(xùn)練輪數(shù)100-200配合數(shù)據(jù)增強(qiáng)100輪即可到90%學(xué)習(xí)率調(diào)度CosineAnnealing比StepLR穩(wěn)定無需手動(dòng)調(diào)整標(biāo)簽平滑0.1可有效抑制過擬合約提升0.3%-0.5%關(guān)于優(yōu)化器我在Cifar-10上始終推薦SGD而非Adam。原因很樸素Cifar-10數(shù)據(jù)量不大Adam雖然收斂快但容易收斂到尖銳極小值泛化性能會(huì)打折扣。SGD配合余弦退火雖然前期收斂慢些但最終測(cè)試精度通常比Adam高1-2個(gè)百分點(diǎn)。如果你實(shí)在喜歡Adam建議搭配SAMSharpness-Aware Minimization這類面向泛化的優(yōu)化策略但訓(xùn)練時(shí)間會(huì)顯著增加。3.4 數(shù)據(jù)增強(qiáng)與正則化的正確使用方法Cifar-10只有5萬張訓(xùn)練圖像對(duì)現(xiàn)代深度學(xué)習(xí)模型來說數(shù)據(jù)量偏少所以數(shù)據(jù)增強(qiáng)不是可選項(xiàng)而是必需品。我推薦的增強(qiáng)組合以及對(duì)應(yīng)效果如下僅使用隨機(jī)水平翻轉(zhuǎn)準(zhǔn)確率約93%增加RandomCrop(padding4)準(zhǔn)確率約94.5%繼續(xù)增加CutOut或RandomErasing準(zhǔn)確率約95%配合AutoAugment或RandAugment準(zhǔn)確率可達(dá)96%以上。提示CutOut的核心是在訓(xùn)練圖像上隨機(jī)遮擋一個(gè)方形區(qū)域迫使模型去學(xué)習(xí)目標(biāo)的整體結(jié)構(gòu)而非局部強(qiáng)特征。它的實(shí)現(xiàn)非常簡(jiǎn)單但效果顯著是性價(jià)比極高的增強(qiáng)手段。使用RandAugment時(shí)要注意因?yàn)樗脑鰪?qiáng)強(qiáng)度和多樣性更高建議同時(shí)加大weight_decay到1e-3否則容易過擬合。4. 完整實(shí)操流程從零訓(xùn)練一個(gè)Cifar-10分類器4.1 環(huán)境準(zhǔn)備與依賴安裝訓(xùn)練Cifar-10對(duì)硬件要求很低我在這臺(tái)只有8GB顯存的舊顯卡上也能輕松訓(xùn)練ResNet-18。軟件環(huán)境建議Python 3.8、PyTorch 1.12、torchvision 0.13如果有CUDA設(shè)備建議安裝對(duì)應(yīng)的GPU版本。安裝命令比較簡(jiǎn)單我直接使用pip安裝pip install torch torchvision裝完之后用一小段代碼驗(yàn)證環(huán)境是否正確檢查CUDA是否可用import torch print(torch.__version__) print(torch.cuda.is_available()) if torch.cuda.is_available(): print(torch.cuda.get_device_name(0))如果cuda.is_available()返回False優(yōu)先檢查PyTorch版本是否匹配你的CUDA版本。這里最常見的問題是裝了CPU版本的PyTorch雖然在Cifar-10上也能跑但訓(xùn)練速度會(huì)慢20倍以上純CPU訓(xùn)練ResNet-18一個(gè)epoch可能要十分鐘GPU只需要半分鐘。4.2 數(shù)據(jù)加載與模型構(gòu)建完整代碼我直接給出一個(gè)完整可運(yùn)行的訓(xùn)練腳本核心部分包括數(shù)據(jù)加載、模型構(gòu)建和訓(xùn)練循環(huán)import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms from torchvision import models # 數(shù)據(jù)增強(qiáng) transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) transform_test transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) # 數(shù)據(jù)加載 trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform_train) trainloader torch.utils.data.DataLoader(trainset, batch_size128, shuffleTrue, num_workers4) testset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform_test) testloader torch.utils.data.DataLoader(testset, batch_size128, shuffleFalse, num_workers4) # 構(gòu)建ResNet-18并適配32x32輸入 model models.resnet18(num_classes10) model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100)注意幾個(gè)關(guān)鍵點(diǎn)。model.conv1的替換是必要的因?yàn)樵嫉?x7步長(zhǎng)為2的卷積核對(duì)于32x32的輸入來說感受野過大。model.maxpool nn.Identity()也很關(guān)鍵原始的最大池化層會(huì)讓特征圖尺寸減半對(duì)于32x32的輸入來說信息損失嚴(yán)重。做完這兩處適配模型才能正確處理Cifar-10圖像。4.3 訓(xùn)練循環(huán)與測(cè)試評(píng)估代碼訓(xùn)練循環(huán)寫法比較常規(guī)但我習(xí)慣在每個(gè)epoch結(jié)束后同時(shí)評(píng)估驗(yàn)證集準(zhǔn)確率并保存最優(yōu)模型。這里額外提一下訓(xùn)練過程中最好記錄每個(gè)epoch的loss和準(zhǔn)確率方便后期繪制曲線分析模型的收斂行為。best_acc 0.0 for epoch in range(100): model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in trainloader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() train_acc 100.0 * correct / total train_loss running_loss / len(trainloader) # 測(cè)試 model.eval() test_correct 0 test_total 0 with torch.no_grad(): for inputs, labels in testloader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, predicted outputs.max(1) test_total labels.size(0) test_correct predicted.eq(labels).sum().item() test_acc 100.0 * test_correct / test_total scheduler.step() if test_acc best_acc: best_acc test_acc torch.save(model.state_dict(), checkpoints/best_model.pth) print(fEpoch {epoch1:3d} | Train Loss: {train_loss:.4f} | Train Acc: {train_acc:.2f}% | Test Acc: {test_acc:.2f}%)這段代碼里我把scheduler.step()放在每個(gè)epoch結(jié)束后調(diào)用對(duì)應(yīng)的是T_max100的余弦退火周期。如果你用的是ReduceLROnPlateau這類需要依賴指標(biāo)的調(diào)度器則要把step放在評(píng)估結(jié)束后并傳入對(duì)應(yīng)的監(jiān)控指標(biāo)。這里要注意的是PyTorch 1.12及以上版本在scheduler的step時(shí)機(jī)上行為有微妙變化若發(fā)現(xiàn)學(xué)習(xí)率沒有按預(yù)期下降優(yōu)先檢查scheduler的step是否被正確調(diào)用。4.4 訓(xùn)練結(jié)果分析與精度解讀按上面的配置訓(xùn)練100個(gè)epoch使用ResNet-18結(jié)構(gòu)單卡RTX 3060大約需要3-4小時(shí)最終測(cè)試精度大約在93.5%-94.5%之間。這個(gè)數(shù)字已經(jīng)超過了大多數(shù)論文中傳統(tǒng)機(jī)器學(xué)習(xí)方法的上限但在深度學(xué)習(xí)社區(qū)里還屬于入門級(jí)成績(jī)。如果你追求更好的精度可以嘗試幾個(gè)方向加大訓(xùn)練輪數(shù)到200甚至300個(gè)epoch配合更強(qiáng)的隨機(jī)增強(qiáng)將ResNet-18換成ResNet-50或Wide-ResNet但訓(xùn)練時(shí)間和顯存占用會(huì)顯著上升使用預(yù)訓(xùn)練模型微調(diào)比如在ImageNet或其它更大數(shù)據(jù)集上預(yù)訓(xùn)練的模型直接微調(diào)到Cifar-10通常能在更少的epoch內(nèi)達(dá)到更高精度。但需要說明的是用ImageNet預(yù)訓(xùn)練模型在Cifar-10上微調(diào)有數(shù)據(jù)泄漏的討論空間做學(xué)術(shù)對(duì)比時(shí)要注意說明。關(guān)于浮點(diǎn)精度建議在訓(xùn)練全程使用自動(dòng)混合精度AMP在PyTorch中使用torch.cuda.amp非常方便對(duì)精度幾乎沒有損失但訓(xùn)練時(shí)間可以縮短近一半。對(duì)這個(gè)任務(wù)來說GPU資源占用不緊張但AMP帶來的時(shí)間收益相當(dāng)可觀。5. 常見問題與排查技巧實(shí)錄5.1 數(shù)據(jù)下載失敗與網(wǎng)絡(luò)問題在國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境下從官方源下載Cifar-10經(jīng)常會(huì)中斷這是初學(xué)者遇到的第一個(gè)攔路虎。torchvision的下載源是斯坦福大學(xué)的服務(wù)器速度不穩(wěn)定是常態(tài)。解決辦法有兩個(gè)一是直接手動(dòng)下載到本地然后放在root參數(shù)指定的目錄下并解壓成正確的目錄結(jié)構(gòu)二是使用鏡像源比如某些機(jī)構(gòu)提供的國(guó)內(nèi)鏡像或者使用gitee上網(wǎng)友上傳的預(yù)下載版本。我個(gè)人的建議是方案一手動(dòng)下載最穩(wěn)妥。下載完成后需要注意目錄結(jié)構(gòu)要和torchvision內(nèi)部檢查的邏輯一致root指向的目錄下需要存在cifar-10-batches-py文件夾。如果你下載的是壓縮包需要先解壓。否則torchvision會(huì)以為數(shù)據(jù)未下載反復(fù)嘗試重新下載。5.2 標(biāo)準(zhǔn)化參數(shù)與數(shù)據(jù)集統(tǒng)計(jì)值不匹配很多初學(xué)者在遷移代碼時(shí)直接沿用MNIST的標(biāo)準(zhǔn)化參數(shù)(0.1307,)和(0.3081,)放到Cifar-10上結(jié)果訓(xùn)練曲線非常奇怪收斂緩慢且最終精度偏低。這是因?yàn)镃ifar-10是RGB三通道圖像每個(gè)通道的均值和方差都不同必須使用對(duì)應(yīng)數(shù)據(jù)集的統(tǒng)計(jì)值??梢詮挠?xùn)練集中直接計(jì)算均值方差代碼參考import torch from torchvision import datasets, transforms dataset datasets.CIFAR10(root./data, trainTrue, downloadFalse, transformtransforms.ToTensor()) means torch.zeros(3) stds torch.zeros(3) for img, _ in dataset: means img.mean(dim(1, 2)) stds img.std(dim(1, 2)) means / len(dataset) stds / len(dataset) print(fmean: {means}, std: {stds})這個(gè)計(jì)算出來的數(shù)值和官方社區(qū)統(tǒng)計(jì)的(0.4914, 0.4822, 0.4465)差別很小但用代碼算更符合實(shí)際數(shù)據(jù)分布值得掌握。5.3 訓(xùn)練loss不下降的排查思路如果你發(fā)現(xiàn)模型訓(xùn)練的loss一直徘徊在2.3左右?guī)缀醪幌陆颠@個(gè)問題大概率不是模型結(jié)構(gòu)有問題而是學(xué)習(xí)率設(shè)置不當(dāng)。Cifar-10類別數(shù)是10隨機(jī)分類的交叉熵?fù)p失就是ln(10)≈2.3026一直卡在這個(gè)值說明模型完全沒有學(xué)到任何有效特征。排查順序建議如下。先確認(rèn)數(shù)據(jù)加載是否正確可以在訓(xùn)練前打印一張圖像并可視化檢查圖像是否被正確標(biāo)準(zhǔn)化、是否有異常像素值。然后檢查優(yōu)化器的學(xué)習(xí)率如果學(xué)習(xí)率過大比如大于0.5會(huì)導(dǎo)致loss震蕩甚至發(fā)散過小小于0.001會(huì)導(dǎo)致收斂極慢。最后檢查模型輸出的形狀是否正確、標(biāo)簽是否在0-9范圍內(nèi)。還有一種隱蔽的坑是梯度爆炸特別是使用不帶梯度裁剪的Transformer類模型或深層CNN時(shí)。遇到這種情況加入梯度裁剪例如torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5)通常能穩(wěn)住訓(xùn)練過程。5.4 數(shù)據(jù)加載速度過慢的優(yōu)化方案很多人在Cifar-10上訓(xùn)練時(shí)覺得瓶頸在GPU利用率不夠其實(shí)往往卡在數(shù)據(jù)加載環(huán)節(jié)。num_workers0是PyTorch默認(rèn)值代表數(shù)據(jù)加載在主進(jìn)程中進(jìn)行會(huì)嚴(yán)重影響訓(xùn)練吞吐。我在實(shí)際使用中推薦設(shè)置num_workers4或8可以顯著提高數(shù)據(jù)加載效率。如果數(shù)據(jù)加載仍然是瓶頸可以把pin_memoryTrue加上這將顯著加快GPU和CPU之間的數(shù)據(jù)傳輸。不過需要注意如果顯存本身比較緊張pin_memory會(huì)額外占用部分鎖頁內(nèi)存需要綜合考慮。另一個(gè)優(yōu)化方向是在數(shù)據(jù)增強(qiáng)上使用GPU加速例如通過torchvision.transforms.v2或albumentations庫實(shí)現(xiàn)部分增強(qiáng)操作在GPU上執(zhí)行。5.5 實(shí)驗(yàn)結(jié)果復(fù)現(xiàn)的隨機(jī)種子設(shè)置深度學(xué)習(xí)中涉及大量隨機(jī)因素包括數(shù)據(jù)加載順序、參數(shù)初始化、dropout等。為了保證實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)需要在代碼開頭設(shè)置隨機(jī)種子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False這里有一個(gè)權(quán)衡問題。開啟cudnn.deterministic True會(huì)犧牲一定的運(yùn)行速度來換取可復(fù)現(xiàn)性而cudnn.benchmark True則會(huì)在輸入尺寸固定時(shí)自動(dòng)選擇最優(yōu)卷積算法速度更快但結(jié)果可能不完全一致。在實(shí)驗(yàn)探索階段可以保持benchmarkTrue在需要報(bào)告精確結(jié)果或做消融對(duì)比時(shí)再開啟固定種子和確定性模式。6. 數(shù)據(jù)集對(duì)比與擴(kuò)展方向思考6.1 Cifar-10、MNIST、ImageNet的定位差異這三者經(jīng)常被放在一起比較但它們的定位和目標(biāo)完全不同。MNIST基本只能驗(yàn)證模型能否工作由于任務(wù)過于簡(jiǎn)單很多算法差異在MNIST上體現(xiàn)不出來。Cifar-10是真正的入門級(jí)難關(guān)它能檢驗(yàn)?zāi)P褪欠窬邆浠A(chǔ)的圖像特征提取能力且訓(xùn)練成本可控。ImageNet則屬于大規(guī)模數(shù)據(jù)集有約128萬張訓(xùn)練圖像和1000個(gè)類別用于驗(yàn)證模型在大規(guī)模數(shù)據(jù)下的擴(kuò)展能力和泛化性能。在實(shí)際研究工作中三者的使用場(chǎng)景也有明確分工。跑demo、驗(yàn)證idea是否可行用MNIST做消融實(shí)驗(yàn)、驗(yàn)證模塊設(shè)計(jì)的有效性用Cifar-10最終驗(yàn)證大規(guī)模有效性或者參加比賽用ImageNet。很多頂會(huì)論文的實(shí)驗(yàn)結(jié)構(gòu)就是沿著這個(gè)邏輯層層遞進(jìn)的。6.2 Cifar-10向語義分割和目標(biāo)檢測(cè)的擴(kuò)展雖然Cifar-10是圖像分類數(shù)據(jù)集但在實(shí)際工程中它也可以作為入門目標(biāo)檢測(cè)和語義分割任務(wù)的前置訓(xùn)練集。Cifar-10圖像上包含單一大目標(biāo)加上人工標(biāo)注的邊界框標(biāo)簽就可以用來訓(xùn)練一個(gè)簡(jiǎn)單的目標(biāo)檢測(cè)器。另外Cifar-10也可以作為學(xué)習(xí)自監(jiān)督對(duì)比學(xué)習(xí)SimCLR、MoCo的實(shí)驗(yàn)土壤因?yàn)閿?shù)據(jù)集小、訓(xùn)練快非常適合快速驗(yàn)證對(duì)比學(xué)習(xí)框架中的組件效果。如果直接上真實(shí)業(yè)務(wù)場(chǎng)景Cifar-10的能力確實(shí)有限。以最近比較熱門的視覺關(guān)系數(shù)據(jù)集、X光安檢物品檢測(cè)數(shù)據(jù)集、無人機(jī)低空航拍三維重建數(shù)據(jù)集為例這些任務(wù)都包含復(fù)雜的背景、多尺度目標(biāo)和空間位置關(guān)系Cifar-10無法為這些場(chǎng)景直接提供有效數(shù)據(jù)。但如果想在正式接觸這些復(fù)雜任務(wù)前先掌握數(shù)據(jù)集處理、模型訓(xùn)練和評(píng)測(cè)的標(biāo)準(zhǔn)流程Cifar-10是絕佳的練習(xí)場(chǎng)它的低門檻和快速迭代特性讓試錯(cuò)成本幾乎為零可以放心折騰。6.3 從Cifar-10走向更高階數(shù)據(jù)集的遷移思路不少朋友訓(xùn)練完Cifar-10后會(huì)問下一步怎么辦。我的建議是不要急著一步跨到ImageNet而是先嘗試Cifar-100它的類別數(shù)增加到了100個(gè)每類只有500張訓(xùn)練圖能有效訓(xùn)練你處理細(xì)粒度分類和類別不均衡問題的能力。再往后可以嘗試SVHN街景門牌號(hào)或者Fashion-MNIST它們?cè)谔卣鞣植忌虾虲ifar-10有一定差異能幫助你打破只會(huì)跑Cifar的舒適區(qū)。在代碼層面從Cifar-10遷移到Cifar-100只需要改動(dòng)類別數(shù)和數(shù)據(jù)加載接口模型輸出層的num_classes從10改成100即可。這也是Cifar系列數(shù)據(jù)集的便利之處。從工程角度看真正值得投入精力的是把訓(xùn)練好的模型保存下來然后再用自己的實(shí)際業(yè)務(wù)數(shù)據(jù)做微調(diào)這是深度學(xué)習(xí)落地最主流的路徑。我見過很多初學(xué)者卡在只會(huì)跑開源數(shù)據(jù)集這一步關(guān)鍵就在于沒有跳出數(shù)據(jù)集本身的限制去思考自己手頭真正的數(shù)據(jù)長(zhǎng)什么樣。7. 寫在最后的一點(diǎn)個(gè)人體會(huì)今年已經(jīng)是我在Cifar-10上反復(fù)折騰的第四個(gè)年頭了。老實(shí)說有一次我為了在一個(gè)比賽里把精度從94%刷到95%在ResNet-18上試了幾十種不同的增強(qiáng)組合和訓(xùn)練策略最后發(fā)現(xiàn)提升最大的不是更復(fù)雜的模型而僅僅是把訓(xùn)練輪數(shù)翻了一倍。這件事給我的啟發(fā)是在Cifar-10這種小數(shù)據(jù)集上數(shù)據(jù)工程的精細(xì)程度往往比堆模型更值得投入精力。另外一個(gè)經(jīng)驗(yàn)是Cifar-10非常適合用來驗(yàn)證代碼框架的正確性。不管你是想學(xué)習(xí)PyTorch Lightning還是想搞懂DeepSpeed的分布式訓(xùn)練流程都可以先在Cifar-10上跑通一個(gè)小規(guī)模實(shí)驗(yàn)再遷移到正式項(xiàng)目里。作為試驗(yàn)田它的廉價(jià)和快速是無價(jià)的。最后給新手一個(gè)實(shí)用建議第一次訓(xùn)練Cifar-10不要追求精度先追求能完整跑通一個(gè)訓(xùn)練流程并且理解每一步在干什么你后續(xù)所有深度學(xué)習(xí)進(jìn)階都會(huì)在這一塊地基上穩(wěn)步生長(zhǎng)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
wwwxxx日本爽| 中文字幕一区二区三区蜜臀| 欧美熟女激情| 欧洲一区二区三区四区在线观看| 亚洲素人综合| 91综合在线| 一级片视频啪啪| h无码动漫在线观看| 成人网站 免费观看| 国产树林里野战在线看| 久久、1234| 亚洲人成在线放东京热| 精品精品精品| 麻豆成人AV| 97视频在线免费观看| 性无码专区2020| 久久久久久一日韩字幕无码| 亚洲色图91欧美日韩| 高清不卡 中文 人妻| 97国产精选| 91丝袜美女视频| 黄片免费久久久久久久| 大香蕉色欲AV| 中文字幕在线观看丝袜| 校园春色 欧美| 五月天成人综合| 亚洲图片视频小说| 亚洲色啪| 亚洲高清欧美总合| 九九性爱网| 国产乱人妻精品入口| 青青色在线观看| 国产精品高清2021在线| 中文字幕人妻色偷偷久久皮| 2024黄色视频| 91人妻丝袜无码| 精品人妻一区二区三区在线视频不卡| 旡码电影特区| 日韩在线观看字幕精品| 物业黑人 AV一区| 性爱视频啪啪啪啪| 天天看高清麻豆| 五月丁香综合网| 99亚洲国产精品色一区二区三区| 一卡二卡在线播放| 丰满人妻一区二区三区在线| 国产Av超碰| 东京热一区二区三区四区五区六区| 日本精品一级二级三级| 五月天久久人妻| 五月婷婷深深爱| 九九av| 人人操天天爽| 亚洲成人久久一区二区| 欧美特大AA级黄片| 欧美激情 亚洲色图| 婷婷综合五月| jk白丝没脱就开始啪啪| 青青草AV色| 日韩AV一区二区三区四四| 婷婷五月天久久久| 国产精品久久久久亚洲av| 蜜臀久久99精品久久久久久-DVD| 国产后入内射| 亚熟hd视频在线| 东北老女人的激情视频| 毛片17S| 欧美丰满少妇xx高潮| 欧在线一二区| 日日骚av| 女人的天堂大香蕉网| 禁止观看美女黄| 久久98| 成人一道本免费视频| 疯操AV| 久久亚州高清| 久久久久密臀视频| 亚洲 欧美综合| 欧美男人天堂| 午夜无码精品免费看性色| 成人麻豆av电影网站| 天堂精品在线| 天天综合精品| 美女超碰978| 91久精品| 玖玖超碰熟| 久久久久久免费电影| 日日干夜夜骑| 91久久九九精品国产综合| 中文字幕美女91| 97人人干人人操| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 人妻一区视频| 美女极品一区二区三区| 有码人妻系列| 久久久四区| 在线色导航| 老熟乱一区二区三区四区| 天天在线91| 夜精品久无码| 日本九九久久99| 99国产精品在线观看| 国产福利第一视频| 天天综合网~91入口| 中国的操老妇女| 亚洲欧美九九| 国产福利av精彩对白| 无码不卡八戒| 日韩性爱免费视频在线网站| 丁香婷婷九月| 中文字幕一区二区三区人妻少妇在线 | 这里有精品| 亚洲国产高清福利视频| 精品国模无码| 色亚洲欧美| 国产9l 大屁股| 国产婷婷综合在线观看| 后入式免费视频| 亚洲在线综合| 亚洲一区中文精品| 色九月| 粘花网06av视频| 欧洲精品欧洲精品| 国产传媒一区二区三区| 亚洲码在线中文在线观看| 97啪啪| 无码人妻一区二区三区色欲aⅴ| 性天堂| 亚洲男人bt天堂| 久久久久国产精品片区无码直播| 九九毛片这里只有精品| 国产91丝袜 在线播放| 无码高清操逼网址| 婷婷激情五月天小说网| 少妇二级| 欧美人妻熟女在线| 欧美乱欲| 天天看,天天做| 婷婷五月色| 97超碰色五月| 神马久久午夜| 蜜臀久久精品久久久久视频| 亚洲美女精品九九视频| 啊v视频在线观看| 综合亚洲情色| 国产熟女精品一区二区| 综合久久六月久久婷婷| 熟妇高潮一区二区免费视频| 婷婷10月天青娱乐| 中文字幕AV乱伦| 色玖玖| 欧美图片校园春色| 91啪啪视频| 美女十八禁| 久久精品电影| 欧美性爱18观看| 亚洲激情av| 人妻酒店出差被中出免费在线播放| 久久久精品,3| 欧美色性爱| 国产伊人自拍| 国产亚洲精品无码三区| 日本最新免费韩国1区2区视频播放| 亚洲全色网| 中文字幕在线日亚洲9| 欧美精品亚洲精品日韩传电影| 国产精品爱欲| 亚洲男人天堂2016| 91亚洲色人| 色婷婷成人综合| 欧美激情黑人| 五月丁香黄色网| 国产成人资源| 欧洲精品二区| 欧美日韩丝袜| 久久久久久日韩| 亚洲精品不卡一二三区| 91GD.COM| 香伊人在线| 草久久久| 性爱乱伦网址| 天堂性色| 青青草亚洲一区| 操操操五月天婷婷丁香影院| 久久综合超碰| 国产欧美精品日韩区二区麻豆天美| 91制服丝袜中文字幕| 色玖玖| 国产精品剧情| 黄总AV色图| 国产精品黄色三级av| 北野未奈加勒比av| 色婷婷成人| 精品九九九九| 少妇大屁屁| 青青伊人久久| 亚洲第一页欧美| 亚洲天堂无码| 国产精品分类在线观看| 78精品| 超碰 av 女人天堂| 免费久久精品麻豆一区二区av| 精品亚洲天堂| 久久6热精品99视频| 国模限制级电影| 簧片免费看视频| 黄色免费一级在线毛片| 公司1区2区3区精产精| 日本丝袜美腿人妻九九| 色五月激情网| 91操人| 性在久久久久久| 久久风骚城市| 色大香蕉97N| 欧美变态激情网| 久操 高清| 色婷婷国产精品一区在线观看| 欧美高清91| 男人天堂综合| 一区二区 日韩 欧美 国产 传媒| 91爽啪| 亚州国产精品乱| 玖玖爱免费观看视频| 色天使亚洲综合在线观看| 日韩黄片视频试看| 久久久久久国产无码精品| 日本操逼视频导航| 黄色一级视| 欧美午夜一区二区三区| 一区二区三区黄片免费观看| 一级毛片久久久久久久女人18| 天天插网| 精品无码久久久久久久久果冻糖心| 欧美综合网在线| 国产精品麻豆成人av| 思思热在线cao| 男女激情黄色网址| 久久精品国产亚洲AV无码电影| 先锋色眉乱伦资源| 欧美特大黄一级片片免费| 亚洲精品天堂久久A∨51成人漫| 爱妃国产亚洲视频中文字幕| 亚洲成人av电影在线| 91人妻素女| 日韩精品99999| 欧美激情视频一区二区三区不卡| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | AV高清一区| 天天超级碰碰碰| 高精欧美色| 人人妻人人澡人人爽久久av| 日本一区二区亚洲综合| 日本免费亚洲欧美| 人人爽人人精品乱人伦AV| 蜜臀久久久99久久久久| 五月婷婷六月丁香网址| 久久精品美女一区| 嗯嗯啊啊用力视频免费| 青青草华人在线欧美在线| AV中亚| 18禁中文字幕| 国产又大又粗又长视频在线| 国产精品人妻无码久久久老鸭窝| 伊人久操| 熟女露脸激情自拍视频| 亚洲啪啪综合?v一区综合精品区| 亚洲最新中文字幕免费| 人妻密肉在线观看| 亚洲中文字幕一区二区| 91精品久久久久五月天精品| 亚洲性综合9| 欧美日本视频一区| 啪啪综合网| 岛国黄| 你草精品在线视频| 香蕉久久AⅤ...| 91jk色拍| 伊人网青青| 久操大香蕉手机视频在线看| 欧美黑人91| 欧美伊人久久综合网| 狠狠操狠狠| 久草毛片| 天堂岛av| 夜夜爽夜夜高潮夜夜爽| 九九色精品| 超碰在线日韩一区| 久久免费老司机精品| 久久久999| 亚洲熟妇无码一区二区三区| 人人操肉肉| 欧亚日韩三区| 国产亚洲精品美女久久久久久2021| 91丨国产丨白浆| 91成人无码| 1024日韩| 色在线亚洲视频www| 精久久久| 九九九九九九成人| 国产 日韩 另类 视频一区爱| 热热色色综合| 日本色色色| 91久久久久久久久18| 四月丁香婷婷| 久久国产乱子伦精品免费女人| 丝袜色综合| 蜜臀久久99精品久久久久久久久| 久久无码成人| 欧美亚洲玖玖玖| 亚洲欧美电影| 美美91成人国产精品欧美精品久久久久久久| 久久久国产av美女私房| daxiangjiao你懂的| AV免费在线播放一区| 国产欧美伊人| 无码高清专| 青娱乐淫乱1314| 欧美 牲| 日韩欧美经典在线观看| 亚洲欧洲无码bt精品合集| 亚洲综合大片| oumeizonghese,www| 日韩欧美aⅴ综合网站发布| 亚洲国产成人精品女人久久久| 久久亚洲不卡一区二区三区| 婷婷综合久久| WWW黄片COM| 夜夜草我| 综合久久9| 目产99999久久999| 男人的天堂激情| 亚洲 图片 综合91| 天美传媒一二三区永久网站| 五月婷婷综合网| 天天色黄色影院天天操| 97干在线| 一区在线精品中文字幕| 亚洲成人帖图| 色阁阁AV综合网| 亚洲色图综合网| 牛牛久久国产精品视频一二三| 小草三级久久观看| 男人天堂一区二区| 久久久久久AⅤ无码免费肉站| 亚洲熟女乱色一区二区三区| 97超碰超碰| 久久久国产护士丝袜美腿一| 91 综合网| 女人香蕉久久毛毛片精品| 亚洲国产中文字幕| 国产亚洲精品美女| 久久国产999| 人妻激情视频| 91欧美网| 亚洲影院成人| 国产性久久久| 色婷婷综合网| 蜜臀精品1区2区| 久久久艹艹艹| 亚洲色图自拍| 91成人无码| 久久精品区| 午夜精品99久久久久传媒| 97色97好| 无码久| 成人日本片久久久蜜桃| 日韩猛交| 日韩性爱一级片| 日韩黄片影院| 精品一区二区亚洲国产| 六月丁香啪啪啪| 激情专区综合| 加勒比伊人影院| 国产精品诱惑| 韩国一级婬片A片AAAAA| 97综合在线观看| 色哟哟-国产专区| 亚洲男人的天堂AV| 婷婷20月天青娱乐| 夜夜天天噜狠狠爱2021| 久久小视频| 狠狠爱AV| 亚洲av青草久久一区二区| 国产精品人人爽人人做可爱福利| 久草视频分类在线| 日韩精品9999| 国产又粗又长又大的视频| 亚洲日韩精品久久久久一区壹牛| 在线播放中文字幕| 日韩中文字幕av在线播放| 欧美亚洲在线| 欧美伊人电影| 黄片无码在线制服| 中文字幕国产| 色婷婷狠狠| 激情四射婷婷六月天| 天天看夜夜看日日干| 久久精视频美日韩在线视频| 色五月69夫妻| 欧美日韩97在线| 日本免费专区| 动漫av中文| 国产精品人人爽人人做可爱福利| 青青草视频导航官网| 欧美黑人熟妇精品91| 无码黑人精品一区二区三区三| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 亚洲情色电影网| 少妇熟女视频一区二区三区| 日韩色欲久久一二三四区| 欧美精品偷拍| 欧美在线观看综合国产| 丝袜美腿91| 99re国产中文字幕| 日韩有码中文字幕女同性恋| 日韩中文欧美| 久久超碰97| 大香蕉色十月| 精品中文字幕第一页| 91成人社区| 狠狠色狠狠色狠狠五月| 久久9999| 校园春色综合| 老司机深夜18禁污污网站| 欧美精品丝袜久久久中文字幕| 国产9区| 综合久久99亚洲人妻中文在线| 国产精品熟女丝袜一区二区| 亚洲中文字幕熟女少妇一区二区| 77777亚洲蜜臀精品久久综合蜜臀| 丰满美女一级毛片在线播放| 男人的天堂在线有码| 在线无码视频| 欧美 色 亚洲| 久久色一区二区| 欧美麻豆成人同性GⅤ在线| 久久久久久加勒比| 91视频成人福利网站在线一区| 国模吧 一区二区三区| 97欧美日韩综合| 中文字幕久久精视频久久大全| 九色婷婷| 99久久国产精品免费高潮| 欲射影视| 黑人狂躁日本妞一区二区三区| 亚洲成人ab| 日日干夜夜欢| 久草视频制服诱惑| 黄色av一区二区在线| 2020中文字幕在线观看| 欧美精品三区| 亚洲综合校园春色| 丝袜综合| 啊啊啊不要啊啊受不了了视频在线 | 大二网站亚洲| 91色射| 试看60秒| 二三四区精品| 少妇天堂网络| 日韩在线76| 少妇滛荡视频| 日韩色| 懂色av一区二区三区天美传媒| 97在线资源| 免费超碰97久久| 久久久婷| 亚洲夜色在线| 91精品大奶人妻| 18禁免费视频| 日韩免费看黄片| 人人人人插| 人干人人人操人人摸| 成人26uuu| 中文区中文字幕免费看| 少妇蹲下露出大唇5| 天天日骚逼熟女| 9997se| av在线人气| 五月天婷婷久久| 超碰公开久久网| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 国产高清免费不卡av| 一区二区三区在线美女| 伦激情人妻另类人妻| 亚洲电影中字一区二区| 精品欧美老熟女一二区| 无码 黑人一区二区三区| 日本阿v天堂在线观看| 国产精品亚洲无码| 婷婷激情五月天小说网| 中文字幕在线免费观看视频| 资源在线观一 二| 精品妇女一区二区三区| 精品人妻1237| 中文字幕国产| 视频国产成人精品日本亚洲18| 国语av狠狠色丁香婷婷综合激情| 97视频在线看| 无码精品久久| 色丁香五月婷婷| 欧美激情综合| 欧美A√综合网| 久久久精| 97碰久久| 成人八戒网站| 91久久国产综合久久| 精品91摸| 亚洲日韩狠狠撸视频| 3PAV乱伦视频| 激情综合网五月婷婷| 日日夜夜青青草母狗| 免费视频观看60秒| av无线看| 亚洲国产第一页综合视频| 有码色中文字幕在线观看| 一区二区三| 国语av最新自产拍在线观看| 欧美少妇第一页| 亚洲图片 欧美电影| 一本色道久久天天射天天干| 久久熟女人| 蜜臀Av一区二区三区| av在线免费一区二区| 97视频网站在线观看| 日韩特一级久久| 口爆吞精在线观看| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 成人性交免费视频| 家庭乱伦性爱av| 蜜臀99999| 亚洲伊人久久综合97| 婷婷深爱五月| 少妇丝袜在线观看AV| 国产精品黄色三级av| 夜夜操av亚洲一区二区| 天天澡天天狠天天天做| 思思热在线观看| 69人妻精品丰满熟女区| 97色综合中文网| 色噜噜综合在线| 黄色片A级一区二区三区| 午夜呻吟欧美| se吧提供国产乱老熟视频胖女人| 性欧美另类高清| 欧美不在线| 67914在线精品观看| 亚洲精品久久久久毛片A片拉屎| 国产免费一区二区三区最新不卡 | www.zbzhongsen.com| 无码九九九九| 午夜婷婷| 人人艹亚洲| 欧洲精品欧洲精品| 九九aV| 校园春色美腿丝袜| 日韩乱码Av| 亚洲天天综合| 天天内射| 大香蕉宗合网在线| 日本一区二区不卡精品| 亚洲精品九九九| 久久超碰亚洲人| 不卡一区二区日本视频| 330dv亚洲成年视频网| 混色激情av| 久久综合国产精品国产| 大逼色网站| 中文字幕一区 二区三四五 区日 日骚| 国产品精品自在在线午夜免费 | 五月婷婷激情| 久久男人精品| 4虎在线视频| 日韩无码专区| 久久直播国产| 99re免费| 国内精品99999| 日本精品免费一区二区三区四区| 99热精品在线| 91人妻素女| 欧美狠狠干| 国产精品美女久久久久久网站| 天天综合网~91入口| 狠狠久久亚洲欧美专区| 韩国黄色片精品久久久| 为用户提供免费看黄网址在线观看| 精品国产乱码久久久久久久久久毛片| 亚洲精品天天影视综合网 | 国产精品国产拍高清AV| 草草影院最新网址| 白丝一区| 亚州,欧美在线| 欧美第二页午夜| 偷拍片久久| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧美成人精品A片免费一区99| 97这里有精品| 中文字幕国产| 大香蕉草草| 91精品91久久久中77777| 夜夜精品视频| 立川理惠被中出无码| 亚洲欧洲日本精品中文a∨| 午夜一级免费毛片| 国产综合网站在线播放| 99久久网站| 口爆综合网| 精品一区二区三区最新| AV在线资源| 国产精品69久久久久孕妇欧美| 久久超碰天天| 夜夜嗨免费视频| 亚洲天堂男| 69国产对白刺激| 园内精品自拍视频在线播放| 欧美一级A片在线看视频性色| 激情综合久久| 桃色六月天| 久久精品视| 99久久综合| 91视频综合在线| 国产精品丝袜在线| www.亚洲黄色| 日韩成人大片在线观看| 天天看片天天爽| 亚洲国内精品成人不卡| 青青草一区二区高清无码视频| 日韩欧美亚洲自拍偷拍| 亚洲欧美在线观看2021| 精品少妇一区二区三区免费观看| 国产AV人人 夜夜人人澡| 黑人粗大V S日韩女优视频| 精品一区99999| 大香蕉欧美| 日韩成人精品视频自拍| 五月丁香六月| xxx亚洲午夜天堂| 久久久久久亚洲精品中文字幕人妻| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 人妻插插人妻人| 97频视在线| 好爽免费视频| 操逼操逼逼操操逼91 | 婷婷五月丁香五月| 欧美亚洲AN| 亚洲性高潮| 操逼逼中文字幕| 天天影视网综合少妇| 欧亚日韩综合精品国产| 蜜臀一区二区三区在线| 欧美在线播放aaaa| 大香蕉琪琪日本女优不卡| 99热一区二区三区四区| 超碰成人公开| 久久综合日韩亚洲欧美| 久久久偷拍| 殴美大黄片| 99啪啪| 亚洲在线91| 无码人妻丰满热妇又大又粗| 美女的肌被草喷水视频| 色九九九九九九| 中文字幕奈奈美被公侵犯| 伊人五月天青青草婷婷| 91n处女在线观看| 插日本熟女视频| 自拍视频大全亚洲专媒视频/一区二区三区 | 国产性爱强奸乱伦大全| 色情综合网| 天天影视网色欲色香| 青青青国产手线观看视频2| 女同在线视频一区| 风骚少妇视频中文字幕| 女人精品内射国产99| 欧美日韩国产在线| 亚洲精品97中文字幕| 亚洲无码超碰免费| 亚洲国产综合久久天堂| 97欧美精品| 91麻豆天美国产欧美| 天堂亚洲精品| av一区二区三区 中文| 91艹| 日韩亚洲中文字幕在线| 在线观看视频91| 欧美性爱无码一区二区三区| 三上制服丝AV| 伊人一区二区在线播放| 色婷婷丁香五月| 91bbbbbb| 熟妇在线视频一区二区| 欧美色性情| 男人天堂一区二区| 蜜臀久久精品久久久久视频| 国产男人又猛又粗又爽| 亚洲AV在线资源| 91人妻精华帖| 青青欧美| 亚欧Av| 亚洲中字慕不卡| 色婷婷亚洲婷婷| 91精品人妻一区二区三区蜜臀| 99精品热| 中文字幕第7页| 国产亚洲在线观看| 婷婷综合伊人一区| 尹人大香蕉视频在线| 欧美色性情| 天天综合精品| 性饥渴少妇av无码毛片| 99热 按摩 日韩| 日韩欧美中文日韩欧美色| 久操av在线| 丁香五月天啪啪| 久久九色| 青青操在线亚洲视频观看欧美在线| 二男一女成人A片| 人妻熟女一区二区| 五月天激情小说| 中文操逼字幕| 欧美久久婷婷| 第四色奇米影视777| 亚洲日韩少妇一道本视频| 性做久久久久久免费观看软件| 综合自拍| 婷婷伊人一区| 日韩欧美tv一区二区在线观看| 青青草国产一区二区三区| 伊人久久婷婷| 熟女乱3伦999| 久热99999| 偷拍伦理视频| 国产精品人人爽人人做可爱福利| 丝袜av一区二区三区| 超碰人人干| 国产无码精品无码| 四虎国产成人精品免费一女五男| 熟女色综合久久| 亚洲熟女综合一区二区| 97人人爱人人做人人乐| 国产亚洲色婷婷久久99精品91葵花宝典 | 人人妻人人爽一区二区三区| 色噜噜人妻av 中文字幕| 亚洲字幕一区二区| 大香久久| 亚洲欧洲色情高清| 99只有精品| 人人操人人摸avav| 亚洲日韩资源| 久久欧洲| 99热只有这里有精品| 国产成人欧美精品在线| 超碰97久久国| 久久综合18p| 日韩一级欧美一级在线观看| 中文字幕乱码在线| 久草老司机| 欧美黄页在线| 精品国产乱码久久久久久口爆网站| 日韩情色一区二区| 婷婷五月在线视频| 国产成人一级av88| 97在线视频观看| 亚洲AV色图一区| 蜜臀AV成人精品蜜臀AV久久| 色狠狠色| 美女操逼A A| 易易A毛视频| 97超碰超欧美。| 成人AV素股で擦久久| japan日本高清乱xxxx| 国产精品不卡高清在线观看| 欧美啪啪啪91| 欧美第38页| 亚洲一区二区麻豆影院| 国产不卡免费在线视频| 日韩av女优在线免费一区| 欧美国产伊人久久久久| 精品九九国产无码| 3PAV乱伦视频| 黄页视频网站野外| 嗯……啊…嗯嗯…啊…好舒服| 一区二区三区在线日韩影院观看| 91 丝袜在线播放| 丁香五月激情综合国产| 丝袜美腿射精91| 午夜无遮挡男女啪啪视频| 亚洲色图激情小说| 自拍六区| 激情网五月天| 久久99干一本高清| 国产成人bd在线观看| 亚州熟妇精品| 美女尤物人人操| 亚洲青色欧美| 精品无码久久久久久国产浪潮| 激情丁香五月婷婷| 亚洲美女高潮喷水视频| 国产免费一区在线观看| 超碰538| 国产在线视频二区| 日韩三级在线观看mp4| 99人妻碰碰碰久久久久禁片| 一牛影视久久久一区二区三区| 欧美第二页| 欧美 亚洲 综合 制服| 四方色播| 九九成人| 青娱乐久久艹| 欧美人人天天网| 国产美女销魂在线观看不卡| 欧美72网页| 中文字幕一区二区三区高清| 色网综合网| 免费av大片| 91精品国| 久久久精品国产亚洲AV无码| 精人妻一区二区三区| 在线人人人人人人精品超 | 亚欧毛片基地国产毛片基地 | 人妻 丝袜美腿 中文字幕| 日韩精品操少妇| 亚洲最大AV网| 亚洲 欧美 第一页| 高凊专区人人操| 麻豆人妻偷人精品无码视频| 国产精品香蕉热久久新品| 日韩欧美丝袜诱惑| 性色av网站| 97综合激情| 久久啊哟| 国产精品美女在线一区| 四虎影视国产精品| 欧美专区在线| 亚洲色色探花| 午夜一区| 国产AV人人 夜夜人人澡| 十八禁的黄污污免费网站| 91最新综合| 久久毛卡| 欧美不在线| 亚熟hd视频在线| 综合久久欧美| 91色图| 97超碰天天| 超碰成人国产| 淫荡网址| 超碰97亚洲区| 激情六月婷婷| 国产一级内射无挡观看| 欧美性高潮| 色诱avtt| 国产欧美成人第一页在线观看| av橘色网站| 25国产精品免费观看| 一个国产在线综合网站| 四虎在线视频| 久久熟女久| 偷拍网站久久男女男| 国产操逼逼网| 成人一二| 国产在线激情| 亚洲电影91| 成人熟女视频一区二区三区| 女人被添高潮免费视频| 狠狠久久手机视频精品| 人妻激情视频| 青青草久久一区网| 色色婷婷五月| 被窝影院午夜看片无码| 九九av| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 日韩成人午夜精品久久高潮| 日本性爱少妇| 色黄污美女啪啪啪免费网站| 水多多映视AV| 330dv亚洲成年视频网| 欧洲综合视频| 亚洲精品 大香蕉| 精品国产久热在线观看| 精品国产乱码| 极品销魂美女一区二区| 欧美性爱一区二区三区| 超碰无码五月97| 色爱欲亚洲| 欧美日韩情色一区二区| 丁香六月婷婷综合| 日韩黄色成人性爱| 亚洲最新av无码成人精品区 | 国产午夜精品在线观看| 亚洲少妇综合| 国产AB视频| 男人的天堂2010| 免费观看啪视频| 九九综合久久| 夜夜草网站| av资源在线观看少妇| 欧美日韩岛国大片在线观看| 爆操无码| 无套内射性感少妇视频| 久久精品店| 国产精品午夜高潮呻吟久久av| 激情五月天丁香社区| 久久AV无码网址| 亚洲欧洲网站免费观看| 凹凸视频特色日本特黄| 五月天婷婷色色| 97色色色| 久久久久密| 日产中文字幕2020| 欧美日韩人人早| 综合91网| 久久九九精品一区二区 | 日日操天天操| 激激五月| 亚洲视频,小说| 操淫穴亚洲五月丁香 | JuliaAnn丝袜熟女系列| 天天色欧美| 美女裸体无遮挡永久免费观看网站| 亚洲精品一二牛牛| 国产51色综合久久免费| 午夜寂寞欧美| 九九色综合| 日韩av熟女一区二区三区成人| 女色视频社区| 试看福利| 97超级久久| 亚洲欧美国产va在线播放频| 美国日韩黄片| 丝袜美腿制服人妻二区中文字幕 | 国产成人无码a| 深夜国产一区二区三区在线看| 自拍鲍鱼一区在线高清观看免费| 99成人| 屌妞视频久久久久久久| 69丨亚洲丨精品丨入口免费播放| sewuyueav| 在线有码中文字幕| 99性视频| 夜夜操天天肏| 精品美女人人干| 亚洲性天堂| 中文字幕高清精品一区| 国产日韩在线播放| 国产玖玖| 91久久久老司机| 性性欧美| 日韩久射综合| 中文人妻av高清一区| 人人射人人操人人摸| 成人夜夜爽| 女一区二区| 色哟哟精品1精品2| 日韩福利电影网| 欧美极度丰满熟妇hd| 欧美少妇一区二区三区| 久久人妻一区二区三区高清| 亚洲欧洲激情| 亚洲国产一级黄色视频| 色色婷婷五月天| 蜜桃久久久久久久久久久久| 一区二区不卡免费| 精品一区96| 日韩精品影视| 超碰精品国产无码| 五月丁香婷婷啪啪| 亚洲AV无码久久精品蜜桃小说| 成人欧美日超碰| 久久久久女教师免费一区| 国产中文字幕在线点播| 五月天社区| 人妻黑丝袜电影| 欧洲精品二区| 人人摸人人摸人人干| 一区=区三区视频| 人妻熟女一区二区三区视频| 香蕉久久AⅤ...| 91 丝袜在线| 九七色图| 久久XX| 物业黑人 AV一区| 吖在线不卡一区二区国产剧情| 亚洲有薄码区日本系列中文字幕| KK色在线影院| 国产福利在线视频网站| 欧美白嫩女HD| 国产91av在线播放| 18精品一区| 久久二| 97人人射| 欧美日韩中文字幕不卡| 3p国产欧美99热| 国产精品久久久九九九| 亚洲国产精品9999在线观看| 99在线观看无大码| 日产欧美电影一区二区三区| 亚州精人品大香蕉| 久久久久夜夜夜夜| 精品国产乱码久久久久久影片| 亚洲激情久久久伊人综合| 久久久精品中文字幕爱豆| 天无日色综合| 天天射夜夜操| 无码欧美有限公司| www久久国产精品| 国产青一二三| 五月丁香黄色网| 亚洲人在线| 日韩激情无码影院| 亚洲国产精品久久久久久久久久| 暴力av在线| 激情六月婷婷| 99re免费| 综合激情97| 国产精品久久天天干| 丁香五月天久久精品视频一区二区三区| 日韩黄色片子| 1000午夜黄色| 久久婷婷综合国际产色怕| 碰人碰碰人人开房人肉| 欧美综合区| 野狼福利社区| 99啪啪视频| 亚洲?V无码专区在线电影| 99精品久久久久久| 亚洲精品视频在线播放| 91爱| 艹我哪美一区无码| 天天看天天日| 天天看片麻豆| 国产精品爽爽va在线观看98| 中文字幕免费在线观看| www.色婷婷.com| 2023天天操夜夜操| 亚洲精品乱码线路中文字幕| 欧美少妇第一页| www.亚洲黄色| 龙兴卡官方查询| 99九九精品| 永久电影三级在线观看| 区二区亚洲婷| 欧美性爱伊人| 热99这里有精品综合久久| 日韩女优在线| www.久久最新地址| 久久久久久人| 淫色网综合| wwwcaobibi| 99久久99久久免费精品蜜臀| 女同亚洲欧美一二三区久久电影| 久久久久久久久久久免费精品| 日韩中文字幕精品一二三事国产精品| 九九成人视频| 隔壁邻居波多野结衣中文字幕| 淫穴高潮色图| 精品久久久久黄少妇| wwwcaobibi| 老熟女乱伦片| 中文字幕免费看| 欧美久久婷| 欧美日韩中文亚洲v在线综合| 97视频网站| 欧美色图片欧美色图| 精品少妇后入一区二区三区四区人妻巨乳 | 大香网伊人久久综合网eew| 久99久视频| 亚洲色系另类精品国产| 偷拍盗拍亚洲色图图片 | 青青草密桃在线播放| 家庭乱伦性爱av| 欧美色综合| 久9爱精品| 最新亚洲风情电影| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 熟妇人妻精品一区二区| 大香蕉宅男伊人| 九九热九九热| 91超级碰碰碰| 欧美国产伊人久久久久| 国产中文字幕在线点播| 国产成人五月天丁香花| 亚州色图狠狠干| 激情五月天婷婷| 亚洲欧美成人网站AAA| 亚洲精品国产熟女久久久| 中文字幕丝袜美腿| 色婷婷丁香五月| 亚洲黄色网址视频| 欧美精品三区| 羞答答AV中文字| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 日韩/97| 99综合网| 大香蕉黄色一区| 伊人五月天激情| 岛国片在线播放| 乱伦一二三区| 国产高清自拍视频| 国产97在线 | 亚洲| 九9热伊人| 久久同城AV| 九九九九九精品十六| 超碰中文字幕人妻草一区| 日韩二三区| 国产青一二三| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 无码人妻一区二区三区四区老鸭窝| 综合网亚洲1| 偷拍片久久| 国产青青美女玩逼视频| 亚洲第一二区另类图| 99亚洲人人| 一级黄碟在线看| 一区二区三区四区久久视1| 日本在线激情一区二区三区| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照 | 青娱乐av在线| 日韩三级久久久| 99热成人| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 久久国产在线一区二区| 五月丁香黄色网| a片久久久久久久久久久久 | 精品对白久久不卡| 久久香蕉国产线看观看亚洲女人 | 91视频综合网| 熟妇综合一区二区三区| 精品无码欧美三级| 中文AV制服乱伦| 亚洲阿v天堂无码z2018| 中文字幕中文字幕一区二区| 天天干天天狼在线视频| 欧美做爰无码A片视频| 激情五月天婷婷| 亚洲丝袜二区| 91国产丝袜足交精品视频| 青青操在线亚洲视频观看欧美在线| 一区二区三区四区久久视1| 精品久久大胆人体| 欲女人妻性色av| 欧美熟妇色| 天天视频黄| 在线看片国产精品每日更新| 日本网色| 欧美激情总合网| 天天看人人操屄犊摸阴| 中文字幕伊人| 四虎影视欧美| 亚洲男人久久综合天堂| 日韩欧美国产一区二区三区四区| 熟女突然公开看18禁影片| 97精品综合| 97色色色综合网站| q2午夜理论片夜色av| 人人妻人人玩人人澡人人爽| 免费久久一级毛片大黄| 涩综合导航| 亚洲最大AV网| 超碰公开久久网| 九九亚洲色在线观看|