日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MNIST手寫(xiě)數(shù)字識(shí)別實(shí)戰(zhàn):PyTorch搭建三層全連接網(wǎng)絡(luò)

MNIST手寫(xiě)數(shù)字識(shí)別實(shí)戰(zhàn):PyTorch搭建三層全連接網(wǎng)絡(luò) 簡(jiǎn)介這是一份面向機(jī)器學(xué)習(xí)與圖像識(shí)別初學(xué)者的完整實(shí)現(xiàn)資源用純Python和NumPy從零搭建三層全連接神經(jīng)網(wǎng)絡(luò)不依賴(lài)TensorFlow、PyTorch等深度學(xué)習(xí)框架完成MNIST手寫(xiě)數(shù)字分類(lèi)任務(wù)適合課程設(shè)計(jì)、實(shí)驗(yàn)復(fù)現(xiàn)以及希望透過(guò)底層代碼理解前向傳播、反向傳播和梯度更新的讀者。壓縮包共16個(gè)文件約9.51MB以3個(gè)Python源碼和8個(gè)txt數(shù)據(jù)文件為主體其余為PyCharm工程配置xml/iml與編譯緩存pyctxt文件存放訓(xùn)練特征、測(cè)試樣本、手寫(xiě)數(shù)字標(biāo)簽及網(wǎng)絡(luò)各層的權(quán)重與偏置等參數(shù)可逐項(xiàng)核對(duì)網(wǎng)絡(luò)中間結(jié)果。資源還附帶了將MNIST圖片批量轉(zhuǎn)換為txt的預(yù)處理代碼方便改造自定義輸入格式便于后續(xù)調(diào)試與擴(kuò)展。從模型搭建、數(shù)據(jù)加載到參數(shù)保存均有對(duì)應(yīng)腳本整體結(jié)構(gòu)清晰已有3670人學(xué)習(xí)下載適合希望脫離高級(jí)框架、親手實(shí)現(xiàn)并驗(yàn)證神經(jīng)網(wǎng)絡(luò)細(xì)節(jié)的開(kāi)發(fā)者。1. 先糾正一個(gè)拼寫(xiě)歧義minist 就是 MNIST1.1 這個(gè)數(shù)據(jù)集到底是什么如果你在搜索引擎里敲下“minist 圖像分類(lèi)”大概率會(huì)看到一行紅色提示你是不是想找 MNIST這個(gè)問(wèn)題我遇到過(guò)而且我敢說(shuō)十個(gè)初學(xué)者里有八個(gè)第一次都會(huì)把 MNIST 敲成 minist。這個(gè)手寫(xiě)數(shù)字識(shí)別任務(wù)幾乎是所有人接觸全連接神經(jīng)網(wǎng)絡(luò)時(shí)的第一個(gè)完整項(xiàng)目。MNIST 數(shù)據(jù)集來(lái)自美國(guó)人口普查局的員工和美國(guó)高中學(xué)生手寫(xiě)的數(shù)字經(jīng)過(guò)采集、尺寸歸一化后整理成 28×28 的灰度圖。訓(xùn)練集有 6 萬(wàn)張測(cè)試集有 1 萬(wàn)張一共 10 個(gè)類(lèi)別對(duì)應(yīng)數(shù)字 0 到 9。每張圖片都是單通道灰度像素值范圍在 0 到 255背景大面積是黑色有效信息集中在中心區(qū)域。正因?yàn)閿?shù)據(jù)量小、任務(wù)簡(jiǎn)單它對(duì)新手極其友好下載只需要幾十 MBCPU 上跑一個(gè)簡(jiǎn)單的全連接網(wǎng)絡(luò)幾個(gè) epoch 也就幾分鐘。在圖像分類(lèi)領(lǐng)域里MNIST 通常被當(dāng)成“Hello World”。任何一個(gè)全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)甚至最新的圖像分類(lèi)模型在正式落到復(fù)雜場(chǎng)景之前都會(huì)先拿這個(gè)數(shù)據(jù)集驗(yàn)證網(wǎng)絡(luò)是否搭得對(duì)、訓(xùn)練流程是否通、超參數(shù)設(shè)置是否合理。別看它簡(jiǎn)單跑通了這一步后面換到 CIFAR、ImageNet 或者其他森林圖像分類(lèi)項(xiàng)目時(shí)核心訓(xùn)練鏈路幾乎不變變的只是網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)加載方式和更多的調(diào)參細(xì)節(jié)。這個(gè)項(xiàng)目解決的核心問(wèn)題就是讓模型看一張 28×28 的手寫(xiě)數(shù)字圖片輸出它是 0 到 9 中哪一個(gè)數(shù)字的預(yù)測(cè)結(jié)果。1.2 “三層全連接網(wǎng)絡(luò)”里的三層到底算哪三層這是我在復(fù)現(xiàn)時(shí)遇到的一個(gè)容易讓人暈的問(wèn)題?!叭龑尤B接網(wǎng)絡(luò)”這個(gè)說(shuō)法在不同的教材里指代并不完全一致。有的老師把“輸入層-隱藏層-輸出層”稱(chēng)為三層網(wǎng)絡(luò)也就是只有一個(gè)隱藏層有的工程實(shí)現(xiàn)里把可學(xué)習(xí)的全連接層數(shù)量作為層數(shù)像我用 fc1、fc2、fc3 三個(gè)全連接層也叫三層全連接網(wǎng)絡(luò)。這種命名混亂在深度學(xué)習(xí)項(xiàng)目里很常見(jiàn)我覺(jué)得最重要不是糾結(jié)叫法而是搞清楚代碼里到底堆了幾層 Linear。我這次采用的結(jié)構(gòu)是 784-128-64-10。784 是輸入的 28×28 像素展平后的維度128 和 64 是兩個(gè)隱藏層的神經(jīng)元數(shù)量10 是輸出類(lèi)別數(shù)。嚴(yán)格按前面的說(shuō)法就是兩個(gè)隱藏層加一個(gè)輸出層一共三個(gè)全連接層。這個(gè)結(jié)構(gòu)在 MNIST 上已經(jīng)能跑到 97%~98% 左右。為什么選擇這個(gè)結(jié)構(gòu)以及每個(gè)數(shù)字背后的理由后面會(huì)展開(kāi)聊。另外有一點(diǎn)值得注意MNIST 里的手寫(xiě)數(shù)字雖然只有 10 類(lèi)但同一個(gè)數(shù)字在不同人筆下差異非常大比如 0 可能寫(xiě)得很扁、7 可能帶橫杠所以模型必須學(xué)到一定程度的抽象能力這也是為什么不能只用一層線性層的原因。2. 環(huán)境準(zhǔn)備與數(shù)據(jù)加載復(fù)現(xiàn)時(shí)最容易翻車(chē)的地方2.1 依賴(lài)安裝與項(xiàng)目結(jié)構(gòu)我用的框架是 PyTorch搭配 torchvision 來(lái)下載和管理數(shù)據(jù)集。安裝命令很簡(jiǎn)單pip install torch torchvision numpy matplotlib沒(méi)有 GPU 完全不影響直接裝 CPU 版本就行。我實(shí)測(cè)下來(lái)這個(gè)項(xiàng)目在普通筆記本 CPU 上跑 5 個(gè) epoch 大約需要 2 到 3 分鐘時(shí)間主要花在數(shù)據(jù)讀取和矩陣運(yùn)算上。項(xiàng)目本身不需要復(fù)雜的工程結(jié)構(gòu)一個(gè) Python 腳本就能跑通目錄里會(huì)自動(dòng)生成一個(gè)data/文件夾存放 MNIST 原始文件。如果你遇到下載特別慢或者屢次失敗的情況可以手動(dòng)去數(shù)據(jù)集官網(wǎng)下載四個(gè) gz 文件放到data/MNIST/raw/對(duì)應(yīng)目錄下這樣 torchvision 會(huì)識(shí)別到已有文件不再重復(fù)下載。2.2 數(shù)據(jù)預(yù)處理ToTensor 和 Normalize 缺一不可數(shù)據(jù)加載部分最容易忽略的是 transform。我使用的代碼是這樣from torchvision import transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])ToTensor()會(huì)把 PIL 圖片從 0~255 的整數(shù)像素值轉(zhuǎn)為 0~1 的浮點(diǎn)張量同時(shí)把維度從(28, 28)變成(1, 28, 28)新增的那個(gè)維度是通道數(shù)灰度圖只有一個(gè)通道。Normalize((0.1307,), (0.3081,))使用 MNIST 全量訓(xùn)練集的均值和標(biāo)準(zhǔn)差把數(shù)據(jù)分布拉回到 0 附近、標(biāo)準(zhǔn)差調(diào)整到 1 附近。新手最容易漏掉后面這一步結(jié)果也能訓(xùn)練但收斂速度和最終準(zhǔn)確率會(huì)差一些。這個(gè)問(wèn)題我實(shí)測(cè)過(guò)同樣是 5 個(gè) epoch不加歸一化的測(cè)試準(zhǔn)確率大概停在 94%加了之后能到 97% 以上。原因是全連接網(wǎng)絡(luò)對(duì)輸入特征的尺度很敏感輸入數(shù)據(jù)分布偏移會(huì)導(dǎo)致梯度更新不穩(wěn)定網(wǎng)絡(luò)需要額外花幾個(gè) epoch 去“適應(yīng)”輸入尺度。所以圖像分類(lèi)項(xiàng)目的預(yù)處理環(huán)節(jié)優(yōu)先級(jí)非常高它的影響往往比換一個(gè)更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)還大。加載部分的代碼from torch.utils.data import DataLoader from torchvision import datasets train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)test_loader不設(shè)shuffleTrue是因?yàn)闇y(cè)試集不需要打亂順序保持原始順序方便后續(xù)輸出混淆矩陣和可視化錯(cuò)誤樣本。另外如果你在 Windows 上運(yùn)行DataLoader里的num_workers最好保持默認(rèn) 0或者把訓(xùn)練代碼寫(xiě)進(jìn)if __name__ __main__:里否則多進(jìn)程加載數(shù)據(jù)時(shí)容易報(bào)錯(cuò)。2.3 訓(xùn)練前先看形狀避免第一個(gè)報(bào)錯(cuò)出現(xiàn)在最不該出現(xiàn)的地方新手最常見(jiàn)的報(bào)錯(cuò)之一是mat1 and mat2 shapes cannot be multiplied出現(xiàn)這個(gè)報(bào)錯(cuò)的原因很直接DataLoader返回的一個(gè) batch 形狀是[64, 1, 28, 28]而全連接層期望輸入是[batch, 784]。你必須把圖片向量展平也就是把每個(gè)樣本從 28×28 的二維結(jié)構(gòu)變成 784 個(gè)像素的一維向量。我建議在寫(xiě)網(wǎng)絡(luò)之前先做一步檢查images, labels next(iter(train_loader)) print(images.shape, labels.shape) # 期望輸出: torch.Size([64, 1, 28, 28]) torch.Size([64])然后隨機(jī)挑幾張圖用matplotlib畫(huà)出來(lái)確認(rèn)圖片和標(biāo)簽是對(duì)應(yīng)關(guān)系比如標(biāo)簽是 7圖里確實(shí)是個(gè)手寫(xiě)的 7。這一步雖然簡(jiǎn)單但對(duì)排查后續(xù)問(wèn)題非常有用尤其是在你剛開(kāi)始接觸這個(gè)領(lǐng)域、對(duì)張量維度還沒(méi)有形成直覺(jué)的時(shí)候。3. 網(wǎng)絡(luò)結(jié)構(gòu)逐層拆解為什么是 784-128-64-103.1 全連接層到底做了什么計(jì)算全連接層做的事可以概括成一句話把輸入向量的每個(gè)元素與當(dāng)前層每個(gè)神經(jīng)元進(jìn)行加權(quán)求和再加上偏置公式就是 y xW^T b。第一層輸入是 784 維輸出是 128 維意味著需要學(xué)習(xí)一個(gè)形狀為(784, 128)的權(quán)重矩陣再加上 128 個(gè)偏置fc2 是(128, 64)加偏置fc3 是(64, 10)加偏置。整個(gè)網(wǎng)絡(luò)的可訓(xùn)練參數(shù)量大約是 784×128128 100480加上 128×6464 8256再加上 64×1010 650合計(jì)約 109386 個(gè)參數(shù)。這個(gè)規(guī)模對(duì)現(xiàn)代算力來(lái)說(shuō)微不足道所以 CPU 也能輕松跑。參數(shù)量的意義在于它決定了網(wǎng)絡(luò)的表達(dá)能力。參數(shù)太少模型容易欠擬合連訓(xùn)練集都學(xué)不好參數(shù)太多又會(huì)容易過(guò)擬合訓(xùn)練集接得住但測(cè)試集表現(xiàn)下滑。109K 參數(shù)處理 6 萬(wàn)張訓(xùn)練圖片算是一個(gè)比較適中偏小的容量選擇這也是 MNIST 用全連接網(wǎng)絡(luò)好調(diào)的原因之一。如果你把兩個(gè)隱藏層都改成 256參數(shù)量會(huì)直接翻倍到 230K 以上但測(cè)試準(zhǔn)確率未必有明顯提升因?yàn)閿?shù)據(jù)的復(fù)雜度沒(méi)有高到需要那么多參數(shù)。3.2 隱藏層神經(jīng)元數(shù)量怎么選隱藏層神經(jīng)元數(shù)量沒(méi)有絕對(duì)標(biāo)準(zhǔn)更多是經(jīng)驗(yàn)和實(shí)驗(yàn)的結(jié)合。128 作為第一層隱藏層寬度是 MNIST 項(xiàng)目里很常見(jiàn)的起點(diǎn)第二層再降到 64形成一種“先擴(kuò)展再壓縮”的信息處理方式。784 維輸入本身像素冗余很高全連接層可以把相鄰像素的冗余信息合并逐步抽象出更高級(jí)的特征。你也可以試 256-128 或 512-128參數(shù)量會(huì)變大訓(xùn)練時(shí)間會(huì)變長(zhǎng)但測(cè)試準(zhǔn)確率不一定會(huì)跟著漲。我建議在入門(mén)階段把隱藏層控制在 128 和 64先把訓(xùn)練鏈路跑通再回去調(diào)寬度這樣排查問(wèn)題的時(shí)候變量少很多。代碼實(shí)現(xiàn)部分其實(shí)非常簡(jiǎn)潔import torch import torch.nn as nn class ThreeLayerNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.fc2 nn.Linear(128, 64) self.fc3 nn.Linear(64, 10) def forward(self, x): x x.view(x.size(0), -1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) x self.fc3(x) return x注意forward里第一行做了展平用x.size(0)取 batch 維度-1的意思是把剩下的 1×28×28 自動(dòng)展平成 784。這個(gè)寫(xiě)法比直接寫(xiě)死x.view(-1, 784)更通用換到其他尺寸的輸入圖片時(shí)不用改代碼。3.3 激活函數(shù)和初始化ReLU 與默認(rèn)初始化沒(méi)有激活函數(shù)時(shí)多個(gè)線性層疊加仍然等價(jià)于一個(gè)線性層無(wú)論堆多少層表達(dá)能力都非常有限。ReLU 的引入讓網(wǎng)絡(luò)變成非線性這樣才能擬合更復(fù)雜的決策邊界。ReLU 在負(fù)數(shù)部分直接置零正數(shù)部分保留計(jì)算簡(jiǎn)單而且能緩解梯度消失問(wèn)題。這里要特別提醒輸出層不要加 ReLU。因?yàn)橹髸?huì)用交叉熵?fù)p失PyTorch 的CrossEntropyLoss內(nèi)部自帶 softmax 操作需要的是每個(gè)類(lèi)別的原始 logits而 ReLU 會(huì)把負(fù)值裁掉破壞 logits 的分布導(dǎo)致訓(xùn)練效果明顯變差。這個(gè)坑不少人都踩過(guò)表現(xiàn)就是 loss 下降得很慢準(zhǔn)確率始終上不去。權(quán)重的初始化 PyTorch 的nn.Linear默認(rèn)使用 Kaiming 均勻初始化配合 ReLU 激活函數(shù)在多數(shù)情況下已經(jīng)夠用不需要手動(dòng)干預(yù)。如果哪天你用到了 Sigmoid 作隱藏層激活就得考慮換成 Xavier 初始化否則深層網(wǎng)絡(luò)很容易梯度消失。這個(gè)三層小網(wǎng)絡(luò)對(duì)初始化并不敏感但理解這個(gè)原理有助于你遷移到更復(fù)雜的圖像分類(lèi)模型。4. 訓(xùn)練過(guò)程的核心參數(shù)損失函數(shù)、優(yōu)化器與學(xué)習(xí)率4.1 交叉熵?fù)p失和 Adam 優(yōu)化器為什么是默認(rèn)組合訓(xùn)練分類(lèi)網(wǎng)絡(luò)本質(zhì)上是在最小化損失函數(shù)。CrossEntropyLoss做的事情是把模型的 10 個(gè) logits 經(jīng)過(guò) softmax 轉(zhuǎn)成概率分布再計(jì)算預(yù)測(cè)分布與真實(shí)標(biāo)簽的交叉熵。模型預(yù)測(cè)越接近正確答案損失越低。多分類(lèi)問(wèn)題幾乎都用這個(gè)損失函數(shù)原因在于它訓(xùn)練出來(lái)的概率分布有明確含義模型不僅告訴你是哪一個(gè)數(shù)字還告訴你它對(duì)每個(gè)數(shù)字的置信程度。優(yōu)化器我一開(kāi)始選了 Adam。Adam 的優(yōu)點(diǎn)是自適應(yīng)學(xué)習(xí)率對(duì)初始學(xué)習(xí)率的敏感度比 SGD 低很多對(duì)深度學(xué)習(xí)新手來(lái)說(shuō)比較省心。如果你想要更好的泛化性能可以試試 SGD 加上 momentum但調(diào)參會(huì)更麻煩一點(diǎn)。兩個(gè)優(yōu)化器在 MNIST 上都能達(dá)到 97% 以上不用太糾結(jié)。真正需要注意的是學(xué)習(xí)率這個(gè)下面會(huì)專(zhuān)門(mén)講。4.2 一次完整的訓(xùn)練循環(huán)訓(xùn)練循環(huán)的代碼是import torch.optim as optim model ThreeLayerNet() criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) model.train() for epoch in range(5): running_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}, loss: {running_loss / len(train_loader):.4f})這段代碼里最容易被忽略的是optimizer.zero_grad()。PyTorch 的梯度默認(rèn)是累加的如果不手動(dòng)清零下一輪 batch 的梯度會(huì)疊加到上一輪上導(dǎo)致 loss 亂跳甚至不收斂。我見(jiàn)過(guò)很多“l(fā)oss 怎么都不降”的問(wèn)題最后發(fā)現(xiàn)只是少了這一行。如果你希望結(jié)果可復(fù)現(xiàn)在代碼最前面加一句torch.manual_seed(42)固定隨機(jī)種子。評(píng)估函數(shù)我單獨(dú)寫(xiě)了一個(gè)def evaluate(model, loader): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: outputs model(images) _, predicted torch.max(outputs, dim1) total labels.size(0) correct (predicted labels).sum().item() return correct / total print(fTest accuracy: {evaluate(model, test_loader) * 100:.2f}%)model.eval()和with torch.no_grad()的作用分別是關(guān)閉訓(xùn)練模式下的隨機(jī)失活行為、關(guān)閉梯度計(jì)算。雖然這個(gè)三層小網(wǎng)絡(luò)里沒(méi)有 dropout 和 BatchNorm但養(yǎng)成這種習(xí)慣很重要否則以后切到復(fù)雜模型時(shí)很容易因?yàn)槁┝诉@兩行得到完全不可信的驗(yàn)證結(jié)果。4.3 學(xué)習(xí)率、batch size 和 epoch 的實(shí)測(cè)對(duì)比我用相同的網(wǎng)絡(luò)結(jié)構(gòu)跑了幾組常見(jiàn)超參數(shù)結(jié)果大致如下。因?yàn)殡S機(jī)種子不同會(huì)有波動(dòng)所以這里的數(shù)字只作為趨勢(shì)參考學(xué)習(xí)率batch sizeepoch測(cè)試準(zhǔn)確率約備注0.0164597.2%loss 后期抖動(dòng)明顯0.00164597.8%比較平滑推薦0.0001641097.9%收斂慢需要更多輪次0.00132597.9%單輪稍慢梯度噪聲大0.001128597.5%大 batch 收斂穩(wěn)定但泛化略降從趨勢(shì)能看出來(lái)學(xué)習(xí)率 0.01 太大loss 后期會(huì)有明顯抖動(dòng)說(shuō)明模型在最優(yōu)參數(shù)附近來(lái)回震蕩學(xué)習(xí)率 0.0001 太小5 個(gè) epoch 不夠充分需要把訓(xùn)練輪數(shù)翻倍才能追上來(lái)。batch size 32 和 64 差距不大128 時(shí)收斂穩(wěn)一點(diǎn)但測(cè)試準(zhǔn)確率略降這是大 batch 容易收斂到平坦度較低極值點(diǎn)的常見(jiàn)現(xiàn)象。對(duì) MNIST 和這個(gè)小網(wǎng)絡(luò)來(lái)說(shuō)lr0.001、batch size64、epoch5 是我比較推薦的起點(diǎn)。5. 結(jié)果分析與避坑記錄從失敗到 98% 的調(diào)試路徑5.1 我的第一次失敗準(zhǔn)確率卡在 92% 附近的排查過(guò)程我先說(shuō)一個(gè)印象很深的教訓(xùn)。第一次實(shí)現(xiàn)時(shí)我把數(shù)據(jù) transform 寫(xiě)成了只做ToTensor()沒(méi)有做 Normalize結(jié)果訓(xùn)練 5 個(gè) epoch 測(cè)試準(zhǔn)確率卡在 92%怎么調(diào)學(xué)習(xí)率都上不去。我一度以為是網(wǎng)絡(luò)層數(shù)不夠把隱藏層改成 256 和 128結(jié)果不升反降訓(xùn)練速度還慢了不少。后來(lái)排查了很久才發(fā)現(xiàn)問(wèn)題出在特征歸一化上。原因前面提過(guò)0~1 的像素分布雖然比 0~255 好很多但和網(wǎng)絡(luò)初始化時(shí)假定的零均值分布仍有偏移導(dǎo)致梯度更新方向在小數(shù)據(jù)上不夠穩(wěn)定。加上 MNIST 的均值和標(biāo)準(zhǔn)差后同樣設(shè)置直接沖到 97.8%。這件事讓我意識(shí)到圖像分類(lèi)項(xiàng)目里如果準(zhǔn)確率一直上不去第一件事應(yīng)該檢查數(shù)據(jù)預(yù)處理而不是急著改網(wǎng)絡(luò)結(jié)構(gòu)。排查順序我建議這樣先看數(shù)據(jù)形狀對(duì)不對(duì)再看預(yù)處理是否完整然后看訓(xùn)練 loss 是否正常下降最后才去動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)。順序反了經(jīng)常會(huì)為了一個(gè)錯(cuò)誤原因浪費(fèi)大量時(shí)間。5.2 如果訓(xùn)練準(zhǔn)確率高但測(cè)試低過(guò)擬合怎么處理全連接網(wǎng)絡(luò)有 109K 參數(shù)對(duì) MNIST 這種相對(duì)簡(jiǎn)單的數(shù)據(jù)集來(lái)說(shuō)容量已經(jīng)偏高了所以訓(xùn)練時(shí)間一長(zhǎng)就會(huì)出現(xiàn)輕微過(guò)擬合。一個(gè)典型信號(hào)是訓(xùn)練集準(zhǔn)確率到了 99.8%測(cè)試集只有 97.2%。解決方案是先不要在前期加太多正則化把基模型跑通后再在 fc1 和 fc2 后添加 dropoutp 設(shè)為 0.2 左右測(cè)試準(zhǔn)確率往往會(huì)有 0.2 到 0.5 個(gè)百分點(diǎn)的提升。另一種思路是增大訓(xùn)練數(shù)據(jù)的多樣性比如對(duì)圖片做隨機(jī)平移和旋轉(zhuǎn)但 MNIST 已經(jīng)相對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)增強(qiáng)帶來(lái)的提升沒(méi)有大圖像數(shù)據(jù)集那么明顯我建議把重點(diǎn)放在網(wǎng)絡(luò)結(jié)構(gòu)和正則化上。要注意 dropout 和model.train()、model.eval()的配合訓(xùn)練時(shí) dropout 隨機(jī)丟棄神經(jīng)元評(píng)估時(shí)必須切回 eval 模式讓所有神經(jīng)元都參與推理否則每次預(yù)測(cè)結(jié)果都會(huì)因?yàn)殡S機(jī)性而不同。5.3 不要把 98% 當(dāng)成終點(diǎn)看混淆矩陣和錯(cuò)誤樣本準(zhǔn)確率只是一個(gè)匯總數(shù)字真正讓模型繼續(xù)變好的是看它錯(cuò)在哪里。我寫(xiě)了一個(gè)簡(jiǎn)單的錯(cuò)誤收集邏輯wrong [] for images, labels in test_loader: outputs model(images) preds torch.argmax(outputs, dim1) mask preds ! labels for img, true, pred in zip(images[mask], labels[mask], preds[mask]): wrong.append((img, true.item(), pred.item()))把wrong里的樣本按真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽分組統(tǒng)計(jì)我發(fā)現(xiàn)最容易混淆的數(shù)字對(duì)是 4 和 9、3 和 8、7 和 2。這些數(shù)字在人類(lèi)手寫(xiě)時(shí)也長(zhǎng)得很像模型把一部分置信度分配到了錯(cuò)誤的類(lèi)別上屬于正?,F(xiàn)象??村e(cuò)誤樣本的另一個(gè)價(jià)值是定位數(shù)據(jù)問(wèn)題比如如果某些圖片本身被錯(cuò)誤標(biāo)注模型再?gòu)?qiáng)也不可能分對(duì)這時(shí)候要考慮清理訓(xùn)練數(shù)據(jù)。你可以用matplotlib打印一個(gè) 10×10 的錯(cuò)誤圖片網(wǎng)格標(biāo)上真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽很快就能找到規(guī)律。這個(gè)習(xí)慣幫我省了很多時(shí)間建議你在任何圖像分類(lèi)項(xiàng)目里都保留這套調(diào)試鏈路。5.4 全連接網(wǎng)絡(luò)的邊界與后續(xù)擴(kuò)展空間全連接網(wǎng)絡(luò)在 MNIST 上能做到 98% 左右但再往上就非常吃力了因?yàn)檩斎胂袼乇徽蛊胶罂臻g結(jié)構(gòu)完全沒(méi)有利用相鄰像素之間的關(guān)系也丟失了。這也是為什么最新的圖像分類(lèi)模型大多基于卷積神經(jīng)網(wǎng)絡(luò)或者 Transformer 架構(gòu)。不過(guò)這不代表全連接網(wǎng)絡(luò)沒(méi)有價(jià)值相反先跑通這個(gè)項(xiàng)目你會(huì)清楚地理解數(shù)據(jù)流、梯度回傳、損失函數(shù)這些所有模型共有的核心機(jī)制。之后再切換到圖像分類(lèi)算法里更復(fù)雜的結(jié)構(gòu)至少不會(huì)因?yàn)榛A(chǔ)概念不熟而寸步難行。項(xiàng)目實(shí)操結(jié)束時(shí)我自己最大的收獲不是那 98% 的準(zhǔn)確率而是建立了一套 debug 習(xí)慣先看數(shù)據(jù)形狀、再確認(rèn)預(yù)處理、然后調(diào)網(wǎng)絡(luò)結(jié)構(gòu)最后才動(dòng)手調(diào)參。我給每個(gè)項(xiàng)目建了固定的實(shí)驗(yàn)記錄模板把數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)、超參數(shù)和測(cè)試結(jié)果四樣?xùn)|西寫(xiě)在一起下次調(diào)參直接看歷史記錄就能定位問(wèn)題。這個(gè)習(xí)慣幫我省下了大量重復(fù)實(shí)驗(yàn)的時(shí)間。如果你也在復(fù)現(xiàn)這個(gè)項(xiàng)目我希望這篇能幫你少走一點(diǎn)彎路盡快跑到結(jié)果。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美亚男人的天堂| 亚洲成人日韩小说| 亚欧高清v| 91网亚洲| 久久只有精品| 国产AV无码AV| 亚洲蜜臀精品视频久久| 人妻一区二区三区视频| 黄色乱论网站| 91制服丝袜| 香港成人一级视频在线青青草| 日本久久999| 97综合久久| 国产综合网站在线播放 | 曰韩香蕉97| 欧美综合自拍| 99久久综合网| 青青草玖玖爱| 萌白酱自拍视频| 精品无码一区二区| 亚洲无992tv| 久久鲁干| 99最新日韩偷拍视频| 伊人网免费视频| 水澄无码AV| 天天情欲宗合网| 久久综合九色综合欧洲98| 人妻-91porn| 丝袜美女诱惑 91 视频| 久久伊人亚洲AV无码网站| 六九九九| 久久六六| 久久久久七视频| 亚洲AV麻豆Aⅴ无码电影一| 精品妇女一区二区三区| 精品精品精品| 亚洲视频精选| 大香蕉伊人色偷偷在线| 久久日本熟妇熟色一区| 毛片视频白嫩| 九九亚洲| 嗯嗯啊啊用力视频免费| se吧提供国产乱老熟视频胖女人 | 天天操天天干一区二区| 嗯嗯啊啊视频一区二区三区| 日韩无码极品| 精品性爱久久视频| 亚洲字幕一区二区| 国产少妇内射| 亚洲AV资源| 日韩成人私密一级精品av| 嗯嗯啊啊啊好舒服| 中文字幕一区二区三区高清| 日韩特一级久久| 亚洲 欧美 手机在线观看| 青青青草伊人精品| 日本色婷婷| 久久久91福利姬| 久久人人看| 亚洲色婷婷综合久久一区二区三区| 在线看免费无码AV天堂的| 另类图片欧美激情综合| 一级黄碟| 国产伦精品免编号公布| 国产精品久久久无码AV网站| 91人人操| 久久久一二三四区| 一本一首道人妻少妇免费久久| 91精品女厕偷拍视频| 午夜毛片高清免费不卡| 激情文学网伊人| 五月亭亭六月丁香| 玖色av| 天天综合色| 啊啊啊啊啊好多水| 97精品在线| 五月婷婷激情网| 国产真乱mangent| 老司机午夜福利视频一区二区| 无码 有码 国产18p| 欧美色图第一页| 久久超碰、| 日本精品第一视频在'| 97日韩超碰超碰中文字幕| 中文字幕激情小说| 日韩噜噜69| 91中文在线| 中文字幕一二区二三区人妻专区| TS人妖另类精品视频系列| 亚洲色图综合网| 国产熟女少妇一区| 国产免费久久久久| 91c色| 午夜美女福利视频| 黄片免费日韩| 欧美激情综合| 欧美后入式| 91成人国产综合久久精品蜜月| 男男H黄动漫啪啪无遮挡网站| 久久岛国| 欧亚性爱在线视频| 97综合久久| 欧美在线|亚洲| 久久av无码| 九九久久国产精品怡红院| 久久综合女优| 北京专精特新企业招聘信息| 日本99久久| 人妻乱仑一区二区三区| 日韩乱中文| 激情无码日韩| 国产精品极品美女视频| 都市久久精品激情亚洲| 午夜人人操| 欧美色乱| 91狠狠综| 伊人一级免费黄片| 蜜汁欧美| 国产一二三福利视频网| 丰满人妻一区二区三区免费 | 亚洲啪啪视频一区二区| 欧美日韩黄片精品在线| 国产无马在线| 色综合av综合久久| 国产精品人妻免费精品| 91大胆欧美| 日韩AV一起草| 日韩中文字幕在线视频观看| 色色色色网站| 99爱在线视频| 五月综合久久| 麻豆天美国美国产AV| 四色永久成人网站| 丝袜美腿欧美| 欧美成不卡网| 亚洲综人网| 国产久9| 中文精品少妇天堂| 天天操妹子| 欧美色老汉| 4虎在线观看| 另类图片综合| www.亚洲黄色| 强奸乱伦AV网站| 视频黄色国产一级| 亚洲少妇色| 99re9| 国产女大学生AV| 日本东京热久久久电影| 欧美伊人久久综合网| 中文字幕五月婷婷免费| AV污污污污| 996热| 后入人妻一区| 久久久久久裸体| 夫妻AV网站| 神马久久午夜| 欧美日韩 强奸乱伦| 在线看免费无码AV天堂的| 91狼人| 人妻熟女字幕一区二区| 情色av电影| 内射卯月麻衣| 国产精品白丝AV| 日韩成年人性爱视频| 先锋影音av先锋一区| 自拍视频一区在线观看| 无码99| 99久久精品欧美国产| 久热在线精品免费观看| 欧美精品999| 色老汉色| 综合五月天| 国产福利一区二| 久久久久亚洲熟妇熟女| 色狠狠色| 极品色电影院| 男插女青青影院| 99热只有这里有精品| 亚洲欧洲偷拍一区| 夜夜免费视频| 国产视频一区二区三区在线免费观看 | 蜜色网色哟哟| 日韩图区| 精品无码秘 人妻一区二区| 亚洲97成人在线观看| 无码免费精品高清| 久久e6只有精品| 208天天久久九九九| 欧美亚洲性爱一区二区| 久久成人精品| 秋霞一级视频在线观看免费| 吉川爱美亚洲二区在线| 思思热在线视频免费| 五月婷婷激情综合| 久久九操在线观看| 天天搞在线综合网| 性爱AV天堂| 日韩十八禁| 日韩中文字幕视频| 亚洲欧美中日韩| 激情欧美97| 亚洲图片欧洲图片aⅴ| 青青草视频在线观看一区二区| 欧中美三级一区二区三区| 久久人人爽爽人人爽人人片αV| 亚洲少妇色| 另类欧美| 人人操,操人人| 小泽玛利亚一二三| 激情综合五月| 怡红院久久老司机| 色五月综合网| 成人三级片一区二区三区视频| 69精品| 大香网伊人久久综合| 乱码人妻一区二区三区| 国产成人综合在线播放| 爱干爱射网啊啊啊| 免费AV中文网在线观看| 中文字幕片| av网站在线看| 69人妻精品丰满熟女区| 国产精品人妻熟女aⅴ| 中文字幕88av在线| 欧美色一二三| 欧美呦呦性爱| 九九九草| 色婷婷久久| 激情婷婷黑人91| 精品国产肉丝袜在线拍国语| 91爱剪切久久| 涩爱AV在线| 熟女这里只有精品6| 1二区9| 深夜国产一区二区三区在线看| 亚洲精品人伦一区二区| 五月婷婷激情综合| 亚洲国产精品久久AV| 欧美日日夜夜| 久干9操| 国产精品自拍欧美在线| 久热伊人| 日韩三级久久久| 国产强奸乱伦无码视频| 欧美日韩人人早| 久操网无码在线| 青青草五月份天| 色婷视频| 欧洲黄色网| 东京热熟女亚洲视频网站| 永久免费发布性爱网| 亚洲欧美日韩电影网站一区 | 天天搞欧美| 亚卅熟女乱色| AA丁香综合激情| 精品国产乱码久久久| 欧美 亚洲 制服 精品| 精品日韩人妻精品一二三区| 97超碰这里只有精品| 国产亚州日韩欧美看片| 欧美性爽xyxOOOO| 97亚洲国产| 爱射综合| 国产99 中文字幕日韩小视频| 成人久久久| 日本97久久久精品| 色色色欧美| 日韩欧美大片免费高清啪啪| 草B在线| 自拍盗摄一区| 日日夜夜狠狠| 中文字幕av乱伦| 蜜臀久久99精品久久久久久无删减| 国产精品久久久久久久免牛肉蒲团| 五月天综合网| 日韩人妻精品| 精品无吗久久| 屌色在线97视频| 国产操伦| 立川理惠被中出无码| 91色人| 成人日本精品九区| 97日本超碰综合| 一级A片女人高潮叫床| 国产强奸乱伦无码视频| 日韩有码中文字幕女同性恋| 超碰这里有精品| 嗯嗯嗯嗯啊啊啊好紧好大| 无码日韩人妻av一| 国产又黄又粗的视频| 热99re69精品8在线播放| 超碰午夜| 性性欧美| 91美女在线视频| 久久久久国产亚洲一区欧美色图日韩| 亚洲五码一区二区三区| 久久久久亚洲av综合波多野制衣| 亚洲中文字幕妇伦久久| 五月天婷婷小说| 啪啪资源网| 人人操我人人干| 一级一性爱免费视频| 欧洲亚洲人妻无码高清久久三区四区| 青青草国产一区二区三区| 美女主播色欲91抠b在线播放| 大香蕉伊利av| 爽 好舒服 无码刺激久久| 一本一道波多野毛片中文在线| 啪啪性爱免费视频| 中文字幕在线免费观看2| 欧美中文综合| 欧洲精品一级二级精品综合视频综合| 天天伊人| 亚洲无码国产探花在线观看| 黄色免费一级在线毛片| 亚洲日韩视频二区| 手机在线中文字幕国产| 国产亚洲女v在线观看| αⅴ天堂| 久久精品高清无码一区| 人妻超碰青青草98| 久久久久人| 久久精品综合| 91亚洲电影| 国产精品香蕉| 秋霞久久亚洲精品成人| 五月天黄色激情视频| 国产 热久久久久国产精品| A V视频日本| 日本色色色视频| 免费强奸av| 欧亚免费视频| 男人的天堂.com| 久9久9精品| 色五月激情AV在线| 九九九九97| 99热线麻豆| 91丝袜视频在线观看| 午夜国产综合视频在线观看| 国产女同视频在线播放| 国产精品香蕉热久久新品| 女人被添高潮免费视频| 久草综合京东| 天美传媒av一区二区| 九九九999久久久网站| 五月亭亭六月丁香| 日韩精品99久久久久久中文字幕| 啊啊啊啊啊啊啊啊要喷了| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 亚洲精品尤物yw在线影院| 18禁无码永久免费无限制| 不卡av在线中文字幕| 波多野结衣被操50分钟免费视频 | 一区二区三区免费视频入口| 日本五十路在线| 欧美成人国产精品| 国产白丝av| 国产99精品一区二区三区免费| 中文字幕在线观看二区三区| 免费视频无码| 爱丝福利| 无码 黑人一区二区三区| 久久久97| 天综合网欧美| 久久精品一区二区三区四区五区| 中日亚韩免费视频| 91在线美女| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 性九九九九九九| 久久黄人人爽视频| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 色人久久| 久久久网一区| 午夜精品久久99蜜桃的功能章节| 国产精品无码论坛| 大香蕉国产中文自拍| 亚洲日韩美女丝袜美腿人妻视频| 亚欧性爱ab| 久草资源在线视频官方总站日韩丝袜美腿 | 国产 v乱码一区二| 人妻在线大香蕉| 91黄站| 超碰国产精品久| 蜜臀久久99精品久久久久久成人小说| 国产探花日韩援交| 欧插网站| 欧美亚洲特P| 亚洲精品性爱片| 日韩乱码av| 日本ZZ高免费A级视频| 在线岛| 麻豆乱码久久精| 日韩成人人妻网站| 欧美视频边做饭边橾| 伊人伊人LD| 午夜视频黄| 久久精品亚洲婷婷| 啊啊啊草死我| 欧美三级不卡| 日本一级特级毛片视频| 嗯啊不要啊在线 | 亚洲天堂女优在线| 精品91摸| 91视频综合| 亚洲熟妇自偷自拍另欧美| 超碰色大香蕉| 91久久99久久91熟女精品| 国产精品高朝久久久久久久| 中国探花熟女| 九九九999久久久网站| 欧美日韩性爱视屏免费看了| 亚洲图片视频小说| 婷婷色导航| 久久久久国色αv免费观看| 日本韩欧美在线播放a| 青青草原成人| 亚洲日韩AV视色| 啊啊啊啊啊在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 一级特级aaaa毛片免费观看| 啊啊啊啊啊啊啊在线| 色天使亚洲综合在线观看| 一区二区 电影 亚洲| 成全在线观看免费观看| 91精品免费| 国产精品视频麻豆入口| 中日韩久久久免费看| 99热伊人| 人妻夜夜爽天天爽三区麻豆AV网站| 亚洲18禁| 久久男人精品| 在线洲亚线| 97超碰碰碰| 香伊人在线| 亚洲欧洲第二视频在线观看色图| 成人性爱电影一区二区| 久久久久久久久久久久97| 久久国产视频性吧 | 探花激情视频| 中文字幕乱亚洲美女精品一区| 日韩啪啪啪啪啪| aaa亚无码专区| 日本高清加勒比| 久久久久人妻| 密乳无码| 天美91| 欧美性天天影院| 五月天色综合| 可以免费看黄片的视频| 中出20p| 久久色一区| 黄片无码在线制服| 91精品国产91久久福利| 亚洲脚交| 熟女天天干| 91色久| 狠狠操使劲操| 天天色踪合| 国产女上位好爽在线| 国产色精品午夜大片| 日韩一二三区| 尤物AV免费网站| 99热在线不卡| renqi久久久久久久久久久久| 人人看人人爰人人操| 992视频一区| 精品少妇人妻av久久免费| 九九九不卡| 情侣操 逼视频99| 美女人妻色网站| 国产亚洲精品自在线亚洲情侣| 自拍偷拍国产欧美日韩韩| 伊人91| 婷婷20月天青娱乐| 在线观看 99热| 欧美午夜色妇色鬼| 亚洲一区二区三区久久 亚洲一区二区| 无码精品一区二区三区潘金莲| aV中亚| 中国少妇啪啪视频| 久久久久女教师免费一区 | 国模少妇一区二区三区| 欧美日韩亚洲一区二区在线观看| 国产高清视频无码在线| 青草精品视频-日本久久久久网站| 色踪合AV| 性生活无遮挡纯毛片在线看| 蜜桃中文字日产乱幕4区| 丁香五月av| 亚洲色棕合| 91在线丝袜视频| 久久久精品国产亚洲伊人| 国产强奸超碰AV| 极品尤物女神在线观看| 18禁网站在线播放| 殴美大黄片| 国产 热久久久久国产精品| 国产女人高潮嗷嗷嗷叫小说| 中文字幕一区二区在线日韩精品| 超碰97人人cao| 精品人妻中文字幕高清| 91久久婷婷| 久久久久96| 欧美久久久| 欧美大干日韩| 91熟女视频网| 久久一区二区蜜桃| 男啪女色黄无遮挡免费观看| 伊人热综合| 99久久精品无码一区二区毛片免费| 91亚洲在线| 校园春色综合香蕉| 东北黄色电影| 人妻一区久久二区三区色播| 男插女青青影院| 国产丝袜欧美在线视频| 日韩黄色av中文字幕| 日韩亚洲欧美中文字幕| 操逼无码操逼| 国产大学生口爆吞精合集| 性爱乱伦一区| 亚洲少妇喷视频看| 久久97资源 网| 日本超碰97日韩精品人妻| 久久熟女久| 视频在线97| 蜜臀久久99精品久久久久久-DVD| 秋霞一集毛片观看| 久久美女国产| 久热无码| 人人超碰在线观看黄| 操我无码| 九色 人妻 大香蕉| 蜜臀色乳| 美女高潮国产高清| 免费av在线播放二区| 福利在线黄片| 天天综合色| 少妇69中文| 人人九九精| 国产在线激情| 亚洲人妻中文在线视频| 国产日本久久免费精品| 亚洲精品丝袜-不卡成人免费……| 亚洲欧洲美腿丝袜| 夜夜免费视频| 精品国产AV一区天美传媒| 国产精品一区二区在钱播放| 丝袜美腿亚洲| 熟女久久| 中文字幕亚洲热播人妻| 五月丁香婷婷啪啪| 亚洲综合九九| 少妇激情一区二区三区视频| 色香色欲天天综合网天天来吧 | 精品人妻一区二区乱码一区二区| 一本色道无码DVD中文字幕| 搡老女人老91二区| 99在线免费公开视频| 欧美九9 9 9| 综合性视频99| 亚洲无码日韩电影| 久久一区二区加油站| 丰满人妻被猛烈进入中| 自偷自拍的亚洲视频| 色超碰综合| 大学生美女口爆| 国偷自 一区| 亚洲 小说 欧美 激情 另类| 91在线|亚| 清纯唯美综合| 久久久成人国产精品无码| 中文字幕十五区| 中文操逼字幕| 九九精品美女高溯喷水| 人妻久久一区二区三区 | 日本高清免费一本视频在线观看| 五月婷婷激情| 99热在线只有精品| 免费一级毛片在线视频观看| 久欲AV| av最新免费中文字幕| 国产成自自拍在线观看| Av手机版天堂网| 中国黑人三级片网站上区| 日韩无码视频黄色| 欧美亚洲影视| 久久久久久99AV无码免费网站| 欧美日韩亚洲天堂| 免费视频无码| 中文字幕在线免费观看| 99这里有精品| 亚洲激情综合另类| 啊啊啊啊啊啊啊国| 思思热在线视频免费| 国产久久视频| 成在线人在线观看视频| 丝袜色综合| 欧美麻豆成人同性GⅤ在线| 日本高清一本二本免费不卡| 日本99热| 国产精品免费久久久久久久久久| 欧美成人亚洲精品| 免费观看国产小粉嫩喷水精品午| 热的中文 热的有码 热的国产| 粉嫩av在线一区二区| 97中文综合| 床上啊啊啊一区二区三区| 女人综合网| 美女高潮视频91| 日本日逼高清| 欧美日韩中文字幕不卡| 澳门成人网站久国产日韩| 天天躁日日躁成人字幕aⅴ| 中文字幕AV片| 大香蕉乱伦视频网| 亚洲中字幕日本一区二区三区| 久久久久久九九九九-美女久久久久久久-成人AV | 久久久久久久久久久人妻| 久艾草在线精品视频在线观看| 欧美韩国你懂得在线 | 久久久com| 日本一级真人黄色性爱视频| 久草精品视频| 99re在线观看| 久久精品国产AV一区二区三区| www. 男人天堂成人在线| 日韩精品国产精品五码一区二区| 一个色导综合| 欧美色综合网| 亚热日本熟女| 久久婷婷一区二| 97人人操人人摸| 色婷婷一区二区三区久久| 亚洲熟女一区| 91天天综合日韩欧美| 嫩草伊人久久精品| 中文字幕永久在线| 国产51色综合久久免费| 超碰95| 天操天操夜操夜月月年年操操| 日本有码影片下载| 自拍偷拍2025在线观看| 在线播放成人高清免费视频| 亚洲中文字幕av | 中文一区二区| 成人久久无码www| 人人爱操| 日本道久久综合色色| 免费一级性爱久久| 日日爱99| 亚洲97资源| 97精品国产手机| 中文一区二区婷婷视频| 色5月婷婷| 大香网站| 国产一区自拍欧美日韩| 九九九九热| 日韩欧视频| 久久后入制服| 中亚黄色三级大片| 伊人一区二区在线播放| 欧亚日韩一区在线| 日本女人久久久| 91精品在线播放| 亚洲日韩东京热一区| 97超碰热线| 久视频在线观看| 人妻加勒比东京热| 99这里有精品视频| 五月天婷婷久久| 综合欧美日本三级| AV无码久久久精品| 欧美国产伊人久久久久| 久久av一级av少妇av高潮| 亚洲熟女乱色一区二区三区| 富女玩鸭子一级毛片| 男人天堂网址| 亚洲97| 婷婷伊人五月| 强奸抽插av| 国产精品黑人一区二区三区| 成人小说另类在线| 一级婬片120分钟试看| 久久婷婷国产一区二区色| 亚洲天堂电影精品一区| 女优视频第10页| 天天综合91在线| 91蜜臀在线久久久久| 亚洲色人妻综合| 色妹子A V| 久久欧美1卡2卡3| 人妻夜夜爽天天爽麻豆三区网站 | 少妇国产不卡| 久久超碰97中文字幕| 久久伊人青青草| 亚洲诱惑| 一本色道久久综合亚洲二区三区| 亚州精品人妻一二三区| AV中文字幕三四五| 97天天综合| 26uuu成人影片| 欧美一级国产一级| 中文字幕性感少妇av| 国产精品大香蕉| 性爱动态120秒| 麻豆婷婷成人一二三| 久久超碰98| 亚洲猛交| 沈阳熟女高潮对白视频| 国产精品点击进入在线影院| 日韩 欧美 另类 人妻| 国模吧 一区二区三区| 免费精品99| 春色校园综合网| 国产精品在线一区二区| 国产久久天堂资源| 思思热在线视频在线| 国产亚洲精品美女久久久久久2021| 网页导航五月天免费一二三区| 久久丁香五月婷婷| 另类亚洲图色| 日韩无码服务区| 操逼A∨| 亚洲色图日韩精品| 亚洲欧美一区二区三区在钱蜜桃| 亚洲综合小视频小说在线观看| 狠狠操夜夜| 色婷婷丁香五月| 蜜臀人妻少妇久久在线观看| 一区超碰一区| a男人的天堂久久一级A毛片 | 久久的免费性爱视频| 一区二区三区成人高清视频| 色九月婷婷| 亚洲自拍另类丝袜综合| 校园春色美腿丝袜 | 亚洲蜜乳av| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 欧美一级欧美三级在线观看| 日日日日做夜夜夜夜做无码97| 97视频网站| 91精品国产高清久久久久久,亚洲成人 | 国产一区二区三区影片| 日韩美女,国产传媒,视频一区| 色嗨嗨在线| 久久九操在线观看| 亚洲AV免费在线| 久久久555| 无码99| 中文字幕精品一区二区精| 94色色电影网| 亚洲无限观看| 亚洲色图 91| 亚洲欧美高清无码| 91日日夜夜| 国产亚卅97| 久久精品女同亚洲女同13| 凹凸精品熟女在线观看| 国产成人无码高清| 久久亚码| 日本1区2区不卡视频| 在线综合 亚洲 欧美中文字幕| 91爱做| 狠狠操狠狠| 蜜臀一区二区三区在线| 91美女視頻| 国产一区二区视频在线播放| 精品久久久av无码免费| 中文字幕在线免费观看 | 国产激情综合| 精品国模无码| 91亚州日韩高清| 亚洲一区在线观看欧洲| 天堂网亚洲区手机版| 欧美日日人人天天| 欧美综合传媒| 天天情欲宗合网| 久久宗合亚洲| 国模久久在线| 青草伊人网| 91日产桃蜜| 91制服丝袜| 精品69网| 久精品无码av一区二免费国产在线观看 | 高潮内射在线| 图色综合网| 欧亚久久偷拍视频| 精国久久一区二区三区98| 亚洲色图综合网| 9997se| 国产少妇内射| 久久人妻| 啪啪AV导航| 亚洲影院无码在线| 日韩无码三级影院| 97超碰国产亚洲精品| 伊人精品久久网站| 骚人妻少妇视频| www网站黄| 一本一道vs波多野结衣| 91超碰碰在线| 日本一级性爱| 青青青在线高清视频在线一二三四区| www.色五月| 狠狠干91| 99国产精品免费| 91c色| 久热精品在线| 丝袜六区| 熟妇xxxxx性春色| 日日日色色色色色| 九九综合久久| 日韩强奸av| AV中文字幕剧情1区2区3| 8050无码八戒| 懂色av一区二区三区天美传媒| 亚洲官网在线| 日韩一级成人毛片免费观看| 欧美激情亚洲| 不卡码视频| 色爱三区| 一区二区三区国产在线播放| 亚码人妻| 91操操| 免费av在线播放二区| 天天操天天舔| 97日韩| 久久一本大香蕉| 久久久A∨| 91亚洲色人| 精品国产乱码久久久影院| 久久国产精品91| 成人亚欧免费视频| 国产久久久久久| 91成人社区| 久久99热这里只频精品6学生| 伦激情人妻另类人妻| 丝袜美腿操av| 粉嫩少妇自慰在线| 激情网五月天| 操逼操逼逼操操逼91| 婷婷爽人人婷婷爽视频| 欧美亚洲成人在线一区二区三区| 熟女性视频| 首页中文字幕中文字幕免费| 尤物网站91| 亚洲久草AV色图| 欧美97在线观看| 女优免费一区二区永久| 嫩草影院在线观看精品| 国产精品不卡av免费在线观看| 天天日骚逼熟女| 女人一区| 婷婷三区| 色噜噜狠狠色综无码久久合欧美| 国产精品美女在线一区| 粉嫩av在线| 易易A毛视频| 美国一区二区免费视频| 久久狠狠色噜噜狠狠狠狠97| 在线观看啊啊啊啊啊| 91天美传媒在线观看| 泰国AV在线观看| 99激情视频| 日韩欧美午夜视频在线| 成人97人人超碰人人| 香蕉人欧美综合| 欧美伊人电影| 蜜臀99久久精品| 亚洲日韩欧美一区二区| 国产偷仑| 天天日日本| 在线啊啊啊啊| 亚洲91极品| 五月天色综合| 色色婷婷五月天| 婷婷五月天激情网| 五月丁香拍拍激情综合三级| 99亚洲精品| 激情黄色片在线观看| 女人综合网| 91爱网| 91精品国产一区三一| 91热| 婷婷国产精品一区二区| 好湿好紧视频| 黄色成年| 欧美激情视频一区二区| 亚洲色交| 欧美97爱| 天天看夜夜看日日干| 激情五月天中文字幕色| 性综合网| 人人搞人人插人人操| 97在线观看免费视频| 大学生美女口爆| 国产偷拍网站| 日韩中文字幕国产| 欧美精品日韩久久久九| 超碰一区二区| 亚洲人码13| 欧美极品色| 啊啊啊水好多| 啪啪啪综合网| 亚洲日韩视频二区| 日本免费人成视频播放120秒| 亚洲天堂人妻熟妇视频| 免费观看的黄色的网站| 熟妇操花| 美女刺激久久国产欧美| 久久久久久久久久久久久9999| 亚洲欧美爆| 久久久久久久久久精| 后入日本1234| 久久东京热久久| 国产兽交视频在线播放| 欧美性爱中文字幕无线码| 国产九九九九九九九九| 五月天丁香| 一区二区精品更新提醒| 1000午夜黄色| 噜噜瑟| 狠狠91| 国产成人无码啪| 精品一二三区久久AAA片| 骚逼高潮久久精品| oumeisetupian| 久久↗↗| 亚洲男人电影天堂| 性爱视频无打码在线观看| 日韩黄色成人性爱| 天天日日舔舔| 亚欧美综合网。| 91天堂网| 无码最新| 人妻激情偷乱视频一区二区三区| 亚洲色性情三级| 丝袜加勒比| 1000部熟女视频在线观看| 中国一区二区亚洲人妻| 欧美黑人XXXⅩ高潮交| 人人操人人干网页| 人妻少妇av在线观看| 综精品久久久aaaa| av草草在线电影| 夜草网站| 国产无马av| 大香蕉色网| 97久久久久| 国产女人和拘做爰视频| 中文字幕在线24| 日韩中文9| 国产强奸乱伦欧美| 一区二区三区欧美激情| 日夜久久久九九九久| 人人澡人人干| 日韩免费大片一级播放| 激情综合97| 性欧美第一页| 再深点灬舒服灬太大了添视频 | 另类天堂| 不卡啪啪视频| 欧美暴力猛交| 人人操人人93| 久热久| 加勒比综合a∨| CCYY草草影院地址入口| 狂操嫩妻视频一区二区三区| 久草线上视频免费看| 老外又粗又长一晚做五次| 色九九九九久| 亚洲欧美校园| 亚洲黄色a级片| 亚洲永久AV无码精品秋霞| 激情小说亚洲色图| 91精品丝袜久久久久久| 啊啊啊啊啊好舒服视频| 成人26uuu| 偷拍欧美激情| 综合第一页| 狠狠五月天| 天天影视综合色| 国产强奸超碰AV| 91欧美性| 日韩在线性爱免费视频| 少妇人妻无码| 激情小说日韩无码| 人妻密肉在线观看| 九九无码| 精品久久在线区一区| 一本色道综合久久欧美日韩精品| 大香蕉乱伦视频网| 中日992视频| 亚洲国产欧美中日韩成人综合视频| 久湿久久 | 久久国产热视频97电影| 青青草色情网站视频| 打av高清| 91无码西班牙视频在线| 欧美嫩性色| 日韩猛交| 69超碰综合| 久久久四区| 国产少妇与亚洲av| 亚洲色图欧洲| 国产按摩一区二区三区| 天天日天天看| 日日日日日| 国产97亚洲| 懂色AV一区二区三区| 欧美的精品的视频| 在线播放中文字幕| 色淫网站优优视频| 亚洲欧美精品一区天堂久久| 极品另类| 好看的91视频| 人人看人人爰人人操 | 人妻激情另类| 国产精品人妻无码久久久老鸭窝| 超碰午夜在线| 激情网色| 国产97/欧美| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 中文字幕88av在线| 亚洲成人免费中文字幕| yazhouzaixian| 丁香五月社区| 91在线视频国产网站| 日韩在线97| 色综合网1| 9丨久久九九九| 黄色高清久久无码依人| 成人八戒网站| juliaann欧美丝袜办公室| 欧美专利1区2区3区4区5区免费| 色综合V| 欧美成人精品一区二区男人蜜臀| 久久人妻视频网| 日韩在线欧美精品一区二区| 日韩中文9| 三久久久四久久久久| 免费的av网| 伊人久久大香线蕉无码| 久久香蕉国产线看观看亚洲女人| 啊啊啊好湿国产一二| 福利伊人玖玖国产| 超碰97丝袜| 亚洲性图91| 国产 日韩 欧美 人妻 熟女 中文| 亚洲一卡二卡在线免费| 热G综合热G中文| 富二代亚洲精品99| 免费在线观看国内色片网站网址| 男人综合网| 九九九九免费高| 中文字幕啊啊啊在线观看视频| 无码直播久久久| 性生活性生大爱77AV国产| 蜜桃中文字日产乱幕4区| 黄色av片三级三级三级免费看| 中文字幕一区二区视频在线观看 | 日本999精品视频| 日韩午夜啪啪视频| 为用户提供免费看黄网址在线观看| 另类图片五月天| 欧美熟女妇同| 69超碰综合| 思思性爱| 1级黄色夫妻对换性交免费看| 青草地一本线一区二区三区| 免费成人在线熟妇网| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 国产熟女完整版中字| av激情亚洲五月天| 欧美性高潮在线| 国产免费一区| 超碰97网址| 男人的天堂亚洲| 久久这里只精品99re66图| 熟妇的味道HD中文字幕| 97在线免费| 欧洲色综合| 欧美日韩人妻少妇 一区二区三区| 亚洲精品一二三四区| 婷婷五月天成人网| 嫖老熟女A片一二三区| 国产精品一区av在线| 国产h小视频在线观看免费| 女人18精品一区二区三区| 日本九九久久99| 闷骚老熟女15P| 澳门人妻久久| 国产后入精品| 日韩中文欧美| 大香蕉久操| 国产精品香蕉热久久新品| 欧美国产精品| 精品久久久久久AV无码| 色综合av综合久久| 色综合91好| 色婷婷av在线观看| 国产精品久久久久无码AV会牛| 亚洲成人日韩小说| 国产精品成人无码a v毛片| 久久久久久亚洲Av无码精| J?P?NESEHD熟女熟妇伦| av中亚| 69一区二区| 蜜桃av色偷偷av老熟女| 99热在线播放| 天美91| 精品人妻中文字幕高清| 日本淫乱女一区二区三区视频| 亚洲国产精品成人久久蜜臀| 久久中文字幕在线观看| 色五月av| 久久久久亚洲Av无码专区老牛影视| 美女久久久久久久久久久| 99热在线播放| 久久久久久久强迫| 亚洲熟伦熟妇AV无码春色| 人妻色偷色噜| 国产成人无码a| 免费观看国产不卡av| 色嗨嗨在线| 久久草在线综合视频| 国产成人网| 久都青青视频| 青青草伊人久久| 亚洲成人妻日韩在线| 国产99999久久精品| 欧美在线大香999| 精品人妻av区天天看片| 精品久久久av| 欧美国产伊人久久久久| 久久女女| 久久久久女教师免费一区| 葡萄牙性视频一二区| 日语五十路和六十路亚洲国产精品| 一个色导综合| 中国乱伦一区二区| www九九热| 熟妇人妻一区二区三区| 久久爽爽精品| 精品二区久久| 男人的天堂 在线一区| 中文字幕乱码人妻二区三区| 国产AV激情无码久久无码 | 91碰超| 超碰91在线| 久久久久久久久久久久久久9999| 动漫区日韩区欧美区| chaopen97久久| 色婷婷国产精品一区在线观看| www.伪伪| 久久婷婷五月天| 久久国产精品熟女人妻| 国产成人精品网站|