日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊 很多研究生剛開始接觸深度學(xué)習(xí)模型改進(jìn)時(shí)心態(tài)通常是找一個(gè)高大上的新模塊往網(wǎng)絡(luò)里一插訓(xùn)練一輪指標(biāo)漲了就是創(chuàng)新指標(biāo)沒漲就是模塊不行。說實(shí)話這種方式我見過太多最后的結(jié)果基本都差不多代碼改了一堆實(shí)驗(yàn)做了好幾版導(dǎo)師問“你的改進(jìn)點(diǎn)到底在哪”你說不清楚寫論文的時(shí)候也補(bǔ)不齊消融實(shí)驗(yàn)。這篇內(nèi)容我想按真正能落地的順序把“模型改進(jìn)、創(chuàng)新、添加模塊”這件事拆開講一遍。適合剛?cè)腴T的碩士生也適合正在復(fù)現(xiàn)論文、準(zhǔn)備做自己實(shí)驗(yàn)的本科生和工程師。我的核心觀點(diǎn)是改進(jìn)模型的第一課不是寫模型而是先搞清楚基線、環(huán)境、數(shù)據(jù)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)記錄。這些東西沒做好后面所有“加模塊”都只是在自我感動(dòng)。1. 為什么研究生的“模型改進(jìn)”第一課不是改模型先糾正一個(gè)常見誤區(qū)模型改進(jìn)不是“找一個(gè)模塊懟進(jìn)去”這么簡(jiǎn)單。真正有效的改進(jìn)至少包含三層問題定義、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證。層與層之間是串行關(guān)系前一層沒做好后面就白做。很多研究生一上來(lái)就急著看論文里最新的注意力機(jī)制、最新的特征融合方式然后往自己的主干網(wǎng)絡(luò)里塞。結(jié)果會(huì)遇到三類典型問題模型能跑但指標(biāo)沒有提升甚至下降。顯存直接爆掉batch size 被調(diào)小最后訓(xùn)練不穩(wěn)定。代碼報(bào)錯(cuò)后無(wú)從下手不知道是自己改錯(cuò)了還是原本就有 bug。這些問題不是模型能力不夠而是前置工作沒做好。你要先確定一個(gè)可復(fù)現(xiàn)的基線再談改進(jìn)。1.1 先搞定環(huán)境、數(shù)據(jù)和基線第一步不是寫模型而是把環(huán)境搭好把數(shù)據(jù)準(zhǔn)備干凈把原始模型跑通。建議按這個(gè)順序來(lái)確定框架版本。PyTorch 和 TensorFlow 都行但作為學(xué)術(shù)改進(jìn)PyTorch 更常見一些。確定 Python 版本。不要用太新的也不要太舊的。一般 PyTorch 官方支持的穩(wěn)定版本區(qū)間內(nèi)選一個(gè)即可。準(zhǔn)備數(shù)據(jù)。無(wú)論你用的是公開數(shù)據(jù)集還是實(shí)驗(yàn)室數(shù)據(jù)至少要保證訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分固定。跑通一個(gè)原始模型。這個(gè)原始模型就是你后面所有改進(jìn)的對(duì)比基準(zhǔn)也叫基線模型。這里有一個(gè)很容易踩的坑很多人直接下載一個(gè) GitHub 項(xiàng)目然后換數(shù)據(jù)、換模塊跑出來(lái)一個(gè)數(shù)字根本不確認(rèn)這個(gè)數(shù)字在原始代碼里是否可復(fù)現(xiàn)。正確做法是先不加任何改動(dòng)用項(xiàng)目自帶配置或者論文里的配置把基線指標(biāo)復(fù)現(xiàn)一次。如果基線都復(fù)現(xiàn)不出來(lái)后面你改完模型得到的任何提升都沒有說服力。1.2 把原模型跑通再談改進(jìn)把原模型跑通意味著你要完整走完四個(gè)環(huán)節(jié)數(shù)據(jù)讀取、前向傳播、反向傳播、驗(yàn)證評(píng)估。你可以先用一條命令跑一個(gè)極小的實(shí)驗(yàn)python train.py --config configs/baseline.yaml --max_epochs 1如果項(xiàng)目沒有這種參數(shù)化配置可以改在代碼里臨時(shí)指定迭代次數(shù)和 batch size。初始目標(biāo)不是訓(xùn)練出一個(gè)好模型而是確認(rèn)數(shù)據(jù)能正常加載沒有路徑亂碼。模型能正常前向沒有維度不匹配。loss 能正常下降而不是直接 nan。驗(yàn)證代碼能輸出指標(biāo)而不是只在訓(xùn)練集上自嗨。我第一次帶著學(xué)弟做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)他把驗(yàn)證集和訓(xùn)練集的目錄寫反了。模型訓(xùn)練時(shí) loss 正常下降驗(yàn)證指標(biāo)也很高但換到真實(shí)測(cè)試數(shù)據(jù)上效果很差。查了三天最后發(fā)現(xiàn)是數(shù)據(jù)劃分的問題。這類問題在你開始“加模塊”之前暴露出來(lái)成本最低。1.3 建立實(shí)驗(yàn)記錄與評(píng)價(jià)指標(biāo)表研究生的實(shí)驗(yàn)記錄不能靠腦子記。需要的表格其實(shí)很簡(jiǎn)單實(shí)驗(yàn)編號(hào)、修改內(nèi)容、數(shù)據(jù)集、輸入尺寸、batch size、epoch、初始學(xué)習(xí)率、優(yōu)化器、最終指標(biāo)、顯存占用、訓(xùn)練時(shí)長(zhǎng)、備注。表格的作用有兩個(gè)一是讓你在投稿或?qū)懻撐臅r(shí)有據(jù)可查二是讓你在調(diào)參時(shí)能快速定位“哪個(gè)改動(dòng)帶來(lái)了提升”。評(píng)價(jià)指標(biāo)也要提前確定。分類任務(wù)看準(zhǔn)確率、精確率、召回率、F1檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU。不同任務(wù)指標(biāo)不同但原則一致不要只記錄一個(gè)指標(biāo)。因?yàn)槟慵拥哪K可能提升準(zhǔn)確率、犧牲推理速度也可能提升少數(shù)類別的召回、拉低整體精度。只記一個(gè)數(shù)字很難判斷模塊到底是不是“凈增益”。2. 改進(jìn)模型前先把這些模塊看懂“加模塊”聽起來(lái)很容易但你要加得有理有據(jù)至少要認(rèn)識(shí)主流的模塊類型。下面按深度學(xué)習(xí)模型最常見的組成來(lái)拆開講。2.1 主干網(wǎng)絡(luò)Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始輸入中提取特征。常見的有 VGG、ResNet、MobileNet、EfficientNet、ConvNeXt 以及各種基于 Transformer 的 ViT 系列。改進(jìn)主干網(wǎng)絡(luò)的核心思路一般是把普通卷積換成深度可分離卷積減少參數(shù)量。把標(biāo)準(zhǔn)殘差塊換成帶注意力機(jī)制或重參數(shù)化結(jié)構(gòu)的塊。引入多尺度信息讓淺層特征和深層特征能同時(shí)被利用。但要注意主干網(wǎng)絡(luò)改動(dòng)對(duì)訓(xùn)練穩(wěn)定性和預(yù)訓(xùn)練權(quán)重影響很大。如果你要換主干建議優(yōu)先選擇有 ImageNet 預(yù)訓(xùn)練權(quán)重的版本否則從頭訓(xùn)練的網(wǎng)絡(luò)很難收斂。2.2 特征融合模塊Neck / FPN / Transformer Encoder特征融合是目標(biāo)檢測(cè)和分割任務(wù)里的高頻改動(dòng)點(diǎn)。典型模塊是 FPN也就是特征金字塔。它把不同層級(jí)的特征進(jìn)行融合讓淺層位置信息和深層語(yǔ)義信息結(jié)合起來(lái)。常見的“加模塊”操作包括在 FPN 里加注意力模塊。把簡(jiǎn)單的特征相加改成特征拼接再加 1x1 卷積做通道壓縮。引入 PANet 的雙向融合、BiFPN 的加權(quán)融合等。這類模塊改動(dòng)通常不改變主干網(wǎng)絡(luò)所以原有預(yù)訓(xùn)練權(quán)重基本可以繼續(xù)用訓(xùn)練難度相對(duì)低一些。2.3 檢測(cè)頭與損失函數(shù)Head Loss檢測(cè)頭負(fù)責(zé)從特征中預(yù)測(cè)目標(biāo)位置和類別。改進(jìn)檢測(cè)頭的常見方向是設(shè)計(jì)更輕量的解耦頭或者把分類和回歸分支分開得更徹底。損失函數(shù)也值得看。交叉熵、Focal Loss、GIoU Loss、CIoU Loss 在不同任務(wù)上表現(xiàn)差異很大。從“加模塊”的角度看損失函數(shù)不一定算模塊但它和模塊是配套的。比如你給模型加了一個(gè)新的注意力模塊最終生效還要看損失函數(shù)能不能把梯度傳到對(duì)應(yīng)位置。如果損失函數(shù)本身不匹配模塊就白加。2.4 激活函數(shù)與歸一化激活函數(shù)和歸一化層雖然小但影響非常大。常見激活函數(shù)有 ReLU、Leaky ReLU、GELU、SiLU / Swish、Mish 等。常見歸一化有 BatchNorm、LayerNorm、InstanceNorm、GroupNorm。加模塊時(shí)經(jīng)常會(huì)被問到“你用了什么激活函數(shù)”。如果你的模型結(jié)構(gòu)比較深GELU 或 SiLU 往往比 ReLU 更平滑訓(xùn)練也更穩(wěn)定。如果你處理的是小 batch sizeBatchNorm 很容易不穩(wěn)定可以考慮換 LayerNorm 或 GroupNorm。2.5 注意力機(jī)制、可變形卷積、重參數(shù)化這類常見組件“加模塊”最常加的是以下幾類注意力機(jī)制SE、CBAM、ECA、CA、Self-Attention、Swin Transformer 里的 Window Attention??勺冃尉矸eDeformable Convolution適合幾何形變比較大的目標(biāo)。重參數(shù)化RepVGG 這類結(jié)構(gòu)訓(xùn)練時(shí)用多分支推理時(shí)合并成單分支兼顧訓(xùn)練效果和推理速度。多尺度融合ASPP、PPM、SPP / SPPF適合語(yǔ)義分割和檢測(cè)。這些組件本身都是可復(fù)用的但你必須知道每個(gè)組件的輸入輸出形狀、計(jì)算量、是否改變通道數(shù)、是否影響梯度流動(dòng)。不然加進(jìn)去之后很容易出現(xiàn)維度對(duì)不上、訓(xùn)練速度驟降、loss 不收斂這類問題。3. 手把手演示給分類網(wǎng)絡(luò)添加一個(gè)注意力模塊下面我用一個(gè)非常具體的例子演示如何給一個(gè)卷積分類網(wǎng)絡(luò)添加一個(gè)注意力模塊。操作步驟并不難難的是每一步你都要知道為什么。3.1 場(chǎng)景設(shè)定假設(shè)我們現(xiàn)在用的是 ResNet18處理一個(gè) 10 分類圖像分類任務(wù)。數(shù)據(jù)是 224x224 的 RGB 圖片batch size 是 32。改進(jìn)目標(biāo)是在 ResNet 的 BasicBlock 殘差連接之后加一個(gè)輕量級(jí)的通道注意力模塊。為什么選 BasicBlock 而不是整個(gè) ResNet 的最后一層因?yàn)闅埐顗K是網(wǎng)絡(luò)的基本組成單元加在殘差塊內(nèi)部能讓注意力機(jī)制在每個(gè)階段都發(fā)揮作用。相比只在網(wǎng)絡(luò)最后加一個(gè)注意力模塊這種改法對(duì)特征的影響更全面。3.2 修改模型文件的步驟具體代碼以 PyTorch 為例。你要找到 ResNet 源代碼里的 BasicBlock在殘差分支輸出后面加入一個(gè) SE 模塊。SE 模塊實(shí)現(xiàn)如下import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.squeeze nn.AdaptiveAvgPool2d(1) self.excitation nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.squeeze(x).view(b, c) y self.excitation(y).view(b, c, 1, 1) return x * y然后把 BasicBlock 里的 forward 改成def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) # 添加注意力模塊 out self.se(out) return out注意這里我把 SE 加在了殘差相加和 ReLU 之后。有些論文會(huì)選擇加在相加之前效果會(huì)有差異。沒有統(tǒng)一標(biāo)準(zhǔn)你要通過實(shí)驗(yàn)對(duì)比才能確定哪種位置更適合你的任務(wù)。3.3 從論文到代碼的對(duì)應(yīng)很多研究生看論文能看懂公式但一到代碼就不知道實(shí)現(xiàn)哪里。這里給一個(gè)通用方法把論文里的網(wǎng)絡(luò)結(jié)構(gòu)圖畫成數(shù)據(jù)流向圖標(biāo)注每個(gè)步驟的輸出形狀。比如 SE 模塊輸入形狀[B, C, H, W]全局平均池化后[B, C, 1, 1]展平后[B, C]全連接壓縮到 C/r[B, C/r]全連接還原到 C[B, C]Sigmoid 激活[B, C]還原成 [B, C, 1, 1] 與原始特征相乘[B, C, H, W]只要形狀能對(duì)得上代碼就不會(huì)出大問題。3.4 最小改動(dòng)版本如果你嫌改 BasicBlock 的 forward 麻煩也可以直接寫一個(gè)新的 Block。但我覺得對(duì)于初學(xué)者來(lái)說最小改動(dòng)版本更安全。最小改動(dòng)版本的做法是在__init__里定義self.se SEBlock(self.out_channels)。在forward里按住標(biāo)準(zhǔn)殘差連接的方式插入即可。不要在同一個(gè)實(shí)驗(yàn)里同時(shí)改多個(gè)位置。先只在最后一層加看效果再?zèng)Q定要不要每個(gè) BasicBlock 都加。3.5 驗(yàn)證單批次前向、參數(shù)量、輸出形狀改完代碼后不要直接開始訓(xùn)練。先跑一段小腳本import torch from torchvision.models import resnet18 from models.resnet_se import resnet18_se model resnet18_se(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(fTotal params: {total_params}) print(fTrainable params: {trainable_params})這一步要確認(rèn)三件事前向輸出形狀是不是 [B, num_classes]。模型參數(shù)量相比原始 ResNet18 增加多少。推理不吃力顯存沒有明顯暴漲。如果輸出形狀不對(duì)說明你改動(dòng)的位置破壞了網(wǎng)絡(luò)整體結(jié)構(gòu)。如果參數(shù)量翻了好幾倍說明你的注意力模塊 reduction 設(shè)置得太小。SE 里的 reduction 常見值是 8 或 16越小代表中間層越寬參數(shù)量越大。4. 進(jìn)階改法給檢測(cè) / 分割模型加 Neck 或 Head如果你做的是目標(biāo)檢測(cè)或語(yǔ)義分割光是給分類網(wǎng)絡(luò)加注意力模塊還不夠。你需要改 Neck 或 Head。4.1 明確要改哪個(gè)文件、哪一行檢測(cè)類項(xiàng)目通常有清晰的目錄結(jié)構(gòu)。以 YOLO 系列為例一般有models/存放網(wǎng)絡(luò)結(jié)構(gòu)定義。cfg/存放網(wǎng)絡(luò)配置文件。utils/存放損失計(jì)算、數(shù)據(jù)處理等工具。train.py負(fù)責(zé)訓(xùn)練流程。改動(dòng)前先定位你的目標(biāo)模塊在哪。不要用 CtrlF 滿屏搜索先看網(wǎng)絡(luò)結(jié)構(gòu)配置文件。很多檢測(cè)框架把網(wǎng)絡(luò)寫成字典或列表形式每一層有 type、in_channels、out_channels、args 等字段。你要加模塊找到對(duì)應(yīng)層的位置按格式插入即可。4.2 保持輸入輸出形狀一致加模塊最容易出的問題是通道數(shù)或尺寸不匹配。舉例你在特征金字塔后面加了一個(gè)自注意力模塊它要求輸入特征圖是序列格式 [B, N, C]但你的特征圖是 [B, C, H, W]。如果不做轉(zhuǎn)換代碼直接報(bào)錯(cuò)。通用的解決辦法是在模塊外面做一個(gè)包裝器class SequenceAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) def forward(self, x): b, c, h, w x.shape x_flat x.flatten(2).permute(2, 0, 1) # [N, B, C] out, _ self.attn(x_flat, x_flat, x_flat) out out.permute(1, 2, 0).view(b, c, h, w) return out你不需要把注意力模塊改得特別花哨只要保證輸入輸出形狀和原特征圖一致訓(xùn)練才不會(huì)崩。4.3 如何加載預(yù)訓(xùn)練權(quán)重后繼續(xù)訓(xùn)練加了模塊之后模型的 state_dict 會(huì)多出新的鍵和原始預(yù)訓(xùn)練權(quán)重不一致。常見做法有兩種只加載能匹配的權(quán)重新模塊隨機(jī)初始化。凍結(jié)主干網(wǎng)絡(luò)前幾層只訓(xùn)練新模塊和后層。第二種方式更適合小數(shù)據(jù)集。因?yàn)樾履K隨機(jī)初始化如果一開始就用大學(xué)習(xí)率訓(xùn)練很容易把原有特征破壞掉。建議前幾個(gè) epoch 用較小學(xué)習(xí)率或者先把主干凍結(jié)住只訓(xùn)練新增模塊。代碼上可以用pretrained_dict torch.load(resnet18.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and model_dict[k].shape v.shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)這個(gè)寫法能兼容大部分情況。實(shí)際項(xiàng)目中如果新增模塊名字和原始模塊別名不一致還需要手動(dòng)映射鍵名。4.4 當(dāng)你發(fā)現(xiàn)訓(xùn)練 loss 不降時(shí)先查什么加了模塊后 loss 不降不要慌。按順序排查看 loss 初始值是不是明顯不合理。如果一開始就 nan大概率是學(xué)習(xí)率太大或輸入數(shù)據(jù)有問題??葱履K輸出是否過小或過大。可以在模塊后打印均值、方差。看主干是否被凍住了。如果凍結(jié)了主干但新模塊很淺可能學(xué)不到足夠特征???loss 曲線是震蕩不降還是完全不變。震蕩可以調(diào)低學(xué)習(xí)率完全不變可能是梯度沒傳到新模塊。有一個(gè)經(jīng)驗(yàn)新模塊加進(jìn)去之后如果 loss 比基線降得更慢不一定是“沒用”也可能是你學(xué)習(xí)率沒有重新調(diào)。模塊變深之后梯度流路徑變長(zhǎng)原來(lái)的學(xué)習(xí)率可能偏大或偏小都需要重新試。5. 研究生最容易踩的坑改一堆模塊實(shí)驗(yàn)卻無(wú)效下面這五個(gè)坑是我在帶學(xué)生和復(fù)現(xiàn)論文過程中反復(fù)遇到的。5.1 沒有基線沒有基線你的所有改進(jìn)都沒有參照物。哪怕你最后指標(biāo)是 90%你也說不清楚原始模型是不是 89%你的貢獻(xiàn)到底是什么。有同學(xué)會(huì)問原始模型只有 88%我改完是 90%這不就是提升了 2% 嗎問題是這 2% 到底是模塊帶來(lái)的還是因?yàn)槟阌?xùn)練隨機(jī)性更大、數(shù)據(jù)增強(qiáng)更強(qiáng)、訓(xùn)練輪次更多沒有控制變量結(jié)論不成立。5.2 參數(shù)對(duì)不齊、隨機(jī)種子不固定深度學(xué)習(xí)訓(xùn)練有隨機(jī)性同樣的代碼跑兩次指標(biāo)都可能差 0.3% 到 0.5%。如果你改模塊前后沒有固定隨機(jī)種子那么哪怕模塊沒用也可能因?yàn)殡S機(jī)種子不同導(dǎo)致指標(biāo)上漲給你虛假信心。建議在訓(xùn)練腳本里設(shè)置統(tǒng)一隨機(jī)種子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)然后每個(gè)實(shí)驗(yàn)都記錄使用的種子值。5.3 訓(xùn)練不充分就下結(jié)論我見過很多同學(xué)訓(xùn)練 20 個(gè) epoch看到驗(yàn)證集指標(biāo)沒提升立刻覺得自己的模塊沒用。但很多時(shí)候改進(jìn)模塊需要更長(zhǎng)時(shí)間才能體現(xiàn)優(yōu)勢(shì)尤其是注意力機(jī)制前期可能先帶來(lái)波動(dòng)后期才穩(wěn)定提升。判斷標(biāo)準(zhǔn)應(yīng)該是基線模型和你改進(jìn)后的模型使用完全相同的訓(xùn)練配置訓(xùn)練相同的輪次然后對(duì)比。如果改進(jìn)后模型需要更多輪次才能超過基線也是一種結(jié)果但你要寫清楚訓(xùn)練成本。5.4 改多個(gè)變量導(dǎo)致無(wú)法歸因這是最致命的問題。你既換了主干網(wǎng)絡(luò)又加了注意力模塊還改了損失函數(shù)然后指標(biāo)提升了。請(qǐng)問到底是哪個(gè)改動(dòng)起到了決定性作用如果指標(biāo)下降了你也不知道該回滾哪個(gè)改動(dòng)。正確的做法是每次只改一個(gè)變量。示例第一次實(shí)驗(yàn)原始模型完整訓(xùn)練得到基線。第二次實(shí)驗(yàn)原始模型 SE 注意力其他一切不變。第三次實(shí)驗(yàn)原始模型 CBAM 注意力。第四次實(shí)驗(yàn)原始模型 SE 修改后的損失函數(shù)。這樣你才能知道每個(gè)模塊獨(dú)立貢獻(xiàn)了多少。5.5 顯存和 batch size 不一致導(dǎo)致比較不公平加了模塊后顯存占用變高于是你把 batch size 從 32 改到 16。最后發(fā)現(xiàn)指標(biāo)下降了。你可能會(huì)認(rèn)為是模塊沒用但實(shí)際是 batch size 變了影響了 BatchNorm 的統(tǒng)計(jì)特性和訓(xùn)練穩(wěn)定性。為了避免這種情況比較時(shí)盡量保持 batch size 一致。如果顯存不夠可以降低輸入分辨率。使用梯度累積。減少訓(xùn)練圖像的裁剪尺度。不要為了塞進(jìn)新模塊而隨意縮小 batch size這會(huì)引入額外的變量。6. 從“會(huì)加模塊”到“能發(fā)論文”的四步走如果你已經(jīng)不滿足于“跑通 提點(diǎn)”而是想做出真正能發(fā)論文的工作可以參考下面四步。6.1 第一步復(fù)現(xiàn)一篇論文跑出基線選一篇近期、方法不復(fù)雜、數(shù)據(jù)公開的論文。先別管創(chuàng)新按照原文設(shè)置復(fù)現(xiàn)一次拿到一個(gè)穩(wěn)定基線。這一步的價(jià)值是讓你知道一篇論文從方法到代碼的距離有多遠(yuǎn)也讓你積累一整套實(shí)驗(yàn)工具。很多論文在 GitHub 上都有官方實(shí)現(xiàn)但官方實(shí)現(xiàn)有時(shí)不能在別的數(shù)據(jù)上直接用。你復(fù)現(xiàn)的過程其實(shí)是一次“環(huán)境適配 模型結(jié)構(gòu)理解”的訓(xùn)練。6.2 第二步找到現(xiàn)有模型的一個(gè)具體瓶頸改進(jìn)模型最可靠的方向不是憑空造一個(gè)新模塊而是找到當(dāng)前方案在具體任務(wù)上的短板。比如小目標(biāo)檢測(cè)效果差可能是淺層特征利用不夠。遮擋場(chǎng)景識(shí)別差可能要引入上下文信息。分割邊界粗糙可能是損失函數(shù)過于關(guān)注整體區(qū)域。推理速度太慢可能是模型結(jié)構(gòu)過度復(fù)雜。找到瓶頸之后再想模塊怎么設(shè)計(jì)。這樣寫論文時(shí)Intro 和 Related Work 才有邏輯我先看到什么問題再針對(duì)問題設(shè)計(jì)了什么模塊。6.3 第三步設(shè)計(jì)可解釋的小改動(dòng)新模塊不一定非要特別復(fù)雜。審稿人最怕的是復(fù)雜到很難復(fù)現(xiàn)或者改動(dòng)多個(gè)點(diǎn)卻說不清哪個(gè)有用。一個(gè)合理的改動(dòng)通常是這樣的針對(duì)現(xiàn)有模塊的某個(gè)特定局限。改動(dòng)幅度小代碼量不大。有清晰的可視化或數(shù)學(xué)解釋。能通過消融實(shí)驗(yàn)證明每個(gè)組件都必要。比如你發(fā)現(xiàn)原模型的通道注意力只用了全局平均池化丟失了空間細(xì)節(jié)你可以加入全局標(biāo)準(zhǔn)差池化把兩種統(tǒng)計(jì)量拼接起來(lái)。這個(gè)改動(dòng)很小但解釋起來(lái)很清楚我們同時(shí)建模了通道均值和離散程度讓注意力更關(guān)注判別性區(qū)域。6.4 第四步做消融實(shí)驗(yàn)與可視化消融實(shí)驗(yàn)是論文里最關(guān)鍵的實(shí)驗(yàn)設(shè)計(jì)。所謂消融就是把你新增模塊中的每個(gè)組件依次拿掉看看效果變化。舉個(gè)具體例子你提出了一個(gè)模塊包含三個(gè)設(shè)計(jì)點(diǎn)坐標(biāo)注意力。多尺度卷積。重參數(shù)化結(jié)構(gòu)。你要做的實(shí)驗(yàn)至少包括基線模型?;€ 坐標(biāo)注意力。基線 多尺度卷積?;€ 重參數(shù)化結(jié)構(gòu)。基線 全部三個(gè)設(shè)計(jì)點(diǎn)。同時(shí)最好加上可視化分析。分類任務(wù)可以畫 Grad-CAM 熱力圖檢測(cè)任務(wù)可以畫特征圖響應(yīng)分割任務(wù)可以畫預(yù)測(cè)掩碼對(duì)比??梢暬苤庇^展示模塊帶來(lái)的改變也讓審稿人更容易接受你的貢獻(xiàn)。6.5 常見反饋和修改思路論文投稿后常見意見包括創(chuàng)新點(diǎn)不夠清晰。這時(shí)要把問題定義和模塊設(shè)計(jì)的關(guān)系再突出最好在引言里加一個(gè)問題示意圖。實(shí)驗(yàn)對(duì)比不充分。需要補(bǔ)更多同類型模塊的對(duì)比比如你已經(jīng)加了 SE就最好和 CBAM、ECA、CA 對(duì)比??蓮?fù)現(xiàn)性不足。要公開代碼、隨機(jī)種子、超參數(shù)配置。計(jì)算量分析缺失。要補(bǔ)充 FLOPs、參數(shù)量、推理延遲的對(duì)比表格。這些反饋其實(shí)都指向同一個(gè)問題你不僅要會(huì)改模型還要會(huì)從工程和實(shí)驗(yàn)設(shè)計(jì)兩個(gè)維度證明改動(dòng)的價(jià)值。7. 環(huán)境配置、依賴報(bào)錯(cuò)和“本地能跑”問題模型改進(jìn)這件事很多時(shí)候卡在最基礎(chǔ)的環(huán)境層。越早把環(huán)境整理干凈后面就越省心。7.1 環(huán)境先裝一個(gè)能跑的深度學(xué)習(xí)框架我建議研究生統(tǒng)一用 conda 管理環(huán)境一方面是環(huán)境隔離另一方面是方便復(fù)現(xiàn)?;A(chǔ)環(huán)境可以這樣建conda create -n dl python3.9 conda activate dl pip install torch torchvision pip install numpy pandas matplotlib scikit-learn tqdm tensorboard如果你做的是目標(biāo)檢測(cè)或分割大概率還需要安裝一些額外依賴比如 pyyaml、opencv-python、thop、einops。不同的項(xiàng)目依賴不同不要看到一個(gè)項(xiàng)目要求裝什么你就裝一堆最好先用 requirements.txt 安裝pip install -r requirements.txt如果該項(xiàng)目沒有 requirements.txt你可以在跑項(xiàng)目前用pipreqs生成一個(gè)但生成的依賴不一定完整最終還是要以實(shí)際運(yùn)行報(bào)錯(cuò)為準(zhǔn)。7.2 依賴版本對(duì)應(yīng)關(guān)系深度學(xué)習(xí)項(xiàng)目最怕的是 PyTorch 和 CUDA 版本不對(duì)應(yīng)。你需要知道自己的顯卡驅(qū)動(dòng)能支持哪個(gè) CUDA 版本。PyTorch 的安裝命令里指定了哪個(gè) CUDA 版本。項(xiàng)目里有沒有用到需要特定版本才能編譯的擴(kuò)展模塊。最常見的問題是RuntimeError: CUDNN_STATUS_NOT_INITIALIZED這個(gè)報(bào)錯(cuò)可能由很多原因?qū)е伦畛R姷氖秋@存不足、CUDA 版本和 cuDNN 版本不匹配、多進(jìn)程初始化問題。遇到時(shí)先不要改代碼先查顯存占用再查nvidia-smi和 PyTorch 的 CUDA 版本。7.3 報(bào)錯(cuò)處理順序一個(gè)通用順序是先看完整報(bào)錯(cuò)棧定位到項(xiàng)目代碼里的哪一行再檢查這行涉及的數(shù)據(jù)形狀、設(shè)備、類型然后再考慮依賴問題。不要一上來(lái)就重新安裝 PyTorch。很多報(bào)錯(cuò)只是輸入維度不對(duì)或類型不對(duì)。比如你把 torch.Tensor 傳給了 numpy 函數(shù)或者把 CUDA tensor 和 CPU tensor 做了運(yùn)算這些都會(huì)報(bào)錯(cuò)但都不是安裝問題。報(bào)錯(cuò)信息是最直接的第一現(xiàn)場(chǎng)。先自己讀兩遍再?gòu)?fù)制關(guān)鍵詞搜索不要直接把整屏報(bào)錯(cuò)丟到群里。7.4 內(nèi)存、顯存、磁盤、日志本地跑深度學(xué)習(xí)實(shí)驗(yàn)除了看報(bào)錯(cuò)還要關(guān)注資源占用。顯存用nvidia-smi查看顯存剩余。如果爆顯存優(yōu)先減小 batch size、降低分辨率或者使用梯度累積。內(nèi)存數(shù)據(jù)增強(qiáng)時(shí)可能大量復(fù)制數(shù)據(jù)內(nèi)存不足容易導(dǎo)致進(jìn)程直接被殺。可以在 dataset 里減少預(yù)加載或者用num_workers調(diào)低一點(diǎn)。磁盤訓(xùn)練日志、checkpoint、tensorboard 都很占空間。建議把輸出目錄固定定期清理舊模型。日志不要只保存模型不保存曲線。用 tensorboard 或 wandb 記錄 loss、學(xué)習(xí)率、準(zhǔn)確率等方便復(fù)盤。7.5 如果沒有 GPU 怎么跑如果你只有 CPU還是可以跑模型改進(jìn)相關(guān)的基礎(chǔ)實(shí)驗(yàn)但要注意三點(diǎn)模型盡量小ResNet18、MobileNet 這類輕量網(wǎng)絡(luò)可以跑ResNet50 也能跑但速度慢。數(shù)據(jù)集先抽樣比如一開始只用 10% 訓(xùn)練集驗(yàn)證代碼邏輯。不要直接開大步數(shù)訓(xùn)練。先用 1 個(gè) epoch 驗(yàn)證流程未來(lái)有 GPU 后再跑完整實(shí)驗(yàn)。模型改進(jìn)的本質(zhì)是實(shí)驗(yàn)科學(xué)你的代碼邏輯和實(shí)驗(yàn)設(shè)計(jì)在 CPU 上就能驗(yàn)證大半。唯一的問題是訓(xùn)練時(shí)間太長(zhǎng)不適合做大規(guī)模調(diào)參。8. 總結(jié)和留給你的行動(dòng)清單這篇文章寫下來(lái)核心思路其實(shí)就一句話模型改進(jìn)不是“加模塊”這個(gè)動(dòng)作本身而是圍繞“問題定位、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證”的一整套流程。能不能提分不完全取決于模塊有多新更取決于你在什么背景下加的模塊、怎么控制變量、怎么判斷結(jié)果。如果你現(xiàn)在正準(zhǔn)備開始做模型改進(jìn)我建議你按下面的行動(dòng)清單走先把環(huán)境搭好確認(rèn) PyTorch 和 CUDA 版本。下載一個(gè)帶預(yù)訓(xùn)練權(quán)重的標(biāo)準(zhǔn)模型比如 ResNet18 或 ResNet50跑通分類任務(wù)。固定隨機(jī)種子完整訓(xùn)練一次記錄基線指標(biāo)、顯存占用和訓(xùn)練時(shí)長(zhǎng)。選擇一個(gè)小而輕的模塊比如 SE 或 ECA加到網(wǎng)絡(luò)的指定位置。單批次前向驗(yàn)證確認(rèn)形狀和參數(shù)量變化。用和基線完全相同的配置訓(xùn)練對(duì)比指標(biāo)。如果指標(biāo)提升繼續(xù)做補(bǔ)充實(shí)驗(yàn)和可視化如果沒有提升先檢查訓(xùn)練是否充分、參數(shù)是否需要重調(diào)。每次只改一個(gè)變量記錄到實(shí)驗(yàn)表格里。深度學(xué)習(xí)領(lǐng)域里真正扎實(shí)的“創(chuàng)新”往往不是靈光一現(xiàn)而是把現(xiàn)有模塊用新的方式組合、改進(jìn)并驗(yàn)證。你不需要一開始就搞一個(gè)完全沒見過的模塊先把基本功練扎實(shí)把模塊和實(shí)驗(yàn)設(shè)計(jì)理解透后面自然會(huì)找到屬于自己的改進(jìn)點(diǎn)。如果這篇文章能幫你少走一點(diǎn)彎路那這次整理就是值得的。接下來(lái)打開你的代碼環(huán)境先把基線跑起來(lái)再說。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
龙兴卡官方查询| 国产女人高潮嗷嗷嗷叫小说| 人妻色偷色噜| 日韩欧美中文日韩欧美色| av一区二区三区 中文| 五月丁香激情综合| 超碰人妻中文在线| 中文字幕免费在线观看| 人人干人人操人人爱| 黄色小视频日本txt| 亚洲精品丝袜-不卡成人免费……| 久久久久骚| 久色99999| 天天网综合| 亚洲一曲日韩精品| 日韩人妻操B| 日韩精品影视| 亚洲精品久久久久毛片A片拉屎 | 亚洲精品第一| 99久久com免费视频′| 久草精品一区| 91亚洲网| 熟女突然公开看18禁影片| 欧洲综合视频| 蜜臀久久99精品久久久久电影| 人人妻碰人人免费| 国产高潮AA片免费看| 97硬碰| 天天日天天干天天摸天天操| 东北丰满熟女国产一区| 久久久久久性爱片| 97亚洲色图| 中文字幕一区二区韩| 国产超碰国产97| 亚洲图片视频小说| 国产午夜无码片在线观看影视| 婷婷国产精品九区| 亚州色综合| 亚洲午夜福利在线影院| 啊啊啊啊啊啊好湿好爽视频| 精品福利| 无码9区| 欧美亚洲宗合色性图| 国产强奸乱伦欧美| 91久久婷婷| 久湿久久| 九月丁香婷婷色| 欧洲免费一区二| 99在线观看视频在线高清| 强奸乱伦AV网址| 欧美日韩情色一区二区| 久久精品导航| 国产女人成人精品视频| 久久人妻少妇| 精品v日韩欧美国产| 亚洲熟妇无码一区二区三区| 国产乱子伦一区二区三区在线观看| 日韩不卡在线一区二区| 超碰地址97| 无码高清操逼网址| 爱干爱射网啊啊啊| 五月天我淫我色av| 啊嗯好大视频在线观看| 国产美女销魂在线观看不卡| 欧美亚洲第1页| 97美日韩视频| 99色综合| 久久三区四区| 熟女丰满人妻一区| 久久 精品| 97五月天| 五十路熟女人妻一区二区在线观看| 婷婷色播婷婷| 色悠悠伊人网五月天| 久久性爱大全| 久久精品成人| 91Chinese在线| 青青五月天| 熟女被操视频网址| 精品91| 极品色社| 色综合91好| 97人人草| julia国产在线| 抽插无码高清一区| 久热网| 色婷婷电影| 天天综合~91| 欧美日韩第一页| 自拍第一页| 欧美国产日韩高清在线| 十八禁黄色| 天天综合网站| 久久久久九九九| 天美传媒av 在线| 97超碰超碰| 97 亚洲 日韩 欧美 在线| 91av熟女人妻| 亚洲综合性网址| 日韩精品免费高清视频在线| 欧美宗合色| 人妻在线臀日韩| 99视频这有这里有精品| 日本加勒比无码专区一二三| 97人人超| 亚洲欧美人妻| 99国产精品久久久久久久成人热| av绯色| 亚洲色棕合| AA丁香综合激情| 曰韩中文人妻视频| 中出后入| 亚洲宅男天堂| 久久久久久亚洲中文| 美女91av| 婷婷久久综合| 亚洲av无线观看| 高清无码91| 精品人人| 欧美日韩精品一区二区三区高清| 久久精品28| 欧美亚综合色图| 国产一在线观看| 久久久久久人| 久久綜合很很很| 日本亚洲熟女视频| 日韩无码视频黄色| 91蜜桃传媒精品久久久一区二区| 日韩99999色| 国产成人亚洲精品无码古代早漏男| 久久精品国产97欧美精品亚洲 | 欧美另类综合久久| 国产精品美女| 久久久久九九九九九| 久操99| 乱伦3P视频| 97超碰久久| 久久少妇人妻| 亚洲一区二区三区麻豆传媒| 极品尤物在线观看| 乱伦3P视频| 97爱| 欧美韩日精品99综合| 色第一页| 亚洲欧美中日韩| 色官网在线| 国产久久免费精品视频| 美女久久久久久久久久久| 免费成人在线熟妇网| 五月天激情小说网| 丰满少妇乱子伦精品无| 国产精品成久久久久午夜午夜| 欧美天天在线| 蜜臀AV成人精品蜜臀| 五月丁香啪| 成人麻豆av电影网站| 欧美综合天天| 青青草一本道福利视频| 欧美熟女丝袜| 日韩精品人妻中文字幕有码午| 久热大香蕉| 成人性爱av.com| 久久久久久9| 精人妻无码一区二区三区伊人直播| 欧美极品女人的天堂| 思思性爱| caoni国产亚洲av| 天天干天天舔| 97超碰人妻| 男人的天堂Va| 中出20p| 91美女視頻| 91欧美另类| 玖玖爱综合| 丝袜美腿诱惑亚洲欧美视频在线观看| 国内毛片免费h片在线| 久久91视频| 欧美日韩午夜精品一区二区三区| 精品国产乱码久久久久久蜜臀| 天美久久久久| 2019男人的天堂| 亚洲素人网| 目产99999久久999| 丝袜视频一区二区在线播放国产中文| 天天天乱色综合全| 青青草国产亚洲精品久久| 婷婷丁香六月天| 新版天堂中文资源8在线| 尤物网址| 一区二区三区激情在线观看| 高清在线偷拍自拍视频| 天天色播亚洲综合网站| 日韩av一级黄片| 蜜乳AV一区二区三区四| 懂色AV中文| 超碰激情808| 麻豆久久久一区二区| 丁香六月综合激情| 婷婷色一区| 大香蕉亚洲中文| 99爱精品| 东北黄色电影| 国产精品对白内射| 2025亚洲男人天堂| 97 视频在线| 伊人精品视频| 动漫av中文| 2019午夜福利视频| 91精品国| 日韩成年人性爱视频| 久久国产在线一区二区| 91啦人妻| 综合五月婷婷亚洲一区| 欧美黄片欧美黄片xxx| 操逼逼中文字幕| 成人性爱美曰韩| 国人欧美精品一区二区| 丁香六月婷| 96精品在线| 97色在线观看| 国产欧美成人第一页在线观看| 亚洲色欲一区二区三区| 亚洲综合影片| 色亚州人久干视频在线观看免费版| 国产精品天干天干综合网麻豆| 色老牛| 学生妹天天看| 午夜福利合集| 91成人无码| 黑人免费福利视频| 亚洲字幕一区二区| 国产日韩中文字幕欧美| 日少妇视频| 制度丝袜99| 密乳AV免费观看| 亚洲欧综合另类无码一区| 亚洲精品乱码久久久久久蜜桃麻豆 | 成年男人的天堂| 神马午夜久久久| 亚洲自拍欧美色综合| 国产91丝袜在线播放蜜月| 91亚洲图片| 日本性感人妻91| 人人操人人摸人人看人人干| 精品-91人妻子系列| 91在线美女| 欧美国产一区二区三区麻豆传媒| 少妇高潮九九九九九九九| 一区二区高清视频| 韩国黄片aaaa| 人人爱操| 麻豆福利视频导航| 男人天堂毛片| 超碰精品日韩欧美国产| 亚洲一卡2卡3卡4卡乱码网站 | 加勒比人妻综合| 久久大香蕉97| 91色人妻| 午夜丁香| 干b在线性社区| 欧洲精品一二三在线| 青青草依人大香蕉| 亚洲第一免费视频| 91久久国产综合久久| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 天天综合网日韩| 波多野42部无码喷潮在线观看| 亚洲免费精品一区| 乱操9999| 69XX一中文字幕人妻91| 天天狠操| 另类在线| 尤物视频偷拍免费| 欧美色图电影| 精品超碰国产| 中文字幕十五区| 久艹免费| 久久久久久国产手机AV| 神马视频久久久久久| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 入口操逼网站| 日日日啊啊啊| 91美| 一级久久性爱视频| 超碰97久久观看| 偷拍 亚洲 欧美| 久久久久久精品免费看A级| 老鸭窝亚洲毛片| 日韩二区三四区五区六区在线看| 91老司机在线视频免费观看| 亚洲综合中文字幕有码| 国产一区二区三区不卡手机在线| 国产综合久| 日逼国产| 亚洲中文字幕日产无码久久| 亚洲超碰97| 五月丁香社区婷婷日韩欧美精品影院| 97超级久久强资源| 九九九九一区| 性爱乱伦网址| 超碰1997| wwwxxx日本爽| 久久最新视频免费观看| 999久久久国产精品| 视频分类 国内精品| 天天天乱色综合全| 国产精品九九九| 99色在线| av影院十区| 成人无码影片视频在线| 丝袜色综合| 免费公开人人操| 日韩一级二级在线| www国产无码| 国产女人高潮视频| 综合色欧美| 伊人久久大香大香线蕉中文| 久久婷婷欧美| 手机在线看片免费人成视频| AV色五月天| 99re公开精品免费视频| 超碰97在线色男人??| 国产日韩手机视频在线| 男人的天堂.com| 伦理第一页| 激情五月婷婷| 国产操逼网站亚洲一级黄色| 97天天爽| 欧美91精品国产自产| 婷婷综合视频| 久久久久国产精品久久久| 久操大香蕉手机视频在线看 | 久久国产精品熟女人妻| 久久男人精品| 亚洲精品97中文字幕| 草草影院日本第一页| AV高清一区| 五十路六十路素人熟女| AV在线资源| 亚洲免费在线探花| 国产吹潮女在线观看| 国产福利在线视频网站| 91日日夜夜| 亚洲综合婷婷| 亚洲天天综合| 中文字幕二区日韩天堂| 中文字幕精品探花视频| 婷婷尹人大香蕉免费| Aa东京男人的天堂| 亚洲色图殴美色图激情乱伦| 国产精品一二三| 久久精品性| 男女香蕉一区二区| 中文字幕黄色片| 超碰色97| 黑丝日韩av丝袜av| 亚洲操逼视频网站| 日本一二区不卡| 午夜天堂网| 亚洲色图欧美色图日韩色图| 欧美淫乱视频| 丝袜美腿诱惑亚洲欧美视频在线观看 | 啊啊啊操死我| 日韩久久超碰色| 中文字幕一二区二三区人妻专区| 天天干人妻视频| 午夜精品久久久久久久男人的天堂| 亚洲影视综合| 日韩欧美中文字| 色综合色综合网| 国产精品高潮呻吟av久久4虎| 久久神马影院| 天天色综合天天操| 婷婷婷婷婷婷久久久久| 天天大干大香蕉| 亚洲少妇色| 涩综合导航| 青青操视频在线| 亚洲成人网站在线观看| www.亚洲成人一区| 国产日韩中文字幕欧美| 天美传媒国产原创中文字幕亚洲欧美另类 | 日韩欧美综合激情| 啊啊啊啊好爽好舒服一区二区易域| 一牛影视久久久一区二区三区| 色就色综合| 久久久精品,3| 亚洲熟妇熟在线电影视频| 国产精品久久久久中文字幕| 中出欧美| 秋霞福利网| 欧美男人一区| www.亚洲黄色| 亚洲骚逼少妇| 91nbbbbbb| 久久一二三四五六七八九区区区 | 国产AV超爽| 精品欧美乱码久| www.高清无码诱惑一区.com| 女优视频第10页| 亚洲精品官网在线观看| 91夜色| 欧美色图自拍| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 久久夜夜| 熟妇激情| 欧美72网页| 国产亚洲人妻综合日韩 久久| 蜜乳AV.COM| 9Ⅰ老熟女| 人澡逼| 野狼激情网| 国产精品久久久久无码A√| 亚洲不雅视频1区二区| 男人的天堂久久狠| 国产青一二三| 噜噜吧,噜噜色,噜噜| 久久透逼视频| 夜夜骑夜夜操| 日本不卡一二区| 色偷综合| 精品无码人妻一区二区免费蜜桃| 欧美v亚洲v日韩v最新在线二区| 日本色色视频网站| 张柏芝国产一区在线观看| 久艹视频在线| 97精品久久久久中文字幕| 九九九九88| 色99在线| 丁香五月婷婷啪啪| 思思热免费视频观看| 高清国产精品无码| 日韩一级性爱无码| 无码精品久久久久久亚洲| 综合少妇网| 台湾佬中文娱乐网久久久久久久久久com | h无码动漫在线观看| 欧美人黑A片无码免视费| 亚洲色图欧美色18直播在线| 色婷婷一区二区三区久久午夜成人不| 亚洲激情天堂网| 中文字幕精品人妻丝袜| 97玖玖人妻| 丝袜熟女2P| 志村玲子视频一区二区| 99热久| 激情啪啪拍91| 5278欧美一区二区三区| 午夜影美女日鸡鸡天天视频国产| 亚洲一级性爱视频免费看| 免费av高清无码| 91 偷| 亚洲欧美清纯| 日韩97在线| 97国产|免费| 在线观看啊啊啊啊啊| 午夜福利一区二区三区四区五区色婷婷| 小骚逼被操的爽不爽| 国产白领连续中出在线播放| 99在线视频播放| 美女AV一区二区| 欧洲一区二区三区免费| 超碰在线97国产| 黄呦呦在线| 东京热精品97综合网| 夜夜狼人妻| 好看的91视频| 午夜后入| 97操综合| 欧美春色| 中文字幕精品探花视频| 色欲三区| 免费A V在线播放| 欧美人妻一区| 大香蕉97久久| 色婷婷在线视频精品导航| 国产13区| 男人网站婷婷| 日本不卡一区二区三区| 偷窥自拍亚洲| 美女性91| 久久久一区二区三区三州| 青娱乐欧美激情一区二区| 精品成人动漫一区二区| 亚洲一本大道中文字幕无码在线| 五月丁香激情综合网| 理论久久婷婷网 8| 久超超碰| 亚洲欧美日韩中文久久自慰| 久久久久女教师免费一区| 亚洲在线91| 久久綜合很很很| 熟妇高潮一区二| 亚州国产成人精品女人久久 | 久 久无码人妻AV| 亚洲色天| 国产最新小视频在线播放下载| 亚洲精品白浆高清久久久久久| 毛片久久| 中文字幕aⅴ在线视频| 成年女人18级毛片毛片免费观看| 日韩人妻少妇中文字幕| 久久久不卡区一区二区三区久久久| 天美传媒AV国产在线| 大香蕉手机在线| 亚洲国产成人精品女人久久久| 久久久精品中文字幕爱豆| 大香蕉免费乱伦视频| 日本在线一二| 骚逼一区二区| 中韩中文字幕在线观看| 日韩美女,国产传媒,视频一区| 99热线麻豆 | 无码又爽又硬又激情免费视频| 91色综合激情| 中文字幕第7页| 麻豆国产精品午夜视频| 久久精品色欧美aⅴ一区二区| 97爱免费插| 北条麻妃性愛视频| 91高潮| 久久久久亚洲?V片无码V| 久久久久久国产精品| 夜夜福利| 日本精品一级二级三级| 韩国一级婬片A片AAAAA| 91丝袜激情在线| 97久久久久| 欧美大香蕉同搞| 人妻加勒比东京热| 国产风韵犹存熟妇三区| 色综合一本| 五月天婷婷色色| 九九九九免费高| 欧美天天弄| 国产三区免费在线观看| 欧美97在线观看| 99热这里只有精品18| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲高清无码免费观看视频| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 夜夜嗨一区| 成人无码电影在线观看网| 99这里都是精品| 9久精品视频在线观看| 亚洲欧美天堂| 亚洲国产亚洲天堂| 人人爱人人操人人性| 毛片视频白嫩| 中文字幕一区二区三区人妻不卡 | 欧美翘臀视频网站一区二区三区| www.91理论| 久久久一热在线播放| 欧美人妖内射| 黄色一级视| 欧美午夜色妇色鬼| 91高清欧美| 一区二区三区四区免费视频| 青青草色情网站视频| 看全色黄大色大片免费视频| 性爱综合网| 国产深喉| 国产中文字幕曰本毛片| www被窝色com| 在线看的av| 精品九九九九九九九| 精品人妻中文字幕高清| 操人妻少妇中文 | 亚洲啪啪视频一区二区| 日韩钢筋无码高清啾啾啾| 亚洲97综| 天天透伊人| 97亚洲色图| 99只有精品| 天堂性色| 校园春色 男人天堂 | 美美91成人国产精品欧美精品久久久久久久| 97啪啪| 欧美日不卡| 亚洲久久久久| 中文字幕视频在线观看一区二区| 99国产精品| 国产丝袜视频| 精品九九九九九| 鲁鲁色综合网| 亚洲av噜噜噜噜噜噜| 性感女人网页在线观看视频| 亚洲一区二区三区春色| 色鬼在线综合| 99久久精品无码一区二区毛片免费| 丝袜狠狠草尤物人妻av91| 欧美第一页| 后入内射蜜桃臀| 欧美成人A√在线一区二区| 少妇天堂网络| 精品国产91av一区二区三区 | A级片一区| 超碰97资源中文字幕| 欧美大波激情xxxx| 91美女色视频亚洲| 一区二区三区黄片免费观看| 智利AV在线网| 99色色网| 夜夜骑夜夜操| 天天摸天天插天天日| 亚洲性爱成人| 日本九九久久99| 亚州AV无码国产精品| 加勒比色99999| 女优视频第10页| 国产主播福利| 少妇色综合| 日本一级黄色电影| 日本一区二区中文字幕久久| 北京美女一区二区| 日韩亚洲中文字幕在线| 97色操| 91久久国产综合久久| 日韩精品在线放| 天天香香欲综合| 国产一在线观看| 日日97| 日韩精品国产精品五码一区二区| 国产粉嫩蜜臀av一区二区三区| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 少妇熟女视频一区二区三区| 亚州色交| 精品中文字幕第一页| 欧美色吧综合| 6080YYY午夜理论片在线观看| 丰满丝袜少妇AV| 91操人| 操啊国产| 久超碰这里只有精品| 又大又黄国产| 乱伦av麻豆| 亚洲欧美在线丝袜| 九一亚洲国产免费| 特级毛片特黄久久免费看| 日本大香蕉综合网红本杳社区| AV一二区| 国产探花精品在线| 久久 精品| 亚洲男人天堂2013| 啊啊啊好爽快点啊啊啊嗯嗯| 午夜福利在线合集| 五月丁香激情四射| 日韩精品一区,二区 九九...老司机| 丁香六月激情| 国产精品免费日韩| 久久久久久精| 亚洲在线A| 97精彩视频网站| 日韩黄色一区二区三区| 日本乱人伦片中文三区| 日日骚精品视频| 女人天堂AV五区在线| 无码聚合| 激情综合网激情综合| 日本一级不卡一二区| 九九九九九九九九九九九免费国产| 天天搞在线综合网| 尤物网站91| 中文字幕人妻色偷偷久久皮 | 日韩在线视频1234| 韩国一级做A片免费的| 超碰日韩人妻| 超碰97 线线 在现| 亚洲综合贴图91| 99热免费| 成人婷婷丁香| 很很热性爱视频| 少妇3P性爱自拍| 国产美女在线精品免费看| 日韩99999| 欧美,日韩,中文,另类| 青青草色情网站视频| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 亚洲最大黄网| 五月激情小说| 亚洲精品影视老司机| 国产黄色影片在线观看| 欧美欧美啪啪视频| 91综合网在线| www.91视频网| 亚洲欧美校园| 色哟哟精品1精品2| 欧美高潮| 亚洲无限观看| 大香网伊人久久综合网eew| 久久久一热在线播放| 日日夜夜狠狠| 色婷五月| 九九色影院| 色婷婷电影网| 久久HD| 久久久久国产无av| www.久久爱| 五月天婷婷基地| 久久久久久久亚洲Av无码| 一级片在线观看高清无码| 精品日韩人妻视频| 亚洲97成人在线观看| 久久夜夜| 亚洲一区二区在线观看91| 亚欧美色| 久久久蜜桃臀无码视频| 久久久久久人| 久久精品国产亚洲粉嫩| 久久精品导航| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 精品少妇一区二区三区| com 首页 18岁 禁区 女优 免费 精选 同城| 校园春色宗合网| 久久亚洲熟妇在线视频| 国产精品午夜成人福利| 97伦综合| 果冻国产精品麻豆成人av| 日韩欧美aⅴ综合网站发布| 欧美伊人久久综合网| 国产无码高清操逼视频| 97资源视频| av亚欧| 日本成熟少妇A∨网站| 国产精品不卡高清在线观看| 92性色国产午夜福利在线661 | 欧美一二在线| 91天美传媒在线观看| 青青欧洲黑| 人妻熟女一区二区| 一区二区播放| 老熟女阿 国产91| 97亚洲在线| 无码久久亚洲高清,| 91情色在线| 亚洲天天操| 中字幕人妻一区二区三区| 国产久久成人| 日韩欧美一级特黄大片| 毛片电影一区二区三区| 极品五月天噜噜| 国产91精品久久久久久久网曝门| 不卡一区视频| 成人九九| 夜夜高潮夜夜爽高清视频一| 动漫片子网站3黄| 狠色婷婷久久一区二区三区_| 激情久久日韩精品中文字幕麻豆| 午夜啊啊| 国产传媒日韩欧美| 少妇无码av专区线| 粉嫩在线一区二区懂色| 韩国黄色片精品久久久| 大香蕉宗合网在线| 国产精品色哟哟| 97草草| 日日躁夜夜躁狠狠躁超爽| 91人妻人人澡人人爽人人精品| av强奸乱轮| 激情丁香婷婷| 四季AV综合网址| 色香综合天天影视综合 | 国产日逼视频| 在线可观看的黄色网址| 蜜臀国产AV中文字幕| 熟妇艹鸡八| 久久亚洲日韩国产欧| 久久久久九九九| 国产成年精品高清在线观看91| 久久xxxx| 手机在线中文字幕国产| 色婷婷狠狠| 日韩人妻精品中文字幕| 91人人| AAAAAAAAA黄片| 97亚洲综合在线| 久久久91福利姬| 精品视频在线观看| 美女午夜福利免费视频| 69人妻精品一区二区绯色| 欧洲亚洲人妻无码中字久久三区四区| 亚洲第一男人天堂| 国产操逼视频在线观看| 狠狠色色| 伊人国产av| 蜜臀久久99精品久久久久久成人小说 | 97人人模人人爽人人| 欧美黄色图片| 中文字幕视频二区| 中文字幕亚洲热播人妻| 麻豆天美国美国产| 欧美在线干| 久久午夜鲁丝片| 99视频内射三四| 欧美午夜视频| 蜜乳AV免费观看| 五月婷婷激情| 综合网亚洲1| 色在线亚洲视频www| 国语人妻精彩刺激| 97 国产精品| 国产精品黄色三级av| 夜夜一区二区| 国产精品久久久午夜夜伦鲁鲁| 国产无码精品高清| 95精品在线| 99超碰网| 亚洲精品日韩国产欧美| 裸体1区| 精品一区二区三区丰满熟女-亚洲欧美一区| 国产一区二区a毛片| 蜜桃精品一区二区三区ww| 欧美亚洲天天| 黄aaaaaaaaaaaaaaaaaa色网站| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 丰满翘臀美女影院视频| 9I1性色影院| 亚洲午夜福利在线影院| 久久久久久久久久久999| 搡老女人老91妇女老熟女| 99热自拍| 蜜臀在线网站| 欧美日韩香蕉| 亚洲一区亚洲天堂| 亚洲天堂中文字| 国产传媒一区日韩| 亚洲加勒比| 91视频国品一二三区| av久日| 日韩性爱视频在线免费观看 | 欧美 亚洲 偷拍自拍| 青青草精玖玖69精品| 综合久久9| 色色色网站| 国产搭汕a级片| 亚洲精品精品一区二区| 强奸熟女一区二区三区| 男人高清无码一区二区| 欧美论理片| 色就色综合| 四虎免费看黄| 99精品国产户外露出| 97欧美精品综合| 家庭乱伦麻豆| 天堂资源欧美| 香蕉国产精品麻豆亚洲欧美日韩| 91亚洲不卡一区| 在线日韩日本亚洲国产| 伊人成人情色综合| 精品国产Av无码久久久亚洲| 免费观看欧美日韩操逼视频| 91精品人妻一区二区三区蜜桃| 天天日天天插| 色欲天天综合久久久无码网中文| 800zy一区二区| 亚洲一区二区三区在线激情| 丝袜综合| 国产Aα| 天天操天天7| 超碰人妻在线| 丰满少妇一区二区三区免费看| 国产真实野战在线视频| 91色人妻| www久| www.色五月| yazhououmeizongya| 亚洲日本韩国在线| 99久久久| 任你艹| 97精品视频| 美性中文综合网| 亚洲.欧美.丝袜.中文.综合| av强奸乱轮| 26UUU欧美日本| 日韩青久久| 99蜜桃臀久久久欧美精品网站| 天天欧美欧美亚洲网| 日本国产成人亚洲精品无码| 久久国产在线一区二区| 国产精品久久久久久久久久久久久久吹 | 午夜精品久久久久久久99| 精品无码久久久久| 色诱avtt| 超碰亚洲97| 婷婷色在线| 最新国产精品久久精品| 久久久久国产精品片区无码直播 | 人妻丝袜日本| 97在线免费公开视频| 99在线啪| 风骚少妇视频中文字幕| 清清草影| 草久久久| 91美女视频在线| 中文字幕乱碼在线| 99xav| 国产丰满少妇久久久精品影院| 69人妻精品一区二区绯色| 欧美啪啪女女| 国产亚洲精品自在线亚洲情侣| 国产激情av女片自拍| 久久这里只精品免费福利| 日韩三级伦理中文字幕| 精品人妻一区二区免费看| 天天影视综合色| 久久亚洲日韩熟女精品| 天天干18禁| 96精品久久久久久久久久| 国产精品黑人一区二区三区| 精品日韩人妻视频| 思思视频免费看网站| 国产探花日韩援交| 国产高清精品一区二区三区毛片 | 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 久久久久久十| 色欧美综合| 欧美色综合网| 99热这里只有精品18| 日本道不卡| 欧美激情视频在线一区| 国产日韩在线播放av| 亚洲97久久精品亚洲| 国产超碰| 啊啊啊好湿国产一二| 天美精品一区二区三区四区在线观看| 久久久久密臀一区二区| 91n免费处女| 偷偷人人精品女女久久| 国产精品诱惑| 亚洲无码成人精品| 四虎影视永久在线免费| 九九亚洲视频| 亚洲天堂东京热| 日本熟妇精品九九| 超碰97久| 另类欧美色| 成人性爱AV在线免费观看| 国产一级不卡在线观看| 五月天社区| 国产天天骚| 欧美久久草熟女| 91老熟女老女人国产老太| 精品久久久久成人码免| 亚洲国产综合图区中文字幕| 欧美一区二区三区互相| 日本在线视频导航| 不卡九肏| 天堂网 主播 亚洲| 天天激清| 国产精品一级特黄aaa大片在线观看| 亚洲欧洲国产综合av| 99久久这里只有精品| 操我啊啊啊啊啊| 欧美91久久久久| 亚洲丝袜综合| 一级特级aaaa毛片免费观看| 九九热男人天堂| 天天天操天天天爱| 波多野结衣之双飞调教在线播放| 一级特黄aaa大片在线观看成人一级片在线观看 | 97在线观看免费视频l| 97在线免费看视频| 乳欲人妻办公室奶水| 日本美女性生活久久久久久久| aaa淫乱视频| 久午视频| 操逼操逼逼操操逼91 | 久操精品网| 久久久久久久久久黄色网| 97超碰公开| 亚欧免费| 极品白嫩福利在线| 日韩欧美三级| 啪啪资源网| 9999亚洲电影| www.91色| 视频在线观看青青99国产| 97香蕉网| www.色操逼| 欧美性后入| 清纯唯美亚洲| 色婷婷色99国产综合精品| 中出789在线视频| 9久精品| 国模吧 一区二区三区| 97天天弄| 成全动漫视频观看免费下载| 99色综合| 91综合天天看| 在线观看不卡一区二区三区| 天天日日舔舔| 呻吟 欧美 日本 中出| 午夜视频久久久久一区| 久久久久久中文字幕中文字幕最新| 久久久内射良家| 人人插人人摸人人| 妇女一区二区三区| 91激情综合| 天天夜躁日日躁狠狠2002| 2001天天操| 欧色网址| 看一级黄色视频| 欧洲亚洲综合| 综合在线导航一区| 91老司机在线视频免费观看 | 1人人看人人摸人人操| 一区=区三区视频| 亚洲欧美国产va在线播放频| 久无码| 91精品人妻偷情| 亚洲 日本 一 二 三| 亚洲色图日韩丝袜制服一区二区五月在线| 中文字幕,人妻,日韩| 和协无码影院| 成 人 A V免费视频在线观看| 天天摸夜夜摸| 午夜乱轮操逼视频免费看| 欧美色997| 日韩美女操b| 东京热99999| 国模少妇一区二区三区| 暴力av在线| AV综合中文字幕干| 青草精品视频一日本久久久久网站| www…国产操逼| 亚洲区 欧美区| 久久久一区二区三区四曲免费听 | 操学生天天| 青草草免费网站av| 日韩欧美资源| 91黑人无码激情在线| 中文三一区| 亚洲欧美校园另类春色| 老女人综合网| 三级网站超变态精品| 国产 无码 一区二区| 春色综合网| 最新一二三区视频| 天天日天天操天天射河南省| 超碰97资源大奶| 欧美日韩亚洲一区二区在线观看| 色拍偷亚洲| 成人精品在线| 欧美日韩另类激情图片| 国产大片精久久久久久| 久久精品国产亚洲AV成人直播| 欧美成人精品一区| 1区2区3区中文字幕日韩| 午夜啪啪片| 亚洲素人综合| 搡老女人老妇女老妇老熟女怎么读| 96久久久久| 操我啊啊啊啊啊| 午夜120视频在线观看| 精…码一二三区| 99热 按摩 日韩| 91黑丝露脚| 国产最火爆久久国产网站网站| 亚洲欧美天| 日韩AV色图| 丁香五月婷婷基地| 97九色| 男人的天堂日韩| 热久久91婷婷| 欧美色性爱| 东京热天堂网| 91在线视频免费中出| 日韩欧美俄罗斯A片| 亚洲天天自拍| 97 国产一区| 亚洲中文字幕av| 一区二区三区高清天码| 0755午夜福利视频| 啊嗯好大视频在线观看| 成人免费不卡在线视频| 性饥渴少妇av无码毛片| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 日韩AV一区二区三区三州三州| 亚洲精品乱码久久久久久蜜桃麻豆| 日韩欧美大片免费高清啪啪| 精品熟妇视频一区二区| 熟女高潮合集-永久久久-成人AV| 久久国产视频性吧| 亚洲天天做日日做天天谢日日| 78m成人视线| 亚洲人在线成线成人| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 天天色播| 久久久国产亚洲精品系列| 强奸抽插av| 少妇色| 国产精品97视频| 少妇人妻在线| 青娱乐大香蕉| 91色噜噜狠狠| 亚洲精品 大香蕉| av资源在线观看少妇| 激情小说成人日本无码一| 色吧5亚洲| 中文字幕欧美丝袜07资源| 欧美丝袜中文字幕07在线| 欧美一品道| 加勒比av官网在线| 国产一区自拍欧美日韩| 中国小夫妻勾搭露脸淫荡对白| 天天综合色电影| 亚洲精品日韩国产欧美| 屁屁影院一区二区三区国产| 天天干天天燥| 天天操天天射天天日| 成年人网站在线免费观看| 国产农村一一级特黄毛片| 和协无码影院| 蜜臀av一区二区三区免费观看| www.色婷婷色综合| 天天做天天爱夜夜爽毛片试看| 一区二区三区看视频| 丰满少妇精品一区二区| 少好三P| 欧美青青视频| 日韩三级在线观看mp4| 欧美白嫩女HD| 久久鲁夜| 曰韩香蕉97| 欧美日韩中国x| 嗯嗯嗯啊啊在线观看| 亚州五月| 一卡二卡三卡| 超碰色97| 国产精品久久| 国语av狠狠色丁香婷婷综合激情| WWW.操逼.COM| 国产精品黑人一区二区三区| 国产精品毛片?v一区二区三区| 久久超碰97| a片偷拍视频| 中国一级操逼视频| 日韩亚洲中文有码视频| 午夜理论片在线观看免费| 亚洲中文字幕av| 久久久精品视频免费观看| 亚洲性爱无码乱伦av| 秋霞免费AV| 亚洲激情网一二三四区| 精品视频久久久久九九九九9999| 欧美躁死她一区二区| 精产国品一区二三产品| 爆乳免费黄网站| 粉嫩小泬久久久一区二区| 99re综合伊人| 青青草原伊人网| 东京热天堂网| 日韩人妻制服丝袜av| 三级片网站在线播放| 欧美少妇大量自拍视频在线观看| 麻豆AV一区二区| 97超碰人操| 怡红院成人视频| 2023天天操夜夜操| 欧美18老人禁|