日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于PyTorch的圖像修復(fù)系統(tǒng):從原理到源碼復(fù)現(xiàn)實(shí)戰(zhàn)解析

基于PyTorch的圖像修復(fù)系統(tǒng):從原理到源碼復(fù)現(xiàn)實(shí)戰(zhàn)解析 簡介圖像修復(fù)是計(jì)算機(jī)視覺中極具實(shí)用價(jià)值的研究方向旨在通過算法自動(dòng)恢復(fù)圖像中缺失、遮擋或破損區(qū)域的像素內(nèi)容。傳統(tǒng)方法基于紋理合成或插值在面對(duì)大面積缺失時(shí)往往力不從心而基于深度學(xué)習(xí)的生成模型則能借助語義理解推斷出合理且自然的內(nèi)容。以生成對(duì)抗網(wǎng)絡(luò)GAN為核心、U-Net為生成器主干配合感知損失與對(duì)抗損失的聯(lián)合優(yōu)化已成為當(dāng)前主流技術(shù)范式。這類系統(tǒng)可用于老照片修復(fù)、物體移除、影視后期及醫(yī)學(xué)影像處理等真實(shí)場景。在實(shí)際工程落地中基于PyTorch搭建的修復(fù)項(xiàng)目需要重點(diǎn)關(guān)注數(shù)據(jù)Mask生成、生成器與判別器結(jié)構(gòu)、損失函數(shù)配比以及訓(xùn)練推理流程的穩(wěn)定性。本文圍繞一套完整的基于PyTorch的圖像修復(fù)源碼系統(tǒng)梳理其設(shè)計(jì)思路、環(huán)境配置、核心模塊實(shí)現(xiàn)與訓(xùn)練推理細(xì)節(jié)并針對(duì)常見問題給出排查方法適合需要學(xué)習(xí)或二次開發(fā)相關(guān)系統(tǒng)的開發(fā)者參考。 前兩天清理硬盤翻出一個(gè)標(biāo)注為“基于PyTorch的圖像修復(fù)系統(tǒng)”的源碼壓縮包順手解壓跑了一輪。圖像修復(fù)Image Inpainting是計(jì)算機(jī)視覺里一個(gè)很實(shí)用的方向輸入一張被遮擋、劃痕或物體缺失的圖片模型會(huì)自動(dòng)把缺失區(qū)域補(bǔ)出來比傳統(tǒng)克隆印章和插值算法自然得多。這類源碼適合正在學(xué)PyTorch的開發(fā)者研究也適合有圖像修復(fù)需求的產(chǎn)品工程師做二次開發(fā)。這篇文章就把整個(gè)系統(tǒng)的設(shè)計(jì)思路、環(huán)境搭建、核心代碼和復(fù)現(xiàn)過程中的坑完整梳理一遍。這類項(xiàng)目在網(wǎng)上有不少公開實(shí)現(xiàn)但大多只給了模型結(jié)構(gòu)訓(xùn)練流程寫得模糊數(shù)據(jù)預(yù)處理也不完整。我拿到這個(gè)壓縮包后重點(diǎn)檢查了三個(gè)東西數(shù)據(jù)加載和Mask生成邏輯、生成器和判別器的實(shí)現(xiàn)細(xì)節(jié)、訓(xùn)練與推理的入口配置。只要這三個(gè)地方能跑通整個(gè)系統(tǒng)基本就能復(fù)現(xiàn)。下面從頭開始拆。1. 項(xiàng)目整體設(shè)計(jì)與核心思路1.1 圖像修復(fù)任務(wù)與適用場景圖像修復(fù)的核心任務(wù)是給定一張帶有缺失區(qū)域的圖像以及標(biāo)明缺失位置的Mask模型需要生成與周圍上下文一致的像素內(nèi)容。用數(shù)學(xué)語言描述輸入是原始圖像 (I) 和掩碼 (M)其中 (M1) 的位置代表缺失區(qū)域修復(fù)目標(biāo)是估計(jì) (I_{out})使得 (I_{out}) 在 Mask 區(qū)域內(nèi)與真實(shí)內(nèi)容 (I_{gt}) 盡可能接近同時(shí)在視覺上沒有明顯接縫。傳統(tǒng)方法比如Telea算法和基于Patch匹配的紋理合成對(duì)細(xì)小劃痕處理還可以遇到大塊缺失區(qū)域就無能為力要么模糊要么紋理重復(fù)。深度學(xué)習(xí)模型能夠依據(jù)高層語義信息推斷出合理內(nèi)容比如補(bǔ)全一棟被遮擋的樓、一條被電線穿過的天空甚至生成原來并不確定的細(xì)節(jié)。實(shí)際落地場景主要有幾類老照片修復(fù)去除照片上的折痕、污漬、霉斑同時(shí)恢復(fù)背景紋理。圖像編輯把不需要的元素路人、水印、雜物從畫面中移除再用修復(fù)算法填充背景。影視后期對(duì)拍攝時(shí)無法規(guī)避的穿幫物體做內(nèi)容補(bǔ)全。醫(yī)學(xué)影像去除掃描圖像中的金屬偽影或運(yùn)動(dòng)偽影。這個(gè)源碼的通用性還不錯(cuò)只要你準(zhǔn)備了合適的Mask分布和數(shù)據(jù)集微調(diào)一下就能適配上述場景。1.2 源碼模塊結(jié)構(gòu)與架構(gòu)選型解壓壓縮包后典型工程結(jié)構(gòu)大致如下. ├── checkpoints/ # 模型權(quán)重保存位置 ├── configs/ # 訓(xùn)練和推理參數(shù)配置文件 ├── data/ # 數(shù)據(jù)集加載、Mask生成、數(shù)據(jù)增強(qiáng) ├── models/ # 生成器、判別器、損失函數(shù)定義 ├── utils/ # 圖像處理工具、評(píng)估指標(biāo) ├── train.py # 訓(xùn)練入口 ├── infer.py # 推理入口 ├── requirements.txt # 依賴列表 └── README.md # 使用說明拿到源碼千萬別急著訓(xùn)練先看README和requirements確認(rèn)作者用了哪個(gè)PyTorch版本、數(shù)據(jù)是什么格式、訓(xùn)練輸入尺寸是多大。很多人復(fù)現(xiàn)失敗問題不在模型而在版本和配置不一致。比如PyTorch 1.x和2.x在某些算子行為上差異不小模型代碼里如果用了torch.nn.functional.interpolate的align_corners參數(shù)版本不同結(jié)果可能完全不同。架構(gòu)選型上這個(gè)項(xiàng)目遵循了主流修復(fù)框架的設(shè)計(jì)生成器用U-Net變體配合部分卷積或門控卷積判別器用PatchGAN損失函數(shù)由像素重建損失、感知損失和對(duì)抗損失組成。這樣組合的原因是重建損失讓網(wǎng)絡(luò)學(xué)到穩(wěn)定的基礎(chǔ)結(jié)構(gòu)感知損失從特征層面保證語義一致對(duì)抗損失負(fù)責(zé)讓修復(fù)區(qū)域紋理更真實(shí)。2. 環(huán)境準(zhǔn)備與依賴安裝2.1 PyTorch環(huán)境搭建的完整步驟先強(qiáng)調(diào)一件事圖像修復(fù)訓(xùn)練必須GPU純CPU跑會(huì)慢得讓人懷疑人生。配置環(huán)境我建議用Anaconda管理虛擬環(huán)境不要直接裝在base環(huán)境里否則后面項(xiàng)目一多依賴沖突能煩死你。創(chuàng)建獨(dú)立環(huán)境并激活conda create -n inpaint python3.8 -y conda activate inpaint接下來安裝GPU版PyTorch。先看自己機(jī)器的CUDA支持情況nvidia-smi輸出右上角能看到驅(qū)動(dòng)支持的最高CUDA版本比如12.1那么安裝PyTorch時(shí)選擇cuda 12.1或比它低的版本都可以。注意nvidia-smi顯示的CUDA版本是驅(qū)動(dòng)支持的版本不是當(dāng)前環(huán)境已經(jīng)裝好的版本。實(shí)際安裝PyTorch時(shí)conda會(huì)自動(dòng)把配套的CUDA runtime和cuDNN一起裝進(jìn)虛擬環(huán)境所以不需要單獨(dú)裝CUDA Toolkit除非你要編譯自定義算子。安裝命令示例conda install pytorch torchvision pytorch-cuda11.8 -c pytorch -c nvidia如果下載速度不穩(wěn)定可以用清華源加速但要注意conda和pip的源不要混著換出問題。我這里不展開說鏡像配置重點(diǎn)是你的pytorch-cuda版本要和顯卡驅(qū)動(dòng)兼容。裝完之后驗(yàn)證python -c import torch; print(torch.__version__, torch.cuda.is_available())輸出True說明CUDA可用否則要重新檢查安裝步驟。2.2 依賴庫安裝與預(yù)訓(xùn)練權(quán)重準(zhǔn)備requirements.txt里面一般會(huì)有這些庫torch torchvision opencv-python numpy pillow tqdm tensorboard scikit-image批量安裝pip install -r requirements.txt如果需求里有pytorch-msssim、lpips這類評(píng)估指標(biāo)庫建議一并裝上后面測試效果會(huì)用到。安裝時(shí)如果遇到opencv-python編譯慢可以直接用阿里云或豆瓣的鏡像源安裝。數(shù)據(jù)集方面如果只是想快速跑通流程不需要一上來就下載Places2這么大的數(shù)據(jù)集??梢韵饶肅elebA或COCO的子集試跑甚至用自己拍攝的幾十張照片也能驗(yàn)證。但需要注意修復(fù)模型對(duì)數(shù)據(jù)量有要求數(shù)據(jù)太少容易過擬合表現(xiàn)就是訓(xùn)練loss很低換一張新圖效果崩。公開數(shù)據(jù)集我常用Places2和CelebA-HQ前者適合場景補(bǔ)全后者適合人臉修復(fù)。預(yù)訓(xùn)練權(quán)重一般放在checkpoints目錄。加載權(quán)重時(shí)報(bào)size mismatch是最常見的問題原因通常是模型結(jié)構(gòu)和state_dict鍵名對(duì)不上。遇到這種情況先用torch.load把權(quán)重load進(jìn)來打印model_state_dict的keys和當(dāng)前模型的keys做對(duì)比缺哪個(gè)補(bǔ)哪個(gè)多了的刪掉再加載就順暢了。2.3 訓(xùn)練與推理的關(guān)鍵參數(shù)解析打開配置文件常見參數(shù)如下表所示參數(shù)推薦值說明image_size256 / 512輸入圖像尺寸越大越消耗顯存batch_size4 ~ 8顯存不足時(shí)優(yōu)先調(diào)低learning_rate1e-4 ~ 2e-4Adam優(yōu)化器常用范圍lambda_rec10重建損失權(quán)重lambda_perceptual0.1感知損失權(quán)重lambda_adv1對(duì)抗損失權(quán)重iterations100000按迭代數(shù)訓(xùn)練更常見save_interval5000每隔多少步保存一次模型這里重點(diǎn)說下?lián)p失權(quán)重的影響。重建損失權(quán)重太高模型傾向于輸出平滑結(jié)果細(xì)節(jié)會(huì)糊對(duì)抗損失權(quán)重太高訓(xùn)練不穩(wěn)定容易出現(xiàn)色彩失真。我用過的組合里先固定lambda_rec10, lambda_perceptual0.1再逐步從0.1調(diào)到1效果會(huì)更可控。訓(xùn)練過程中需要同時(shí)關(guān)注生成器和判別器的loss比例判別器loss長期接近0說明生成器完全打不過判別器梯度幾乎沒有需要降低判別器學(xué)習(xí)率。3. 核心模塊源碼解析與實(shí)操3.1 數(shù)據(jù)加載與Mask生成邏輯數(shù)據(jù)加載是第一個(gè)容易踩坑的地方。Pytorch的Dataset類返回的樣本格式必須和模型輸入對(duì)齊。修復(fù)任務(wù)中輸入不是單一圖像而是“損壞圖像 Mask”的組合。很多實(shí)現(xiàn)會(huì)在__getitem__里做以下操作讀取完整圖像并做隨機(jī)裁剪或resize。生成隨機(jī)Mask。根據(jù)Mask對(duì)圖像做損壞處理比如把Mask區(qū)域像素置為0。將Mask歸一化為0/1并與圖像在通道維度拼接得到4通道輸入。返回(input_tensor, mask_tensor, gt_tensor, mask_for_loss)。Mask生成是重點(diǎn)。如果Mask全是隨機(jī)矩形模型只會(huì)補(bǔ)矩形區(qū)域遇到真實(shí)劃痕就失效。我在項(xiàng)目里看到比較實(shí)用的做法是生成三種類型隨機(jī)矩形塊模擬物體遮擋。隨機(jī)線條和曲線模擬劃痕。不規(guī)則多邊形模擬污漬。實(shí)現(xiàn)時(shí)可以用OpenCV畫線、畫多邊形再配合膨脹腐蝕讓Mask邊緣更自然。簡單示例import cv2 import numpy as np def random_mask(height, width): mask np.zeros((height, width), dtypenp.uint8) # 隨機(jī)矩形 x, y, w, h np.random.randint(0, width//3, 4) mask[y:yh, x:xw] 255 # 隨機(jī)線條 pts np.random.randint(0, height, (2, 2)) cv2.line(mask, tuple(pts[0]), tuple(pts[1]), 255, 10) mask cv2.dilate(mask, np.ones((5, 5), np.uint8)) return mask / 255.0這只是示例正式項(xiàng)目里會(huì)加入更多形態(tài)變化。Mask生成時(shí)一定要保證訓(xùn)練和推理的Mask分布一致。如果訓(xùn)練時(shí)Mask區(qū)域都是小面積推理時(shí)給一個(gè)大面積Mask模型就會(huì)表現(xiàn)得很差。3.2 生成器與判別器的網(wǎng)絡(luò)實(shí)現(xiàn)細(xì)節(jié)生成器最基礎(chǔ)的做法是把U-Net輸入改成4通道中間換幾個(gè)殘差塊輸出3通道。但標(biāo)準(zhǔn)卷積在處理Mask區(qū)域時(shí)有天然缺陷卷積核對(duì)所有像素一視同仁缺失區(qū)域的零像素會(huì)污染特征導(dǎo)致修復(fù)結(jié)果有灰斑和邊界模糊。所以成熟的修復(fù)項(xiàng)目會(huì)用部分卷積或門控卷積。部分卷積的核心思路是在卷積操作時(shí)只對(duì)有效像素做計(jì)算讓Mask區(qū)域不參與特征更新。輸出是這樣算的out W * (X * M) / sum(M) b mask_out 1 if sum(M) 0 else 0每一步卷積后Mask也要跟著更新這樣網(wǎng)絡(luò)能自動(dòng)判斷哪些位置已經(jīng)被修復(fù)哪些還需要繼續(xù)生成。用PyTorch自定義部分卷積層要注意實(shí)現(xiàn)細(xì)節(jié)比如分母sum(M)不能為0需要加一個(gè)epsilon。判別器用PatchGAN。簡單來說它不是輸出一個(gè)全局真/假標(biāo)量而是輸出一個(gè)特征圖比如16x16的矩陣每個(gè)值代表輸入圖像局部區(qū)域是真還是假。這么做可以讓判別器關(guān)注局部紋理一致性避免出現(xiàn)“整體像局部崩”的情況。PatchGAN實(shí)現(xiàn)并不復(fù)雜import torch.nn as nn class PatchDiscriminator(nn.Module): def __init__(self, in_channels3): super().__init__() self.layers nn.Sequential( nn.Conv2d(in_channels, 64, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(64, 128, 4, 2, 1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2), nn.Conv2d(128, 256, 4, 2, 1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2), nn.Conv2d(256, 1, 4, 1, 1) ) def forward(self, x): return self.layers(x)實(shí)際項(xiàng)目里輸入可能是4通道含Mask需要微調(diào)第一層輸入尺寸。3.3 損失函數(shù)組合與訓(xùn)練循環(huán)模型的優(yōu)化目標(biāo)不是一個(gè)loss而是多個(gè)loss的加權(quán)和。典型組合如下loss_rec l1_loss(pred, gt, mask) # 只計(jì)算Mask內(nèi)區(qū)域 loss_perceptual perceptual_loss(pred, gt) # VGG特征距離 loss_adv gan_loss(discriminator(pred), real_label) total_loss loss_rec * w_rec loss_perceptual * w_perceptual loss_adv * w_adv重建損失用L1比L2好L2會(huì)過度懲罰大誤差導(dǎo)致輸出偏向平均顏色邊緣會(huì)變模糊。L1對(duì)離群值更魯棒能保留更多細(xì)節(jié)。感知損失一般用ImageNet預(yù)訓(xùn)練的VGG16取relu1_1, relu2_1, relu3_1, relu4_1幾層特征計(jì)算生成圖與真實(shí)圖特征之間的L1距離。注意使用預(yù)訓(xùn)練VGG時(shí)輸入圖像要做相同的歸一化否則特征值分布不同感知損失的意義會(huì)打折扣。訓(xùn)練循環(huán)里生成器和判別器交替更新。一個(gè)常見的策略是每個(gè)iteration里先更新生成器再更新判別器或者每更新一次生成器更新兩次判別器。這個(gè)項(xiàng)目源碼里如果沒有控制判別器更新頻率訓(xùn)練出現(xiàn)震蕩可以自己加一個(gè)if step % 2 0的更新判別器邏輯。訓(xùn)練日志建議記錄step, total_loss, rec_loss, perc_loss, adv_loss, d_loss, psnr, ssim偽代碼可以這樣寫for step in range(total_iterations): real_img, real_gt, mask next(data_loader) masked_img real_img * (1 - mask) # 訓(xùn)練生成器 fake_img generator(torch.cat([masked_img, mask], dim1)) rec_loss l1_loss(fake_img, real_gt, mask) perc_loss vgg_loss(fake_img, real_gt) adv_loss gan_loss(discriminator(fake_img), real_label) g_loss rec_loss * w_rec perc_loss * w_perc adv_loss * w_adv g_optimizer.zero_grad() g_loss.backward() g_optimizer.step() # 訓(xùn)練判別器 real_pred discriminator(real_gt) fake_pred discriminator(fake_img.detach()) d_loss (gan_loss(real_pred, real_label) gan_loss(fake_pred, fake_label)) * 0.5 d_optimizer.zero_grad() d_loss.backward() d_optimizer.step()這里面有一個(gè)很容易忽略的細(xì)節(jié)計(jì)算重建損失時(shí)建議把mask也作為權(quán)重傳入只計(jì)算Mask區(qū)域內(nèi)的像素差。如果把全圖都算進(jìn)去背景區(qū)域占了絕對(duì)主導(dǎo)模型很容易學(xué)到“把背景復(fù)制一下就行”對(duì)被遮擋區(qū)域毫無生成能力。4. 實(shí)戰(zhàn)從零訓(xùn)練與圖像修復(fù)推理4.1 用自己的數(shù)據(jù)集跑通訓(xùn)練建議第一次跑用一個(gè)小數(shù)據(jù)集比如從公開數(shù)據(jù)集里挑500張圖片設(shè)置訓(xùn)練步數(shù)1000步目標(biāo)不是效果好而是驗(yàn)證整個(gè)鏈路是通的數(shù)據(jù)加載正確、模型前向正常、損失能下降、權(quán)重能保存和加載。這一步通過后再全量訓(xùn)練能省下大量排查時(shí)間。使用自己的數(shù)據(jù)集時(shí)先創(chuàng)建一個(gè)data_list.txt每一行是圖片路徑/path/to/train/000001.jpg /path/to/train/000002.jpg ...然后修改config把data_root指向這個(gè)txt設(shè)置好image_size、batch_size等參數(shù)。執(zhí)行訓(xùn)練python train.py --config configs/train_config.yaml訓(xùn)練啟動(dòng)后觀察前幾個(gè)迭代的日志。正常情況下loss應(yīng)該在穩(wěn)步下降PSNR和SSIM緩慢上升。如果loss曲線劇烈震蕩我的經(jīng)驗(yàn)是先把學(xué)習(xí)率調(diào)低一個(gè)數(shù)量級(jí)比如從1e-4調(diào)到1e-5再看是否穩(wěn)定。如果生成器loss和判別器loss走勢極不平衡參考上一節(jié)提到的調(diào)整訓(xùn)練頻率。訓(xùn)練時(shí)長方面單張RTX 3090跑256×256輸入、batch_size810萬步大約需要2天。如果想快速驗(yàn)證可以先用--max_iters 2000跑一小段。4.2 推理流程與效果對(duì)比推理流程比訓(xùn)練簡單但精度問題同樣不可忽視。命令類似python infer.py --image samples/test.jpg --mask samples/mask.png --checkpoint output/latest.pth --output result.png推理腳本內(nèi)部一般做這四步讀取圖像和Mask統(tǒng)一resize到訓(xùn)練尺寸。圖像和Mask拼接經(jīng)過生成器前向計(jì)算。生成結(jié)果與原始圖像融合保留原始圖中未損壞區(qū)域。保存輸出圖像必要時(shí)做后處理。這里的關(guān)鍵是融合。不能把生成器的整個(gè)輸出直接作為結(jié)果因?yàn)樗诜荕ask區(qū)域也會(huì)產(chǎn)生偏移導(dǎo)致原圖背景被改。正確的融合方式是result original_image * (1 - mask) generated_image * mask如果發(fā)現(xiàn)修復(fù)區(qū)域邊緣有接縫可以對(duì)Mask做一次高斯模糊或者把Mask膨脹幾個(gè)像素讓融合過渡更自然。顏色偏色問題時(shí)檢查推理時(shí)是否做了和訓(xùn)練一樣的歸一化。很多項(xiàng)目訓(xùn)練時(shí)把像素映射到[-1,1]推理時(shí)忘了減均值除方差出來的圖就會(huì)明顯偏色。效果對(duì)比時(shí)我習(xí)慣把原圖、Mask、修復(fù)結(jié)果拼在一張畫布里方便肉眼評(píng)估。重點(diǎn)關(guān)注三塊邊緣過渡是否自然、紋理是否重復(fù)、顏色是否一致。4.3 評(píng)估指標(biāo)PSNR/SSIM如何看在有真實(shí)完整圖像的測試集上可以計(jì)算PSNR和SSIM。PSNR越高越好通常修復(fù)模型能到25~35dBSSIM越接近1越好。另一個(gè)更接近主觀感受的指標(biāo)是LPIPS值越低越好。但客觀指標(biāo)和人的感受經(jīng)常不一致。GAN生成的結(jié)果紋理細(xì)膩但像素級(jí)偏移大PSNR可能反而不如模糊的結(jié)果。因此評(píng)估時(shí)必須同時(shí)看主觀效果圖不能只看分?jǐn)?shù)。我自己的習(xí)慣是先用PSNR/SSIM篩掉明顯不行的模型再用肉眼對(duì)比候選模型的修復(fù)圖最后根據(jù)應(yīng)用場景做決定。如果業(yè)務(wù)場景對(duì)真實(shí)性要求高LPIPS和人工評(píng)測優(yōu)先級(jí)要提前。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂或損失異常訓(xùn)練時(shí)遇到loss變成NaN最先檢查三件事輸入圖像有沒有全黑或全白、Mask是否全0、學(xué)習(xí)率是否過大。圖像修復(fù)模型輸入是全零區(qū)域時(shí)前向計(jì)算容易出現(xiàn)梯度異常??梢韵劝褜W(xué)習(xí)率降到1e-5跑一個(gè)iteration看看如果還NaN就要檢查數(shù)據(jù)歸一化和模型權(quán)重初始化。另一個(gè)常見情況是loss快速下降但不代表效果好。生成器可能學(xué)會(huì)了一種投機(jī)取巧的方式非Mask區(qū)域直接復(fù)制Mask區(qū)域輸出平均色。這樣重建loss很低PSNR也可能不差但視覺上一塌糊涂。解決辦法是提高感知損失和對(duì)抗損失的權(quán)重并定期人工查看生成圖。我遇到的訓(xùn)練崩潰還有一個(gè)隱藏原因用FP16混合精度訓(xùn)練時(shí)loss數(shù)值不穩(wěn)定。如果源碼默認(rèn)開了amp可以關(guān)閉再試或者調(diào)整grad_scaler的初始化比例。修復(fù)模型對(duì)精度比較敏感穩(wěn)定優(yōu)先于速度。5.2 修復(fù)結(jié)果模糊或偽影嚴(yán)重模糊是因?yàn)槟P蜎]有高頻細(xì)節(jié)常見原因包括重建損失權(quán)重過高、網(wǎng)絡(luò)容量不足、輸入分辨率過低。我的做法是先降低lambda_rec同時(shí)確保lambda_perceptual不是0否則模型會(huì)大量丟失紋理。如果還模糊考慮換更大的生成器或增加中間通道數(shù)。偽影一般出現(xiàn)在GAN訓(xùn)練不穩(wěn)定時(shí)。表現(xiàn)為修復(fù)區(qū)域有斑點(diǎn)、彩色條紋或過銳利的邊緣。可以考慮降低對(duì)抗損失權(quán)重。使用LSGAN或Hinge Loss代替標(biāo)準(zhǔn)BCE。判別器增加譜歸一化。訓(xùn)練前期凍結(jié)判別器只訓(xùn)練生成器若干千步。偽影還可能與推理分辨率有關(guān)。如果訓(xùn)練是256×256推理時(shí)給512×512的圖模型沒見過這么大尺寸容易產(chǎn)生結(jié)構(gòu)畸變。此時(shí)優(yōu)先保證推理尺寸和訓(xùn)練一致再考慮是否使用支持任意分辨率的結(jié)構(gòu)。5.3 環(huán)境兼容性與顯存不足問題環(huán)境兼容性問題中最常見的是PyTorch和CUDA版本不匹配。安裝PyTorch時(shí)如果選了比驅(qū)動(dòng)支持更高的CUDA版本會(huì)直接報(bào)CUDA driver version is insufficient。解決辦法是用nvidia-smi確認(rèn)支持版本然后重新安裝匹配的PyTorch。顯存不足的報(bào)錯(cuò)形式一般是RuntimeError: CUDA out of memory. Tried to allocate X MiB我推薦的排查順序降低batch_size到2甚至1。降低圖像尺寸比如從512降到256。設(shè)置torch.backends.cudnn.benchmarkTrue有時(shí)候能省顯存。使用梯度累積模擬大batch。開啟torch.utils.checkpoint梯度檢查點(diǎn)用計(jì)算換顯存。使用混合精度訓(xùn)練FP16。注意DataLoader的num_workers調(diào)大并不會(huì)減少顯存占用反而可能因?yàn)槎噙M(jìn)程緩存導(dǎo)致整體內(nèi)存上漲。顯存不足時(shí)可以先關(guān)掉驗(yàn)證集評(píng)估因?yàn)轵?yàn)證過程也占用顯存。5.4 常見問題速查表問題可能原因解決辦法loss為NaN學(xué)習(xí)率過大或輸入包含無效值降低學(xué)習(xí)率檢查數(shù)據(jù)歸一化修復(fù)區(qū)域模糊重建損失權(quán)重過高或網(wǎng)絡(luò)容量不足降低lambda_rec增加網(wǎng)絡(luò)寬度邊界有接縫推理融合未處理Mask對(duì)Mask做膨脹或高斯模糊后融合顏色偏色推理歸一化與訓(xùn)練不一致統(tǒng)一預(yù)處理邏輯CUDA out of memorybatch_size/分辨率過大調(diào)小尺寸使用FP16梯度累積預(yù)訓(xùn)練權(quán)重加載失敗模型結(jié)構(gòu)和權(quán)重鍵名不匹配打印keys逐一對(duì)比手動(dòng)修改state_dict大型Mask修復(fù)效果差訓(xùn)練時(shí)Mask面積分布不匹配增加不規(guī)則大Mask的數(shù)據(jù)增強(qiáng)6. 項(xiàng)目擴(kuò)展方向與個(gè)人心得6.1 如何擴(kuò)展到自己的業(yè)務(wù)場景單純跑通一個(gè)開源項(xiàng)目不算本事能把它用起來才是目標(biāo)。假設(shè)你要做老照片修復(fù)需要自己準(zhǔn)備一批帶劃痕的圖片或者模擬劃痕生成訓(xùn)練數(shù)據(jù)要移除水印就得專門生成文字區(qū)域的Mask。千萬不要通用模型一把梭效果大概率不如預(yù)期。擴(kuò)展方面可以考慮模型導(dǎo)出。PyTorch模型可以用ONNX導(dǎo)出再用TensorRT做推理加速方便部署到服務(wù)端torch.onnx.export( generator, (dummy_img, dummy_mask), inpaint.onnx, input_names[image, mask], output_names[output], dynamic_axes{image: {0: batch}, mask: {0: batch}} )ONNX導(dǎo)出時(shí)要注意自定義層比如部分卷積中的Mask更新可能不支持導(dǎo)出需要把部分卷積改寫成兼容算子或者用torch.onnx.export時(shí)設(shè)置custom_opsets。這塊我踩過坑建議先導(dǎo)出一個(gè)最簡模型驗(yàn)證通道。另外把修復(fù)系統(tǒng)包裝成API接口也很實(shí)用。用FastAPI加載模型接收?qǐng)D像和Mask返回修復(fù)結(jié)果這樣就能接入小程序、網(wǎng)頁或后端服務(wù)。要注意的是并發(fā)場景下顯存可能不夠可以考慮單進(jìn)程單GPU隊(duì)列方式避免多個(gè)請(qǐng)求同時(shí)占用顯存導(dǎo)致OOM。6.2 實(shí)操后的幾點(diǎn)建議最后說幾點(diǎn)我反復(fù)踩坑之后總結(jié)出來的經(jīng)驗(yàn)。第一個(gè)是“先復(fù)現(xiàn)再創(chuàng)新”。拿到源碼后不要著急改結(jié)構(gòu)先用作者給的預(yù)訓(xùn)練權(quán)重和測試命令跑通確認(rèn)整個(gè)鏈路能出成果再開始替換模型、改損失函數(shù)否則出現(xiàn)問題根本分不清是原代碼的鍋還是你自己改的鍋。第二個(gè)是“每次只改一個(gè)變量”。圖像修復(fù)模型效果受多個(gè)因素影響如果一次改了三四個(gè)參數(shù)效果變差了你完全不知道是哪個(gè)參數(shù)導(dǎo)致的。我習(xí)慣用實(shí)驗(yàn)管理工具記錄每次訓(xùn)練的配置、log和輸出圖比如簡單地把每個(gè)實(shí)驗(yàn)放在單獨(dú)目錄命名帶上參數(shù)摘要。第三個(gè)是保存模型時(shí)把配置一起保存。只存state_dict有個(gè)問題過幾個(gè)月你自己都忘了當(dāng)時(shí)用了什么image_size、什么損失權(quán)重、什么歸一化方式。最好是存一個(gè)字典包含model_state_dict、config和源碼版本方便日后加載和新環(huán)境復(fù)現(xiàn)。在實(shí)際修復(fù)效果上別迷信單模型很多時(shí)候“檢測Mask 修復(fù) 后處理”的pipeline比單獨(dú)調(diào)模型更有效。先用分割模型自動(dòng)生成Mask修復(fù)后再用銳化或顏色校正提升觀感。這個(gè)思路能大幅提高項(xiàng)目的落地價(jià)值也是我把這個(gè)源碼項(xiàng)目吃透之后最想分享的一點(diǎn)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
诱惑人妻欧美一区在线播放| 久久露脸国产老熟女| 高清国产精品无码| 激情六月婷婷| 国产一二三福利视频网| 伊人精品久久网站| 91夜夜蜜桃臀1区2区3区| 欧美爱国产综合、| 在线观看高清AV| 五月丁香影院| 日本高清视频在线观看黄已三辽| 一线黄色免费性爱片| 超踫中文字幕| 99re6在线视频播放免费精品| 亚洲日韩精品久久久久一区壹牛| 一区二区三区 丝袜 高跟 美腿| 久九9精品| 亚洲九九视频在线观看| 日韩av不卡在线看| 啊啊啊啊啊好大好舒服想要| 在线观看不卡一区二区三区| 色香色香欲天天天影视综合网| 精品久久久中文字幕不| 久久久久久久| 清纯唯美亚洲| 午夜120视频在线观看| 美女黄频a美女大全免费皮| 亚洲天堂区| 在线 亚洲 网爆 自拍| 国产熟码AV| 久久久一区二区三区四区五区| 欧美91精品国产自产| 小说区 图片区色 综合区| 国产探花日韩援交| 婷婷色五月激情| 丝袜制服字幕在线| 熟女高潮精品一区二区| 欧美日韩国产另类综合| 亚洲天堂,男人| 欧亚第一综合网| 国产亚热在线久久| www熟女乱伦com| 欧美黄色大香蕉一区二区| 91碰碰碰| 亚洲中亚日激情视频| 久久青青草在线视频| 小日子操bb在线看| 日本人体九九九九九九| 蜜臀无码一区二区| 韩国女主播青草在线| 国产午夜精品在线观看| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 91欧美巨乳| 亚洲图片视频小说| 思思99热| 天天看片青娱乐| 好舒服视频| 国产怡红院| 亚洲欧美国产va在线| 精品午夜福利| 大香蕉520| 黄资源| 精品国产乱子伦一区二区三区,精品一 | 欧美激情久| 久操免费观看| 99在线免费视频| 国产女人9999| 国产野战露脸在线播放| 色妹子A V| 国产97在线播放| 中文字幕奈奈美被公侵犯| 人妻熟女字幕一区二区| 婷婷激情四射| 欧美一区二区三区日韩| 精品无码久久久久| 日本成人电影资源网| 国产自产91区13区| 久久春色| 91美女中出| 亚洲人综合| 日韩黄片视频试看| 超碰97最新人妻| 亚洲AV成人精品网站在AV| 97久久超碰| 超碰在线成人电影| 亚洲啪啪性视频| 嗯~啊~快点 死我视频免费看网站| 这里是精品| 熟妇人妻精品一区二区| 日韩免费人妻色情网站| 91天天综合日韩欧美| 婷婷六月色| 人妻喷水| 欧美黄色片AAAAA| 久久久久久波多野吉衣高潮| 亚洲一级特黄大片在线播放91| 麻豆黄四叶草网站| 国产精品久久久无码aV去| 亚洲欧洲小说图片视频| 13小男生GAY自慰脱裤子| 久久久精品国产亚洲伊人| 91岛国动作片| 亚洲春色激情小说| 国内亚洲高清无码| 久久久99999久网站| 久久精品国产99精品亚洲蜜...| 精品乱码久久久久| 久久色情| 国产精品亚洲色婷婷久久久| 少妇与黑人高潮在线| 久久综合国产精品国产| 人妻素股| 婷婷五月成人| 翔田千里无码一区| 色老牛| 日本日皮视频逼| 97鸡把在线视频| 六月丁香五月婷婷| 另类小说综合网| 日本黄色裸日本黄色裸体| 久热香蕉精品在线视频| 九九热精品视频六| 无码一区二区三区四区五区六区七区八区九区十区视频 | 台湾佬中文娱乐网久久久久久久久久com| 综合操逼| 久久东京热久久| 9热9热综合网| av日韩在线观看电影| 后入综合久久| 久久香蕉超碰97国产精品 | 亚洲亚洲亚洲天堂天堂 | 久午视频| 日本欧美色| 亚洲AV成人无码一区二区三区在线观看 | 熟妇熟女一区二三区| 九九综合久久中文字幕| 91精品操美女| 亚洲人在线成线成人| 另类小说综合网| 青女偷拍网| 歐美一級亂黃99在綫精品| 日韩性爱视频在线免费观看| 一本久久久精品| 九九九九九九亚洲| 91精品久久久| 五月色网| 天天影视色香色欲| 91高跟美女在线播放| 久草精品一区 | 高清不卡视频| 91婷婷伊人狠人| 欧美色人| 天天躁日日躁AAA片李宗瑞| 九月婷婷综合| www.99中文字幕| 国产又粗又长视频| 男人的天堂欧美| 久久肏大逼| 丰满人妻一区二区三区| 97超碰国产亚洲精品| 歐美一級亂黃99在綫精品| 看日韩操逼| 97超碰精品| 天天日骚逼熟女| 日欧美色| 水澄无码AV| 国产成人精品日本视频| 国产精品点击进入在线影院| 精品传媒在线一区| 青青草好吊| 男人的天堂.com| 9久久精品| 中国女人内射6XXXXX| 另类图片综合| 欧美亚洲首页| 国产天天噜一噜久久久| 99亚洲人人| 欧日韩不卡视.频| 在线观看综合精品亚洲| 欧洲亚洲国产综合在线| 91狠狠综合网| 2020中文字幕在线观看| 久久久久久久久久久精| 夜精品久无码| 一二三四视频在线社区中文字幕| 欧美久久久15P| 天天日少妇逼AV| 国产情侣自拍在线播放| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 另类欧美| surenchaopeng| 五月天激情网图片| 久久婷婷综合国际产色怕| 91亚洲色人| 搡老熟女免费视频| 五十路熟女人妻一区二区在线观看| 免费男人的天堂| 日韩中文字幕宗合在线| 经典丝袜一区| 啊啊啊啊啊在线观看网址| 伊人五月天| 99热99在线播放激情| 欧美日韩大香蕉| 国产剧情在线| 天美91| 久久久久久久久久9| 精品丰满熟妇人妻一区| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场 | 亚洲成人精品久久久| 久热婷婷| 免费精品99| 熟女突然公开看18禁影片| 天天色天天干天天射| 成人无码在线视频网站| 亚洲欧美综合区自拍另类| 久久亚洲欧美中文字幕国语| 国产成年精品高清在线观看91| 少妇熟女1区2区3区| 精品国产av一区二区三区四区入口| 97色97干| 国产多人在线观看视频| 欧美日韩在线国产在线| 亚洲最大网站av| 激情综合久久| 女优免费一区二区永久| 九九九九九九亚洲| 磁力99AV| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久久久久久精品免费看A级| 一类无码操逼视频| 成年女人黄网站| 丁香六月东京热| 一区在线国产播放| www.激情| 亚洲伊人久久精品狠狠在线| 六月丁操逼| 熟女色图在线| 亚洲综合大片| 性色A∨91| 亚洲自拍偷拍视频在线| 乱伦a片视频| 深夜激情无码| 中文字幕在在线观看网站| 69人妻精品丰满熟女区| 96免费视频在线| 极品色电影院| 欧美综合中文| 一级性爱视频免费在线| 强奸乱伦资源| 国产按摩一区二区三区| 亚洲人妻熟妇三十三区| 欧美熟女丝袜| 欧美色图欧美| 亚洲中文字幕久久人妻| 亚洲国产无码精品首页久久久| 亚洲一区二区麻豆影院| 国产人妻一区二区三区欧美毛片| 色香网| 色香欲综合| 亚洲欧洲日韩天堂av| 国产九九九九九九九九| 97午夜剧场日韩| 在线观看视频91| 另类欧美综合| 久久免费99精品久久久久久| www.人人cao| 午夜精品99久久久久传媒| 国产传媒操逼视频| 亚洲天堂 视频你懂的| 精品久久久九九九孕妇| 青青草一区二区三区四| 亚洲一区二区在线观看91| 伦伦成年午夜免费视频| 久久国产三区| 精品人妻一二三四区视频| 国产91美女视频| 无码久| 丝袜美腿操av| AV和黑人在线播放| 五月综合视频| 久九9精品| 91国产操逼视频| 99超级碰免费视频| 97这里只精品| 日韩性爱一级片| 天天躁日日躁XXXXYY| 亚洲宗合电影| 久操免费在线| 91婷婷| 97一区二区三区视频| 国产97免费视频| 午夜福利视频在线一区| 四虎视频在线观看| 欧美超碰97| 视频分类 国内精品| 和协影院中文字幕三区| 三级精品三级在线观看| 亚洲 日本 一 二 三| 吊色| 精品人妻一区二区三区四区石在线 | 国产亚洲日韩在线三区黑人| 操人妻丝袜高跟| 自拍偷拍草一草| 亚洲精品97| 97日韩| 国产一区二区啪啪视频| 日韩中文字幕二区| 欧亚乱色熟女一区二区| 91在线免费精品视频| 国产精品国产精品国产| 国产av美女被艹的乱叫| 青青青艹在线视频| 92性色国产午夜福利在线661| 婷婷五月天网| 高清无码学生妹高潮| 日本精品中文字幕视频| 日本熟妇熟色97一本在线观看| 骚鸭AV| 人人插人人摸人人| 91色图片| 极品销魂美女一区二区| 国产性刺激| 综合网欧美| 亚洲天堂2020| 色九九综合| 欧亚韩国999| 日韩亚洲中文字幕在线| k频道色撸撸| 熟女五十路一区二区三| 91精品久久久久久久久久| 久久透逼视频| 欧美精品偷拍| 高潮毛片无遮挡高清免费| 精产国品一区二三产品| 天天看精品动漫视频一区| 亚洲欧洲小说图片视频| 91天天综合网| 丁香五月天婷婷姐| 91美女在线观看| 亚洲熟女国产综合另类| 精品免费视频国产一区| 色嘟嘟人妻天堂网| 在线观看中文字幕| 日本丝袜美腿人妻九九| 中国AV美女| 精品人人| 免费网站观看www在线观| 3PAV乱伦视频| 亚洲精品国产AV天美传媒| 激情小说图片亚洲首页| 偷拍超碰| 操高情无码| 夜夜青青无码影院| 国内毛片无码一级毛片| 欧美人妻少妇| 台湾大香蕉99热| 亚洲国产一区二区日韩专区| 欧美影音在线| 国产亚州精品美女久久久免费| 亚洲清纯综合| 丝袜喷水在线| 日韩乱中文| 精品成人久久久人人亚洲| 婷婷五月天综合网| 亚欧高清| 岛园激情| 久久超碰日韩精品| 日韩人妻网站| 国产欧美一级在线观看| 精品玖九九久| 亚洲男人的天堂V| 中国一级特黄大片护士| 少妇熟女视频一二三区| 无码日韩网站| 日韩av免费一级电影| 大香蕉琪琪日本女优不卡| 日本操BAV| 手机在线大香蕉| 色呦呦、国产精品| 国产精品美女久久久久久网站| 欧美色一二三| 婷婷五月天激情小说| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 限制级中的三级片中的黑粗大屌屌日人妻熟女| 欧美国产日韩高清在线| 大香蕉欧美| 欧美日韩国产中文精品字幕自在自线, | 免费看黄视频亚洲网站| 国产乱码久久久| 狠狠狠一区二区三区| 亚洲色系另类精品国产| 国产免费内射视频| 热久久91婷婷| 日韩性爱网址| 国内亚洲高清无码| a啊啊啊啊啊啊啊啊一区二区| 秋霞男人网| 欧美精品日韩一区二区| 秋霞免费无码视频日韩A片| 久欲AV| 男人天堂.AB| 在线精品福利免费播放| 欧美国产婷婷久久| 欧美综合 站| 综合熟女| 日本不卡免费二区| 台湾佬中文娱乐自偷自拍| 亚洲第一无码播放立川理惠| 麻豆AV一区二区天美传媒| 日本加靬比网站发布页| www.久久| 欧美日韩香蕉| 久久久久久久九九九九九九| 97日韩超碰超碰中文字幕| 一区二区三区色综合| 91美女在线精品视频| 国产三级日产三级韩国三级 | 青青国产在线拍揄自揄拍| 中文字幕精品资源在线| 国产无码成人无码| 欧美中字不卡| 青青久操| 久久久艹艹艹| 在线播放成人网站| 伊人嫩草| 伊人五月天青青草婷婷| AAA久久| 黄色片,com| 97亚洲精品| 亚洲九九视频| 2020中文字幕在线| 一区二区国产视频在线观看| 欧美熟妇人体| 精品超碰中文在线| 激情五月天视频| 成人三一级一片aaa| 中国农村熟妇毛片视频| 在线免费观看高清无码视频| 清纯唯美亚洲综合| 97干在线视频| 色路综合| 久久精品日韩专区免费观看| 欧美在线视频播放| 亚洲第一色页夜| 久久伊人亚洲AV无码网站| 国产精品97视频| 久久九九精品一区二区| 麻豆区久久久久亚| 国模久久在线| 99999这里都精品| 超碰97最新人妻| 日日夜夜国产综合| 97精品97| 伊人991| 日韩少妇无吗| 97超碰在线资源网站| 极品内射| 99精品热| 91网亚洲| 久久人妇| 亚洲人久久久网| 精品无码一区二区人妻久久蜜桃| 日日噜噜夜夜久久亚洲一区二区| 少妇内射www在线观看视频| 日韩操呦呦影院在线观看| 青青草白白色| 青青草色插素人| 欧洲自拍色图gif在线| 素颜老阿姨乱情色| 搡老女人老91妇女熟女| 亚洲人精品久久久| 操一对老熟妇爽上天视频| 久热这里只有精品9| 久久在肏| 色爱欲亚洲| 91狠狠综合久久久久久| 91电影色诱| 亚洲美女 晚间男人天堂 | 欧美性爱无码一区二区三区| 日本色色视频网站| 无码人妻丰满热妇又大又粗| 国产精品国产拍高清AV| 日本高清电影欧美色图| 夜夜高潮夜夜爽高清视频一| 神马久久啊啊| 极品AV网站在线观看| 很狠操| 国内一级精品| A级国产欧美激情在线| 97人人夜夜精品视频| 东京热男人的天堂精品| 肉嘟嘟www视频在线观看高清| 亚洲激情四射| 欧色综合| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 欧州色图区| 亚洲伊人久久精品狠狠在线| 色哟哟511老熟女| 强免费黄色网址| 亚州情色j区| 操B久久| 丰满丝袜少妇AV| 天天综合网在线91| 久久久久久久久久va| 久干9操| 丁香五月婷婷啪啪| 在线 亚洲 网爆 自拍| 国产精品在线一区二区| 欧美在线天堂| 成人性爱av.com| 99自拍视频在线| 嗯……啊…嗯嗯…啊…好舒服| 91 丝袜在线观看| 久久岛国| 人人看欧美性爱| 久久东京伊人一本到鬼色| 国产欧美一区激情交| 亚洲男人的天堂一区二区| 亚洲成人久久一区二区| 99热这里只有精品99| 蜜臀av中字字幕网站| 是还免费视频1727我| 好色美女九七第一页| 伊人天天久久动态图| 日va操| 在线黄页看毛片| 亚洲性猛| 波多野结衣之双飞调教在线播放 | 中文字幕综合人妻| 九热中文字幕| 亚洲天堂无码| 精产国品一区二三产品| 蜜桃在线观看一区二区三区| 黑丝日韩av丝袜av| 超碰诱惑| 8050无码八戒| 美女高潮视频91| 狠狠操狠狠燥| 中文字幕一区二区免费在线| 日韩天美| 六月丁香婷| 成人在线午夜视频一区| 夜夜爽夜夜爽| 久草婷婷| 日本不卡一区二区三区| 日韩一区二区精彩视频| 欧美九9 9 9| 久久久性爱视频| 日韩97在线| 国产亚洲色婷婷久久99精品91葵花宝典| 蜜桃久久久久久久| 91亚洲综合在线| 中文字幕精品区先锋资源| 国产精品国产精品国产| 久草看看看| 3d成人精品一区二区| 中文字幕在线观看丝袜| 综合欧美色图| 天天操天天舔| 亚洲人人夜夜澡人人爽| 少妇一级婬片免费放一级a性色.| 日本免费不卡二区| 60秒不遮不挡| AV电影在线播放| 熟女91网| 日韩AC| 色香91| 久久亚洲AV无码专区国产精品| 日少妇亚洲版| 免费αV在线视频| 男人的天堂2018.| 人人操欧美风骚| 97免费在线视频在线观看| 欧美亚洲今日在线| 长长久久88视频| 日韩图色| 天天综合精品| 亚洲天天操| 亚洲少妇色| 久久婷婷成人综合色怡春院| 五月丁香婷婷啪啪| 欧美色干| 女优免费一区二区永久| 大香蕉淫人| 五月婷婷激情综合| 麻豆成人AV| 免费观看欧美日韩操逼视频| 亚洲日本韩国极品一区二区| 97爱亚洲| 日本一区二区三区欧美日韩中文字幕 | 999色欧美中文字幕| 久草免费在线一区二区| 99这里都是精品| www成人啪啪18秘 免费| 极品人妻少妇综合| 无码又爽又硬又激情免费视频| 日本三级精品| 伊人影院中文字幕| 台湾一区国产高清在线| 亚洲 欧美 另类 日韩 人妻一区| 中日韩久久久| 加勒比av网| 青青草天天亲夜夜操网| 日韩猛交| 国产老熟女| 久思思热视频在线观看| 偷拍在线观看视频| 国产亚洲色婷婷久久99精品91葵花宝典 | 午夜操一操| 亚洲人成网www| 亚洲 中文 欧美 日韩 在线| 五月丁香六月激情| 思思久热在线精品66| 26uuu性物| 欧美国产操逼| 67194国产| 久久久久夜夜夜夜| 99只有精品| 男人高清无码一区二区| 麻豆一区二区AV天美| 91neishe| 国产操伦| 亚洲同性aV综合| 久久超碰爱| 日韩操逼性鲍| 夜夜嗨一区二区三区三州加勒比| 91亚洲黑人| 亚洲激情综合另类男同| 亚洲精品乱码久久久久久蜜桃麻豆| 夜夜操2028| 久久国产逼| 997色在线| 天天综合AV| 日韩欧美aⅴ综合网站发布| 精品久久久久成人码免| 国产视频三区四区| 永久免费发布性爱网| 欧美 亚洲 在线| 日韩欧美丝袜诱惑| 亚洲欧洲国产综合av| 人人摸人人入| 免费网色网站| 99这里只有精品| 在线观看高清AV| 婷婷色婷婷| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 100啪啪视频大全| 亚洲天堂少妇| 少妇500双飞99| www.久久99| 性爱乱伦视频免费| 91五十路| 男人天堂免费| 综合网,亚洲,欧美| 亚洲综合中文字幕有码 | 4虎在线视频| 久久女人视频| 综合色99| 美女极品一区二区三区| 日韩肏逼视频| 国产成人精品午夜福利| 1024亚洲中文字幕久在线看片你懂的 | 天天干天天日天天射黄色大片 | 日日橹狠狠爱欧美超碰| 日日日日日| 国产AV激情无码久久无码| 欧美91精品国产自产| 超碰偷拍| 天天舔天天日天天射| 亚洲国产精品久久久久婷婷青年| aaaa少妇高潮大片| 最新av网站在线观看| 精…码一二三区| 99热线麻豆| 九九九九精品一区| 亚州色站 日韩电影| 九九成人| 最新国产精品久久精品| 影音先锋每日最新资源在线观看| 大香蕉中文| 亚洲欧美综合网站| 久草婷婷| 嗯嗯啊啊视频在线看| 操逼逼无码| 无码日韩人妻av一| 久久亚洲欧美中文字幕国语| 日本东京热久久久电影| 熟妇视频一区二区三区在线| 色五月激情AV在线| 欧美91网站| 欧美爆操91| 97精品一二区| 熟女丰满人妻一区| 婷婷色网| 欧美激情综合| 91丨九色丨43老版熟女| 蜜乳AV色欲AVAV无码| 探花熟女,姿勢到位,體驗感也到位| 一级二级三级黑人无码| 日本黄色精品专区网站| 2024年最新色情网站在线观看| 夜夜国自区| 国产精品粉嫩福利在线| 99热日| 91国产丝袜美女| 欧美亚州色的图| 操死我了嗯嗯嗯| 成人AV素股で擦久久| 999日韩中文精品观看视频。| 99热精品在线| 乱精品一区字幕二区| 色哟哟的毛片| 中文啪啪视频| 五月丁香色综合| 东京热亚洲一区二区| 91丝袜美女国产| 男人的天堂啪啪| 婷婷久草一区二区三区| 91人妻爽爽人人做人人澡| 丁香五月激情啪啪| a在线观看| 伊人激情| 九九精品美女高溯喷水| 久久超碰爱| 欧美嗯啊……在线观看视频免费| 九九热免费国产视频婷婷伊人五月 | 欧美综合天堂| 9久9久| 色色九区| 91综合网| 久久久精品电影| 久久成人午夜精品影院| 91操人| 五月丁香影院| 亚洲一区二区三区久久 亚洲一区二区| 久久天天性久久伊人| 欧美se亚洲| 有码色中文字幕在线观看| 99精品网站| 97se综合| 久久久精精精| 69视频入口| 性videos欧美熟妇hdx| 免费作爱一级视频| 婷婷五月成人| 天天操女人| 欧美久久婷婷| 韩国毛片一区二区三区| 亚洲精品欧洲色| 国产精品国产亚洲区艳妇糸列| 曰韩精品视频一区二区| 黄色高清无码无码破解免费暗网| 五月天综合网| 亚洲色综合| 欧美狠狠鲁| 人妻少妇久久| 日本不卡五区| 国产毛片在线| 狠狠狠狠狠干| 久久精品老司| 欧洲性人爱视频| 亚洲成人贴图| www.91理论| 92福利社视频| 亚洲 欧美 另类 日韩 人妻一区| 久久久免费高清中文视频| 九九热re99re6在线精品| 欧美色综合| 74成人在线| 91色久| 97欧美精品综合| 午夜后入| 男人的天堂久久久| 亚洲一区二区三区中文字幕| 97久久超碰| 97看操| 99re视频在线播放青草| 2017人人操,人人摸| 手机看片1024你懂的国产| 国产精品一区人妻精品阁在线| 大香蕉在线86| 91综合网在线| 嗯啊抽插大香蕉网页| 亚洲天堂 视频你懂的| 大香蕉伊人网WWWn0n| 婷婷激情五月综合| PMv在线观看| 91啪啪视频| 白 大 人妻 区 在线| 啊啊啊爽爽| 亚洲美女自拍偷拍视频| 麻豆乱码久久精| 午夜噜噜噜| 日本黄色大片一级视频免费麻豆| 深爱五月天| 色哟哟av网址| а√天堂资源官网在线资源| 天天做天天爱| 国产精品3| 国产婷婷综合在线观看| 可以看的av| 久久噜| 日韩欧美操逼xxx| 日日日日日| 亚洲色综网| 最新无码国产| av天堂5| 欧美男人亚洲天堂| 男女无套 免费网站| 久热九九| 97视频在线观看网站| 狠狠色伊人亚洲综合网站色| 久久美女福利是上海美女| 中文字幕天天操| 粉嫩av在线| 婷婷综合五月天| 丝袜美女诱惑 91 视频| 亚洲av资源| 激情啪啪拍91| 97网址97| 久久精品日韩| 91骚妇| 中文?日韩?免费?精品| 亚洲人成网www| 久久精品操| 黑人精品成人一区二区三区| 人妻内射一区二区在线视频| 无码高清操逼网址| 久久熟女人| 大香蕉手机在线| 国产亚洲精品av一区| 欧亚久久偷拍视频| 91精品国产91久久福利| 日本熟妇熟色97一本在线观看| 97色香蕉| 天天干一干| 啊啊啊水好多| 五月婷婷丁香| 日韩97超碰| 国产超碰| 性生活性生大爱77AV国产| 国产69精品久久久久99尤物| 亚洲色资源| 中文字幕精品一区欧美| 9999伦理视频| 无码久久国产| 青青操少妇| 亚洲无码成人精品| 亚洲激情天堂网| 亚洲成人精品在线一区| 日韩伦理久 久久 清纯| 久久久久久九九九九九| 日韩中文字幕二区| 白嫩妹子国产骚| 亚洲二区精品在线观看| 91精品久久久久久久久久| 韩国手机不卡无码三级视频| 1024亚洲中文字幕久在线看片你懂的 | 啪啪视频免费在线观看| 厕所偷拍在线| 97超碰磁| 天天插夜夜爽| 2021久久国产综合精品青草| 欧美骚少妇| 欧美性爱在线无码| 78精品| 青草青青久久久久久国产| 超碰色综合| 国产AV天美| 精品九九国产无码| 97视频在线观看网站| 成人性爱电影网| 美欧色综合| 极品白嫩福利在线| 欧美一级在线观看成人| 亚洲精品欧美专业| 欧美αv.com| 欧色性第一页| 亚洲精品国产精品乱码不99| 我想要 啊 啊 啊| 欧美 传媒 麻豆 日韩 偷拍| 日韩性爱1级片视频| 青青草无码视频| 亚洲成熟国产精品美女| 九九九九九九免费视频| 丁香婷婷啪啪| 97欧美视频| 欧美内射少妇| 国产亚洲中文不卡二区| 精品一区二区2| 欧美不卡二区| 九九热精品视频六| 欧中日成人免费影视| 国产综合在线视频网站| 日日日日做夜夜夜夜做无码97| 九色在线熟女国产黑人| 99热一区二区三区四区| 密臀在线免费观看| 1024人妻熟女一区二区三区| 综合网亚洲1| 久久久久久午夜男人的天堂| 翔田千里AⅤHD无码| 夜夜黄| 99久久久无码| 欧美系列在线一区二区| 欧美色女人| 久久久久久久久久久久欧美日| 久久精品国产精品亚洲艾通辽熟妇 | 中文字幕人成乱码熟女香港| 97网站在线观看| 亚洲综合影片| 久久综合婷婷| 亚洲黄片免费在线播放| 东北老女人的激情视频| 欧美性爱www免费版| 欧美美女视频| 日本顶级天天操狠狠操夜夜操中文字幕| 探花精品视频| 欧美日韩色综合网| 色图四区| 精品一区二区三区四区外站 | 午夜无码熟妇丰满人妻| www.99色| 18精品一二区| 久草视频制服诱惑| 91精品久久综合熟女| 囯戸精品高潮呻吟旡码| 天天综合色图| 亚洲黄a三级三级三级看三级| 亚洲国产第一页综合视频| 亚洲精品人妻在线| 玖草在线视频| 日日玩天天干| 久久久18禁| 色老汉玖玖爱| 看日韩操逼| 日本熟女不卡视频| rion磁力链接| 丰满人妻一区二区中文| 夜夜嗷嗷一区二区| 人妻天天夜夜爽一区二区| 自拍偷拍 日韩无码| 欧美A片中文字幕| 粉嫩av一区二区三区天美传媒 | 日本成人在线不卡一区二区三区| 美女爽爽爽刺痛洞洞| 台湾佬中文娱乐自偷自拍| 屌色在线97视频| 亚洲国产精品无码AV久久久| 亚洲欧美另类图片| 日韩成人小视频| 久久久久国产| 干b在线性社区| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 青青草原人妻| 色五月首页| 岛国激情视频软件| 老熟女乱伦片| 美女t无毒不卡不卡| 91丨精品丨国产丨丝袜| 久久综合女优| 久久AV无码1区2区3区| 色蜜AV| 亚洲欧美精品一区天堂久久 | 青青青草原| 欧美 亚洲 91| 97精品国产精品免费观看| 五月天久久婷婷亚洲 | 久久超碰av在线| 欧美亚洲国产日本在线,久久精品国产| 色九月综合| 精彩国产视频播放1区2区| 国产丝袜视频| 999在线电影香蕉| 999久久久精品国产| 操操碰| 欧美亚洲日本视频久久久| av强奸乱轮| www..com操老师| 国产精品久久久久亚洲av| 亚洲国产91精品一区二区久久| 日婷婷| 国产精品 久久久精品一牛| 亚洲电影中字一区二区| 日韩免费在线观看不卡| 国产97免费视频| 国产精品操| 3PAV乱伦视频| 久久婷婷电影网| 操b在线观看| 伊人丁香五月婷婷| 免费无码国产精品v片在线观看| 久久这里只精品免费福利| 国语对白露脸XXXXXX| 国产精品福利资源在线尤物| 丝袜足交视频| 久久免费少妇| 亚洲一区中文精品| 欧美午夜视频免费观看| 国产一进一出视频网站| A级片日韩欧美国产欧美视频精选观看| 国产高清视频无码在线| 午夜操逼不卡| 久久精品国产亚洲AV片多多| 日本精品第一视频在'| 亚洲成av人片色午夜乱码| 久久久久久国产精品| 免费的av网| 射欧美综合| 都市激情人妻一区二区青青操视频| 日本一区二区做爱的视频| 黄片色区软件| 91|九色|国产熟女| www.色婷婷| 日本一区二区三区精品| 超碰碰激情97+久| 91色人| 亚洲中文字幕熟女少妇一区二区| 91网站18| 亚洲精品国产专区在线观看| 亚洲国产高清福利视频| 丝袜 亚洲 偷拍| 美腿色图| 97在线观视频免费观看| 国产怡红院在线| 欧美色狠| 三级AV入口| 日本3级一区二区免费| 91久精品| 天天摸夜夜操视频| 97ai亚洲| 在线视频 亚洲精品| 国产毛片久久久久久久| 女人被添高潮免费视频| 久久久啊啊| 久久草视频污视频| 九九热国产| 370p日韩欧美亚洲精品| 精品一区二区成人动漫| 无码99| 97在线观看免费视频l| 久久久精品九| 欧美人与动性人交a| 人人操人人摸人| 白嫩嫩一区| 久久妇| 97在线免费| 日韩在线性爱免费视频| 一级啊性爱在线视频| 亚洲色图超碰在线| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 免费福利视频中文字幕| 日韩精品一区二区三区色欲| 一个人在线看的黄色电影网站| 国产第11页| 97香蕉网| 亚洲一卡2卡3卡4卡乱码网站| 熟女丰满人妻一区| 日韩资源网| 亚洲视频精选| 青青久久手机线视频| 欧美色三级片91| 新视频sss国产| 999久久久九九九九| 久久黄色视频一区二区三区 | 东北女人性交| 国模私拍一区二区三区神乳| 日韩精品一区二区三区色欲| 99xav| 偷拍综合网| 国产区性爱在线视频秋霞豆| 久久久久久夜夜夜夜夜| 亚洲在线观看| 色欲久久久久综合网| 一起草av| 在线小说视频一区| 91精品国产91综合久久蜜臀| 国语对白在线播放视频| 日本 免费 一区二区三区 久久香蕉| 一二三区视频在线观看| 伊人久久综合影院| 国产suv精品一区二区四| 青青草原香蕉日本Ap| 色就色综合| 日本不卡三级网在线播放| 激情婷婷黑人91| 久久久999| 噜噜噜狠狠色综合| 四虎免费视频| 天天躁日日躁xxxxx| 日韩97视频!在线| 东京热,男人的天堂| 亚洲国产尤物yw在线观看| 亚洲日韩肥臀视频在线观看| 少妇高潮九九九九九九九| 亚乱色| 伊人991| 国产美女在线精品免费看| 91oumei| 欧美97免费| 亚洲日韩美女中文字幕乱| 青青草国产盗摄一二三区| 搡老熟女免费视频 | 岛国精品视频在线观看| 国产传媒一区日韩| 九七超碰| 成人 日韩欧美一区| 骚鸭AV| 日本 欧美 国产一区| 久久偷拍人| 操国产逼| 日韩AV色图| 翔田千里AV无码秘 三区| av大香蕉| 日本二三四区| 天天色播| 色欧美在线| 色色色色电影网| 精品少妇一区二区三区| 欧美,日韩,亚洲视频| 91久久久视| 色操逼网| 级品肉射| 日本免费专区| 欧美页片| 欧美中日韩XXXX| 婷婷五月天影院| 欧美色97| 伊人色综合网电影 | 中文字幕熟女人妻丝袜| 日韩AV一区二区三区四四| 国产91美女视频| 99热最新| 欧美激情视频一区二区| 长长久久曰曰夜夜成人网| 九九热国产| 欧美天天拍| 午夜精品久久99蜜桃的功能章节| 久久99网站| 熟女少妇视频| 人妻啊啊人妻啊啊| 亚洲高清视频在线免费观看| 日日操天天操| 精品免费囯产一区二区三区| 九九黄色网| 国产精品农村妇女| 男人天堂2019亚洲| 91模特在线观看| 久久精品国产亚洲AV片多多| 天美欧美国产| 人人看人人插| 久久久久ab| 岛国激情视频软件| 啊啊啊啊啊啊啊网址在线观看| HEYZO高无码国产精品227| aV中文麻| 狠狠 91| 一级岛国大片| 91欧美美女日韩国产婷婷| 干干干天天|