日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

乳腺癌病理圖像分類:從WSI訓(xùn)練集構(gòu)建到高精度模型實(shí)戰(zhàn)

乳腺癌病理圖像分類:從WSI訓(xùn)練集構(gòu)建到高精度模型實(shí)戰(zhàn) 簡(jiǎn)介本資源是面向醫(yī)學(xué)AI研究者、計(jì)算機(jī)視覺(jué)初學(xué)者及高校課程實(shí)踐者的高精度乳腺癌病理圖像分類訓(xùn)練集專為構(gòu)建可落地的智能輔助診斷模型而設(shè)計(jì)。數(shù)據(jù)集包含691個(gè)文件689張經(jīng)專業(yè)醫(yī)生復(fù)核標(biāo)注的256×256 JPG病理圖像涵蓋cancer與normal二分類、1個(gè)開(kāi)箱即用的Python可視化腳本支持類別分布、樣本網(wǎng)格、尺寸統(tǒng)計(jì)等分析以及1個(gè)結(jié)構(gòu)清晰的JSON標(biāo)簽映射文件壓縮包僅8.79MB輕量高效。目前已有68人學(xué)習(xí)下載適用于學(xué)術(shù)論文實(shí)驗(yàn)、Kaggle式課程項(xiàng)目或初創(chuàng)企業(yè)原型開(kāi)發(fā)。目錄嚴(yán)格按訓(xùn)練集/驗(yàn)證集分層同類圖像歸入同一子目錄兼容PyTorch、TensorFlow及YOLO系列框架附贈(zèng)腳本可一鍵探查數(shù)據(jù)質(zhì)量顯著提升數(shù)據(jù)增強(qiáng)策略制定與模型調(diào)優(yōu)效率。1. 項(xiàng)目起源為什么聚焦乳腺癌病理圖像分類1.1 粉紅絲帶背后尚未被滿足的真實(shí)需求第一次接觸粉紅絲帶項(xiàng)目時(shí)我正在做醫(yī)學(xué)圖像方向的算法調(diào)研。團(tuán)隊(duì)討論的初始目標(biāo)很直接構(gòu)建一套高精度的乳腺癌病理圖像分類訓(xùn)練集配合AI模型完成輔助診斷。后來(lái)真的跑起來(lái)才發(fā)現(xiàn)這個(gè)問(wèn)題的難度遠(yuǎn)超自然圖像分類。先說(shuō)一個(gè)背景粉紅絲帶是全球乳腺癌防治的公認(rèn)標(biāo)志。很多城市每年10月都會(huì)開(kāi)展公益活動(dòng)呼吁女性定期篩查。大眾對(duì)乳腺癌的認(rèn)知往往停留在拍個(gè)鉬靶、做個(gè)超聲但實(shí)際上病理檢查才是確診的金標(biāo)準(zhǔn)。病理醫(yī)生拿到組織切片在顯微鏡下觀察細(xì)胞形態(tài)、排列方式、核異型性然后給出良惡性判斷、分級(jí)分型。這個(gè)過(guò)程依賴高倍鏡下的觀察經(jīng)驗(yàn)工作量大、主觀性強(qiáng)不同醫(yī)生之間的判讀一致性也不是百分之百。AI能切入的正是這個(gè)環(huán)節(jié)。我的定位很明確不做臨床診斷本身而是把數(shù)字化病理切片WSI全切片圖像切成可訓(xùn)練的patch構(gòu)建一個(gè)標(biāo)注準(zhǔn)確、分布合理、能支撐高精度分類模型的訓(xùn)練集。這套訓(xùn)練集既要解決能不能分的問(wèn)題也要解決分得準(zhǔn)、分得穩(wěn)的問(wèn)題。1.2 病理圖像分類為什么比自然圖像難得多很多人一開(kāi)始以為病理圖像分類就是把圖像丟進(jìn)ResNet跑一下這個(gè)想法在CIFAR-10上沒(méi)錯(cuò)但在病理圖像上會(huì)撞得頭破血流。第一圖像尺寸極其巨大。一張標(biāo)準(zhǔn)的WSI在40倍放大下可能達(dá)到100000×80000像素單張切片上百GB都是常事。而正常模型輸入是224×224或256×256的patch。這意味著你必須先把大圖切成小圖再?zèng)Q定哪些小圖進(jìn)入訓(xùn)練。這引出了后面要重點(diǎn)講的patch選取策略。第二語(yǔ)義粒度非常細(xì)。正常細(xì)胞和癌細(xì)胞之間的差異很多時(shí)候只是細(xì)胞核大小、核質(zhì)比、染色質(zhì)分布這些非常微觀的差別。拿自然圖像的分類經(jīng)驗(yàn)套上去模型容易學(xué)到染色背景的分布而不是真正的病理形態(tài)。第三類不平衡極其嚴(yán)重。一個(gè)切片中可能99%的區(qū)域是正常組織只有1%是癌變區(qū)域。如果把所有patch均勻采樣訓(xùn)練集里會(huì)堆滿無(wú)意義的正常patch模型看到的有效信息極少。第四標(biāo)注成本極高。標(biāo)注病理圖像需要專業(yè)的病理醫(yī)生不能靠眾包也不能靠沒(méi)有醫(yī)學(xué)背景的人隨便框框。這意味著訓(xùn)練集的規(guī)模和精度之間必須做現(xiàn)實(shí)取舍。1.3 一個(gè)訓(xùn)練集項(xiàng)目真正要解決的三件事我在推進(jìn)這個(gè)項(xiàng)目時(shí)把需求抽象成了三個(gè)核心問(wèn)題后續(xù)所有技術(shù)選型都圍繞這三個(gè)問(wèn)題展開(kāi)數(shù)據(jù)從哪來(lái)、怎么獲得合法合規(guī)的使用授權(quán)標(biāo)注怎么做才既保證質(zhì)量、又不過(guò)度消耗病理醫(yī)生的時(shí)間模型訓(xùn)練和評(píng)估怎么做才能證明訓(xùn)練集是真的高精度而不是只在某個(gè)測(cè)試集上自嗨。后面幾章的思路完全按這三條線展開(kāi)。如果你也是做醫(yī)學(xué)圖像、或者自己整理訓(xùn)練集訓(xùn)練模型這條路線可以照搬。2. 訓(xùn)練集構(gòu)建從原始切片到高質(zhì)量標(biāo)注2.1 數(shù)據(jù)來(lái)源、倫理與合規(guī)這個(gè)環(huán)節(jié)不能省醫(yī)學(xué)圖像和網(wǎng)上爬蟲抓來(lái)的貓狗圖片完全不同涉及患者隱私、機(jī)構(gòu)倫理、數(shù)據(jù)安全。我這邊走的路徑是合作醫(yī)院提供脫敏后的切片數(shù)據(jù)簽署了科研合作協(xié)議。切片在導(dǎo)出前已經(jīng)在醫(yī)院內(nèi)部完成了患者姓名、病歷號(hào)等敏感信息的清除只保留影像本身和對(duì)應(yīng)的病理診斷結(jié)論。這里有一個(gè)很容易踩的坑脫敏不只是刪掉文件名里的名字這么簡(jiǎn)單。WSI文件內(nèi)部可能包含元數(shù)據(jù)比如掃描儀型號(hào)、掃描時(shí)間、操作員工號(hào)。這些字段看起來(lái)不起眼但按嚴(yán)格的數(shù)據(jù)合規(guī)要求都屬于需要處理的信息。我們?cè)跀?shù)據(jù)清洗階段專門寫腳本檢查了WSI的元數(shù)據(jù)字段把非必要信息全部抹掉只保留圖像和必要的掃描參數(shù)。如果你是自己做類似的醫(yī)學(xué)圖像數(shù)據(jù)集我強(qiáng)烈建議先找所在機(jī)構(gòu)的倫理委員會(huì)或者法務(wù)確認(rèn)項(xiàng)目是否涉及人類受試者研究、是否需要倫理審批。哪怕只是用公開(kāi)數(shù)據(jù)集做實(shí)驗(yàn)也要讀清楚數(shù)據(jù)的使用條款。公開(kāi)數(shù)據(jù)集的License限制差別很大有的允許商用有的只允許科研有的要求不重新分發(fā)。不要等論文都寫完了一審才發(fā)現(xiàn)數(shù)據(jù)授權(quán)有問(wèn)題那種返工是最痛苦的。2.2 標(biāo)注流程設(shè)計(jì)讓病理醫(yī)生和算法工程師高效配合標(biāo)注是整個(gè)訓(xùn)練集構(gòu)建中最耗時(shí)、也最影響模型上限的環(huán)節(jié)。我們采用的是粗篩精標(biāo)復(fù)核三層流程而不是直接讓醫(yī)生從零開(kāi)始框選。第一步粗篩。用預(yù)訓(xùn)練的CNN模型對(duì)全切片做初步預(yù)測(cè)把預(yù)測(cè)為可疑的區(qū)域提前框選出來(lái)作為候選patch推薦給醫(yī)生。這么做不是為了替代醫(yī)生而是把醫(yī)生的注意力集中到真正有判讀價(jià)值的位置減少醫(yī)生在正常組織上翻找的時(shí)間。實(shí)際測(cè)試下來(lái)這一步能減少大約一半的標(biāo)注工作量。第二步精標(biāo)。醫(yī)生在推薦框的基礎(chǔ)上對(duì)每個(gè)patch做二分類或多分類標(biāo)注。我建議用多分類而不是簡(jiǎn)單的良惡性二分。在乳腺病理里常見(jiàn)的類別包括正常/良性病變、非典型增生、原位癌、浸潤(rùn)性癌等。多分類的好處是模型訓(xùn)練時(shí)可以利用更豐富的監(jiān)督信號(hào)實(shí)際部署時(shí)也能按不同類別設(shè)置不同的下游策略。第三步復(fù)核。隨機(jī)抽取10%的已標(biāo)注patch交給第二位醫(yī)生獨(dú)立盲審計(jì)算兩位醫(yī)生之間的一致性指標(biāo)比如Kappa系數(shù)。如果Kappa低于0.8說(shuō)明標(biāo)注標(biāo)準(zhǔn)模糊需要回到第二步重新校準(zhǔn)標(biāo)準(zhǔn)。這是很多團(tuán)隊(duì)會(huì)省略的環(huán)節(jié)但我建議一定保留因?yàn)闃?biāo)注一致性直接決定了訓(xùn)練集的噪聲水平而噪聲水平的容忍度在病理場(chǎng)景里很低。2.3 類不平衡與patch選取策略這一步是訓(xùn)練集構(gòu)建的技術(shù)核心也是真正拉開(kāi)差距的地方。我最終采用的策略是將WSI按20倍放大倍率切成224×224的patch然后對(duì)每個(gè)patch做篩選。篩選規(guī)則包括組織覆蓋率必須大于閾值比如80%排除大面積的背景和雜質(zhì)同時(shí)根據(jù)標(biāo)注密度控制采樣比例。在類別分布上我會(huì)刻意做類別的混合采樣而不是讓模型直接面對(duì)原始分布。具體的采樣比例通過(guò)一個(gè)簡(jiǎn)單的公式控制每個(gè)batch中正樣本基數(shù)為基準(zhǔn)負(fù)樣本按設(shè)定比例下采樣。這樣模型每個(gè)batch都能看到足夠數(shù)量的癌變patch避免在小類別上欠擬合。同時(shí)我還會(huì)控制同一個(gè)患者來(lái)源的patch不要同時(shí)落到訓(xùn)練集和測(cè)試集。醫(yī)學(xué)圖像里有一個(gè)常見(jiàn)bug如果把同一個(gè)病人的不同patch隨機(jī)劃分模型相當(dāng)于見(jiàn)過(guò)了正確答案的一部分測(cè)試指標(biāo)會(huì)虛高。這種泄漏在跨病人泛化測(cè)試中會(huì)暴露得一干二凈。所以劃分時(shí)必須以患者為最小單位而不是以patch為單位。這也是很多人做醫(yī)學(xué)圖像時(shí)忽略的細(xì)節(jié)。2.4 數(shù)據(jù)劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集各司其職訓(xùn)練集和測(cè)試集的作用經(jīng)常被人混淆。我習(xí)慣用一句話來(lái)解釋它們的區(qū)別訓(xùn)練集是學(xué)生平時(shí)做的練習(xí)冊(cè)測(cè)試集是考試卷驗(yàn)證集是考前模擬卷。訓(xùn)練集讓模型學(xué)習(xí)參數(shù)驗(yàn)證集用來(lái)調(diào)整超參和選擇模型測(cè)試集只能用一次用來(lái)估計(jì)模型在真實(shí)場(chǎng)景中的最終水平。在比例選擇上我目前的配置是約70%訓(xùn)練集、15%驗(yàn)證集、15%測(cè)試集。如果數(shù)據(jù)量非常少可以考慮用交叉驗(yàn)證替代固定劃分K折交叉驗(yàn)證的K一般取5把K-1折用于訓(xùn)練、1折用于驗(yàn)證輪流進(jìn)行最終指標(biāo)取K次的平均。但要注意交叉驗(yàn)證的訓(xùn)練時(shí)間會(huì)成倍增加在大規(guī)模WSI場(chǎng)景下未必劃算。另外一個(gè)關(guān)鍵點(diǎn)劃分時(shí)要考慮標(biāo)簽分布均衡。不能出現(xiàn)在訓(xùn)練集中良性病例占90%、測(cè)試集中惡性病例占90%這種極端情況。我通常用分層采樣stratified sampling來(lái)確保每個(gè)子集的類別比例與原數(shù)據(jù)集大致一致。sklearn里面有個(gè)StratifiedShuffleSplit可以直接用省得手寫。3. 模型選型與訓(xùn)練細(xì)節(jié)把數(shù)據(jù)集的價(jià)值榨干3.1 Backbone選型ResNet、EfficientNet還是Vision Transformer訓(xùn)練集的質(zhì)量是上限但模型選擇決定你能不能逼近這個(gè)上限。我在這個(gè)項(xiàng)目里前后對(duì)比過(guò)ResNet-50、EfficientNet-B3/B4和ViT-Small簡(jiǎn)單說(shuō)一下選型結(jié)論。ResNet-50最大的優(yōu)點(diǎn)是穩(wěn)定、資源消耗小、社區(qū)資料多適合作為基線模型快速驗(yàn)證數(shù)據(jù)和標(biāo)注的質(zhì)量。但遇到細(xì)粒度識(shí)別任務(wù)它的精度提升空間有限。EfficientNet-B3/B4是我最終選擇的折中方案。同樣的精度目標(biāo)下EfficientNet的計(jì)算量比ResNet小得益于它的復(fù)合縮放策略。實(shí)際測(cè)試中EfficientNet-B4在patch分類上的AUC比ResNet-50高1.5%到2%推理耗時(shí)增加的幅度在我能接受的范圍內(nèi)。Vision TransformerViT在小規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)集上并不一定占優(yōu)因?yàn)閂iT需要更多數(shù)據(jù)來(lái)學(xué)習(xí)歸納偏置。這個(gè)項(xiàng)目的數(shù)據(jù)量還沒(méi)到能讓ViT發(fā)揮優(yōu)勢(shì)的水平。如果你用的是幾十萬(wàn)甚至上百萬(wàn)patch的規(guī)??梢栽囋嘨iT但做好調(diào)參的心理準(zhǔn)備。我的建議是不要一開(kāi)始就上最復(fù)雜的模型先拿ResNet跑通Pipeline確認(rèn)訓(xùn)練集的分布、標(biāo)注質(zhì)量、loss曲線都正常再換EfficientNet或ViT做精度提升。模型換血前先保證流程是通的這能省掉大量排查問(wèn)題的時(shí)間。3.2 損失函數(shù)設(shè)計(jì)的醫(yī)學(xué)動(dòng)機(jī)二分類場(chǎng)景下交叉熵?fù)p失CrossEntropyLoss是默認(rèn)選擇但醫(yī)學(xué)圖像分類里類不平衡問(wèn)題太嚴(yán)重因此我會(huì)優(yōu)先考慮加權(quán)的交叉熵或Focal Loss。Focal Loss的核心思想是用一個(gè)調(diào)制因子降低易分類樣本的權(quán)重讓模型訓(xùn)練時(shí)更關(guān)注難分類樣本。具體公式是FL(p_t) -α_t(1 - p_t)^γ log(p_t)。其中γ是聚焦參數(shù)通常設(shè)為1.5到2.0α_t是類別權(quán)重用來(lái)調(diào)整正負(fù)樣本的比例。在病理場(chǎng)景里γ取2.0時(shí)模型對(duì)罕見(jiàn)癌變patch的敏感度明顯提升。這里有個(gè)心得損失函數(shù)的不平衡處理和采樣策略的不平衡處理是雙保險(xiǎn)不能只依賴一個(gè)。采樣能保證每個(gè)batch的類別比例合理?yè)p失函數(shù)能進(jìn)一步懲罰模型對(duì)難例的忽視。兩者配合效果才穩(wěn)定。另外在訓(xùn)練多類別分類時(shí)我建議直接在輸出層做多類softmax而不是訓(xùn)練多個(gè)二分類器。多類softmax能強(qiáng)制類別之間互相競(jìng)爭(zhēng)讓特征表示更有判別力。3.3 數(shù)據(jù)增強(qiáng)與訓(xùn)練策略穩(wěn)定復(fù)現(xiàn)更關(guān)鍵病理圖像的數(shù)據(jù)增強(qiáng)我保持相對(duì)克制。隨機(jī)水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)90度、隨機(jī)裁剪這些幾何增強(qiáng)可以放心用。顏色增強(qiáng)要非常小心因?yàn)椴±砬衅娜旧桨副热鏗E染色有標(biāo)準(zhǔn)流程如果顏色抖動(dòng)幅度太大模型會(huì)學(xué)到對(duì)染色響應(yīng)的錯(cuò)誤不變性導(dǎo)致?lián)Q了一個(gè)掃描儀之后性能驟降。我之前踩過(guò)一個(gè)坑用了過(guò)強(qiáng)的色彩抖動(dòng)在原始掃描儀數(shù)據(jù)的測(cè)試集上表現(xiàn)還行但換了一臺(tái)不同品牌掃描儀采集的數(shù)據(jù)AUC直接從0.96掉到0.88。后來(lái)重新調(diào)整了色彩增強(qiáng)的范圍把亮度、對(duì)比度、飽和度的擾動(dòng)幅度減小后跨掃描儀的魯棒性才恢復(fù)到接近0.94。訓(xùn)練策略上我采用兩階段先在ImageNet預(yù)訓(xùn)練權(quán)重基礎(chǔ)上凍結(jié)backbone只訓(xùn)練分類頭幾個(gè)epoch然后解凍全部參數(shù)做細(xì)調(diào)finetune。這個(gè)做法的好處是避免了訓(xùn)練一開(kāi)始就大范圍破壞預(yù)訓(xùn)練特征。學(xué)習(xí)率用余弦退火調(diào)度初始學(xué)習(xí)率從1e-4起步batch size 64。別的細(xì)節(jié)像AdamW優(yōu)化器、weight decay設(shè)1e-4這些是常規(guī)操作。真正要讓模型穩(wěn)定復(fù)現(xiàn)關(guān)鍵是固定隨機(jī)種子PyTorch里需要同時(shí)設(shè)置torch.manual_seed、np.random.seed如果用了CUDA還要設(shè)置torch.cuda.manual_seed_all。另外把cudnn.deterministic設(shè)為True否則即使種子一樣某些CUDA算子依然可能帶來(lái)非確定性差異。3.4 高精度評(píng)估不能只看Accuracy用準(zhǔn)確率評(píng)估醫(yī)學(xué)圖像分類模型是非常危險(xiǎn)的尤其在類別不平衡的場(chǎng)景里。舉個(gè)極端例子如果測(cè)試集里90%是良性那么一個(gè)全猜良性的模型準(zhǔn)確率也有90%實(shí)際卻完全沒(méi)用。醫(yī)學(xué)場(chǎng)景下我更關(guān)注的指標(biāo)是AUC、敏感度Sensitivity、特異度Specificity、F1-score。敏感度代表有病的人被查出來(lái)的比例臨床篩查寧可誤報(bào)也不能漏診所以敏感度是優(yōu)先保障的指標(biāo)。特異度代表沒(méi)病的人被正確排除的比例它決定過(guò)度診斷的程度。AUC綜合反映模型在所有閾值下的排序能力適合模型選型時(shí)做橫向?qū)Ρ鹊皇亲罱K部署指標(biāo)。部署時(shí)還需要根據(jù)臨床可接受的敏感度水平反推分類閾值。比如把決策閾值從默認(rèn)的0.5下調(diào)到0.3敏感度可能從0.88升到0.96但特異度會(huì)相應(yīng)下降。具體閾值怎么選要和臨床團(tuán)隊(duì)一起定不能算法工程師自己拍腦袋。我最終的評(píng)估報(bào)告里會(huì)同時(shí)給出多組閾值下敏感度-特異度的對(duì)應(yīng)表格方便決策方根據(jù)實(shí)際場(chǎng)景權(quán)衡。提示在做模型選擇時(shí)不要只比較最優(yōu)AUC一個(gè)數(shù)字。把模型的PR曲線Precision-Recall曲線畫出來(lái)看。在不平衡數(shù)據(jù)集上PR曲線比ROC曲線信息量更大。4. 實(shí)戰(zhàn)排坑標(biāo)注錯(cuò)誤、Loss不降與過(guò)擬合4.1 標(biāo)注錯(cuò)誤會(huì)導(dǎo)致訓(xùn)練集Loss降不下來(lái)嗎很多人在訓(xùn)練自己的數(shù)據(jù)集時(shí)都問(wèn)過(guò)這個(gè)問(wèn)題錯(cuò)誤標(biāo)注導(dǎo)致訓(xùn)練集loss降不下去到底是真的嗎我的結(jié)論錯(cuò)誤標(biāo)注確實(shí)會(huì)讓loss下降變慢、最終loss值偏高但不一定表現(xiàn)為完全降不下去。因?yàn)樯窠?jīng)網(wǎng)絡(luò)對(duì)單點(diǎn)噪聲有較高的容忍能力少量錯(cuò)誤標(biāo)注會(huì)被周圍大量正確標(biāo)注稀釋。但如果是系統(tǒng)性的錯(cuò)誤標(biāo)注——比如某一位醫(yī)生把非典型增生一律標(biāo)成了浸潤(rùn)癌——模型就會(huì)學(xué)到錯(cuò)誤規(guī)律loss可能降到比較低的水平但測(cè)試集上表現(xiàn)很一般。這在病理AI里是最隱蔽的坑訓(xùn)練時(shí)一切正常測(cè)試時(shí)打回原形。所以發(fā)現(xiàn)問(wèn)題不能只盯著loss曲線。定期做誤分類樣本的bad case分析更有效。我每周會(huì)抽出一些訓(xùn)練集中預(yù)測(cè)錯(cuò)誤且置信度很高的樣本請(qǐng)醫(yī)生重新復(fù)核。如果發(fā)現(xiàn)某類別的錯(cuò)誤率系統(tǒng)性偏高就很有可能是標(biāo)注標(biāo)準(zhǔn)出了問(wèn)題。另外我還做了一版標(biāo)簽清洗的實(shí)驗(yàn)把訓(xùn)練集里被模型反復(fù)預(yù)測(cè)錯(cuò)誤、且醫(yī)生復(fù)核后確認(rèn)標(biāo)注有誤的樣本移除重新訓(xùn)練。結(jié)果很能說(shuō)明問(wèn)題模型在測(cè)試集上的AUC提升了1.1%。不要小看這1%在醫(yī)學(xué)場(chǎng)景里這可能是幾十個(gè)誤診病例的差異。4.2 Loss不收斂的排查清單如果你的模型訓(xùn)練集loss確實(shí)降不下來(lái)先從這幾個(gè)方向查不要一上來(lái)就調(diào)模型結(jié)構(gòu)學(xué)習(xí)率設(shè)置是否合理。學(xué)習(xí)率過(guò)大導(dǎo)致震蕩無(wú)法收斂過(guò)小導(dǎo)致收斂過(guò)慢。檢查每個(gè)step的loss變化幅度如果loss在初始幾步突然飆升大概率是學(xué)習(xí)率太大。數(shù)據(jù)預(yù)處理是否一致。訓(xùn)練和測(cè)試的尺寸resize、歸一化參數(shù)是否統(tǒng)一很多詭異問(wèn)題都出在這里。標(biāo)簽是否有錯(cuò)誤或遺漏。隨機(jī)抽100個(gè)訓(xùn)練樣本人工核對(duì)一遍看看有沒(méi)有標(biāo)簽錯(cuò)位、文件路徑讀取錯(cuò)誤導(dǎo)致圖片和標(biāo)簽對(duì)不上。模型是否學(xué)到了有效特征。把中間層的feature map可視化或者把模型在簡(jiǎn)單子集上的表現(xiàn)單獨(dú)測(cè)試。如果連最簡(jiǎn)單的子集都擬合不了數(shù)據(jù)管線大概率有bug。我遇到過(guò)一個(gè)最難查的問(wèn)題某個(gè)類別的圖片在讀取時(shí)出現(xiàn)了排bytes順序錯(cuò)誤導(dǎo)致圖像顏色通道錯(cuò)亂模型在訓(xùn)練集上始終到不了目標(biāo)精度。最后是用可視化batch的方式才發(fā)現(xiàn)的。所以建議你在訓(xùn)練啟動(dòng)后沒(méi)事就打印幾行batch圖像出來(lái)肉眼檢查這個(gè)習(xí)慣能幫你省很多排查時(shí)間。4.3 可解釋性讓模型像在看病理而不是猜答案病理醫(yī)生不會(huì)輕易信任一個(gè)只報(bào)惡性概率0.93的模型。要讓這個(gè)訓(xùn)練集形成的模型真正被臨床接受可解釋性必須跟上。我最常用的工具是Grad-CAM熱力圖。把模型最后一層卷積的梯度傳到輸入圖像生成高亮區(qū)域疊加到原patch上。一個(gè)合理的模型熱力高亮區(qū)域應(yīng)該集中在細(xì)胞核密集、核異型性明顯的區(qū)域如果模型高亮的區(qū)域全是染色背景或組織間隙那基本可以斷定模型學(xué)到了偽相關(guān)。更進(jìn)一步的方案是用基于Patch的決策融合。我把整個(gè)WSI切成多個(gè)patch分別預(yù)測(cè)再把預(yù)測(cè)結(jié)果映射回全切片坐標(biāo)形成熱力圖。醫(yī)生能直觀看到哪塊組織被模型判為高風(fēng)險(xiǎn)。這種做法比單獨(dú)給patch熱力圖更符合病理醫(yī)生的工作習(xí)慣也更容易建立信任??山忉屝赃€有一個(gè)加分項(xiàng)記錄模型在不同放大倍率下的預(yù)測(cè)一致性。惡性病變?cè)诟弑剁R下往往有比較明顯的異型性如果模型在低倍率下判惡性、高倍率下判良性說(shuō)明可能受到了某些低倍率下的干擾因素影響這類樣本需要人工復(fù)核。4.4 模型壓縮與部署的取舍訓(xùn)練集和模型跑到一定精度以后就要考慮部署場(chǎng)景了。病理AI最終要嵌入到醫(yī)院的病理信息系統(tǒng)PACS或者輔助診斷工作流里對(duì)推理速度有硬性要求。我試驗(yàn)了幾種壓縮方案簡(jiǎn)單說(shuō)下結(jié)論。模型權(quán)重量化到INT8后推理速度提升約3倍內(nèi)存占用下降75%但AUC下滑約0.8%在敏感度優(yōu)先的場(chǎng)景下有點(diǎn)難受。知識(shí)蒸餾是一個(gè)更值得嘗試的方案用EfficientNet-B4當(dāng)teacher蒸餾到一個(gè)較小的EfficientNet-B0可以做到只損失0.3%的AUC換來(lái)接近2.5倍的推理加速。部署時(shí)還要考慮的一件事是GPU和CPU的選型。如果醫(yī)院已經(jīng)有NVIDIA的GPU工作站直接上TensorRT優(yōu)化是最高效的路徑。如果只有CPU環(huán)境那就得認(rèn)真考慮量化策略和模型規(guī)模。不要做那種我們模型精度特別高但部署要一臺(tái)四卡A100的方案臨床環(huán)境沒(méi)那么慷慨。5. 常見(jiàn)問(wèn)題速查按從數(shù)據(jù)到部署的順序排坑我整理了這份實(shí)操中反復(fù)出現(xiàn)的問(wèn)答速查表覆蓋從訓(xùn)練集構(gòu)建到部署的完整鏈路供直接參考。常見(jiàn)問(wèn)題排查方向推薦處理方式訓(xùn)練集loss降不下來(lái)學(xué)習(xí)率、數(shù)據(jù)管線、標(biāo)簽錯(cuò)誤先可視化和核對(duì)數(shù)據(jù)再調(diào)整學(xué)習(xí)率用簡(jiǎn)易子集驗(yàn)證訓(xùn)練集loss降了但測(cè)試集AUC低過(guò)擬合、數(shù)據(jù)泄漏、標(biāo)注系統(tǒng)性錯(cuò)誤檢查數(shù)據(jù)劃分是否按患者分組做bad case分析同一患者patch被同時(shí)分到訓(xùn)練集和測(cè)試集數(shù)據(jù)劃分時(shí)以patch為單位隨機(jī)劃分改成按患者ID進(jìn)行分組劃分訓(xùn)練集類別嚴(yán)重不平衡正負(fù)樣本比例失調(diào)混合采樣 Focal Loss/加權(quán)CE雙保險(xiǎn)換掃描儀之后性能暴跌顏色增強(qiáng)過(guò)強(qiáng)模型學(xué)到染色偏移調(diào)小色彩增強(qiáng)幅度加入多掃描儀數(shù)據(jù)模型高亮區(qū)域落在背景而不是細(xì)胞學(xué)習(xí)到了偽相關(guān)特征用Grad-CAM檢查清洗包含過(guò)多背景的patch部署后推理太慢模型太大、未做優(yōu)化嘗試量化、知識(shí)蒸餾、TensorRT加速醫(yī)生反饋模型結(jié)論無(wú)法解釋只輸出概率沒(méi)有可視化依據(jù)輸出patch級(jí)的空間熱力圖公開(kāi)數(shù)據(jù)集licenses不一致項(xiàng)目存在分發(fā)或商用風(fēng)險(xiǎn)提前核查license必要時(shí)只做內(nèi)部科研除了上面的速查表再說(shuō)幾個(gè)心得體會(huì)。第一標(biāo)注質(zhì)量比樣本數(shù)量更值錢。與其急著擴(kuò)到100萬(wàn)patch不如先把1萬(wàn)patch做到高一致性標(biāo)注。醫(yī)學(xué)標(biāo)注的邊際成本很高如果花大量人力標(biāo)注出來(lái)的數(shù)據(jù)里混入10%錯(cuò)誤標(biāo)簽對(duì)模型帶來(lái)的負(fù)面效果可能抵消新增樣本的收益。第二模型訓(xùn)練過(guò)程中要保留checkpoint。不要只留最終一版。用驗(yàn)證集評(píng)估AUC找到驗(yàn)證集AUC最高的那個(gè)epoch對(duì)應(yīng)的模型而不是最后一個(gè)epoch的模型。在醫(yī)學(xué)場(chǎng)景中早停幾乎總是比訓(xùn)到底好因?yàn)橛?xùn)練后期的模型容易開(kāi)始記住訓(xùn)練數(shù)據(jù)中的噪聲。第三數(shù)據(jù)版本管理必須做。訓(xùn)練集、驗(yàn)證集、測(cè)試集的劃分一旦確定就要用hash或版本號(hào)固化下來(lái)。后續(xù)跑實(shí)驗(yàn)時(shí)任何數(shù)據(jù)變更都要生成新版本不然會(huì)出現(xiàn)兩個(gè)實(shí)驗(yàn)用的數(shù)據(jù)根本不一樣卻還以為是算法差異的尷尬情況。5.1 給新手的建議從一個(gè)小規(guī)模可復(fù)現(xiàn)項(xiàng)目開(kāi)始如果你第一次做醫(yī)學(xué)圖像分類我真心建議不要一上來(lái)就搞幾千張WSI。先把目標(biāo)縮小找到一個(gè)幾百patch的小數(shù)據(jù)集跑通完整流程確認(rèn)每個(gè)環(huán)節(jié)的輸出都是預(yù)期中的再逐步擴(kuò)大。小規(guī)模項(xiàng)目的好處是你可以在有限時(shí)間內(nèi)人工檢查每個(gè)環(huán)節(jié)搞清楚我的數(shù)據(jù)標(biāo)注長(zhǎng)什么樣模型看到的batch是什么loss下降到多少算正常哪些樣本是難例。這些感知一旦建立后面做大項(xiàng)目就有參照了。工具鏈上我推薦把PyTorch、TensorBoard、Weights Biases三者結(jié)合起來(lái)用。尤其要用TensorBoard或WB定期查看訓(xùn)練圖像和預(yù)測(cè)結(jié)果不要只盯loss曲線。圖像是你了解模型訓(xùn)練的眼睛loss只是體溫計(jì)。另外寫代碼時(shí)建議寫一個(gè)簡(jiǎn)單清晰的config文件統(tǒng)一管理超參。病理圖像的實(shí)驗(yàn)周期長(zhǎng)每個(gè)實(shí)驗(yàn)跑起來(lái)要幾個(gè)小時(shí)甚至幾天如果超參靠手工改代碼記錄和復(fù)現(xiàn)都會(huì)非常痛苦。用config管理參數(shù)配合實(shí)驗(yàn)日志能在長(zhǎng)期迭代中保留大量可回溯的歷史記錄。5.2 關(guān)于這個(gè)訓(xùn)練集項(xiàng)目后續(xù)可以擴(kuò)展的方向這套訓(xùn)練集在完成良惡性分類這個(gè)基礎(chǔ)目標(biāo)之外還可以往幾個(gè)方向擴(kuò)展。第一個(gè)方向是分子分型預(yù)測(cè)。乳腺癌有Luminal A、Luminal B、HER2陽(yáng)性和三陰性等不同分子分型不同分型的治療策略差異很大?,F(xiàn)有研究表明部分分子分型在組織形態(tài)學(xué)上有一定的特征信號(hào)但肉眼未必能穩(wěn)定捕捉。用AI訓(xùn)練集在這些亞型上做預(yù)測(cè)是一個(gè)有價(jià)值的研究方向。第二個(gè)方向是多模態(tài)融合。把病理圖像和影像學(xué)圖像比如鉬靶、磁共振、基因組數(shù)據(jù)結(jié)合用多模態(tài)模型做綜合預(yù)后判斷。這個(gè)方向?qū)?shù)據(jù)整合能力的要求更高但也是臨床真正需要的。第三個(gè)方向是跨中心泛化。同樣的訓(xùn)練集在這個(gè)醫(yī)院訓(xùn)練得很好換到另一家醫(yī)院、另一個(gè)掃描設(shè)備上表現(xiàn)是否穩(wěn)定是需要專項(xiàng)驗(yàn)證的。要把數(shù)據(jù)按醫(yī)院或設(shè)備分組做外部隊(duì)列測(cè)試反復(fù)迭代模型和數(shù)據(jù)增強(qiáng)策略。我在實(shí)際項(xiàng)目中最深的體會(huì)是訓(xùn)練集的價(jià)值不在于量大而在于干凈且分布合理。做到了這一點(diǎn)哪怕模型結(jié)構(gòu)不是最前沿的也能在真實(shí)場(chǎng)景中取得不錯(cuò)的成績(jī)。沒(méi)做到這一點(diǎn)再花哨的模型方案都會(huì)在臨床數(shù)據(jù)面前現(xiàn)出原形。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
啪啪免费| 欧亚第一综合网| 性色一线| 成人在线日韩| 欧美精品双插| 男人天堂电影院| aaa亚无码专区| 曰韩人妻中文字幕在线| www.夜夜| 国产亚洲日韩在线三区黑人| 欧美白嫩女HD| 温婉少妇玩3p| 激情人妻另类| 亚洲啪AⅤ永久无码| 婷婷久草一区二区三区| 一本色道人妻久久| 免费视频a级毛片免费视频| 99国产精品免费| 韩国一级做a久久久久| 九九亚洲视频| 精品日日人妻| 久久亚洲天天做| 亚洲天天操| 9久久精品| 欧美很很操视频| 久久精品99久久久久久| 亚欧性爱无码| 色老久久| a网站免费观看| 自拍第一页| 综合久久六月久久婷婷| 精人妻无码一区二区三区伊人直播 | 在线观看中文字幕| 91中文在线| 亚洲情色 自拍| 亚洲免费人妻在| www狠狠| 欧美日韩免费性爱| 日韩国产欧美伦理在线| 91老司机在线| 日韩91网站| 欧美日韩性爱精品| 手机在线播放国产福利| 蜜乳av首页| A V视频日本| 日韩福利综合一区| 九九视品黄色| 粉嫩av在线| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 色欲人妻一区二区在线| 再深点灬舒服灬太大了添视频| 中文字幕久久亚州无码| 丁香五月成人| 一级一性爱免费视频| 欧美久久婷| dy888午夜老子影视达达兔| 亚洲棕合电彰| 思思热国产在线视频| 久久精品日韩| 97伊人超碰| 色性荡荡荡荡视频| 啪啪资源网| 九九九九精品在线| 成人热久久精品| 另类 日韩 熟女| 亚洲欧美综合图片| 青青青青草av在线观看| 岛国艾薇凹凸视频天堂| 大香蕉欧美| 青久操| 九色 人妻 大香蕉| 人妻一区久久二区三区色播| 亚洲欧洲日韩国产自在线| 亚洲欧美精品久| 激情国产乱伦Av| 劲爆欧美人妖三区91| 亚洲AV永久无码一区仙野| 亚洲黄色| 国精综合一二三区影视| 人人摸人人添人人操 | 就去色综合| 大香蕉在线视频15| 又粗又长又爽在线观看| 国产精品一区二区麻豆| 日日天天久久啊啊aaa| 你想操日本小逼吗| 日本成人在线不卡一区二区三区| 劲爆欧美人妖三区91| 婷婷午夜| 嗯啊抽插大香蕉网页| 香蕉99秘 一区精品蜜桃臀| 96AV久久久| 日韩不卡av一二三| 超碰国产精品无码| 欧美少妇色图| 91精品国产91久久久久久久久久久久| 我中文字幕6区| 狠狠 91| 激情啪啪拍91| 黄色AAAAA欧美| 看黑丝美女操逼青青网站| 不卡啪啪视频| 蜜臀一区二区三区在线| 不卡二三区人妻少妇| 国产精品视频在线播放| 黄久在线| 中文字幕人乱码中文字的预防方法| 嗯啊不要在线| 99国产精品人妻人伦| 久久综合激情| 探花熟女,姿勢到位,體驗感也到位| 九九九九热| 欧美爱国产综合、| 伊人96在线| 人妻大相焦在线| 欧美午夜一区二区三区| 久草免费在线一区二区| 国产黄片在线免费观看| 国产人妖视频一区在线观看| 人妻乱仑一区二区三区| 国产久久成人| 国产一区二区在线播放量| 精品人妻一区二区三区四区| 99久久久| 立川理惠被中出无码| 人妻娇喘 激情视频| 91老司机在线视频免费观看| 人妻丝袜无 码视频专区| 日本五十路在线| 国模吧 一区二区三区| 国产日逼视频| 国产亚洲中文不卡二区| 边做饭边操逼逼| 超碰97网站| 日韩特一级久久| 欧美国产操逼| 久草成人影片| 亚洲九九视频| 探花精品 一区二区| 91N综合网在线| 中国女人内射6XXXXX| 日日玩天天干| 欧美一区二区三区成人性生活| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 67914在线兔费成人视频| 亚洲熟女国产综合另类| 欧美成人亚洲精品| 天天肏美女| 一个人在线看的黄色电影网站| 亚洲情色五月天| 青女在线| 久久偷偷色综合蜜桃| 好湿好紧视频| 蜜臀99久久精品久久久久| 中文AV制服乱伦| 97操| 操逼逼一区视频| 无码91| 桃花色综合影院| 免费在线观看国内色片网站网址| 欧美在线|亚洲| 久久99久久99精品天美传媒棢·纸:. | 无码乱人伦中文视频| 操操吧亚洲乱伦视频| 岛国激情视频在线观看| 国语精品内射在线观看| 九九热精品| 国产欧美美女免费观看视频| 成人综合视频久久| 伊人精品国产| 蜜臀久久99精品久久久久电影| 91n处女在线观看| 99热欧美| 高清无码 国产精品| 色五月综合| 激情综合五月天| 亚洲情色1区| 久偷拍欧美日韩三区| 国产精品高朝久久久久久久| 国桃视频产巨乳精品一区二区在线| 91熟女少妇| 亚洲伊人成综合成人网| 国产自产自拍| 偷拍亚洲高清图片| 黑人与人妻| 五月开心久久AV官网| 九九亚洲色在线观看| 久久区| 国产AV毛片| AV 少妇 人妻 偷拍| 国产久久久9999| 五十路人妻在线| 黑人综合网| 亚洲日韩美女中文字幕乱| 五月综合色| 欧洲精品人妻| 精品999一区二区| 国产欧美精选激情视频| 殴美日韩m| 丝袜狠狠草尤物 91| 大色综合| 国产91精品福利在线| 国产精品久久久久久久毛片1| 韩日精品四区| 国产精品色约约| 亚洲 欧美 日韩 国产一区二区| 男人的天堂一区三区| 无码一区二区三区四区五区六区七区八区九区十区视频 | 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 中文字幕乱在线伦视频中文字幕乱码在线 | 亚洲中文人妻色| 精品视频专区| 99热在线观看| 国语人妻精彩刺激| 久久高潮妇女视频| 亚洲av乱伦色图网站| 亚洲成人妻日韩在线| 张柏芝国产一区在线观看| 中文字幕日本久久| 日本一卡二区在线| 艹少妇网站| 97亚洲综合电影| 国产乱码精品久久久久久| 97亚洲中文| 强奸乱伦动态污图免费| 91精产一区二区三区| 亚洲超碰97| 狠狠狠狠狠| 日韩无码服务区| 亚洲国产尤物yw在线观看| 东北女人av| 日本精品一区二区三区四区的功能| 日本肉体xxxx裸交| 99日视频在线免费| 一区二区三区视频在线观看免费| 99re在线视频国产| 91动漫操逼视频| 久久亚码| 无码高清操逼网址| 嗯……啊…嗯嗯…啊…好舒服| 999综合网| 亚洲性爱无码乱伦av| 四虎AV无码| 操逼无码操逼| 人妻人人澡人人爽人人| 一个国产在线综合网站| oumeizonghese,www| 伊人专区一区二区三区| 九九九九日本 | 欧美三级一级| 天天射天天| 久久久久久久少妇| 国产一级高跟丝袜| 九九夜精品九九在线| 久久久一区二区三区三州| 97人亚洲综合字幕| 再深点灬舒服灬太大了添视频| 欧美性,色九九| 黄色人人| nuu12国产麻豆精品| 少妇干B| 一二视频神马久久传媒| 久久亚洲婷婷| 免费国产视频| 超碰久在线天天做| 九九黄色网| 大色网久久| 人人操人人操人人操人人操人人操人人人11.CM| 久久视网78| 做爱A级亚欧| 久久色AV线| 色婷五月| 人人操人人爽人人操人人| 中文字幕在线观看AV| 精品黄色电影| 午夜福利在线视频1000| 国产亚洲99久久精品| 97干在线| 中文字幕一区二区三四五区日日骚| 日韩性爱免费视频在线网站| 熟妇人妻丰满久久久久久久无码| 人人喜人人妻| 天堂亚洲精品| 韩国三级一线观看久| 性爱视频免费网址| 情色av电影| 午夜激情成人在线观看| 欧美,亚洲,日韩,v,天堂,手机在线观看| 中文字幕亚洲在线一区| 一区二区视频在看| 九九九久千久久激情蜜桃在线看 | 天天躁日日躁AAAXX| 综合 亚洲 欧美| 中文字幕片| 亚洲 国产 精品一区| 加勒比海人人操超碰在线| 一及黄久一点| 北条麻妃99精品青青久久| 91国产精品在线看| 成人八戒网站| 熟女乱3伦999| 999综合色| 亚洲蜜臀精品视频久久| 99re6国产精品99re在线| 亚洲无码一二三区| 97色碰| 亚洲综合影片| 天天亚洲| 亚洲 欧美都市激情| 粉嫩av在线| 亚洲宗合网| 91 刺激在线| 久久精品中文字幕观看| 超碰97人人cao| 人妻色情天天操| 欧美一区二区三区日韩| 精品亚洲| 又黄又硬又粗又长国产视频| 九九自拍伦理| 2001天天操| 四色永久成人网站| 婷婷亚洲综合| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 人人操AV| 国产成人无码高清| 蜜乳AV一区| 日本爽爽爽爽爽爽免费视频| 粉嫩av一区二区三区天美传媒| 91精品久久综合熟女| 人人干人人操人人爱| 少妇精品久久久八区九区| 国产欧美一区二区| 婷婷性爱| 伊人久久婷婷| 日韩av在线播放不卡| 一本色道久久天天射天天干| 99re9| 久久久免费高清中文视频| 992这里有精品| 91精品国产高清久久久久久,亚洲成人| 欧美日韩*字幕一区| 麻豆天美传媒毛片| 一区二区三区国产在线播放| 亚洲女人91| 91亚洲最新在线| 精品二区三四区五电影| 麻豆天美在线喷水AV| 欧洲精品一区二区三区| 大香蕉欧美国产日韩高潮| 国产白嫩精品久久| 亚洲自拍一区夜夜操| 国产亚洲欧洲在线观看| 干b在线性社区| 久久久婷| 麻豆精品三区视频| 长久操视频| 九九热精彩视频| 啊啊啊要高潮了| B049AV在线播放| 欧美91精彩| 99只有精品| 青青草大香蕉在线视频| 91l欧美在线| 综合色色网| 色婷婷丁香| 欧美成人性爱视频大全| 日本123区操B视频| 另类图片五月| 麻豆久久久久久久久丝袜| 91天美传媒精品| 美日韩一二三区| 超碰98综合网| 91色射| 嗯嗯啊啊日韩精品| 乱人乱色一区二区三区免费| 久久精品久久久久久久| 精品久久无码午夜福利| 乱伦一二三区| 国产女人极品高潮毛片| 久久综合九九| 国产av青草| 亚洲综合图文| 亚洲综合嫩| 四虎在线观看视频| 成人精品一区二区91毛片不卡| 国产区91柔拿会所技师| 这里只有精品视频在线| 天天综合网91入口| 日韩人妻少妇 一区二区三区| 强奸乱伦大香蕉网| 日本一级婬片试看三分钟| 福利视频合集| 最新9久久久9免费视频| 91爰爱欧美| 首页亚洲国产高跟丝袜诱惑视频| 色与欲影视| 强乱老妇中文字幕| 在线 制服丝袜中出 人妻| 秋霞免费AV| 啪啪视频亚洲第一| 六月丁香网| 国产人伦精品一区二区三区| 亚洲蜜臀精品视频久久| 97精品网| 亚洲偷拍自拍在线视频| 色香阁在线| 丝袜av一区二区三区| 久久国产精品m码| 日日干天天干夜夜爽| 色色色色网站| 青青草啪啪网| 九九九九热| 欧美日韩性爱无码| 口爆欧美91| 国产综合久| 欧美日韩国产另类综合| 久久久蜜桃一区二区三区| 欧亚久久偷拍视频| 美女久久久| 韩国一级婬片A片AAAAA| 蜜臀99999| 放黄片放3级黄片没穿衣服| 一区三区啪啪| 久久婷婷欧美| 日韩欧美性爱电影在线观看| 99视频只有精品| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 超碰亚洲97| 亚洲色图自拍| 丰满人妻一区二区三区四区| 任我爽视频在线观看| 91精品导航| 欧美人妻精品一区二区| 国厂麻豆77q4| 久久草草亚洲蜜桃臀| 久久性爱视频| 暴力av在线| 免费看A片毛毛片在线播| 亚洲熟妇丝袜在线观看| 亚洲欧美另类小说| 丁香五月天堂网| 天天日天天干天天摸天天操| 中文久久爆乳| 黑人粗大V S日韩女优视频| 久久精品日韩| 日本人妻天堂网站在线播放| 人妻无一区二区三区| 青娱乐亚洲热| 日韩免费中文字幕视频| 91在线免费观看处女| 九月伊人中文字幕| 小泽玛利亚一二三| 免费精品无码一级毛片牛牛影视 | 一区,二区,三区视频| 九九碰九九爱97超碰| 欧美日不卡| 日韩一卡二卡三卡| 欧美久久九九| 91亚洲欧美| 久久国色天香香蕉| 人人摸人人入| 黄网站黄视频网站进入口| 91综合色噜噜| 白 大 人妻 区 在线| 看免费的黄片| 91精品久久久久久77777| 日本不卡二区| 丁香婷婷激情五月天无毒不卡| 亚洲欧洲中文日韩女优乱码| 国产嫩草精品A88AV在线| 久草精品国产99| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 日韩少妇一区二区三区| 欧美色吧综合| 夜夜中出国产| 日韩免费中文字幕视频| 日影院久久婷婷夜夜网| 东京热男人的天堂精品| 2017天天操天天日| 久久性爱视频| 五月天我淫我色av| 自拍欧美| 激情五月天丁香社区| 丰满人妻一区二区三区免费| 亚洲色图 欧美热图 清纯唯美 另类自拍| 亚洲春色一区二区三区| 欧亚成人在线视频| 六月婷婷综合| 亚洲综合91| 欧美国产有色电影| 精品久久99| 色与欲影视天天看综合网| www.久久| 强奸乱伦AV网址| 国产诱惑| 精品人人| 亚洲无码AV九九九| 成人夜夜| 97人人爱人人做人人乐| 精品毛片久久久精品毛片| 欲色综合| 四虎国产成人精品免费一女五男| 国产无马av| 亚欧色图在线激情| 久久久久无码一妻区| 人妻AV在线| 操b在线观看| 青青草五月份天| 色播五月丁香| 欧美黄片免费在线观看视频| 91制服丝袜中文字幕| 日日夜夜国产综合| 五月天综合网| 午夜精品五区| 亚洲日韩人妻中文字幕一区| 嫩草91| 精品久久久av| 99热在线观看| 亚洲天堂一区二区久久| 东京热双插| 欧美亚洲宗合色性图| 欧美熟爽综合| 午夜爽爽爽在线观看永久入口姬片| 97超碰人妻| 久久人妻无码毛片A片麻豆| 成人AV素股で擦久久| 亚欧高清在线| 日韩亚洲精品一区二区| 欧美色五月| 永久免费发布性爱网| 97超碰人人操人人操| 91色s| 久久午夜伦| 久草视频在线视频在线视频在线观看| 日本成人电影资源网| 性爱综合一区二区| 亚洲欧美色图| 久久丁香五月婷婷| 欧美色图欧美| 久久久久久久综合,国产| 亚洲少妇在线影音| 国产精品露脸在线观看| 激情久久日韩精品中文字幕麻豆| 色99色| 国产67194| 日本影视久久免费| 国产精品伦理| WWW美腿丝袜香蕉中文| 国内黄色精品| 日本伦理一区二区| 久久草草欧美精品| 丁香五月成人| 俺去也婷婷| 99九九久久| 久久黄色性爱视频| 奇米四色影视777久久久| 韩日色费| a片久久久久久久久久久久| 成人性生活高清视频在线播放| 色69大色97香蕉| 97欧美久久久久久久| 亚码人妻| 天天操天天日青青草超碰av| 第45页一区二区| 中文字幕亚洲欧美在线不卡| 人妻精品一区二区全免费| 偷拍网站久久男女男| 91亚洲精品青草| 嗯嗯啊啊视频在线看| 国产在线76页| 96AV精品| 爱啪精品一区| 劲爆欧美人妖三区91| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | www.yeyecao| 日本操逼aaaaa| 无码人妻一区二区三区色欲aⅴ | 国产精品久久久久无码Av网曝门| 九九精品无码专区免费| 亚洲欧洲日本精品中文a∨| 国产精品久久久无码aV去| 色色网91| 免费啪啪一级视频| 国产在线视视频有精品| 91久久久久免| 婷婷色香| 欧美大战久久久伊人| 玖玖超碰熟| 中文字幕av一区二区三区人妻少妇 | 国产精品交换一区二区| 亚洲福利中文字幕在线| 精品性爱无码在线播放| 黄污污污污| 国产欧美日韩女同性恋ww喷水精品| 骚乳在线| 青操影院| 久久东京热久久| 国产无码久久高清| 一区二区三区黄片免费观看| 岛国片在线观看视频亚洲| 日韩成人精品中文字幕| 人妻密肉在线观看| 嗯嗯啊啊好疼| 夜夜综合| 日韩欧美女求操每天更新| 久久久久久久唑| 91在线秘 男同| 九九探花视频在线观看| 999狠狠综合| 欧美日韩亚洲天堂网| 久久9免费视频| 亚洲成a人v欧美综合天堂下载| 综合国产影视三级| 久/久精品99看9| 看黑人AV不卡| 素人伊尹大香蕉免费下载视频| 日本一卡二区在线| 婷婷av在线中文字幕| 中国探花熟女| 亚洲日韩av一区二区三区百合| 久污| 亚洲美女AV无码| 人妻人人做人人澡人人爽欧美一区| 人人操人人狠狠操| 欧美性区| 水滴偷拍| 日本操大逼| WWW4虎| 97操综合| 国产强奸91| 日本熟妇一区二区三区| 久久久久久久久久久久久久久久9| 欧洲人妻视频| 激情国产乱伦Av| 国产精品视频电影| 97这里有精品| 91人妻素女| 中文字幕88av在线| 欧美天天弄| 青青操综合网| 神马午夜久久久| 国产400孕妇孕交群| 操B在线观看| 97久久超碰国产网站| 97视频播放| 青娱乐久久艹| 97超视频在线观看| 国产高清自拍视频| 综合熟女| 亚洲999综合| 欧美国产精品久久九九| 色五月激情综合网| 风月影院男女十八禁| 国产二区三区免费视频| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 嗯嗯嗯啊啊啊在线免费观看| 午夜噜噜噜| 欧美大香蕉专区网| 青青伊人久久| 国产高清精品一区二区三区毛片| 老女人爆菊| 少妇高潮九九九九| 99色色网| 激情在线青青操| 国产激情综合五月久久| 中文字幕精品专区搜索结果91| 欧美色视频在线| 久插综合| 亚欧免费| 麻豆国产成人精品| 91成人高清在线观看| 麻豆九九九| av毛片aaaaa免费看| 久久久久密| 亚洲熟妇一,二,三期| 成人资源中文字幕在线观看天天| 在线视频资源| 久操综合在线| 校园春色五月天| 超碰 97国产熟女| 操逼网站网站| 白丝AV网站| 91人妻最真实刺激绿帽| 亚洲av热热色| 搡老女人老妇女AAA一VU麻豆| 国产熟女精品区| 岛国免费黄色网址| 午夜精品人妻二区三区| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 怡春苑东京热| 亚洲欧美在线观看免费| 亚洲脚交| 91人妻爽爽人人做人人澡| 伊人影院日本| 人妻精品综合中文字幕在线| 日韩成人无码| 白丝jkav| 亚欧无码在线| 欧美色97| 国产精品女同| 日本操逼aaaaa| 久久爱超碰网| 国产亚洲禁久一区二区| 久久激情四射婷婷丁香五月天| 亚洲操逼网| 97超碰碰| 女人的天堂大香蕉网| 人人操人人叉人人插人人| 激情另类激情| 精品91摸| 岛国片在线播放| 91国产伊人大香蕉| 久久精品店| 日本Suv精品一区二区| 好湿好紧好爽 视频| 国产视频一区二区三区在线免费观看| 亚洲美女 晚间男人天堂 | 久久国产免费激情视频| 99这里都是精品| 久久久久人妻| 国产一区二区成人av在线播放| 亚洲国产青青| 久久五月份| 精品国产乱码| 激情小说激情视频| 中文字幕少妇色 | 久久久久久中文| 日本有码久久| 国产不卡免费在线视频| 日韩色香| 搞中出视频在线观看| 色狠狠综合| 日韩欧美性爱电影在线观看| 精品妇操一区二区三区| 国模限制级电影| 国产精品爽爽v| 久久久夜夜夜| 91亚·色| 亚洲无码一区二区三区三州| 熟女乱3伦999| 亚洲AV永久无码精品成人调教| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 中文字幕第23区| 天天干一干| 男人高清无码一区二区| 3PAV乱伦视频| 久久久九九| 欧美激情欧美精品| 人人操人人操草草| AAAA欧美日韩| 女优大全 - 91n| 欧洲精品网| 国内精品不卡无毒99999| 丁香九月激情啪| 中文字幕AV乱伦| 精品78| 一区二区三区四区在线不卡| 又黄又粗又硬又长又大| 97超碰国产亚洲精品资源| 殴美在线AⅤ| 国产三级在线现体验区| 5252色欧美在线男人的天堂| 欧美熟女妇同| av婷婷色网| 99爱在线视频| 欧美精品自慰系列寂寞少妇| 国产精品亚洲高清在线| 综合第一页| 四虎精品亚洲| 天天干1区2区在线| 97在线观视频免费观看| 人妻精品4K4K4K4K4| 玖玖视频在线资源一区二区三区| 亚洲精品久久久久久久蜜桃臀| 最新国内自拍av免费| 麻豆天美一区二区| 乱子伦一区二区三区国产精品| 嗯嗯嗯不要不要免费视频| 狠狠干,狠狠操| 五月婷婷基地| 久操不卡视频| 狠狠色噜噜狠狠狠狠狠色综合久久 | 国产av波波国产精品| 国产精品一二三区18| 人妻久久| 后入式福利| 蜜臀亚洲综合一二三四区| 亚洲精品天天影视综合网 | 亚洲人成网www| 黄aaaaaaaaaaaaaaaaaa色网站 | 日本好吊色视频| 日本精品免费一区二区三区四区| 免费9 1久久| 97超碰热线| 九九九九日本 | 天天草天天日| 在线视频亚洲无码| 精品人妻一区二区三区四区石在线 | 亚洲精品一区二区日本| 国产亚洲色婷婷久久99精品91 - 百度| 91综合站| 久久久久久久久999| 亚洲色图欧美激情| 亚洲精品一区二区日本| 亚洲国产丝袜熟女av| 视频不卡中文字幕| 特污精品女优骚货黄色视频在线免费观看| 91综合天天看| 日本欧美不卡| 国产精品69久久久久久久| 91黄射| 日韩三级av片| 91少妇人妻| 国产中出内射一区二区| 成人一道本免费视频| 国产在线视频二区| 91成人久久 | 五月丁香影院| 男人的天堂2018东京热啪啪啪| 91丝袜美女| 青青操在线亚洲视频观看欧美在线 | 国产精品一区二区 尿失禁| 午夜男女爽爽爽在线视频 | 中文字幕人乱码中文字的预防方法| 国产亚洲日本| 蜜桃天美传媒AV一区二区三区| 免费视频一二三区| 国产91福利小视频在线观看| 蜜乳视频网站| 欧美日韩国内不卡| 婷婷五月花| 欧美综合加勒比在线| 夜夜综合| 久久风骚城市| 狠狠操狠狠操操| 国产AV精久久| 91精品国产高清久久久久久,亚洲成人 | 日本不卡一区二区三区| 精品人妻少妇| 色y情视频免费看| 中文字幕狠狠玩| 少妇 综合| 九九热在线精品视频| julia ann久久| 91老熟女视频| 久久久亚洲高清不打码| 丁香五月激情啪啪| 欧中日成人免费影视| 无码国产精品久久久久| 好吊妞转入那个网| 欧美一二在线| 精品免费成人久久| 夜夜操美女| 婷婷亚洲五月***久久| 九九九午夜| 1024午夜激情男人的天堂| 日韩99999| 先锋色眉乱伦资源| 殴美,日韩国产伦精品| 97精品国产97久久久久久户外免费| 国产乱人妻精品入口| 大香蕉伊人75| 亚洲成人免费中文字幕| 少妇二级| 久久久久久久久久久久欧美日| 91女色| 热天堂一区二区| 无码视频黄色网战| 欧美少妇一区二区三区| 色婷婷日韩精品一区二区三区| 内射夫妻三片| 国产成人网| 欧美中字二区| 97爱| 午夜色婷婷| 久久99草| 青草一区二区| 无码精品人妻一区二区三区妖精| 欧美夜夜狠| 欧美桃色网| 国产中文字幕在线点播| 超碰亚洲欧美日韩无| 后入综合久久| AV和黑人在线播放| 人妻在线臀日韩| 91爱啪| 欧美成人性爱视频免费观看| 四虎影视在线| 亚洲男人的天堂va亚洲男人社| 亚洲AV成人无码一二三久久| 天天爽天天操| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 33044男人的天堂深夜备| 久久久久久久久久va| 神马久久久久眼| 中国特猛少妇色xxx| 亚洲国产高清福利视频| 99国产精品免费| 欧美组图日韩亚洲中文字幕| 91精品久久久久久77777| 国产成人啪一区二区| 黄骗免费| 内射黑人| 超碰97人人cao| 亚洲熟女乱色| 99av| 婷婷久久五月天| 亚洲图片视频小说| 五月婷网站| 加勒比av中文| 强奸乱伦大香蕉| 午夜啊啊啊| 久久精品国产亚洲AV清纯| 久久人妻视频网| 大茄子熟女AV导航| 中文字幕精品日韩中文字幕| 国产欧美日韩臀| 国产黄色影片在线观看| 亚洲自拍一区夜夜操 | 免费精品中文字幕| 9999亚洲精品| 思思热影视| 久久高清无码夜夜操| 夜夜影视四色| 激情婷婷丁香| 午夜120视频在线观看| 国产精品分类在线观看| 超碰 欧美| 操逼逼无码| 亚洲人精品久久久| 国产精品一区二区 尿失禁| 色噜噜狠狠色综无码久久| 无套内射人妻在线播放| 欧美日韩国产人人| WWW黄片COM| 97操碰| 久久超碰、| 久久爽爽精品| 久久久99免费| 夜精品久无码| 亚洲成人性爱在线观看| 天天天堂影视日韩亚洲91| 免费毛片在线播放| 啊啊啊啊嗯嗯在线久久久| 九九av| 2021国产成人精品久久| 少妇三P| 高清无码 国产精品| 新怡红院| www四虎| 青青久日| 国产原创精品| 黄色操人| 日本精品九九九| 色99在线| 四虎午夜影院| 成人精品水蜜桃久久久久久久| 成人日韩欧美| 久久久久久久久9| 亚州色交| 91精品久久久久五月天精品| 风月影院男女十八禁| 丁香五月婷婷色| 白丝被操91| 超碰一区二区| 婷婷六月天| 高清国产无码av| 欧美91色| 五月黑AⅤ| 影视综合无码少妇| 综合亚洲网| 人人妻人人操人人乐| 加勒比99999| 白丝AV网站| 狠狠激情综合狠狠操中文字幕| 青青草综合在线| 高清不卡一二三区视频......| 草草网站影院白丝内射| 在线不欧美| 日日日骚女人精品| 岛国在线一区二区三区| 天天干18禁| 97视频www| 亚洲一区深夜| 人人爱人人操人人性| 国产一区二区在线播放| 青青草色插素人| 夜夜爽爽爽| 亚洲AV无码AV吞精久久久久| 日本在线伊人啪啪| 亚洲一区亚洲天堂| 色五91| 亚洲日韩美国人妻| av黄图片在线观看| 不卡六六在线91| 99精品网站| 丁香五月偷拍| 综合操逼| 国产精品久久久久久亚洲色欲| 欧洲大香蕉| 丰满人妻一区二区三区在线| 很很热性爱视频| 日本性感人妻91| 67914在线兔费成人视频| 欧美熟女妇同| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒| 日韩黄色片子| 91五十路| 综合亚州欧美| 97天天插| 色色99| 色婷婷综合网站| 乱伦AVxx| 一区二区三区免费视频入口| 秋霞一级视频在线观看免费| 久久国产成人精品国产成人亚洲| 日韩精品人妻中文字有码在线| 操穴国产| 亚州色图第三区| 大黄片做爱的大的| 亚洲情色综合| 97日亚洲欧美| 麻豆天天躁天天揉揉AV| 亚洲色图综合网| 久久欧洲| 人妻熟女字幕一区二区| 99热自拍| 在线v中文字幕一区二区三区| 亚洲色图欧美色图日韩色图| 欧美一级美片在线观看免费| 操久久久久| 本道在线| 日韩特一级久久| 热热色色综合| 日产国产精品中文久久婷婷| 亚洲天堂中文字幕无码男同| 亚洲AV成人无码久久精品播放| 综合操逼| 免费观看国产不卡av| 亚洲欧洲综合成人av一区| 内射小黄片| 午夜福利1区2区3区| 国产一区二区二区按摩精品啪视频| 91丝袜美女视频| 夜色综合| 日韩在线观看三级电影| 色噜噜国产精品视频一区二区| 午夜福利 成人 91| 淫纸中9区| 青青草久久| 美女网站黄页| 欧美,日韩,中文,另类| 日本ZZ高免费A级视频| 激情内射| 国内毛片四区| 香蕉99秘 一区精品蜜桃臀| 蜜臀久久99精品久久久久久-DVD | 亚洲综合春色| 97操97色| 丁香五月综合| 日韩探花精品在线视频| 在线人人人人人人精品超| 91被操| 日韩一级久久毛片| 无码 黑人一区二区三区| 成人麻豆av电影网站| 国产高清MV操逼视频| 欧美性爱三区二区| 亚洲午夜福利在线影院| 国产福利第一视频| 大香交伊人网| 国产四虎在线| 日韩美女,国产传媒,视频一区| 日日妻色网| 日本久久久精品电影| 操逼日韩无码 | 天天操夜夜操| 91黑丝少妇| 日韩钢筋无码高清啾啾啾| 日本不卡码黄色 | 狠狠操狠狠燥| 欧洲色综合| 性色aV一区二区三区噜噜| 亚洲高清视频在线免费观看| 成人97人人超碰人人| 顶级丝袜熟女一区二区三区 | 秋霞一集毛片观看| 国产一区二区精品久久99| 成人丁香五月| 日本丝袜美腿人妻九九| 亚洲色性情三级| 青青草一区二区三区四| 久久久久久久久久久久欧美日| 女人18精品一区二区三区| 精品视频久久| 成人五月天丁香激情综合| 国产高清免费不卡av| 青青草天天亲夜夜操网| 五月香婷婷| 区一二区日韩亚洲乱码av电影| 中文乱码字幕观看| 天天摸天天操视频| 骚女天天综合网| 欧美性爱无码一区二区三区| 欧美精品1区2区3区| 亚洲国产美女久久久久| 天堂俺去俺来也www久久婷婷| 婷婷亚洲五月***久久| 亚洲伊人久久精品狠狠在线| 99蜜月精品久久| 日韩性爱小视频| 久久高清欧美国产| 亚洲美乱| 青青草女人天天干| AAAA欧美日韩| 日韩欧美经典在线观看| 日本日日色视频| 青青五月天| 亚洲色婷婷久久91| 静品嫩模一区二区| 91丝袜美腿网站| 欧美色91| 久久这里是精品| 狠狠久久四虎| 成人一级二级| 日本一级特级毛片视频| 一区二区三区视频在线观看免费| 欧色综合| 偷拍欧美亚洲| 国产一进一出视频网站| 亚洲夜色在线| 夜夜嗨av午夜成人| 人妻精品一区二区三区| 日本东京热加勒比久久| 久操99| 久操频道免费在线呗看| 成人八戒网站| 亚洲综合在线高清| 国产一线二线三线av| 日韩乱伦影音先锋| 欧美激情片一区二区| 三上悠亚在线毛片91| 91狼人| 久久久久斤小| 天天躁日日躁成人字幕aⅴ| 91在线页| 天天综合站| av最新免费中文字幕| 亚洲色图加勒比| 97超碰精品| 920日本午夜免费| 亚洲污污网站| 91精品国产91久久福利| 美女尤物福利视频| 男人的天堂1024| 91丨九色丨43老版熟女| 亚洲。天堂。日本在线观看| 亚欧成人综合影院| 天天α片| 亚洲色欲一区二区三区|