日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

最優(yōu)傳輸如何合成病灶?OTLesMix給醫(yī)學(xué)圖像分割帶來(lái)數(shù)據(jù)增強(qiáng)新思路

最優(yōu)傳輸如何合成病灶?OTLesMix給醫(yī)學(xué)圖像分割帶來(lái)數(shù)據(jù)增強(qiáng)新思路 做醫(yī)學(xué)圖像分割的同學(xué)應(yīng)該都有同感病灶數(shù)據(jù)永遠(yuǎn)是“不夠用”的。一份高質(zhì)量的腫瘤掩膜需要影像科醫(yī)生在 CT、MRI 切片上一層一層手動(dòng)勾畫成本高、周期長(zhǎng)而且部分病灶形態(tài)本身就十分罕見——比如小尺寸轉(zhuǎn)移瘤、貼近血管生長(zhǎng)的結(jié)節(jié)、跨解剖區(qū)域的不規(guī)則病變。如果訓(xùn)練集里從未出現(xiàn)過(guò)這樣的形狀和位置模型到了真實(shí)場(chǎng)景中很容易漏檢、誤檢甚至把正常組織判成病灶。常規(guī)的緩解手段是數(shù)據(jù)增強(qiáng)旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、彈性形變都是常見操作。但這些方法本質(zhì)是在“已有病灶”的基礎(chǔ)上做幾何擾動(dòng)并不具備生成“新形狀、新位置病灶”的能力。于是問(wèn)題變得很有意思能不能像捏橡皮泥一樣把兩個(gè)真實(shí)病灶的形狀、位置和紋理做一次可解釋的融合從而合成大量“介于兩者之間”的逼真病灶樣本OTLesMix 正是沿著這條思路提出的方法。它的核心不是復(fù)雜神經(jīng)網(wǎng)絡(luò)而是一套經(jīng)典數(shù)學(xué)工具最優(yōu)傳輸Optimal Transport, OT與 Wasserstein 重心Wasserstein Barycenter。這篇文章我會(huì)從問(wèn)題背景、數(shù)學(xué)原理、方法拆解、代碼復(fù)現(xiàn)思路、實(shí)驗(yàn)驗(yàn)證方式和工程落地建議幾個(gè)維度把 OTLesMix 完整地講清楚。無(wú)論你是醫(yī)學(xué)圖像方向的算法工程師還是對(duì)最優(yōu)傳輸在深度學(xué)習(xí)中的應(yīng)用感興趣的研究者這篇文章都會(huì)對(duì)你有幫助。1. 醫(yī)學(xué)圖像分割的病灶數(shù)據(jù)難題1.1 病灶數(shù)據(jù)為什么稀缺病灶分割數(shù)據(jù)的稀缺并不是單純“數(shù)據(jù)量少”而是好幾個(gè)因素疊加在一起的結(jié)果。首先是標(biāo)注成本。CTA、MRI 或者病理切片中的病灶邊界往往并不清晰不同醫(yī)生對(duì)同一病灶的勾畫也可能存在差異。要獲得一份高質(zhì)量標(biāo)注通常需要多位醫(yī)生交叉驗(yàn)證甚至病理結(jié)果對(duì)照這在時(shí)間、人力和資金上都是很大開銷。其次是隱私約束。醫(yī)學(xué)影像屬于敏感個(gè)人數(shù)據(jù)脫敏、加密、倫理審批、數(shù)據(jù)使用協(xié)議等環(huán)節(jié)都會(huì)拖慢數(shù)據(jù)收集節(jié)奏。即便拿到數(shù)據(jù)不同醫(yī)院之間的數(shù)據(jù)格式、掃描協(xié)議、設(shè)備型號(hào)差異也會(huì)造成分布偏移。最核心的問(wèn)題是長(zhǎng)尾分布。病灶在真實(shí)世界中不是均勻出現(xiàn)的比如早期小病灶、罕見位置的病灶在數(shù)據(jù)集中占比很低而數(shù)據(jù)增強(qiáng)恰恰需要在這些樣本上下更多功夫。如果只是簡(jiǎn)單復(fù)制粘貼這類樣本模型很快就會(huì)過(guò)擬合換一個(gè)姿勢(shì)、一個(gè)角度、一個(gè)位置就認(rèn)不出來(lái)。1.2 傳統(tǒng)數(shù)據(jù)增強(qiáng)為什么不夠先列一下醫(yī)學(xué)分割里用得最多的幾何增強(qiáng)增強(qiáng)方式作用局限旋轉(zhuǎn)、翻轉(zhuǎn)改變病灶方向不改變形狀本質(zhì)小病灶仍難泛化縮放改變病灶尺寸實(shí)際病變大小與解剖結(jié)構(gòu)相關(guān)不能隨意縮放彈性形變輕微扭曲形狀幅度太大易失真幅度太小不足以增加多樣性亮度對(duì)比度擾動(dòng)模擬不同掃描參數(shù)不能生成新的結(jié)構(gòu)信息Mixup / CutMix像素級(jí)或塊級(jí)混合通常不做空間對(duì)應(yīng)病灶位置錯(cuò)開時(shí)會(huì)產(chǎn)生重影Mixup、CutMix 這類通用增強(qiáng)方法在自然圖像分類上效果很好但直接搬到醫(yī)學(xué)圖像分割時(shí)有一個(gè)明顯問(wèn)題病灶不是“一塊普通貼紙”它有自身的形狀組織、紋理統(tǒng)計(jì)和空間語(yǔ)義。當(dāng)兩個(gè)病灶位置距離較遠(yuǎn)時(shí)線性插值會(huì)產(chǎn)生模糊和重影當(dāng)你把病灶 A 直接復(fù)制到病灶 B 的位置時(shí)兩個(gè)病灶邊緣之間的過(guò)渡又非常突兀模型學(xué)到的更多是“貼圖偽影”而不是有意義的病理結(jié)構(gòu)。1.3 合成病灶的兩條技術(shù)路線為了讓訓(xùn)練集覆蓋更多形狀和位置研究者通常走兩條路。一條是生成模型路線典型代表是 GAN 和擴(kuò)散模型。GAN 可以生成非常逼真的合成病灶但訓(xùn)練不穩(wěn)定、需要大量真實(shí)樣本作為監(jiān)督、生成結(jié)果的病理語(yǔ)義難以保證。擴(kuò)散模型效果更細(xì)膩但采樣速度慢、訓(xùn)練成本高并且依然存在“生成的內(nèi)容是否符合真實(shí)病理特征”這一可解釋性問(wèn)題。另一條路線是幾何變換與圖像混合路線OTLesMix 屬于這一類。它在兩個(gè)真實(shí)病灶之間建立一個(gè)“質(zhì)量搬運(yùn)”方案讓形狀、位置和紋理可以解耦處理。這樣做的好處是合成病灶的紋理完全來(lái)自真實(shí)病灶不存在紋理漂移問(wèn)題形狀和位置則來(lái)自數(shù)學(xué)上可解釋的插值過(guò)程穩(wěn)定且可控。2. 先搞清楚最優(yōu)傳輸與 Wasserstein 重心2.1 最優(yōu)傳輸問(wèn)題從搬運(yùn)沙土說(shuō)起最優(yōu)傳輸是一個(gè)有 200 多年歷史的數(shù)學(xué)問(wèn)題最早可以追溯到法國(guó)工程師 Monge 在 1781 年提出的“搬土問(wèn)題”。想象地上有一堆沙子分布形狀為 A現(xiàn)在要求你把它搬成分布形狀為 B并且每一粒沙子從起點(diǎn)到終點(diǎn)都會(huì)產(chǎn)生搬運(yùn)成本。如果搬運(yùn)成本用兩點(diǎn)之間的距離來(lái)度量那么最優(yōu)傳輸問(wèn)題要回答的就是怎樣規(guī)劃每一粒沙子的搬運(yùn)路徑讓總成本最低這個(gè)“搬運(yùn)方案”在數(shù)學(xué)上稱為傳輸計(jì)劃transport plan記作 γ(x, y)表示有多少質(zhì)量從源位置 x 流向目標(biāo)位置 y。Kantorovich 后來(lái)對(duì)問(wèn)題做了松弛化處理允許質(zhì)量被“拆分”于是最優(yōu)傳輸問(wèn)題變成了一個(gè)線性規(guī)劃問(wèn)題min ∫ c(x, y) dγ(x, y)其中 c(x, y) 是搬運(yùn)代價(jià)函數(shù)通常取距離的平方 ||x - y||2。這個(gè)公式看起來(lái)抽象但含義非常樸素在所有可能的搬運(yùn)方案里找一個(gè)總成本最小的。在圖像處理里一張圖像的灰度值可以歸一化成一個(gè)概率分布病灶的掩膜也可以看成一個(gè)概率分布。于是最優(yōu)傳輸就提供了一種“把一個(gè)病灶變成另一個(gè)病灶”的最優(yōu)幾何對(duì)應(yīng)關(guān)系。2.2 Wasserstein 距離分布之間的距離當(dāng)最優(yōu)傳輸?shù)淖顑?yōu)總代價(jià)被定義出來(lái)后它本身也可以用來(lái)度量?jī)蓚€(gè)分布之間的距離。這就是 Wasserstein 距離。Wasserstein-p 距離的定義是W_p(μ, ν) (min ∫ ||x - y||^p dγ(x, y))^(1/p)當(dāng) p 1 時(shí)它也叫推土機(jī)距離Earth Movers Distance, EMD在圖像檢索、生成模型評(píng)估等領(lǐng)域有廣泛應(yīng)用。Wasserstein 距離有一個(gè)非常重要的幾何直覺它考慮的是“質(zhì)量分布的形狀差異”。兩個(gè)分布即使支撐集完全不重疊Wasserstein 距離也依然有明確的有限值因?yàn)橘|(zhì)量可以沿著空間距離流動(dòng)。對(duì)比 KL 散度和 JS 散度它們?cè)趦蓚€(gè)分布支撐集不重疊時(shí)可能退化為無(wú)窮大或常數(shù)導(dǎo)致梯度消失而 Wasserstein 距離不會(huì)。在 OTLesMix 中Wasserstein 距離可以用來(lái)度量?jī)蓚€(gè)病灶掩膜之間的“形狀距離”也可以作為插值過(guò)程中的一致性指標(biāo)。2.3 Wasserstein Barycenter分布的“平均”給定多個(gè)概率分布 μ?, μ?, ..., μ_N它們的 Wasserstein 重心是一個(gè)新分布 μ*使得所有分布與 μ* 之間 Wasserstein 距離的加權(quán)和最小μ* argmin_μ Σ λ_k · W_p(μ, μ_k)^p如果 λ_k 是權(quán)重且所有權(quán)重之和為 1那么 μ* 就可以理解為這些分布在“最優(yōu)傳輸意義下的平均”。這種平均和歐氏平均很不一樣。歐氏平均只是逐點(diǎn)取像素值的加權(quán)平均容易產(chǎn)生模糊、重影而 Wasserstein 重心會(huì)盡量保持分布本身的結(jié)構(gòu)——在病灶掩膜的場(chǎng)景里它傾向于生成一個(gè)“形狀介于兩個(gè)病灶之間”的掩膜而不是簡(jiǎn)單地灰度混合。舉個(gè)例子一個(gè)病灶是圓形另一個(gè)是細(xì)長(zhǎng)形它們的歐氏平均可能是一團(tuán)模糊的灰塊但 Wasserstein 重心可以生成一個(gè)從圓形到細(xì)長(zhǎng)形漸變過(guò)程中的“中間形態(tài)”這個(gè)形態(tài)仍然具有清晰的輪廓和可解釋的形狀結(jié)構(gòu)。3. OTLesMix 方法拆解形狀、位置與紋理如何被“搬運(yùn)”從命名看OTLesMix 可以拆解為 OT最優(yōu)傳輸 Les病變 Lesion Mix混合。它要解決的核心問(wèn)題是給定兩個(gè)真實(shí)病灶樣本如何合成一系列形狀、位置都不同但紋理統(tǒng)計(jì)真實(shí)可信的新病灶。3.1 病灶掩膜作為概率分布OTLesMix 首先把病灶掩膜mask看作一個(gè)二維概率分布。假設(shè)掩膜中病灶區(qū)域像素值為 1背景為 0那么將掩膜歸一化后它就是一個(gè)定義在像素平面上的離散概率分布源的病灶掩膜 μ_s質(zhì)量集中在病灶區(qū)域目標(biāo)的病灶掩膜 μ_t質(zhì)量集中在另一個(gè)病灶區(qū)域用概率分布的語(yǔ)言來(lái)描述病灶是 OTLesMix 最關(guān)鍵的一步。因?yàn)檫@樣一來(lái)形狀差異就變成了“兩個(gè)概率分布之間的差異”而形狀插值就變成了“分布之間的重心計(jì)算”。3.2 最優(yōu)傳輸映射建立空間對(duì)應(yīng)關(guān)系有了兩個(gè)概率分布下一步是計(jì)算它們之間的最優(yōu)傳輸映射。這里要說(shuō)一下“最優(yōu)傳輸映射”與“最優(yōu)傳輸計(jì)劃”的區(qū)別。最優(yōu)傳輸計(jì)劃 γ(x, y) 是一個(gè)聯(lián)合分布表示質(zhì)量從 x 到 y 的流量而在某些情況下這個(gè)計(jì)劃可以退化為一個(gè)確定性的函數(shù) T: x → y即每個(gè)源像素點(diǎn)都映射到唯一的目標(biāo)像素點(diǎn)這個(gè)函數(shù)就叫最優(yōu)傳輸映射。OTLesMix 使用最優(yōu)傳輸計(jì)劃的核心動(dòng)機(jī)是它比仿射變換、TPS 薄板樣條等傳統(tǒng)配準(zhǔn)方法更靈活能夠捕捉兩個(gè)病灶之間任意的質(zhì)量對(duì)應(yīng)關(guān)系同時(shí)保證這種對(duì)應(yīng)是“全局最優(yōu)”的不會(huì)因?yàn)榫植控澬亩a(chǎn)生扭曲。在工程實(shí)現(xiàn)中這一步通常通過(guò)計(jì)算兩個(gè)掩膜像素坐標(biāo)之間的代價(jià)矩陣然后求解線性規(guī)劃來(lái)完成也就是計(jì)算G EMD(μ_s, μ_t, M)其中 M 是像素坐標(biāo)之間的代價(jià)矩陣G 是傳輸計(jì)劃。G 本身可以理解為一張“從源病灶到目標(biāo)病灶的質(zhì)量流量圖”它標(biāo)識(shí)了源病灶每一個(gè)像素應(yīng)該搬運(yùn)到目標(biāo)病灶的哪個(gè)位置。3.3 Wasserstein 重心生成多樣中間形狀有了傳輸計(jì)劃之后OTLesMix 要做的不是直接跳到最極端的目標(biāo)形狀而是在源病灶和目標(biāo)病灶之間生成一系列中間形態(tài)。這一部分用到的正是 Wasserstein 重心??紤]兩個(gè)掩膜 μ_s 和 μ_t取權(quán)重 λ ∈ [0, 1]計(jì)算它們的 Wasserstein 重心μ_λ argmin_μ [ (1-λ) · W_p(μ, μ_s)^p λ · W_p(μ, μ_t)^p ]當(dāng) λ 0 時(shí)重心就是源掩膜當(dāng) λ 1 時(shí)重心就是目標(biāo)掩膜當(dāng) λ 0.5 時(shí)重心是“中間形狀”。由于 Wasserstein 重心本身是概率分布因此合成掩膜依然保留著清晰的形態(tài)結(jié)構(gòu)不會(huì)像線性插值那樣出現(xiàn)模糊和重影。通過(guò)改變 λ 的取值可以生成一系列形狀平滑變化的病灶掩膜這就是“Diverse Shapes”的來(lái)源。3.4 紋理保持與位置遷移單純生成形狀還不夠合成病灶必須帶上真實(shí)的紋理灰度統(tǒng)計(jì)特征才可用于模型訓(xùn)練。OTLesMix 的做法是用最優(yōu)傳輸計(jì)劃把源病灶的圖像紋理“搬運(yùn)”到目標(biāo)病灶的位置上去。具體來(lái)說(shuō)給定傳輸計(jì)劃 G對(duì)于目標(biāo)位置的每一個(gè)像素我們根據(jù) G 中對(duì)應(yīng)的權(quán)重從源病灶圖像里加權(quán)采樣像素值得到一張“遷移動(dòng)態(tài)紋理圖”。這樣整個(gè)方法就把病灶的“形狀”和“紋理”解耦了形狀來(lái)自 Wasserstein 重心插值紋理來(lái)自真實(shí)源病灶的傳輸搬運(yùn)位置來(lái)自最優(yōu)傳輸映射所建立的空間對(duì)應(yīng)關(guān)系通過(guò)改變?cè)床≡睢⒛繕?biāo)病灶的組合以及權(quán)重 λ可以生成“形狀像 A、紋理像 B、位置接近 A/B 之間”的大量合成病灶。病灶位置的多樣性主要來(lái)自兩個(gè)方面一是源病灶和目標(biāo)病灶本身位置不同傳輸計(jì)劃會(huì)把紋理搬運(yùn)到新的位置二是在多個(gè)真實(shí)病灶之間兩兩組合時(shí)會(huì)形成大量沒有在原始數(shù)據(jù)中出現(xiàn)過(guò)的位置分布。3.5 合成病灶如何融入訓(xùn)練數(shù)據(jù)在實(shí)際訓(xùn)練時(shí)OTLesMix 通常作為一個(gè)在線數(shù)據(jù)增強(qiáng)模塊接入分割訓(xùn)練管線。流程大致如下訓(xùn)練集中維護(hù)一個(gè)“真實(shí)病灶庫(kù)”每個(gè)樣本包含病灶小塊和對(duì)應(yīng)掩膜。每個(gè)訓(xùn)練 step 隨機(jī)抽取兩個(gè)病灶樣本。用 OTLesMix 合成新的病灶 patch。將合成 patch 粘貼到訓(xùn)練圖像的隨機(jī)位置或通過(guò) OT 映射得到的合理位置。合成 patch 對(duì)應(yīng)的掩膜直接作為訓(xùn)練標(biāo)簽。通過(guò)這種方式訓(xùn)練集每次迭代都有新的合成病灶出現(xiàn)模型能夠見到更多樣的形狀和位置組合。4. 代碼復(fù)現(xiàn)思路用 Python 實(shí)現(xiàn)核心模塊下面給出一個(gè)基于 POTPython Optimal Transport庫(kù)的示例實(shí)現(xiàn)。需要提前說(shuō)明這部分代碼是為了幫助你理解 OTLesMix 的核心思路并不是論文官方實(shí)現(xiàn)的完整代碼。實(shí)際復(fù)現(xiàn)時(shí)需要根據(jù)你自己的數(shù)據(jù)格式、病灶尺寸和訓(xùn)練框架進(jìn)行調(diào)整。4.1 環(huán)境準(zhǔn)備與依賴建議使用以下環(huán)境Python 3.8 PyTorch 1.10訓(xùn)練分割模型用 POT 0.9.0最優(yōu)傳輸計(jì)算 NumPy OpenCV圖像讀寫與后處理安裝 POTpip install POT如果你已經(jīng)安裝了 PyTorch可以用下面命令驗(yàn)證 POT 是否安裝成功python -c import ot; print(ot.__version__)4.2 計(jì)算最優(yōu)傳輸映射下面的函數(shù)接收兩個(gè)二值掩膜返回一個(gè)從源掩膜到目標(biāo)掩膜的傳輸計(jì)劃import numpy as np import ot def compute_ot_map(mask_src, mask_tgt, eps1e-6): 計(jì)算從源掩膜到目標(biāo)掩膜的最優(yōu)傳輸計(jì)劃。 參數(shù): mask_src (np.ndarray): 源病灶掩膜形狀 (H, W)像素值為 0/1 mask_tgt (np.ndarray): 目標(biāo)病灶掩膜形狀 (H, W)像素值為 0/1 eps: 防止除零的極小值 返回: G (np.ndarray): 傳輸計(jì)劃形狀 (H, W, H, W) G[i, j, a, b] 表示從源像素 (i, j) 搬運(yùn)到目標(biāo)像素 (a, b) 的質(zhì)量 h, w mask_src.shape # 1. 將掩膜展平成概率分布 mu_s mask_src.reshape(-1).astype(np.float64) mu_t mask_tgt.reshape(-1).astype(np.float64) mu_s / (mu_s.sum() eps) mu_t / (mu_t.sum() eps) # 2. 生成像素坐標(biāo)網(wǎng)格 yy, xx np.mgrid[0:h, 0:w] coords np.stack([xx.ravel(), yy.ravel()], axis1).astype(np.float64) # 3. 計(jì)算代價(jià)矩陣歐氏距離的平方 M ot.dist(coords, coords, metricsqeuclidean) M / (M.max() eps) # 4. 使用 EMD 求解最優(yōu)傳輸計(jì)劃 G ot.emd(mu_s, mu_t, M) return G.reshape(h, w, h, w)這段代碼最核心的是兩個(gè)部分ot.dist(coords, coords, metricsqeuclidean)計(jì)算所有源像素與所有目標(biāo)像素之間的代價(jià)矩陣。ot.emd(mu_s, mu_t, M)用線性規(guī)劃求解最優(yōu)傳輸計(jì)劃。代價(jià)矩陣的標(biāo)準(zhǔn)通常會(huì)顯著影響數(shù)值穩(wěn)定性所以我對(duì) M 做了歸一化處理讓最大值等于 1。實(shí)際使用中如果你的病灶尺寸較大比如 128×128直接展開像素會(huì)得到 16384×16384 的代價(jià)矩陣內(nèi)存開銷極高建議先在連通域級(jí)別計(jì)算或者縮小到 32×32 再上采樣。4.3 計(jì)算 Wasserstein 重心POT 提供了ot.bregman.convolutional_barycenter2d可以直接對(duì)多張二維圖像計(jì)算熵正則化的 Wasserstein 重心def wasserstein_barycenter(masks, reg1e-2, num_iters100): 計(jì)算多張掩膜的 Wasserstein 重心。 參數(shù): masks (np.ndarray): 形狀 (N, H, W) 的二值掩膜數(shù)組 reg: 熵正則化系數(shù)越大速度越快但形狀越模糊 num_iters: Sinkhorn 迭代次數(shù) 返回: bary (np.ndarray): 形狀 (H, W) 的密度圖值在 0~1 之間 n, h, w masks.shape # 歸一化為概率分布 A np.stack([ m.astype(np.float64) / (m.sum() 1e-6) for m in masks ], axis0) bary ot.bregman.convolutional_barycenter2d( A, reg, numItermaxnum_iters ) return bary需要注意convolutional_barycenter2d使用的是卷積 Sinkhorn 算法計(jì)算效率比普通 Sinkhorn 高很多適合圖像這種二維網(wǎng)格數(shù)據(jù)。reg是一個(gè)關(guān)鍵參數(shù)reg 太小形狀更銳利但迭代收斂慢。reg 太大計(jì)算快但得到的重心會(huì)偏模糊。由于我們最終需要合成清晰的病灶掩膜通常會(huì)在得到重心密度圖后用閾值比如 0.5進(jìn)行二值化或者再做一次連通域篩選去掉零碎噪聲。4.4 紋理搬運(yùn)與合成病灶傳輸計(jì)劃的作用是把源病灶紋理搬運(yùn)到目標(biāo)位置。一個(gè)樸素的實(shí)現(xiàn)如下def transport_texture(image_src, G): 根據(jù)傳輸計(jì)劃 G 將源圖像紋理搬運(yùn)到目標(biāo)坐標(biāo)位置。 參數(shù): image_src (np.ndarray): 源病灶圖像形狀 (H, W, C) 或 (H, W) G (np.ndarray): 傳輸計(jì)劃形狀 (H, W, H, W) 返回: warped (np.ndarray): 搬運(yùn)后的紋理圖形狀與 image_src 一致 h, w image_src.shape[:2] channel_dim image_src.ndim warped np.zeros_like(image_src, dtypenp.float64) # 對(duì)每個(gè)目標(biāo)像素 (a, b) 加權(quán)聚合源像素的值 for a in range(h): for b in range(w): weights G[:, :, a, b] total weights.sum() if total 1e-12: continue weights weights / total if channel_dim 2: warped[a, b] (image_src * weights).sum() else: for c in range(image_src.shape[2]): warped[a, b, c] (image_src[:, :, c] * weights).sum() return warped這個(gè)雙重循環(huán)在理論上是正確的但效率很低。實(shí)際工程中可以先把傳輸計(jì)劃轉(zhuǎn)化為一個(gè)稀疏的“源坐標(biāo)重映射表”再用scipy.ndimage.map_coordinates做一次插值速度會(huì)快得多。下面把整個(gè) OTLesMix 合成流程串起來(lái)def otlesmix_synthesize(image_src, mask_src, image_tgt, mask_tgt, lam0.5): 合成一個(gè)位于源病灶與目標(biāo)病灶之間的新病灶。 參數(shù): image_src: 源病灶圖像塊形狀 (H, W, 3) mask_src: 源病灶掩膜形狀 (H, W)0/1 image_tgt: 目標(biāo)病灶圖像塊形狀 (H, W, 3) mask_tgt: 目標(biāo)病灶掩膜形狀 (H, W)0/1 lam: Wasserstein 重心的權(quán)重越大越接近目標(biāo)病灶 返回: synth_image: 合成病灶圖像塊 synth_mask: 合成病灶掩膜 # 1. 計(jì)算源到目標(biāo)的最優(yōu)傳輸計(jì)劃 G compute_ot_map(mask_src, mask_tgt) # 2. 將源紋理搬運(yùn)到目標(biāo)病灶位置 warped_texture transport_texture(image_src, G) # 3. 計(jì)算兩個(gè)掩膜的 Wasserstein 重心 bary wasserstein_barycenter( np.stack([mask_src, mask_tgt], axis0), reg1e-2 ) # 4. 根據(jù) lam 生成中間形狀掩膜 synth_mask bary (1 - lam) # 5. 背景部分保留目標(biāo)圖像病灶區(qū)域使用搬運(yùn)后的紋理 synth_image image_tgt.copy() synth_image[synth_mask] warped_texture[synth_mask] return synth_image, synth_mask.astype(np.float32)這段代碼中l(wèi)am既是重心權(quán)重也充當(dāng)了掩膜閾值的調(diào)節(jié)。實(shí)際使用中可以拆分成兩個(gè)獨(dú)立參數(shù)便于控制“形狀接近程度”和“掩膜閾值”。5. 從想法到實(shí)驗(yàn)如何驗(yàn)證 OTLesMix 的有效性設(shè)計(jì)好合成方法之后最關(guān)鍵的驗(yàn)證工作是把合成樣本真正用到分割模型訓(xùn)練中并和 baseline 對(duì)比。這里的實(shí)驗(yàn)協(xié)議值得認(rèn)真設(shè)計(jì)。5.1 評(píng)測(cè)任務(wù)選擇OTLesMix 適合作為病灶分割任務(wù)的數(shù)據(jù)增強(qiáng)模塊。常見的驗(yàn)證數(shù)據(jù)集包括BraTS2021多模態(tài)腦膠質(zhì)瘤 MRI 數(shù)據(jù)集包含 T1、T1ce、T2、FLAIR 四個(gè)模態(tài)標(biāo)注有壞死、水腫、增強(qiáng)腫瘤等結(jié)構(gòu)。LiTS肝臟及肝臟腫瘤 CT 數(shù)據(jù)集常用于腹部病灶分割。MSDMedical Segmentation Decathlon包含多種器官與病灶分割任務(wù)如胰腺、肝臟、結(jié)腸癌等。選擇數(shù)據(jù)集時(shí)最好選擇病灶形狀差異大、位置分布廣的數(shù)據(jù)這樣才能體現(xiàn) OTLesMix 的優(yōu)勢(shì)。如果數(shù)據(jù)集里全是圓心近似、大小相近的小病灶OT 方法和普通旋轉(zhuǎn)縮放的區(qū)別就不明顯。5.2 對(duì)比基線設(shè)置至少需要設(shè)置以下幾組對(duì)比方法說(shuō)明無(wú)增強(qiáng)直接用原始數(shù)據(jù)訓(xùn)練幾何增強(qiáng)旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、彈性形變Mixup / CutMix通用混合增強(qiáng)作為像素混合基線OTLesMix本文討論的最優(yōu)傳輸合成方法評(píng)價(jià)指標(biāo)建議同時(shí)看全局指標(biāo)和困難樣本指標(biāo)Dice 系數(shù)最常用的區(qū)域重疊指標(biāo)。IoU交并比對(duì)邊界誤差更敏感。HD9595% 豪斯多夫距離反映邊界最大偏差對(duì)病灶邊緣質(zhì)量敏感。罕見形狀子集指標(biāo)把測(cè)試集中形狀最不規(guī)則、位置最邊緣的樣本單獨(dú)統(tǒng)計(jì)更容易看出 OTLesMix 帶來(lái)的提升。5.3 訓(xùn)練流程與超參數(shù)建議在實(shí)際訓(xùn)練中OTLesMix 通常作為一個(gè)在線增強(qiáng)器使用。推薦流程如下離線抽取訓(xùn)練集中所有病灶 patch 和對(duì)應(yīng)掩膜構(gòu)建病灶庫(kù)。每個(gè)訓(xùn)練 step 以一定概率比如 0.3~0.5觸發(fā) OTLesMix 增強(qiáng)。每次觸發(fā)時(shí)從病灶庫(kù)隨機(jī)抽取兩個(gè)病灶隨機(jī)選擇 λ ∈ [0.1, 0.9]。用 OTLesMix 生成合成 patch粘貼到當(dāng)前訓(xùn)練圖像中。使用合成 patch 的掩膜作為對(duì)應(yīng)位置的真實(shí)標(biāo)簽參與損失計(jì)算。這里有一個(gè)值得注意的細(xì)節(jié)合成病灶粘貼到訓(xùn)練圖時(shí)需要避免粘貼到不合理的解剖位置。最簡(jiǎn)單的方式是保持源病灶與目標(biāo)病灶的相對(duì)解剖位置關(guān)系或者限制粘貼位置在特定器官區(qū)域內(nèi)。6. 常見理解誤區(qū)與排查建議在理解和復(fù)現(xiàn) OTLesMix 的過(guò)程中下面幾個(gè)誤區(qū)比較常見我整理成表格方便排查。誤區(qū)產(chǎn)生原因正確理解與解決思路把 Wasserstein 重心當(dāng)作逐像素線性插值沒有理解分布的“質(zhì)量流動(dòng)”概念線性插值在歐氏空間逐點(diǎn)平均容易產(chǎn)生模糊Wasserstein 重心是概率分布之間的幾何平均能保留結(jié)構(gòu)直接把 OTLesMix 當(dāng) GAN 用期望生成全新語(yǔ)義混淆“融合已有樣本”和“從潛空間采樣生成”O(jiān)TLesMix 是在真實(shí)樣本之間插值語(yǔ)義由真實(shí)樣本約束不會(huì)憑空創(chuàng)造病灶代價(jià)矩陣用像素歐氏距離但不歸一化EMD 求解數(shù)值不穩(wěn)定建議先對(duì)代價(jià)矩陣做歸一化處理或改用熵正則化 Sinkhorn 求解只生成病灶但不檢查視覺合理性實(shí)驗(yàn)流程不夠嚴(yán)謹(jǐn)至少要做人工抽樣檢查保證紋理連續(xù)、邊界不出現(xiàn)明顯偽影在整張圖上計(jì)算 OT內(nèi)存溢出圖像尺寸太大先裁剪病灶區(qū)域到小 patch 上計(jì)算合成后再貼回原圖認(rèn)為 λ 越極端多樣性越好對(duì)插值系數(shù)作用理解不深λ 接近 0 或 1 時(shí)合成結(jié)果接近真實(shí)樣本多樣性有限0.3~0.7 區(qū)間更值得探索如果你遇到合成結(jié)果中出現(xiàn)大量空洞或者噪聲點(diǎn)優(yōu)先檢查掩膜歸一化是否遺漏以及reg正則化系數(shù)是否過(guò)大。reg過(guò)大會(huì)讓重心變得過(guò)于平滑二值化后很容易出現(xiàn)零碎偽影。7. 工程化落地的幾條建議把 OTLesMix 從論文實(shí)驗(yàn)遷移到實(shí)際項(xiàng)目中有幾個(gè)工程層面的問(wèn)題值得提前規(guī)劃。7.1 病灶庫(kù)的構(gòu)建與管理病灶庫(kù)的質(zhì)量直接決定合成樣本質(zhì)量。建議在訓(xùn)練流程開始前先對(duì)訓(xùn)練集做一次離線分析篩選出面積適中、邊界清晰的病灶。太小的病灶比如只有十幾個(gè)像素在 OT 計(jì)算中噪聲非常大邊界模糊的病灶掩膜本身就不準(zhǔn)合成出來(lái)的樣本也會(huì)帶偏模型。病灶庫(kù)可以采用統(tǒng)一尺寸的 patch 存儲(chǔ)例如統(tǒng)一縮放到 64×64 或 128×128。為了避免病灶形態(tài)被縮放扭曲記錄每個(gè) patch 的原始尺寸和縮放比例合成后再變換回原圖尺度。7.2 在線增強(qiáng) vs 離線增強(qiáng)OTLesMix 的計(jì)算開銷主要集中在 EMD 求解上在線增強(qiáng)時(shí)如果每個(gè) batch 都重新計(jì)算會(huì)拖慢訓(xùn)練速度。實(shí)際工程中推薦“離線預(yù)計(jì)算 在線隨機(jī)組合”的方式離線階段從病灶庫(kù)中挑選有代表性的配對(duì)組合預(yù)計(jì)算傳輸計(jì)劃和重心形狀保存到磁盤。在線階段訓(xùn)練時(shí)直接讀取預(yù)計(jì)算的組合結(jié)果隨機(jī)選擇 λ 進(jìn)行紋理搬運(yùn)和粘貼將單次增強(qiáng)開銷控制在毫秒級(jí)。這種方式犧牲了一部分隨機(jī)性但大幅提高了訓(xùn)練效率更適合大規(guī)模數(shù)據(jù)場(chǎng)景。7.3 質(zhì)量控制與醫(yī)學(xué)合規(guī)合成病灶生成得再逼真也不能繞過(guò)醫(yī)學(xué)數(shù)據(jù)的合規(guī)要求。使用真實(shí)病人數(shù)據(jù)構(gòu)建病灶庫(kù)前必須確認(rèn)數(shù)據(jù)的合法授權(quán)、匿名化處理和倫理審批。合成樣本不應(yīng)包含可識(shí)別患者身份的信息也不能當(dāng)成真實(shí)影像用于任何臨床診斷目的。此外如果項(xiàng)目要上線到真實(shí)醫(yī)療場(chǎng)景建議邀請(qǐng)影像科醫(yī)生對(duì)合成樣本進(jìn)行抽樣評(píng)估確認(rèn)病灶的形態(tài)、邊緣和紋理在病理上合理。這一點(diǎn)是最容易被算法團(tuán)隊(duì)忽視但又是最重要的環(huán)節(jié)。7.4 增強(qiáng)策略的動(dòng)態(tài)調(diào)整不建議在訓(xùn)練全程使用固定的 OTLesMix 觸發(fā)概率。更合理的做法是課程式增強(qiáng)訓(xùn)練早期模型還在學(xué)習(xí)基礎(chǔ)特征以常規(guī)幾何增強(qiáng)為主訓(xùn)練中期逐步引入 OTLesMix提高樣本多樣性訓(xùn)練后期收斂階段再降低觸發(fā)概率避免模型過(guò)于依賴合成樣本而產(chǎn)生分布偏移。你可以用一個(gè)簡(jiǎn)單的 epoch 調(diào)度函數(shù)來(lái)控制觸發(fā)概率def get_otlesmix_prob(epoch, max_epochs, p_max0.5): 隨著訓(xùn)練進(jìn)行先提升再降低 OTLesMix 使用概率。 前半程線性上升到 p_max后半程線性下降。 half max_epochs / 2 if epoch half: return p_max * (epoch / half) else: return p_max * (1 - (epoch - half) / half)7.5 與其它增強(qiáng)方法的組合OTLesMix 并不排斥傳統(tǒng)增強(qiáng)方法。推薦在 OTLesMix 合成結(jié)束后再疊加隨機(jī)旋轉(zhuǎn)、小幅度縮放和亮度擾動(dòng)進(jìn)一步增加多樣性。但要注意控制組合強(qiáng)度避免病灶紋理被過(guò)度擾動(dòng)而失真。組合增強(qiáng)的順序也影響效果。通常建議先做空間變換旋轉(zhuǎn)、翻轉(zhuǎn)再做強(qiáng)度變換亮度、對(duì)比度最后再做隨機(jī)遮擋類增強(qiáng)。對(duì)醫(yī)學(xué)圖像而言空間變換要保持解剖關(guān)系所以旋轉(zhuǎn)角度不宜過(guò)大比如限制在 ±15 度以內(nèi)。8. 總結(jié)與下一步學(xué)習(xí)方向OTLesMix 的價(jià)值在于提供了一種真正可解釋、可控制的病灶合成思路。它把病灶分割中的數(shù)據(jù)稀缺問(wèn)題轉(zhuǎn)化為經(jīng)典的最優(yōu)傳輸數(shù)學(xué)問(wèn)題用 Wasserstein 重心生成多樣形狀用最優(yōu)傳輸映射搬運(yùn)紋理和位置。這種方法不需要訓(xùn)練額外的生成模型也不會(huì)出現(xiàn) GAN 常見的訓(xùn)練不穩(wěn)定問(wèn)題。如果你想把 OTLesMix 用在自己的任務(wù)里我的建議是從小規(guī)模開始先拿一個(gè)小數(shù)據(jù)集只做兩個(gè)病灶之間的 OT 混合看看生成的 patch 在視覺上是否合理確認(rèn)紋理和形狀都自然之后再把它接入訓(xùn)練管線。最優(yōu)傳輸?shù)臄?shù)學(xué)看起來(lái)硬核但它最終解決的問(wèn)題非常直觀——把一個(gè)分布搬到另一個(gè)分布。理解了這句話就理解了 OTLesMix 的一半。接下來(lái)你可以繼續(xù)深入的方向包括Sinkhorn 算法與熵正則化的原理、切片 Wasserstein 距離在高維問(wèn)題中的應(yīng)用、最優(yōu)傳輸在域適應(yīng)中的用法以及如何用卷積 Sinkhorn 加速圖像級(jí)重心計(jì)算。如果這篇文章對(duì)你有幫助可以先收藏備用如果你在復(fù)現(xiàn)中遇到了具體報(bào)錯(cuò)或效果異常歡迎在評(píng)論區(qū)把你的處理步驟和現(xiàn)象發(fā)出來(lái)一起排查。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久日综合网| 亚洲色图第一页| 人妻熟女一区二区| 男女啪啪网站免费视频| 精品国产一区二区三区四区在线看 | 91成人久久| 999九九精品| 精品欧美老熟女一二区| 五月婷婷深深爱| 91 丝袜在线观看| 91亚洲欧洲| 97国产成人精品免费视频| 国产传媒1234区| 日夜尻逼网| 十八禁av无码免费网站APP| 狠狠色丁香| www.av不卡中文字幕| 91搞逼视频| 成人资源中文字幕在线观看天天| 国产精品熟女一区二区三区| www.激情| 亚洲久久久| 欧美不卡二区| 日本中文字幕一区| 成人七区| 日韩99999| 精品中文字幕一区二区l - 百度| 日韩不卡网操逼中文字幕日韩| 久久久久久99AV无码免费网站| 久久久久9| 久久久久一本一区二区青青蜜月| 视频一区二区免费在线| 久久25| 毛片久久| 天堂伊人久久| 成年人一级黄色毛片大全在线观看| 国产第11页| 亚洲AV麻豆Aⅴ无码电影一| 久艹伊人精品综合在线| 三级AV入口| 欧美操逼视频二区| 欧美精品一区二区少妇免费A片 | 久操视频这里只有精品| 国产91久久九九免费精品无码| 97丝袜亚洲在线播放| 亚洲 欧美 制服 另类 自拍| 欧美日韩国产人人| 黄色av片三级三级三级免费看| 色天堂在线观看| 近亲乱伦一区二区| 亚洲精品久久一区二区三区蜜桃臀| 在线观看无码三级少妇| 九九九九九九九九九九精品视频| 亚洲成人福利电影免费| 亚洲图片小说欧洲| 成人日韩中文字幕| 欧美久久伊人| 中文字幕乱码在线| 免费97视频| 91快色色色色色| 久热这里| 97视频观看| 国产一区二区三区免费视频在性观看 | 久久超碰97中文字幕| 伊人91| 综合国产97| 99这里只有精品国产| 亚洲黄色网址| 免费观看的av| 日韩字幕一区| 综合亚洲欧美| 中国小夫妻勾搭露脸淫荡对白| 中文字幕亚韩| 岛国免费视频在线| 天天操天天干美女网址导航| 欧美综合97www| 2017人人操,人人摸| 国产免费一区| 禁十八久久| 国产成人精品日本视频| 日韩精品资源专区二区| 黑人性欧美| 天天流夜夜操| 尤物国产一区在线观看| 欧美福利视频啊啊啊啊| 欧美,日韩,中文,另类| 高清不卡一二三区视频......| 成人七区| 日韩无码极品| 国产熟女一区二区| 99精品人妻| 欧美国产一区二区三区麻豆传媒| 五月婷婷丁香| 久久精彩视频| 国产亚洲女v在线观看| 97欧美日韩| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 久久久艹艹艹| 开心激情婷婷| 婷婷丁香在线| 欧美专区日本专区| 一本一道波多野毛片中文在线| 九九九九精品九九九九| 日韩欧美麻豆 | 丝袜综合| 91日日| 美女诱惑1区2区| 强奸乱伦Av网| 午夜无码精品免费看性色| 尤物网站91| 亚洲欧美伦综合| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 日韩成人小视频| 999综合色| 亚州精品一区二区三区香中文字幕在线| 国产成人91一区二区三区| 97超级久久| 欧美性视频二区三区| 伊人久久大香蕉线AV五月天| 91艹逼精品| 日本有码影片下载 | 亚洲色系另类精品国产| 特污精品女优骚货黄色视频在线免费观看| 欧美成人精品一区| 国产精选视频| 精品视频在线观看| 欧美黄色手机在线观看| αⅴ天堂| 国产福利视频精品视频| 午夜国产乱伦视频| 日本一级婬片试看三分钟| 日韩免费高清大片在线| 亚洲精品国产专区在线观看| 日日操丁香五月天| 欧美亚洲另类在线蜜桃| 欧美特大黄一级片片免费| 亚洲四虎熟女精品| 开心五月深爱五月| 亚州色交| 色女99一级片在线观看| 97日视频| 国产精品久久泡妞网站| aV中亚| 国产亚洲日韩欧| wwwxxx日本爽| 欧美人妻一区| 日韩精品区二区三区不卡| 婷婷色一区| AV一二区| 亚洲中文字幕久久人妻| 3PAV乱伦视频| 欧美一级黄片视频在线| 大香网伊人久久综合| 成人 日韩欧美一区| 蜜臀久久99精品久久久老,,| 97色色,97综合| 超碰到97情色| 日本成a人v网站在线观看| 91精品国产高清久久久久久,亚洲成人| 中文字幕一区二区三区高清| 日韩色欲久久一二三四区| 亚洲乱码尤物193YW| www.久久| 伊蕉97蜜桃97狠狠综合干| 亚洲图片 激情小说| 亚洲情色 自拍| 不卡日本一区二区| 岛国片国产成人亚洲播放| 色综合婷婷| 中文伊人大香蕉视频| 少妇极品熟妇人妻无码| 超碰 欧美| 亚洲美女AV无码| 免费作爱一级视频| 久久最新免费视频23| AV色图| 国产精品99999| 黑人精品成人一区二区三区| 亚洲综合性感在线| 久久黄黄黄| 免费久久一级毛片大黄| 99在线精品观看99| 蘋果手機免費看成人Av| 老熟女网站| 国产第25页在线观看| 亚洲城人男人的天堂| 中文精品少妇天堂| 国产福利在线视频网站| 欧美专利1区2区3区4区5区免费| 日日干夜夜骑| 免费日韩黄片| 日韩一级二级在线| 丁香七月婷婷| 欧美夜夜狠| 激情黄色五月天| 性色AV蜜色av色欲av| 探花精品视频| 色97国产69香蕉| 久久91视频| 久偷拍| 黄污污污污| 少妇精品久久久| 激情熟女12P| 啊啊啊用力在线观看| 性欧美| 视频国产精品未满十八禁止在线观看| AV99热18这里只有精品| 欧美一区二区三区入口| 欧美白嫩女HD| 国产网红精品| 加勒比伊人影院| 国产野战露脸在线播放| 蜜桃中文字日产乱幕4区| 亚洲 欧美 第一页| 国产67194| 日本不卡卡一区| 78久久| 五月天色五月| 欧美爱爱97| 久久婷婷五月综合| 九九九九热| 国产欧美一区二区| 国产av青草| 色五月av| 日本免费一区二| 精品高潮| 欧美亚洲第1页| 日韩性爱小视频| 打av高清| 亚洲第一狼人丝袜美女另类| 中文在线视频| 欧美天天综| 久久精品国产AV一区二区三区| 成人免费看吃奶视频网站| 人妻人人澡人人爽人人| 日韩国产在线观看av| 日韩精品电影| 亚洲黑丝在线| 久久日韩精品一区二区| 97超碰精品成| 中文字幕第页| 影视综合无码少妇| 99re在线视频这里只有精品| 亚洲色图激情小说| 大香蕉伊在线久草麻豆天堂故事| 中文字幕日韩人妻视频| 日本一久是| 国产久久久久久久久一区二区| 欧美日韩久久精品爱爱| 99精品伊人| 中日韩熟女| 色偷偷2020免费视频播放| 最新日韩黄片| 天天日天天干天天操| www.天天干| 免费精品AB| 日本91白丝| 97九色| 天天天天做夜夜夜夜做| 午夜大香蕉| 一级性爱视频免费观看 | 欧美性爽xyxOOOO| 亚洲欧美国产va在线| 日韩欧美国产高清视频| 超碰97人妻| 国产一区免费午夜视频| 91AV天美在线视频| 欧美日韩国产在线| 国产一级做a爰大片免费久久| 久久久极品| 中文字幕片| WWW黄片COM| 国产精品懂色tv影视免费观看| 男人的天堂日本东京热| 婷婷成人久久久精品| 最新中文字幕精品在线| 射综合网| 91丝袜人妻| 玖玖资源中文字幕制服丝袜| 婷婷六月天| 久久夜黄色无码A级大片| 男人的午夜天堂| 偷拍新久久| 91中文精品日韩欧美在线 | 午夜啪| 天天操福利视频综合网站| 国产精品久久久久久夜夜夜| 国产风韵犹存熟妇三区| 色9999日韩国产| 超碰人妻天天干| 久草午夜| 91综合在线| 97超碰精品图片| 天天内射| 天天澡天天爽日日av| 国产一区96在线| 人人扣人人操| 久操操| 国产1769在线| 久久性爱免费送| 国产高清成人免费视频| 欧美写真视频一区| 97人人爱人人乐| 色欧美色交综合| 尤物视频网 刘玥| 久久久99999久网站| 久伊人网78| 人人摸人人入| 激情五月天中文字幕色| 网友自拍第一页| 国产精品久久泡妞网站| 后入式福利| 丰满美女一级毛片在线播放| 久草资源在线| 国产97色在线| 久久婷婷电影网| 中文字幕在线观看网址| 97超碰护士| 亚洲丝袜诱惑| 国产强奸乱伦欧美| 天天视频网站黄| 天天懆天天日| 午夜操逼不卡| 國產尤物AV尤物在線觀看| 人人摸人人叼| 九九碰九九爱97| 婷婷AV一区二区三区| 无码日韩网站| 欧美亚州手机在线| 搡老女人老妇女老妇老熟女怎么读| 天美传媒国产原创中文字幕亚洲欧美另类 | 探花精品 一区二区| 亚洲男人天堂av| 啊啊啊无码| 亚洲伊人成综合成人网| 人妻干天天| 可以在线观看的黄色网址| 伦伦成年午夜免费视频| 女同性恋一区二区三区精品视频| 黄色激情电影在线观看| 亚洲色 国产 欧美 日韩| 久久久99免费| 狠狠综合网| 97久久精品亚洲| 99热思思| 精品乱子一区二区三区99| 久久久久9999精品九九九| 精品一级| 美女视频尤物网在线看| 日本精品一区二区中文字幕| 人妻少妇精品一区二区三区| 日日黄色三级网站| 无码粉嫩白虎一线天b区| 国产91影院| 国内毛片婷婷六月色| 国内毛片无码一级毛片| 中文字幕丝袜美腿| 欧美人妻另类在线| 国产无吗在线播放| 五月天婷婷久久| 亚洲天堂另类小说男人| 狠久久| 亚洲无码偷拍| 99热18| 9久久美女首页| 成人AV在线网站| 老熟女乱伦一区| 亚洲欧洲综合视频在线| 综合一区二区影视| 九九九999久久久网站| 91香蕉视频在线观看免费| a在线观看| 人妻一区二区三区四区视频| 看日韩操逼| 97玖玖超碰| 欧美激情内射| 日本网色| 亚洲综合贴图91| 加勒比伊人| 极品极品色影院| 超碰97最新人妻| 九九九热| 五月天婷婷小说| 免费网色网站| 99久久久无码国产精品性啊聊| 91成人久久| 九九九久千久久激情蜜桃在线看 | 欧美日本成人一区二区| 久久九九网| 日韩精品电影| 蜜桃视频成a人v在线| 夜夜爽夜夜高潮夜夜爽| 亚卅熟女乱色| 中文字幕一二三av| 国产福利小视频高清在线观看| 激情图片伦理国产一区二区日韩| 96精品久久久久久久久久| 婷婷香蕉| 久久久久久久| 五月婷婷六月激情| 久久久青青草| 在线看免费无码AV天堂的| 久久久久久久久久久久九| 男插女青青影院| AV一二区| 试看60秒 爽| 91色情黑丝搞鸡在线观看一区二区三区三州| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 日韩欧美中文日韩欧美色| 日韩无码人妻中字久久三区四区| 插欧洲美女欧美精品| 另类专区加勒比| 色哟哟511老熟女| 97一本大道亚洲一区| 久思思热视频在线观看| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 久久黄色性爱视频| 激情五月天校园春色网| 日操粉逼逼| 青草伊人久久| 亚洲激情网一二三四区| 97啪啪| 精品国产乱码久久久久久影片| 色约约一区=区三区| 婷婷伊人綜合中文字幕小说| 91这里只有精品| 嗯阿好爽好紧| 亚洲图片激情综合另类| 欧亚揄拍偷拍精品视频 | 国内一级精品| 五月天丁香欧洲日韩| 婷婷五月天激情网| 激情综合网激情综合| 麻豆性爱视频在线播放| 国产成人午夜视频网址| 91痴汉| 婷婷日韩一区二区三区中文字幕在线| 亚洲自拍偷拍视频在线| 极品久久久久久久久久久久久久| www网站黄| 亚洲图片欧美色| 东北老女人的激情视频| 大香蕉免费乱伦视频| 少妇天堂| 国产熟妇一区二区| 日本欧美国内在线| 三男一女不戴套的A片| 欧美日本天堂| 能看的av| 人妻少妇被猛烈进入中| 欧美色图欧美| 欧美九九爱| 欧洲成人性爱视频| 久久九色| 综合熟妇一区二区三区| 婷婷色香| 東南亚性呦成人伦理资源在线视频| 久久国产三区| 超碰在线香蕉| 国产无码精品成人| 欧美se综合| 99热aaa| 免费人成?大片在线播放| 超碰欧美97| 天天综合网~91综合网| 久久国产精品91| 午夜福利精品| 人人干人人操人人爱| 97色欧洲| 97综合国产精品高潮久久| 丁香色五月 97干| 国产日韩区| 狠狠爱夜夜| 啊啊啊久久久视频| 一牛一区二区三区久久| 99re这里只有精品中心播放| 日韩乱伦视频| 亚洲国产成人福利在线观看| 97超碰人人模人人拍人人| 四虎免费在线播放| 中出后入| 伊人操操| 性欧美天天| 九九视品黄色| 青青草视频这里只有精品| 亚洲一区二区三区四区视频| 91人妻做a观看视频| 精品日韩人妻视频| 日韩精品在线视频,日韩精品……| 国产成人精品日本视频| 亚洲国产av中文字幕久久| 毛片一区二区| 神马久久久久| 伊人天天久久动态图| 超碰人妻久久| 91色婷婷综合久久中文字幕二区| 亚洲天堂电影网| 九九九影院| 物尤视频一区二区| 屌妞视频久久久久久久| 久久天天躁日日躁狠狠躁| 精品国产一区二区久久| 国产人妻精品久久久一区二区三区| av国产无码| 激情五月婷婷| 天天综合精品| 日本一区三级韩国| 日韩AV中文字幕电影| 伊人97色天使| 欧美 传媒 麻豆 日韩 偷拍| 艾草av| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 91天美传媒精品| 男人天堂站| 国产夜夜艹| 区日韩亚洲乱码av电影| 有码免费观看| 丝袜视频一区二区在线播放国产中文| 免费看污网址| 欧美日韩婷婷中文| 久草线上视频免费看| 精品少妇人妻| 亚洲风情在线观看| 国产丝袜欧美在线视频| 免费看黄视频亚洲网站| 日韩精品中文字幕二区| 国产一区二区三区中文字幕| 欧美老妇综合网| 99只有精品| 啊啊啊啊在线播放| 男人天堂新| 日本成熟少妇A∨网站| 强奸国产精品视频| 青草园大香蕉| 97精品一区二区视频在线观看| 精品久久久久成人码免| 熟妇人妻一二三区免费| 秋霞怕怕片| 啪啪资源网| 日韩人妻少妇 一区二区三区| 91 丝袜在线| 搡老熟女国产1000部| 麻豆天美91| 欧美操逼熟女| 亚洲国男人的天堂| 欧美日韩亚洲五月天婷婷| 超碰97最新人妻| 久久久111| 91岛国动作片| 上海一级黄片| 无码少妇精品一区二区60岁老人| 精品人妻二区三区| 国产99999久久精品| 超碰97网站| 欧美另类综合久久| 欧美极度丰满熟妇hd| 九九久久久九九| 99re6在线视频精品免费完整版安卓版| 九九热三级片| 无码精品人妻一区二区三区妖精| 大香蕉碰碰| 日韩一级二级在线| 日本一二三免费久久| 亚洲性爱电影| 蜜色网色哟哟| 婷婷性网| 狠狠2050在线观看| 日本影视久久免费| 曰韩av中文字幕专区| 97频视在线| 性色AV蜜色av色欲av| 午夜丁香| 国产91丝袜 在线播放| 成人三一级一片aaa| 蜜桃臀 后入 一区 二区 三区 在线| 丰满少妇精品一区二区| 日韩欧美aⅴ综合网站发布| 精品妇女一区二区三区| 中文字幕第二页| 97碰碰日本乱偷人妻中文的| 加勒比无码一区二区三区| 99久视频| 91熟女视频网| 插欧洲美女欧美精品| 久久草视频污视频| 极品综合| 欧美日韩国产电影| a男人的天堂久久一级A毛片| 91丨国产丨白浆| 国产精品国产精品国产| 五月丁香在线| 偷拍亚洲| 91国产丝袜足交精品视频| 亚洲毛片久久| 五月黑AⅤ| 国产女人视频三四五区| 91视频观看网站| 日本精品一级二级三级| 国产白嫩精品久久| 日本免费一区二| 777超碰| 吻戏激情性巴克| 91内射| 伊人色综合超碰| 性暴力欧美猛交在线直播| 天天摸天天碰天天添青青| 青娱乐老司机视频| 天天日天天操VV| 99国产精品视频尤物| 久久精品高清无码一区| 亚洲综合中文字幕有码| 91N综合网在线| 中文字幕一区二区免费在线| 久操视频在线| 亚洲中文字幕网| 97超碰碰| 亚洲熟女乱色一区二区三区久久久 | 国产黄色动态精品| 午夜国产成人精品视频| 亚洲精品1区| 成人性爱全视频观看| 日韩99999| 久超碰在| 午夜激情成人在线观看| 天天综合~91| 亚洲熟妇自偷自拍另欧美| 欧美日韩传媒| 欧美激情一区二区| 日本在线视频导航| 69国产对白刺激| 午夜福利在线视频1000| 日日A∨| 精品一啪| 欧亚日韩中文在线| 日日嗨AV一区二区夜夜| 丁香六月综合激情| 国产一区二区在线播放量| 日韩欧美蜜桃精品久久中文字幕久久 | 奶水 人妻 哺乳 在线| 四虎AV无码| 高跟丝袜AV专区国产| 青青草中文字幕| 麻豆国产成人精品| 极品五月天噜噜| 日韩卡一卡二卡三在线| 久9九综合在线| 99re6国产精品99re| 国产精品久久久久9999小说| 日韩字幕一区| 国产女同性恋视频| 久热无码| 精品中文字幕一区二区| 免费a v| 国产蜜臀在线| 超碰人妻中文在线| 伊色综合天堂色97| 在线无码操| 女同女同恋久久级三级| 操东北女人| 玖玖爱视频网站| 超碰在线97国产| 国产高清成人传媒影视| 精品成人动漫一区二区| 99re免费| 熟妇色99| 欧美一区二区三区入口| 国内亚洲高清无码| 欧美天天搞| 亚洲色综网| 欧美熟爽综合| 欧美极品女人的天堂| 国产情侣自拍在线播放| 久久一区二区高清免费| 人人干黄色| jazzjazz国产精品麻豆| 久久久四区| 美女黄色91| 亚洲日本大香蕉1| 国产熟女精品区| 精品九九九九九九九| 人妻密肉在线观看| 丁香五月婷婷啪啪| 五月婷婷六月丁香| 久热香蕉精品在线视频| 风骚少妇视频中文字幕| 久久久久久九九九九-美女久久久久久久-成人AV| 五月丁香| 5月婷婷6月六月丁香| 欧美极度丰满熟妇hd| 久久综合亚洲色1080p| 国产黄色影片在线观看| 精品高清一区二区三区三州| 日韩中文字幕国产| 午夜福利av电影在线| 欧洲亚洲国产综合在线| 中文字幕,人妻,日韩| 国产精品4p在线观看| 国产精品无码成人精品| 天天谢天天干| 草蕉影视亚洲无码| 99操| 亚洲中文电影| 天天舔天天日天天射| 四虎精品一区| 色97欧美| 青青草AV色| 久草这里只有精品| 成人怡红院| 综合亚洲欧美精品日韩?v| 伊人影院日本| 亚洲欧美日韩免费电影| 国产精品久久久久亚洲av| 囯产乱伦一区二区三女| 五月婷丁香| 男人的天堂啪啪啪啪啪蜜桃不卡| 91女神在线视频| 一级黄碟在线观看| 亚洲极品| 超碰97 线线 在现| 欧美成人A√在线一区二区| 中文字幕国产| 久久久久久AV无码免费网站| 天天综合网一91网| 欧美色图私拍91| 日韩色图 一区二区| 91n处女在线观看| 在线视频 亚洲精品| 超碰色男人操熟女| 一级黄色影片| 久久9久9久99久9久9| 大香网伊人久久综合网eew| 色天天野狼综合社区| 欧美春色| 夜夜操青青草| 九月丁香| 98精品国产乱码久久久久久| AV污污污污| 麻豆国产尤物AV| 中文有码第五页| 久热精品色情| 天天干18禁| 亚洲精品乱码线路中文字幕 | 丝袜 中出 制服 人妻 美腿 中文字幕| 国语对白露脸XXXXXX | 国产日韩久久| 色黄色美女大长腿午夜视频| 天天影视综合网欧美精品| 成人热久久精品| 香蕉视频精品亚洲一区二区三区在线播| 日熟女| 天天天天天天天天天天干美女| 韩国女主播青草福利视频| 色在线69堂| 天天欧美色| 性爱Av免费| 五十路六十路素人熟女| 91无码中出人妻视频| 蜜屁Av| 亚州熟女乱伦| 六月丁香网| 青青草久久在线| 成人一二| 精品一区二区三区蜜桃臀赵总 | 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 女人的久久久| 欧美中日韩XXXX| 老司机天天操| 嗯……啊…嗯嗯…啊…好舒服| 成人情色综合网| 免费a v| 成人日韩欧美| 欧美中字不卡| 亚洲欧美自拍偷拍| 亚洲一二三四区机械| 久久春色| 狠狠色婷婷| 91女色| 入口操逼网站| 久久久成人精品| 天天谢天天干| 超碰中文字幕人妻草一区| av网站免费看| 久久久网站| 综合大香蕉美。| 大香焦A片| 大香蕉一人在线| yw尤物av无码点击进入麻豆| 大香蕉AV丝袜| 青草一区二区| 亚洲性爱高潮影院| 欧美色图电影| 欧美美女自慰一区二区三区| juliaann欧美丝袜办公室| 天天日少妇逼AV| 国产丝袜啪啪| 激情文学网伊人| 亚洲欧美97√| 欧美 亚洲 制服 精品| 免费观看啪视频| 99色骚| 乱伦av.com| 九七毛片九九毛片| 久久精视频美日韩在线视频| 日韩欧美天天爽爽爽天天爽爽| 黄片色区软件| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 激情五月天校园春色网| 啪一啪免费视频| 大香蕉日韩欧美| 丁香五月婷婷基地| 97免费在线观看| 久久综合精品一区二区三区| 天天激情综合站| 久久久久久九九九九九九| 午夜精品久久久久久久99蜜桃一| 美女裸体麻豆天美蜜桃91| 亚洲影院小综合| 啊啊啊久久久视频| 久操com| 欧美综合亚洲| 男人的天堂2010| 香伊人在线| 成人黄页| 婷婷色色网| 天天综合网91| 淫乱图区| 国产农村一一级特黄毛片| 青草地一本线一区二区三区| 人妻激情另类| 26UUU欧美激情一区二区| 91精品免费| 操狠狠| 天天色黄色影院天天操| 久久爱超碰网| 亚洲男人天堂2019| 91伊人久| 亚洲。天堂。日本在线观看| AA丁香综合激情| 综合亚洲欧美精品日韩?v| 成人五月天色网| 国产一区二区视频在线播放| 蜜臀久久99精品久久久电影| 秋霞午夜视频一区二区| 国产超碰在线| 无码操逼视频一下| 老熟女天天操| 综合网久久| 大香蕉黄色一区| 操屄日韩| 亚洲校园激情| 75大香蕉| 欧美日韩成人在线| 日本人妻中文字幕精品| 97Ai亚洲| 日本好吊色视频| 啊啊啊 在线观看| 伦伦成年午夜免费视频| 色婷婷丁香五月天| 浓厚中出中文字幕在线| 91在线观看,天天综合| 国产精品亚洲四五区在线观看| 日韩一级欧美一级在线观看| 中文字幕国产在线天堂| 色噜噜狠狠色综无码久久| 91色碰| 久久ww| 国产精品无码av| 人人操人人爽人人操人人| 欧美日韩精品久久久久东北老熟妇| 亚洲免费97免费| 日韩丰满熟妇| 欧美性爱18观看| 久久精品视| 上床啊啊啊| 任你艹| 日韩一性一交一A片俄罗斯| 少妇熟女一区二区三区| 亚洲国产中文字幕| 欧美日韩国产男人| 亚洲欧美校园另类春色| 亚洲婷婷五月天| 日韩性爱再线视频| 国产精品一级毛片不卡视| 久久产精品一区二区三区电影| 亚洲色婷婷综合久久一区二区三区| 国产av高清版| 综合色色网| 国产亚洲精品农村妇女| 天天综合网91| 欧美色图亚洲激情| 男人的天堂VA| 96精品一区| 亚洲色图综合网| 久久久性爱视频| 色好看av| 欧美成不卡网| 欧美九九爱| 久久久人体| 开心五月婷婷| 天综合中文| 69人妻精品一区二区绯色| 免费毛片在线播放| 91精品丝袜在线观看| 再深点灬舒服灬太大了好硬好爽| 成人性爱全视频观看| 动漫爆乳3D奶水一区在线观看 | 神马久久久久久久久久久久| 国产精品久久发布| 亚洲免费看片| 激情五月婷婷| 国产剧情一区在线观看| 亚洲午夜免费狠狠干| 亚洲中文字幕噜噜噜久久久| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 日本狠狠干| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 999久久久国产精品| 亚洲色婷婷综合久久久久中文| 91精品人妻一区二区三区蜜桃| 综合久久2017| 久久这里只精品免费福利| 国产日韩手机视频在线| 国产无码精品高清| 成人精品一区二区91毛片不卡| 性影在线视频| 亚洲啪啪性视频| 天天插天天插| 91美腿丝袜在线观看| 91伊人大香蕉| 亚欧美综合网。| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 韩国成人精品久久久免费看| www黄片免费看com| 大香蕉丝袜一级片| 95精品在线| 欧美 日韩 婷婷 五月| 国精综合一二三区影视| 超碰97.com| 97欧美精品| 国产精品人妻熟女aⅴ| 色色五月婷| 蜜臀精品1区2区| 久久原创中文| 蜜臀久久99精品久久久久电影| 人妻一区二区三区四区视频| 美女午夜福利免费视频| 午夜精品视频777| 婷婷五月天补不补| 久久一二三四五六七八九区区| www.acm成人黄色毛片| 少妇精品久久| 亚欧性爱无码| 亚洲1区| 天美精品一区二区三区四区在线观看| 天天拍天| 激情黄色片在线观看| 亚洲 欧美日韩 另类| 久久久com| 夜夜嗨一区二区三区三州加勒比| 2020中文字幕在线观看| 国产三级多多影院2022国产AA一级毛片无码 | 亚洲s在线观看| 亚洲天堂久| 成人av在线播放| 97人人模人人爽人人| 国产五码丝袜屁眼| 精人妻一区二区三区| 国产传媒午夜理伦精品| 无码 有码 国产18p| 啊啊啊在线观看免费视频| 熟女高潮精品一区二区| 久久天天艹| 成人欧美一区二区三区黑人一| 亚州综合色图| 被窝影院午夜看片无码| 丁香五月影院| 日韩特一级久久| 日本操大逼| 成年男人的天堂| 久艹日日日| 国产日韩欧美亚洲精品95| 国产精品91ai| 男人天堂网站| 国产一区二区啪啪视频| 在线情色电影 91大 | 91蜜臀熟女| 丝袜 中出 制服 人妻 美腿 中文字幕| 日日插夜夜| 中文字幕人妻色偷偷久久皮| 亚洲欧美97| 国产黄色av大片网站| 九一性生活免费视频| 国产无码精品无码| 国产精品色色| 色婷婷日韩精品一区二区三区| 欧美日韩电影成人在线| 久久精品视频久久久| 久久大黄片| 人妻av在线| 美女91网址 | 青娱乐休闲视频在线观看| 精品婷婷| 97国产中文| 乱伦av麻豆| 男人女人18禁片免费看网站| 欧美美女自慰一区二区三区| 综合色一区三区二区| 思思热在线| av亚欧| Julia Annxxxxx| 國產尤物AV尤物在線觀看| 鸥美中出| a男人的天堂久久一级A毛片| 国产aⅴ无码片毛片一级网站| 99999精品成人| 少妇厨房愉情理伦片bd在线观看| 日韩一级片| 哈哈操电影| 欧美嗯啊……在线观看视频免费| 性91| 欧美成人亚洲精品| 国产精品一二三区18| 涩爱AV在线| av强奸乱轮| 超碰97欧美日韩| 亚洲成?V人片在线观看福利| 夜色97| 激情五月婷婷| 激情婷婷丁香网| 国产精品久久久无码AV网站| 超碰在线第一页| av天堂手机版追回 | 人人看人人爰人人操| 97国产精品久久久久| 欧美性生活免费网| 午夜福利在线合集| 四色永久成人网站| 97 色综合| 人妻熟女一区二区三区在线| 国产最火爆久久国产网站网站| 久久久禁| 最新欧洲欧美日本激情网站| 日韩欧美加勒比| 97久久精品亚洲中六字幕| 天天草夜夜草高潮片| 97精品一区| 久久天天性久久伊人| 亚洲春色欧美激情自拍| 亚洲综合草草| 91色情黑丝搞鸡在线观看一区二区三区三州 | 丁香五月激情综合| 国产兽交视频在线播放| 麻豆人妻偷人精品无码视频| 婷婷啪啪| 91碰超| 日本媚薬中文字幕在线| 久久一二三级一一一| 日韩人妻中文视频| 粉嫩av在线| 精品人妻一二三四区视频| wwwss在线观看| 午夜AV人气不卡| 日本熟妇色熟妇在线视频播放| 国模一区二区三区| 黄片com.| 亚洲成人在线乱码色午夜| 日韩9999| 熟女视频久久| 综合国产影视三级| 人人操人人精品影片| 嗯嗯,啊啊,国产精品| 美女被艹尤物视频| 日韩操啪| 91M一社| 亚洲老司机123专区| 在线国产一区二区av| 国产精品原创巨作?v网站| 久久久久久久久久9| 中国熟女网站| 午夜福利久久久噜久噜久久综合 | 亚洲在线| 啊啊啊男女| 欧美韩国你懂得在线| 亚洲精品一区中文字幕乱码| 视频在线观看免费一区二区三区 | 亚洲图片婷婷五月天| 中文字幕日韩综合| 精品蜜乳AV免费观看| 欧美丝袜美女电影一二三四区| 日韩影片中文字幕一区二区三区| 亚洲性爱无码乱伦av| 香港澳门日本三级网站| 久久久青青草| 9ⅰ久久久天天| yirendaxiangjiashipin| 91精品人妻电影| 正在播放国产精品一区| av网站在线看| 人人妻人人爽| 麻豆一区二区AV天美| 综合网亚洲1| 中文字幕久久精视频久久大全| 四虎AV无码| 内射日韩大臀美女| 啊v视频在线观看| 污污汅18禁网站在线永久免费观看 | 男人的天堂2010| 亚洲高清无码AAA久久久精品| 日韩人妻一二三区视频| 久久午夜色播影院免费高清| 国产尤物在线三区| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 特级大荫道BBwBBwBBW| 日韩精品一二三四| 乱伦3P视频| 成人三一级一片aaa| 国产一级137片内射麻豆| 国产精品内射婷婷一级二| 日本不卡一区二区| 99999久久精| 中国91AV| 欧美翘臀视频网站一区二区三区 | 97干在线看| 亚洲AO在线| 99青草| 久久熟妇五十路一区| 日本精品国产视频| 在线综合 亚洲 欧美中文字幕| 偷拍亚洲高清图片| 91无码中出人妻视频| 中文字幕一区 二区三四五 区日 日骚| 综合婷婷| 日本超碰在线国产一区| 99热这里只有精| 九九精品美女高溯喷水| 午夜激情床戏激情| 国产精品色哟哟| 在线观看 99热| 久久亚洲天堂| 大香蕉中文网| 极品销魂美女一区二区| 久久狠狠色噜噜狠狠狠狠97| 亲子敌伦对白在线播放| 日韩欧美操逼xxx| 99国产在线 精品 视频| 性久久| 色婷婷亚洲婷婷| 亚洲国男人的天堂| 色五月69夫妻| 男人网站婷婷| 亚洲综合另类色图| 国产三级片在线观看| 亚洲色图亚洲| 欧美精品精品一区二区| 国产性爱在线视频一区二区| 综合欧美日本三级| 天天做天天爽| 偷拍欧美综合| 磁力99AV| 熟妇高潮二区三区|