日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ReCLIP原理與復(fù)現(xiàn):組合式零樣本學(xué)習(xí)如何讓CLIP識別‘紅色蘋果’

ReCLIP原理與復(fù)現(xiàn):組合式零樣本學(xué)習(xí)如何讓CLIP識別‘紅色蘋果’ 當(dāng)業(yè)務(wù)場景從“給一張圖打上類別標(biāo)簽”升級為“判斷一個物體的顏色、材質(zhì)、形狀等組合屬性”時常規(guī)分類模型往往力不從心。ReCLIP 這類基于 CLIP 的項目之所以受到關(guān)注是因為它把研究重心放到了“組合式零樣本學(xué)習(xí)”上也就是在訓(xùn)練階段沒有見過的屬性-物體組合上做分類。這篇文章會圍繞 ReCLIP 的原理分析與上手復(fù)現(xiàn)展開先從組合式零樣本學(xué)習(xí)的定義說起再拆解負(fù)傳播和區(qū)域注釋這兩項關(guān)鍵技術(shù)最后給出可參考的代碼框架和調(diào)參建議。如果讀者已經(jīng)接觸過 OpenAI CLIP但一直不太清楚什么叫“組合稀疏性”或者希望了解怎么讓 CLIP 從“能認(rèn)出蘋果”進(jìn)階到“能認(rèn)出紅色的蘋果與綠色的蘋果”這篇文章會很合適。整篇不會只停留在名詞解釋層面而是盡量把數(shù)據(jù)準(zhǔn)備、候選構(gòu)造、推理打分、注意力圖獲取和常見異常都串起來。1. 組合式零樣本學(xué)習(xí)ReCLIP 要解決的問題1.1 從“紅色番茄”這個組合說起傳統(tǒng)圖像分類面臨一個常見的困境訓(xùn)練集里有“紅色番茄”圖片里也出現(xiàn)“紅色番茄”時模型可以做得很好但是當(dāng)測試集出現(xiàn)“黃色番茄”時模型如果沒有見過這種顏色組合就很難做出正確判斷。這類問題被稱為組合式零樣本學(xué)習(xí)英文全稱是 Compositional Zero-Shot Learning簡稱 CZSL。它把視覺概念拆成兩個維度來理解一個是屬性例如“紅色”“金屬”“木質(zhì)”另一個是物體例如“蘋果”“杯子”“汽車”。一個組合標(biāo)簽可以寫成“屬性 物體”的形式。在訓(xùn)練階段模型只能看到部分屬性-物體組合。在測試階段模型需要泛化到未出現(xiàn)過的屬性-物體對。比如訓(xùn)練集可能有“紅色蘋果”和“綠色葉子”但沒有“綠色蘋果”。如果模型真的學(xué)會了“綠色”這個屬性那么面對一張綠色蘋果的圖就應(yīng)該能夠推測出它屬于“綠色蘋果”而不是簡單粗暴地把它分類成“葉子”。1.2 為什么普通分類模型很難做好 CZSL普通分類模型通常會給“紅色蘋果”一個獨立類別。如果訓(xùn)練集只有一百個屬性、一千個物體理論上組合空間就有十萬種。絕大部分組合在訓(xùn)練階段根本不會出現(xiàn)所以“給每個組合分配一個類別編號”的做法幾乎不可行。更關(guān)鍵的一點是屬性本身是跨物體共享的?!凹t色”可以出現(xiàn)在紅色汽車、紅色番茄、紅色杯子上物體本身又承載了多種屬性?!凹t色”和“番茄”之間不是獨立互斥的關(guān)系而是存在一種可組合結(jié)構(gòu)。因此單純用視覺特征映射到一個固定分類向量很難把屬性從物體特征中分離出來。ReCLIP 項目所關(guān)心的問題就是這個組合空間訓(xùn)練樣本稀疏、難以窮舉的問題。它的核心思路不是重新設(shè)計一個復(fù)雜的分類頭而是利用 CLIP 文本分支里蘊含的豐富語義把“屬性”和“物體”之間的組合規(guī)則顯式引入推理過程。1.3 CZSL 的兩個評估設(shè)置要理解 ReCLIP 的產(chǎn)出還需要區(qū)分兩個高頻出現(xiàn)的評估場景。第一個叫 closed-world 設(shè)置測試時只考慮那些屬于未見組合的標(biāo)簽換句話說已知候選集合里不會混入大量無關(guān)組合。第二個叫 open-world 設(shè)置測試時要考慮全部屬性-物體組合包括很多在訓(xùn)練階段沒出現(xiàn)過的組合甚至可能包含不符合物理常識的組合例如“方形橘子”難度明顯更高。在實際論文和開源倉庫中MIT-States、UT-Zappos、C-GQA 是三個最常用的數(shù)據(jù)集。MIT-States 數(shù)據(jù)量適中屬性與物體類別豐富UT-Zappos 以鞋子圖像為主屬性更多是顏色、材質(zhì)、樣式C-GQA 是一個規(guī)模較大的組合數(shù)據(jù)集組合空間更大也更接近真實開放場景。2. 從 CLIP 到 ReCLIP為什么直接使用 CLIP 還不夠2.1 CLIP 零樣本分類的核心邏輯CLIP 由圖像編碼器和文本編碼器組成。訓(xùn)練時模型在海量圖文對上學(xué)習(xí)對比學(xué)習(xí)目標(biāo)讓匹配的圖片和文本在共享嵌入空間中距離更近不匹配的圖片和文本距離更遠(yuǎn)。做零樣本分類時CLIP 會把所有候選類別名稱轉(zhuǎn)成句子再用文本編碼器編碼。例如候選類別是“dog”和“cat”可以構(gòu)造“a photo of a dog”和“a photo of a cat”。同時圖片經(jīng)過圖像編碼器得到特征。最后計算圖片特征和所有文本特征的余弦相似度相似度最高的類別就是預(yù)測結(jié)果。用一段常見的代碼來表示就是下面的樣子import torch import clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image preprocess(Image.open(test.jpg)).unsqueeze(0).to(device) texts clip.tokenize([ a photo of a dog, a photo of a cat, a photo of a bird ]).to(device) with torch.no_grad(): image_features model.encode_image(image) text_features model.encode_text(texts) image_features image_features / image_features.norm(dim-1, keepdimTrue) text_features text_features / text_features.norm(dim-1, keepdimTrue) logit_scale model.logit_scale.exp() logits logit_scale * image_features text_features.t() probs logits.softmax(dim-1) print(probs)CLIP 的優(yōu)勢是文本分支可以直接描述一個由多個單詞組合成的概念。比如“a photo of a red apple”文本編碼器并不是簡單地把“red”和“apple”的特征向量相加而是能夠?qū)⒄湓捑幋a成一個具有組合語義的向量。2.2 直接遷移到 CZSL 的問題既然 CLIP 能理解“red apple”那把“red”“apple”兩兩組合成文本再與圖像特征比對是不是就足夠解決組合式零樣本分類了實驗結(jié)果表明并非如此。原因是 CLIP 的圖像編碼器和文本編碼器之間存在一定偏差。文本分支對組合語義的理解更充分但圖像分支往往把主要注意力放在“這是什么物體”上對顏色、材質(zhì)、形狀等細(xì)粒度屬性不夠敏感。舉個例子圖里有一個紅色番茄。CLIP 的圖像編碼器很擅長抓住“番茄”這個主體但紅色所占的像素區(qū)域可能被全局池化過程稀釋。直接計算圖像特征與“a photo of a red tomato”的文本特征相似度很可能得到中等分?jǐn)?shù)甚至?xí)陀谀P皖A(yù)測出的“a photo of a tomato”。也就是說組合信息雖然存在于文本空間中但在圖像特征中沒有得到充分激活。這就為 ReCLIP 留下了優(yōu)化空間。ReCLIP 的核心假設(shè)是CLIP 的文本空間已經(jīng)具備組合知識不需要重新訓(xùn)練大規(guī)模分類器只需要在推理階段設(shè)計更好的組合打分方式并且對圖像特征做輕量修正。2.3 ReCLIP 的兩大改進(jìn)方向ReCLIP 的改進(jìn)可以概括為兩條線索。第一條是負(fù)傳播主要解決圖像特征中“屬性信息被物體信息遮蓋”的問題。第二條是區(qū)域注釋主要解決全局圖像特征無法體現(xiàn)局部屬性細(xì)節(jié)的問題。這兩個方向并不是脫離 CLIP 結(jié)構(gòu)重新發(fā)明輪子而是盡量以最小成本把 CLIP 變成更強的組合式零樣本分類器。正因如此ReCLIP 即使在零樣本、無訓(xùn)練微調(diào)的情況下也能得到不錯的基線效果這也是它在社區(qū)里受到關(guān)注的重要原因。3. ReCLIP 方法拆解負(fù)傳播與區(qū)域注釋3.1 基本打分思路把候選組合變成提示句在實現(xiàn) ReCLIP 時最基礎(chǔ)的工作是把屬性集合和物體集合做笛卡爾積生成候選組合。比如有 100 個屬性、200 個物體就會生成 2 萬個候選組合。如果直接構(gòu)造 2 萬條文本再分別和一張圖片求相似度在 CLIP 文本編碼器上仍然可行但需要注意內(nèi)存管理。ReCLIP 在設(shè)計提示語時不會只使用單一模板。因為 CLIP 的性能高度依賴提示語格式單一模板在不同數(shù)據(jù)集上可能有偏。常見的做法是同時使用多個模板并對多個模板的輸出做平均或加權(quán)。比如a photo of a {attr} {obj}a {attr} {obj} in a photoan {attr} {obj}{attr} {obj} with a clean background每一條模板都對應(yīng)一個文本嵌入。得到多個候選分?jǐn)?shù)后再通過聚合函數(shù)得到最終分?jǐn)?shù)。這里有一個容易理解偏差的地方CLIP 的文本編碼器不是把所有單詞的 embedding 簡單求平均而是通過 Transformer 對整句話建模。因此“a red tomato”和單獨編碼“red”與“tomato”后相加結(jié)果并不一樣。ReCLIP 實際使用中通常以整句文本為主屬性單詞和物體單詞只作為輔助特征。3.2 負(fù)傳播讓組合評分學(xué)習(xí)“拒絕錯誤組合”負(fù)傳播是 ReCLIP 方法名字里最吸引人的部分也是理解門檻最高的部分。直接看圖分類時模型只需要回答“這是什么物體”但在 CZSL 中模型需要同時回答“屬性是什么”和“物體是什么”。如果模型只能識別物體但完全忽略屬性它就會把紅色番茄和黃色番茄看作同一個類別。負(fù)傳播的核心思路是在推理階段除了給正樣本組合高分?jǐn)?shù)之外還要主動讓圖像特征在某些負(fù)樣本組合上降低分?jǐn)?shù)。比如模型識別出圖片中的物體很可能是“番茄”那么對“紅色番茄”的分?jǐn)?shù)應(yīng)該高于“綠色番茄”。如果 CLIP 默認(rèn)把綠色和番茄關(guān)聯(lián)得更強那么負(fù)傳播就會利用屬性與物體之間的不匹配關(guān)系給出一個梯度更新信號。這個操作不是對模型權(quán)重做梯度更新而是像一個“測試時優(yōu)化模塊”。在推理時通過候選組合的文本特征和當(dāng)前圖片特征計算損失然后讓圖片的輸入特征或中間特征沿?fù)p失下降的方向做少量修正讓后續(xù)打分對屬性更加敏感。如果只用一句話總結(jié)負(fù)傳播就是不是讓模型死記“紅色番茄”這個組合而是讓圖像特征在“番茄”這一物體條件下關(guān)注屬性和物體之間的一致性。這比強制模型記住更多組合標(biāo)簽要靈活得多。3.3 區(qū)域注釋局部特征解決全局信息的屬性丟失負(fù)傳播解決的是屬性權(quán)重偏低的問題而區(qū)域注釋解決的是屬性可能只出現(xiàn)在局部區(qū)域的問題。如果模型只看整張圖片的全局特征那么一個小區(qū)域的“銀色”或“破損”很可能被大面積背景淹沒。ReCLIP 的區(qū)域注釋會借助視覺 Transformer 內(nèi)部的注意力信息找到圖片中真正承載屬性判別的若干局部區(qū)域。常見做法是從 CLIP 視覺編碼器的某一層或多層提取注意力圖然后根據(jù)注意力圖對 patch token 做加權(quán)得到一組區(qū)域特征。屬性分類打分時候選屬性文本可以與這些區(qū)域特征計算相似度物體分類打分時仍然可以使用全局特征。這樣一來圖片特征不再只有一個全局向量而是由“全局特征 區(qū)域特征”共同組成。屬性文本匹配區(qū)域特征物體文本匹配全局特征分工明確。需要說明的是不同開源倉庫在實現(xiàn)區(qū)域注釋時細(xì)節(jié)并不完全相同。有的直接使用最后一層多頭注意力的均值有的會綜合多層注意力有的還會加入一定空間平滑。實際使用時需要根據(jù)項目代碼和 CLIP 的骨干網(wǎng)絡(luò)進(jìn)行調(diào)整。3.4 推理流程整體串聯(lián)把前面幾個模塊串起來ReCLIP 的一次完整推理大致是下面這樣的流程讀取一張圖像使用 CLIP 預(yù)處理器轉(zhuǎn)為模型輸入。提取圖像全局特征并額外提取注意力圖或區(qū)域特征。使用多個文本模板構(gòu)造屬性-物體候選文本集。對候選文本集編碼得到文本特征。結(jié)合全局特征和區(qū)域特征計算每個候選組合的初始分?jǐn)?shù)。進(jìn)入負(fù)傳播優(yōu)化階段用正負(fù)組合差異構(gòu)造損失對圖片相關(guān)特征做少量更新。重新計算所有候選組合分?jǐn)?shù)輸出 Top-K 結(jié)果。這樣做的好處是整個過程不需要重新訓(xùn)練 CLIP不會引入大量額外參數(shù)。即使沒有大規(guī)模 GPU 集群也能在單卡環(huán)境下完成測試。這也是 ReCLIP 在生產(chǎn)或研究項目中受歡迎的原因。4. 環(huán)境準(zhǔn)備與數(shù)據(jù)說明4.1 基礎(chǔ)環(huán)境依賴ReCLIP 是基于 PyTorch 和 OpenAI CLIP 的視覺語言項目。環(huán)境準(zhǔn)備可以按下面的依賴關(guān)系來理解。運行環(huán)境推薦使用 Linux 或 Windows 的 Python 環(huán)境Python 3.8 以上通常問題不大。深度學(xué)習(xí)框架方面PyTorch 是核心版本需要與 CUDA 驅(qū)動匹配。由于 CLIP 是一個比較輕量的模型常見顯卡例如 1080Ti、2080Ti、3090、A100 都可以運行只是測試速度差異較大。模型依賴方面至少需要安裝 OpenAI 開源的 CLIP 庫并配合 torchvision、Pillow、numpy 等常用庫。安裝命令可以參考如下pip install ftfy regex tqdm torch torchvision pip install githttps://github.com/openai/CLIP.git如果用戶只需要快速體驗 CLIP 本身也可以直接使用 Hugging Face Transformers 版本。但 ReCLIP 項目的很多代碼細(xì)節(jié)與 OpenAI CLIP 的原始實現(xiàn)有關(guān)特別是注意力圖獲取方式因此建議先按照 OpenAI CLIP 庫來復(fù)現(xiàn)。4.2 數(shù)據(jù)集如何選不同數(shù)據(jù)集對屬性、物體的定義差異很大準(zhǔn)備方式也不同。這里不打算給出一個統(tǒng)一的下載命令因為項目版本變化很快更推薦先閱讀倉庫 README 中關(guān)于數(shù)據(jù)集的說明。MIT-States 是一個比較經(jīng)典的 CZSL 數(shù)據(jù)集包含大量日常屬性和物體圖像多為現(xiàn)實照片。數(shù)據(jù)集中需要重點關(guān)注訓(xùn)練、驗證、測試劃分方式尤其是哪些組合屬于 seen哪些屬于 unseen。如果數(shù)據(jù)集劃分不統(tǒng)一復(fù)現(xiàn)結(jié)果會產(chǎn)生明顯偏差。UT-Zappos 主要由鞋子圖像構(gòu)成類別比 MIT-States 少但屬性更細(xì)膩適合調(diào)試屬性識別邏輯。C-GQA 規(guī)模較大組合標(biāo)簽覆蓋很廣對 baseline 有更高要求也更適合評估模型的真實開放世界表現(xiàn)。下載數(shù)據(jù)集時需要注意版權(quán)和學(xué)術(shù)引用規(guī)范。不少視覺數(shù)據(jù)集只允許用于研究不能直接用于商業(yè)項目。在復(fù)現(xiàn)倉庫時最好保留原始數(shù)據(jù)文件的目錄結(jié)構(gòu)避免因為路徑不一致導(dǎo)致數(shù)據(jù)加載失敗。4.3 CLIP 權(quán)重離線加載有些實驗環(huán)境無法直接訪問外網(wǎng)下載 CLIP 預(yù)訓(xùn)練權(quán)重。OpenAI 提供的 CLIP 權(quán)重默認(rèn)會緩存在本地目錄。常見的緩存路徑是用戶的~/.cache/clip文件夾。如果離線環(huán)境已經(jīng)拿到了權(quán)重文件可以手動把權(quán)重放到該目錄再執(zhí)行clip.load(ViT-B/32)。代碼里通常不需要修改模型名只需要保證緩存文件存在。如果離線環(huán)境沒有緩存目錄CLIP 庫會自動創(chuàng)建目錄并嘗試下載。若下載失敗可以檢查路徑權(quán)限、磁盤空間和網(wǎng)絡(luò)連通性。# 查看權(quán)重緩存目錄的一般位置 ls -la ~/.cache/clip不同版本 CLIP 可能使用不同緩存策略。最穩(wěn)妥的做法是讓項目依賴固定版本的 OpenAI CLIP以保證推理結(jié)果可復(fù)現(xiàn)。5. 一個可運行的 ReCLIP 推理框架5.1 構(gòu)造屬性與物體候選集為了讓文章不只停留在原理層面下面給出一個可以運行的代碼示例。示例并不會完全復(fù)刻 ReCLIP 論文里的全部數(shù)學(xué)細(xì)節(jié)而是把推理鏈路中最關(guān)鍵的部分提取出來方便讀者理解每一步的輸入輸出。首先是定義候選標(biāo)簽和文本模板。假定屬性集合是[red, green, wooden]物體集合是[apple, tomato, bowl]。我們需要把它們兩兩組合。attributes [red, green, wooden] objects [apple, tomato, bowl] templates [ a photo of a {attr} {obj}, a {attr} {obj} in a photo, an {attr} {obj} ] labels [] texts [] for a in attributes: for o in objects: labels.append((a, o)) pair_texts [t.format(attra, objo) for t in templates] texts.extend(pair_texts) print(labels) print(texts)這段代碼會產(chǎn)生 9 個候選組合每個組合對應(yīng) 3 條文本提示。后面計算相似度時一種簡單的做法是先求 3 條文本嵌入的平均再用平均嵌入與圖片特征比較。5.2 加載模型和圖片接下來加載 CLIP 模型和圖片。為了讓示例可以執(zhí)行需要準(zhǔn)備一張測試圖片比如一張番茄照片。import torch import clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image_path example_tomato.jpg image preprocess(Image.open(image_path)).unsqueeze(0).to(device) with torch.no_grad(): image_features model.encode_image(image) image_features image_features / image_features.norm(dim-1, keepdimTrue)這里使用ViT-B/32是因為它在顯存占用和效果之間比較均衡。如果顯存有限可以換RN50如果追求更強的效果可以使用ViT-L/14。5.3 組合文本編碼與打分對候選文本編碼時需要注意 batch size。當(dāng)屬性和物體數(shù)量很大時候選文本可能達(dá)到幾十萬條一次性編碼容易導(dǎo)致顯存溢出。這里先演示批量編碼并打分的基本思路。def encode_prompts(prompts, batch_size256): features [] for i in range(0, len(prompts), batch_size): batch prompts[i: i batch_size] tokens clip.tokenize(batch).to(device) with torch.no_grad(): batch_feat model.encode_text(tokens) batch_feat batch_feat / batch_feat.norm(dim-1, keepdimTrue) features.append(batch_feat) return torch.cat(features, dim0) text_features encode_prompts(texts) text_features text_features.view(len(labels), len(templates), -1) # 簡單起見先對同一組合的多模板特征取平均 text_features text_features.mean(dim1) text_features text_features / text_features.norm(dim-1, keepdimTrue) logit_scale model.logit_scale.exp() logits logit_scale * image_features text_features.t() probs logits.softmax(dim-1).cpu().squeeze(0) rank sorted(zip(labels, probs.tolist()), keylambda x: x[1], reverseTrue) for label, prob in rank[:5]: print(label, round(prob, 4))注意這里先對多模板取平均是一種簡化策略。實際 ReCLIP 項目中可能使用更復(fù)雜的文本特征融合方式例如把屬性文本、物體文本和組合文本分別編碼后再做插值。但整體思想是一致的從不同提示角度打分再綜合排序。5.4 如何引入?yún)^(qū)域注釋在官方 CLIP 實現(xiàn)中如果想獲取注意力圖通常需要對模型代碼做少量修改。最直接的方式是給視覺 Transformer 的注意力層掛上一個 hook 或修改 forward 函數(shù)把計算得到的注意力權(quán)重保存下來。下面是思路層面的示例并不保證在最新版 CLIP 中直接通過默認(rèn) API 運行因為不同版本對注意力層的封裝有所差異。attention_maps [] def save_attention(module, input, output): # 通常需要從 Attention 模塊內(nèi)部拿到注意力矩陣 # 在不同 CLIP 版本中實現(xiàn)位置不同 if hasattr(module, attn_weights): attention_maps.append(module.attn_weights.detach())實際運行時更穩(wěn)妥的方法是修改 OpenAI CLIP 源碼中Attention.forward在_attn計算完成后把注意力權(quán)重保存下來。得到注意力圖后就可以對 patch token 做加權(quán)池化。舉例來說如果最后一層注意力圖顯示圖的右下角與物體區(qū)域重合那么模型在識別“紅色”屬性時可以重點關(guān)注右下角對應(yīng)的 patch 特征而不是平均所有 patch 特征。區(qū)域注釋的具體權(quán)重計算在不同實現(xiàn)中存在差異。有的方法會把注意力圖 resize 到原圖大小再做空間加權(quán)有的方法直接對 patch token 做 top-k 選擇。讀者在復(fù)現(xiàn)時應(yīng)該優(yōu)先閱讀倉庫源碼中的model_utils.py或clip_utils.py這類文件。5.5 負(fù)傳播的工程表達(dá)負(fù)傳播在工程實現(xiàn)上更像一個小型的可優(yōu)化模塊。它不是端到端訓(xùn)練而是在測試階段對某張圖像的特征進(jìn)行迭代更新。假設(shè)當(dāng)前圖片的全局特征為image_features候選組合文本特征為text_features。模型先計算出所有組合分?jǐn)?shù)。負(fù)傳播階段要構(gòu)造一個優(yōu)化目標(biāo)讓正樣本組合的分?jǐn)?shù)盡量高讓負(fù)樣本組合的分?jǐn)?shù)盡量低。這里的“正負(fù)”取決于某張圖片的候選物體。一個簡化后的偽代碼如下target_text text_features[target_index].unsqueeze(0) negative_text text_features[negative_index].unsqueeze(0) # 用正負(fù)樣本差異約束當(dāng)前圖像特征 loss -torch.cosine_similarity(image_feature, target_text, dim-1).mean() loss loss torch.cosine_similarity(image_feature, negative_text, dim-1).mean() # 僅更新圖像特征不更新模型 optimizer torch.optim.SGD([image_feature], lr0.01) for _ in range(10): optimizer.zero_grad() loss.backward() optimizer.step() # 每次更新后重新歸一化可以保持?jǐn)?shù)值穩(wěn)定 image_feature.data image_feature.data / image_feature.data.norm(dim-1, keepdimTrue)這段代碼只用于表達(dá)負(fù)傳播的大致思想不能直接作為最終可運行方案。因為真實場景中負(fù)樣本的選擇、損失函數(shù)的具體形式、梯度更新層的位置都需要根據(jù)論文和倉庫實現(xiàn)調(diào)整。但它可以解釋為什么 ReCLIP 雖被稱為零樣本方法卻能做到比普通 CLIP 更強的組合區(qū)分能力它使用一小步測試時優(yōu)化把模型對物體顯著性的偏好推回到更均衡的狀態(tài)。5.6 輸出結(jié)果與可視化ReCLIP 項目最終通常會輸出一個 JSON 或 CSV 文件記錄每張圖片的預(yù)測標(biāo)簽和置信度。除了標(biāo)準(zhǔn) Top-1 準(zhǔn)確率外還可以做錯誤案例可視化。比如把預(yù)測錯誤但置信度很高的圖片單獨保存可以幫助判斷是屬性識別錯誤還是物體識別錯誤。一個常見現(xiàn)象是模型識別物體的準(zhǔn)確率遠(yuǎn)高于屬性。遇到這種情況不必急著修改整個模型可以先檢查文本模板中屬性詞的語義是否容易被 CLIP 理解。例如有些屬性本身是“相對屬性”像“大”和“小”它們必須依賴物體尺寸才能判斷這類屬性在零樣本設(shè)置下會比顏色屬性更難識別。6. 評測指標(biāo)與實驗配置建議6.1 評估指標(biāo)ReCLIP 這類 CZSL 項目中最常見的評估指標(biāo)是 Top-1 準(zhǔn)確率。在 closed-world 設(shè)置下候選集合已經(jīng)提前限制因此 Top-1 可以直接反映模型在受限組合空間的分類能力。在 open-world 設(shè)置下候選集合包含全部組合除 Top-1 外還會關(guān)注 Top-5、Top-10 等排序指標(biāo)。更嚴(yán)格地說CZSL 論文中通常還要求模型同時輸出準(zhǔn)確的屬性標(biāo)簽和物體標(biāo)簽。即使屬性識別錯誤只要物體識別正確也會被算作整體失敗。因此看指標(biāo)時要把屬性準(zhǔn)確率和物體準(zhǔn)確率分開分析這對改進(jìn)模型很有幫助。6.2 對比實驗怎么設(shè)計如果想做對比實驗建議至少設(shè)置下面幾條基線原始 CLIP 提示分類直接把每個屬性-物體組合構(gòu)造成文本不做負(fù)傳播不做區(qū)域注釋。CLIP zero-shot 模板集成使用多條文本模板并集成觀察提示工程帶來的提升。ReCLIP 全局特征版本只使用負(fù)傳播不加入?yún)^(qū)域注釋。ReCLIP 完整版本同時使用負(fù)傳播和區(qū)域注釋。這樣拆分以后能夠更清楚地看到每個模塊帶來的增益。如果只看完整模型和原始 CLIP 的差異很難判斷到底是負(fù)傳播起了作用還是區(qū)域注釋起了作用。有一個容易被忽略
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91社操逼| 国产AV线| 天啪| 亚洲中文制服诱惑| 91制服丝袜| 操99| 99少妇| 日本一级性爱| 91少妇高潮| 婷婷av在线中文字幕| 青青草视频久久久久| 人人做人人妻人人夜视频| 综合色久欲| 人人妻人人操人人乐| 国产成人亚洲精品无码古代早漏男| 国产熟女自拍| 天天插天天操天天摸天天射天天看| 精品性爱无码在线播放| 日逼97| 久久色一区| 亚洲 欧美 偷拍 唯美| 九久久精品| 91挑色欧美| 亚洲午夜免费狠狠干| 人妻少妇av在线观看| 国产精品4p在线观看| 人妻丝袜日本| 91狠狠综合久久| 日韩97精| 日韩无码第3页| 97干天天| 欧美国产一区二区三区麻豆传媒| 久久水蜜臀亚洲AV无码精品| 欧美爆操91| 91爱综合| 亚洲精品欧洲精品| 亚洲激情色片| av久日| 欧美日动态视频| 二对二中文字幕。| 性欧美精| 麻豆天天躁天天揉揉AV| 九九热AV| 91c色| 亚洲国产精品V?在线播放| 玖玖爱一区在线| 伊人一区二区三区| 97国产亚洲中文在线| 超碰79人人乐| 亚洲 图片 欧美 色图| 九九九网页| 青青草十区九区爱夜| 黄色网址久久精品欧美喷水| 啪啪视频mP4| 91成人在线| 欧美亚洲高清不卡| 麻豆视频一区二区| 黄片com.| 国产按摩一区二区三区| 狠狠2050在线观看| 久久久久久久 九九九九九九九| 超碰国产在线| 97亚洲精品| 亚洲成人日韩小说| 日本性爱不卡视频| 99精品九九九九九九| 97任你吞精| 九九玖玖精品| 国产伦精品一区二区三区在线观 | 天天插天天插| 欧洲熟妇xxXx欧美老妇裸体| 国产多人在线观看视频| 60秒不遮不挡| 亚洲视频精选| 日韩兔费看黄片| 97在线观| WWW.操逼.COM| 久久黄片国产一区二区| 国产久久天堂资源| 亚洲天堂久久久久久粉红视频| 九九九九精品视频| 色色青青久久| 免费男人的天堂| 日本97久久| 性生活无遮挡纯毛片在线看| 97舔舔| 99久久久| 美女自卫慰黄网站免费| 色五月首页| 国产又爽又黄| 中日韩久久人妻一区二区| 啊啊啊啊嗯嗯嗯用力好爽 | 久区视频| 亚洲色图欧美色图综合| 欧美天天弄| 欧美97se| 新亚洲无码| 性爱视频免费网址| 亚洲图片色图欧美另类| 久久久久婷婷| 国产噜噜噜噜噜久久久久久久久| 亚洲激情视频| 精品国产精品一区二区| 国产1727欧美| 在线日韩精品一区二区三区| 999岛国大片| 开心五月深爱五月| 玖玖爱一区在线| 超碰色大香蕉| 欧美天堂亚洲电影院一区在线播放| 国产2.3.4区| 26uuu偷拍亚洲欧洲综合| 亚洲av影音先锋| 99在线精品视频| 成人五级久久| 亚洲色人妻综合| 久久亚洲日韩国产欧| 中文字幕天堂在线| 伊人大香蕉在线| 日韩欧视频| 影视综合无码少妇| 91美女在线视频| 久久黄黄黄| 国产成人亚洲精品无码古代早漏男| 国产成人亚洲精品自产在线 | 日韩另类色图| 亚洲熟女av中文字幕| 国产综合在线视频网站| 污电影在线观看| 亚洲天堂7777| 男人的天堂 在线一区| 秋霞福利网| 亚洲色图图片| 日韩AV一区二区三区三州三州| 精品对白久久不卡| 六月丁操逼| 强奸乱伦大香蕉| 色天使AV天堂| 天天综合香 ld视频| 国产精品高潮久久久无码| 麻豆60秒| 日韩无码a片| 五十路成人在线视频二区三区| 婷婷伊人网| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 欧美精品偷拍| 国产视频不卡在线观看| 综合五月天| 九九热在线精品视频| 久久激情婷婷| nuu12国产麻豆精品| 天天日天天舔天天喷天天射| 国产辣妈在线视频福利| 欧美在线 亚洲| 污啪啪啪视频| 伊人久久婷婷| 国产精品自产拍在线观看社区| 大粗鳼巴久久久久| 亚洲文学偷乱拍啪啪啪啪 | 综合在线导航一区| 天天看天天日天天操| 日韩欧美资源| 欧美色图片91| 丰满少妇一区二区三区专区| 吻戏激情性巴克| 偷看洗澡一二三区美女| 变态乱伦伪娘灌肠一区二区| 婷婷五月天激情四射| 大香蕉综合在线| 清纯唯美激情四射| 91爱综合| 人妻天天爽夜夜爽精品2| 亚洲国产欧美中日韩成人综合视频| 91精品人妻一区二区三区蜜桃| 欧美页片| 日本黄页视频在线观看| x97av| 蜜臀av中文字幕| 国产AV人人夜夜澡人人爽麻豆| 99xav| 亚洲精品天天影视综合网 | 久久久999国产精品| 精品9区| 日日骚一区二区三区| 1区2区3区中文字幕日韩| 五月丁香久久| 国产 无码 一区二区| 久久老女人| 97国产|免费| 大香蕉在线免| 亚洲综人网| 欧美+日产+中文| 国产精品美女久久久久久网站| 色区97| 天天综合-91入口| 国产毛片片精品天天看视频| 一本一道vs波多野结衣| 综合网色| 日韩影片中文字幕一区二区三区| 中文字幕视频一区视频二区| 激情四射熟女丝袜| 国产精品国产精品国产| 草草影院最新网址| 蜜臀精品1区2区| 亚洲麻豆18发?| 午夜九九九九九九| 老熟女乱伦一区| 亚洲人妻在线一区| 九九热精品视频在线观看| 蜜臀AV成人精品蜜臀AV久久| avav青青草久久夜| 91视频精品| 亚洲免费成人精品电影| 粉嫩国产精品久久久| 97久久超碰亚洲| 日韩三A大片在线观看| 九月婷婷综合| 欧美,亚洲,日韩,v,天堂,手机在线观看| 久久久久女教师免费一区 | 亚洲中文日韩欧美大香蕉视频| 久久五月综合| 老司机香蕉久久久久| 青娱乐亚洲自拍| 亚洲男人的天堂一区二区| 日日干夜夜欢| 色呦呦呦在线观看视频| 天美一二三在线观看Av| J?P?NESEHD熟女熟妇伦| 无码一区二区三区四区五区六区七区八区九区十区视频 | 国产自偷自拍一区| 97在线无精品| 91色婷婷综合久久中文字幕二区| 日本精品高清一二区一本到| 91痴汉| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 亚洲在线综合| 激情色色| 人人扣人人操| 97久久超碰日韩精品| 九九色图| 久9精品| 蜜桃臀av在线观看| 欧美巨大性舒爽顶到了| 裸体美女久久久| 偷看洗澡一二三区美女| 97国产精品一区二区传媒公司| 欧美亚洲美少妇一区二区| 少妇大屁屁| 99久久久久| 亚洲日韩在线a不卡99精品| 精品免费1| 久久无码成人| 蜜臀中文字幕| 欧美最大综合网| 亚洲一区中文字幕一区| 91一起操| 久久性爱精品一区| 96一区二区三区| 亚洲老熟妇xxx| 久久成人国产| 中文字幕精品一区欧美| 中文字幕三四五区| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 在线人人人人人人精品超| 超碰美女97| 亚欧操逼片在线观看| 久久中日麻豆| 久久精9| 丰满人妻av一区二区三区| 日日骚网站| 久久色激情一区二区三区| 日韩无码精品综合久久| 欧美色另类| 亚洲精品欧美专业| 97欧美精品综合| 97国产色综合| 天天亚洲综合| 亚洲综合在线91| 好舒服视频| juliaann精品熟女一区| 麻豆AV一区二区| 久久久久久中文字幕中文字幕最新| 日韩欧美亚洲一区二区三区影院| 国产色综合亚洲色综合吹潮| 97超碰超碰| 91欧美网| 一级久久性爱视频| 自拍视频一区在线观看| 日韩一性一交一A片俄罗斯| 69视频入口| 亚洲精品国语在线播放| 超碰在线人妻中文字幕| 欧美色网| 亚洲美女自拍偷拍视频| 色婷婷电影网| 东北黄色电影| 啪啪啪综合网| 一级性爱啪啪视频| 性吧在线视频| 96国产污污污丝袜| 97久久久| 国产女生在线| 亚洲三级网址久久最新| 干美女人妻| 亚洲色图8| 人人妻人人澡人人爽人人精品浪潮| 怡红院一区二区熟女人妻| 日本精品网站在线中文| 亚洲中文国际强奸字幕| 无遮挡h肉动漫在线观看| 精品偷拍13p欧美dodk视频| 曰韩无码777| 国产超碰在线一区| 亚洲97超碰| 精品人妻一区二区视频| 欧美在线视频观看一二三四区高清| 国产乱人妻精品入口| 老熟妇一区二区三区| 韩国一级做a久久久久| 亚洲欧美在线观看免费| 久久午夜伦| 日韩精品国模| 午夜无码精品免费看性色| 欧美性猛交美女自慰91| 国产区在线| 99久久久er直播网址| 韩国女主播青草福利视频| 久操com| 男人下部插入女人下部| 97爱亚洲| 国产这里只有精品| 天天综合网~91综合网| 精品蜜乳AV免费观看| 一级特级aaaa毛片免费观看| 日韩欧美资源| 国产福利在线视频网站| 熟女在线视频| 97视频免费| 久操网线| 激情另类激情| 97人肏| 大象AV在线| 曰韩欧美国产传媒麻豆第一区| 亚洲天堂少妇| 亚洲国产成人高清在线| 97久久国产| 能看的AV| 一级特黄aaa大片在线观看成人一级片在线观看 | 一二三区视频在线观看| 大香蕉AV在线| 日本性交操一区二区不卡系列| 亚洲乱色视频一区、二区在线| 翔田千里Av在线| 日韩欧美偷拍美女视频| 偷看洗澡一二三区美女| 夜夜骑夜夜操| 夜夜操91744565| 9国产超碰| 偷拍片久久| 色99在线| 最新亚洲人成网站在线影院| 日韩av电影网站| www.婷婷六月天| 欧美天天综合| 中文字幕欧美精品亚洲日韩蜜臀| 情色日播放AV| 国产精品久久久久久久毛片1| 亚洲精品国产熟女久久久| 日本视频在线观看污污污| 91欧美网| 久久99干一本高清| 岛国AV一区二区电影| 国产麻豆一级精品视频| 中文字幕五月婷婷免费| 亚洲国产精品无石码久久| 四虎影视国产精品| 国产女人9999| 精品97精品97| 大鸡吧尹人在线| 欧美亚洲日本视频久久久| 超碰精品日韩欧美国产| 天天综合网~91| 丝袜综合| 香港日本韩国人妇99www.wccm20| 五月天丁香欧洲日韩| 国产精品亚洲免费| 婷婷色网| 欧美日日网| 99热自拍| 色成人Www精品永久观看| 精品午夜福利| 试看60秒 爽| 少妇蹲下露出大唇5| 另类专区加勒比| 狠操91,com| 欧美日韩亚洲五月天婷婷| 肉丝网站91| 国产成自自拍在线观看| 熟女精品一区二区在线观看| 欧洲亚洲人人爽爽视频| 妇女乱色二区| 日韩精品三级| 国产精品人妻一区二区| 麻豆区久久久久亚| 国产熟女高潮一区二区三区| 好爽免费视频,| 青青草原成人| 性夜影院爽黄A爽免费动漫| 一级做a爰片性色毛片久久| 极品色综合| 精品无码少妇| 亚洲无码国产探花在线观看| 九九干| 无码伊人久久大杳蕉中文无码| 91三级理论片播放器| 一级免费啪啪片| 久久久久久中文字幕中文字幕最新| 9久久9综合| julia ann久久| 96精品久久久久久久久久| 99久久久久久亚洲精品不卡| 操操逼操操逼操操逼逼| 欧美激情专区| 亚洲第2页| 香蕉99秘 精品一区丁香| 黄色十八禁网站| 人妻喷水| 吖在线不卡一区二区国产剧情| 久久6热视频免费观看| 大香蕉综合网| 色狠狠一区二区三区香蕉| 色九九九九九九| 国产91福利小视频在线观看| 人人操人人狠狠操| 99精品在线| 婷婷五月天成人| 日本性一区| 免费看久久久性性| 亚洲精品久久久久久| 91c色| 成人在线永久| 永久免费发布性爱网| 2019天天操天天爽天天拍| 欧美第一页| 久久欧美按摩999| 欧美色图99| 欧美不卡二区| 亚洲少妇激情一区二区三区| 成人性爱高清视频免费看| 欧亚成人在线视频| 萌白酱自拍视频| 97 九色| 日韩无码a片| 午夜综合在线| 日本有码久久| 国产美女裸体秘 永久无遮挡| 求求你操操我| 强奸乱伦av电影| 国产精品3| 97人人中文网| 脫衣舞一区二区三区| 午夜精品久久久久久久| 欧美视频中文字幕区| 亚洲男人在线观看天堂| 国产AV超爽| 17c嫩草51久久91嫩草| 日韩中文字幕av在线播放| 久久久久久久久久久免费精品| 丁香五月天婷婷姐| 欧美麻豆成人同性GⅤ在线| 大香蕉线| 韩国国产欧美情侣视频在线| 成人五月天色网| 成人八戒网站| 免费操逼91| 人妻少妇精品久久久| 99视频精品| 性爱视频免费网址| 九九久精品| 一区二区三区无卡视频在线观看| 深夜国产一区二区三区在线看| 天美91| 亚洲资源站| PMv在线观看| 在线五区| AV在线资源| 亚洲精品一区中文字幕乱码| 日本网色| 8050无码八戒| 中文字幕色AV| 亚洲成人一二三区| 欧美色棕合| 日本成人电影资源网| 一本色道久久天天射天天干| AAAA级日本片免费视频| 免费一级欧美片片线观看| 天美传媒婬乱| 蜜桃久久一区二区| 精品99999| 伊人加勒比| 一二三四区电影| 亚洲高清自拍| 狠综合网| 热久久国产精品视频大陆精品| 天天干天天拍| 亚洲成人一二三区| 成人无码专区精品视频| 五月天激情国产综合婷婷婷| 综合色图,成人综合网| 丁香久久| 夜夜嗷嗷一区二区| 97视频900| 求求你操操我| 人妻久久| 亚洲中文国际强奸字幕| 久久久久国产无av| 亚洲人在线| 97欧美色资源| 久久超碰日韩精品| AAAA欧美日韩| 国产女人高潮嗷嗷嗷叫小说| 视频分类 国内精品| 亚洲第一在线视频| 日韩av乱伦| 国产综合操逼高清| 肥臀熟女福利视频一区二区| 精吧天堂| 欧美操逼熟女| 老熟女区| 亚洲影视综合| 亚洲精品三| 欧美精品成人亚洲| 天天性射网| 欧美日韩黄片精品在线| 色九区| 久久久久久久久久久久久久久久9| 蜜臀99久久国产| 久久精品国产精品一区| 无遮挡猛进视频免费无限观看| 91扒丝袜综合在线| 欧亚日韩一区在线| 亚洲国产成人精品久久久国产成人一区二区三.| 国产福利精品最新在线| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 内射白嫩美女| 国产免费内射视频| 在线99热| 啊啊啊操死我| 日韩情色视频| 国产白丝av| 口爆综合网| 99999久久精| 亚洲nv男人的天堂网| 91老司机在线| 国产乱婷婷精品二区三区| 高清孕妇孕交 交| 91啪啪视频| 91中文字幕制服丝袜免费视频| 无码聚合| 久久黄人人爽视频| 亚洲天堂自拍| www.婷婷| 国产在线强奸视频| 激情视频一二三| 狠狠色婷婷| 色哟哟AⅤ| 美女网站黄页| 亚洲综合色男人网| xxxx网站亚洲精品| 五月天久久人妻| 黑丝少妇在线观看| 98人妻精品一区二区色欲| 天美精品一区二区三区四区在线观看| 男女激烈网站最新| 很很很很操| 日韩黄色一区二区三区| 日韩亚洲欧美中文字幕| 久操视频免费观看| 日韩影片中文字幕一区二区三区| 333kkkk·亚洲com久久| 夜夜嗨视频| 日本999精品| 日韩女模中文造逼| 日本性爱欧美性爱| 好爽免费视频| 欧美久久人体| 狠插 制服 自拍| 99精品网| 精品国产片亚洲一区| 国产无吗在线播放| 91天天看| 97在线免费| 大香交| 91高跟美女在线播放| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 0755午夜福利视频| 日韩精品作爱导航| 国产女同性恋视频| 日韩二级| 青娱乐国产精品| 日韩精品一区二区日韩| 成人无码在线视频网站| 男啪女色黄无遮挡免费观看| 五月天激情四射| 一区在线观看中文字幕| 日韩精品在线观看网站| 国内毛片婷婷六月色| se吧提供国产乱老熟视频胖女人| 东北老熟女| 射丝袜大香蕉| 日韩精品系列| 超碰在线1234区| 美日韩在线不卡人妻| 91精品丝袜久久久久久无码人妻| 欧美精品 - 91爱爱| 欧美白嫩女HD| 97操在线| 久久精品99| 久久久极品| 四方色播| 天天躁日日躁成人字幕aⅴ| 91影库| 亚洲综合精品国产一区| 成人五月香网在线| 岛国人妻少妇av在线观看| 射欧美综合| 亚洲加勒比色图| 久久这里只有精品9| 操婢日韩| 欧美性生活综合| 91在线综合网| 欧美激情一| 男人在线天堂| 人人摸人人摸人人干| 国产99 中文字幕日韩小视频| 99综合| 淫骚熟女一区二区三区| 综合亚洲网| 国产精品露脸在线观看| 国产成人久久久精品免费AV| 日韩AV一区二区三区三州三州| 伊人aaa| 搡老女人老91妇女老熟女| 尤物视频视频官网| 中文字幕在线日亚洲9| 60秒免费小视频| 视频不卡中文字幕| 操碰91| a片亚洲一本通视频| 中文字幕后石码四区五区| 亚洲AV无码翔田千里网站| 婷婷AV一区二区三区| 色情综合| 大但人体久久久久| 亚洲一卡2卡3卡4卡乱码网站 | 五月开心久久AV官网| 精品视频一二三中文| 在线无码操| yirendaxiangjiashipin| 国内毛片四区| 99在线精品观看99| 97日韩欧美亚洲| 亚洲免费人妻在| 99精品丰满人妻无码| 日韩丝袜二区| 久操在97| 日韩欧美俄罗斯A片| 天美传媒av一区二区| 国产精品一级毛片不卡视| 97国产精品在线观看| 亚洲欧洲网站免费观看| 欧美熟妇精品黑人巨大91| 婷婷激情四射| 久久久一区二区三区三州| 国产有码一区| 丰满人妻一区二区三区四区| 欧美综合狠| 亚洲精品 大香蕉| yw尤物av无码点击进入麻豆| 美腿丝袜高跟网免费视频免费视频| 黑人精品XXX一区一二区| 久草新免费| 中日韩熟女| 97精品| 五月天亚洲网| 美女的肌被草喷水视频| 久久一区二区三区入口| 国产v亚洲v日韩v欧美v片另类| 欧美久久毛片基地| 免费啪啪啪网站18岁| 97操B| 日日日啊啊啊| 欧美不卡二区| 日本黄大片在线观看视频| 色五月激情AV在线| 亚洲天堂女优在线| 日本肉体xxxx裸交| 午夜福利av电影在线| 第四色奇米影视777| 97欧美日韩精品| surenchaopeng| 天美av在线观看| 五月丁香综合啪啪| 深夜国产一区二区三区在线看| 九九九九久久久久| 日韩欧美麻豆| 丝袜美腿射精91| 中文字幕三四区| 欧美日日人人天天| 人人摸人人干| 嗯嗯,啊啊,国产精品| aaaa少妇高潮大片| 亚洲精品影视老司机| 亚洲无码国产探花在线观看| 国产精品久久久亚洲第一牛牛_在线观看| 日韩在线AB| 久久精品视频久久久| 999久久久九| 久久综合18p| 超碰 97国产熟女| 久久久A∨| 久久久人体| 色五91| 九九久久一区二区三区| 欧洲射精91| 久久亚洲熟妇在线视频| 中文字幕人妻色偷偷久久皮 | 成人性爱全视频观看| 999岛国大片| 99热精品在线| 人妻精品一区二区全免费| 天天日天天舔东京热 | 欧洲熟妇xxXx欧美老妇裸体 | 草久久久| 亚洲欧洲无码一区夜| 色偷综合| Sekablack无码一区| 亚洲 日韩 丝袜 熟女 变态| 日韩不卡毛片Av免费高清| 激情五月天视频| 欧美少妇一区二区三区| 欧亚日韩三区| 啊嗯嗯啊好大好爽| 亚洲 暴爽 AV人人爽日日碰| 欧亚性爱在线视频| 91九色精品熟女内射| 嗯嗯,好大,好爽,好骚 | AV丝袜少妇| av日韩中文字幕| AV一区观看| 国产成人网址| 在线情色电影 91大| 99在线精品观看视频中文| 欧美亚洲天堂| 亚洲中文字幕三级在线| 亚码人妻| 韩国手机不卡无码三级视频| 思思在线免费视频| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 五月丁香综合网| 日韩人妻丝袜美腿中文| 金莲网址| 91天天爱| 久久性生大片免费观看性| 国语国产操逼伊人AV网| 老女人老91妇女老热女| sewuyueav| 久久人人看| 婷婷九月国产| 日韩欧美操逼xxx| 欧美大香蕉97| 久久熟女人| 国产欧美另类久久久精品课程| 欧美日韩性爱视屏免费看了| av 模特一区了| 久热香蕉精品在线视频| 好爽要喷了| 五月香婷婷| 国产一区在线看| 亚洲男人天堂网久久| 舔人妻中文免费视频| 成人性爱电影网| 大香蕉草草| 亚洲欧美性生活| 很很操在线| 一牛一区二区三区久久| 美女一区二区国产精品| 东方亚洲在线操逼天堂| 成人网址在线观看| 久久久久国色αv免费观看| 精品精品精品| 久久久久免费看少妇A片特黄| 91国精产品| 天天干天天拍| 中文色综合| 99夜夜操| 99久在线精品99re8a| 色情五月综合婷婷| 夜色91| 中文字幕精品乱码| 色五月激情网| 五月婷婷久久综合| 亚洲久久久| 97操综合| 校园春色综合| 97香蕉网| 熟女少妇一区二区三区| 天操老女人| 麻豆久久久久久久久丝袜 | 精品十八在线观看| 另类av综合久久| 97免费在线视频在线观看| 熟女六十路| xxx0国产在线播放| 日本熟女免费視颖| 操逼无码操逼| 国产精品久久久久久久久久久久| 大香蕉92| 日韩特一级久久| 中文字幕精品久久久久人妻红杏ⅰ| 在线观看十八禁| 婷婷丁香六月天| 亚洲激情四射| 丁香婷婷色五月| 久久婷五月天| 99热精品免费| 天美av在线观看| 99精品网| www老逼91| 欧美综合骚| 91在线美女| 九热大香蕉| 夜草欧美| 天美传媒精品久久视频| 淫纸中9区| 日逼97| 九九九免费视频| 国产91亚洲精品一区二区三区| 午夜精品久久一区二区| 久久久久国产精品久久久| 国产精品爆乳懂色蜜乳| 亚洲综合另类小说色区亚洲成av人片在www | 锕锕好爽 死我在线观看| 夜夜爽爽夜夜精品视频| 青女偷拍网| 久久精品国产亚洲AV先锋| 在线播放成人高清免费视频| 污污汅18禁网站在线永久免费观看| 国产福利影视| 射欧美综合| 欧美97免费| 国产无码久久高清| 性暴力欧美猛交在线直播| 一区二区娱乐网站| 老熟女91av| 亚洲91射| 久久久亚洲高清不打码| 精品国产乱码久久久久A| 樱花草社区www中国| 综合亚洲欧美| 午夜偷拍久久熟女| 九九热免费国产视频婷婷伊人五月| 国厂麻豆77q4| 日韩少妇无码| 成人网址在线观看| 欧美亚洲20p| 亚洲天堂日本| 四虎影视永久在线免费| 99色色网| 国产97在线播放| 久久精品国产亚洲AV清纯| 99re在线观看| 日本一级不卡一二区| 在线岛国新天堂8| 久久国产精品一级二级三级| 欧洲一区二区| 婷婷中文网| 久久国产视频专区一二三 | 国产盗摄美女如厕大神作品在线观看| 一二三区精品视频| 99爱爱| 亚洲天天自拍| www久| 欧美天天干| 能看的av| 加勒比久久av| 激情五月综合| 久九色| 亚洲视频二区 | 99在线观看| 中文字幕精品码亚洲| 丝袜美腿欧美| 国产精品ⅴ无码大片在线看.| caopeng97人妻| 插穴性爱视频在线观看| 亚洲人妻色图| 四虎影库国产精品免费| 日韩 国产 欧美自拍| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 日本免费一区二| 欧美aa一级片| 精品日日人妻| 欧美大片天天看| 日韩欧美国产高清视频| 青青草国产欧美非洲黑人| 久久精品免费| 波多野结衣先锋影音| 亚洲色图欧美色图另类图片| 久久亚洲色图中文字幕| 色嘟嘟人妻天堂网| 日本三级A片网站com| 国产超碰97| 1二区9| 岛国人妻少妇av在线观看| 伊人久久大香大香线蕉中文 | 精品无码久久久久久久久果冻糖心 | 91熟女视频网| 色综合久久夜色精品国产天堂| 激情AV| 亚洲各类熟们中文字幕| 国产在线能看的你懂的| 综合网亚洲1| 亚洲另类综合欧美| 欧美在线播放aaaa| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 性饥渴少妇av无码毛片| 97爱亚洲| 97欧美综合| 精品久操| 五月天人妻综合| 色777999综合| 久久精品国产97欧美精品亚洲| 97资源免费视频| 亚洲精品欧美专业| 91九色丨国产丨爆乳| 成 人 影视 一区 二区 三区 四区| 囯产操逼片| www网站黄| 欧美麻豆成人同性GⅤ在线| 韩日性爱av| 99热婷婷| 920日本午夜免费| 久久男人的天堂国产| 国产在线不卡导航| 久久超碰大香蕉| 久久夜夜夜| 欧美专区17页| 91综合中文字幕| 偷拍 欧美 日韩| 丁香六月激情| 午夜男女爽爽爽在线视频| 无遮挡猛进视频免费无限观看| 欧美视频中文字幕区| 不卡一区二区日本视频| 国产热RE99久久6国产精品首 | 国产九九九九九九九九| 免费视频一二三区| 亚洲欧美国产其他二区| 欧美综合传媒| 99色热国产视频精品| aa片毛片| 国产一区二区三区免费视频在性观看| 日日爱99| 国产三级多多影院2022国产AA一级毛片无码| 精品国产Av无码久久久伦古装 | 无遮挡一级毛片视频免费的| 欧洲综合无码| 精品国产一区二区三区av在线资源| 国产一区二区久久| 久久AV无码AV| 久久久久久国产无码精品| 亚洲麻豆精品二区三区| 久久日本熟女精品一区| 在线不欧美| 免费公开人人操| 精品国产一区二区三区久久久蜜臀 | 亚洲,日韩,欧美,成人播放| 日本三级日本三级99| 亚洲综合贴图91| 十八禁视频一区二区| 亚洲熟妇极品| 青青草导航在线视频| 亚洲视频1区| 1二区9| 久操com| 东北老女人的激情视频| 日韩电影在线观看网址| 欧美久久九九| 超碰97日韩| 九九色影院| 国产精品熟女一区二区三区| 婷婷丁香久久| 天天欲望网| 久久久激情| 超清中文乱码字幕| 九九九九九九九精品视频| 97精品国产手机| 在线a v| 伊人久久大香线综合无码| 精品日韩人妻视频| 国产AV天美| 日本精品网站在线中文| 欧美少妇性乱| 日本中文字幕在线电影| 舔足天天操天天射| 亚州色图狠狠干| 欧美日韩色综合网| 97超碰总站| 国产精品999zyz| 蜜桃臀一区二区aV| www.超碰| 欧美十八禁视频| 99re只有精品| 人人透人人操| 欧美日韩激情无码专区| 色爱天堂| 久久av色| 亚洲成人久久美女| 无码高清操逼| 国产精品久久久亚洲第一牛牛_在线观看 | 精品午夜福利国产一区二区在线观看| 四虎免费在线播放| 四虎AV影视国产精品亚洲精品| 色吧91| 欧美在线干| 97中文字幕色| 亚洲天堂人妻一区二区| 伦理片秋霞免费影院| 午夜小电影在线插入淫高潮| 蜜桃精品视频一区二区三区| 日韩激情视频| 鸥美插入视频| 青青草视频爽一爽| 91爱综合| 探花激情视频| 911粉嫩人妻| 干婷婷综合网| 涩涩涩综合| 国产精品久久久久久久黄无码| 综合伊人激情| 思思热免费在线视频| 熟妇的味道HD中文字幕| 欧美丰满少妇xx高潮| 少妇人妻好深太紧了vr91| 亚洲天堂一区二区久久| 亚洲综合有码| 91亚洲电影| 国产强奸乱伦第1页| 1769一区| 欧美国产欧美在线观看| 无码WWW免费视频网站| 亚洲好看强奸乱伦| 亚乱色| 色五月婷婷麻豆在| 国产精品对白内射| 制服少妇欧美| 精品一区二区三区蜜桃| 国产女人视频三四五区| 亚洲 日本 国产 综合| 视频分类 国内精品| 懂色综合久久久| 91精品久久久久久久久久| 亚洲天堂日本| 欧美亚洲情色| 先锋激情∨在线视频播放| 97人人模人人爽人人| 亚洲熟女国产综合另类| 蜜臀人妻少妇久久在线观看| 热久久九九热| 美女爽到高潮91| 欧美激情性爱视频网站| 99精品热| 四虎视频在线观看| 蜜臀久久99精品久久久久久婷婷| 久操操AV电影| 欧美性爱视频免费一区一A| 人人操天天爽| 花花AV导航| 自拍鲍鱼一区在线高清观看免费| 欧美色图私拍91| 97天天操| 欧美在线视频99| 伊人9| www色日本| 亚州九九九精品视频| 激情抓乳插进去啪啪啪日韩 | 热热热热日日漂亮永久永久国产日| 国产久久日| 黄色无码高清黄色无码网站| 九九热在线视频| 精品人妻一区春色| 亚川综合视频| 操死我了嗯嗯嗯| 日韩中文字幕视频| 97公开久久| 青椒国产97在线熟女| 97国产伦理| 白嫩国模丰满一二三区| 日本熟妇自慰性高潮一区二区三区| 97在线视频观看网站| 性欧美体内射精| 欧美亚洲国产91在线| 国产精品在线网站| 亚洲天堂在线怕怕视频 | 中文字幕成人| 青青草福利视频| 东京热一区二区三区四区五区六区| 亚洲国产成人精品久久久国产成人一区二区| 国产视频一区二区在线观看| 天天夜躁日日躁狠狠2002| 欧美熟女妇同| 国产精品无码在线| 性欧美91| 欧美爆操91| 综合操逼| 欧美天天综合网版| 91美女色视频亚洲| 五月天开心网| 亚洲好看强奸乱伦| 南澳成人一级片在线播放| 亚洲aw毛茸茸在线| 无码黑人精品一区二区三区三| 亚洲天堂男人在线| 99久久精品国产高潮| 欧美 亚洲 第一页| 久久久久久91香蕉国产| 一级性爱aaaa| 粉嫩av久久一区二区三区| 精品国产乱码久久久A| 97精品第3页| 欧美色五月| 精品人妻一区二区视频| 97在线视频观看| 91老司机精品| 亚洲激情欧美色图 | 粉嫩小泬久久久一区二区| 青青草日韩无码| 久久久久国产精品喷潮免费观看臀 | 91激情网| 麻豆影音天美视频| 中亚精品极乱| 色色国产| 91狠狠色丁香婷婷综合久久精品| 91亚洲网站| 伊人网在线视频| 欧美最婬乱婬爆婬性视频 | 韩国国产欧美情侣视频在线| 日本免费不卡二区| 蜜臀AV一区二区三区激情综合| 国产91啪| 手机在线中文字幕国产| 综合免费无码中文| 91人妻素女| 福利在线黄片| 精品一二三区久久AAA片| 欧美性爱在线无码| 超碰人人妻| 人妻精品4K4K4K4K4| 超碰亚洲97| 99国产精品免费|