日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Transformer計算機視覺精講:自注意力到ViT與Swin

Transformer計算機視覺精講:自注意力到ViT與Swin Transformer 進入計算機視覺已經(jīng)不再是“要不要用”的問題而是“怎么理解、怎么選型、怎么落地”的問題。這次我們來看一套覆蓋全套知識點的內(nèi)容從注意力機制講起逐步推進到 ViT、Swin Transformer 兩篇核心論文的精讀。與很多只給概念截圖的教程不同這套內(nèi)容更偏向“能把論文讀透、能把代碼寫出來”的干貨路線適合準備面試、做課題、復現(xiàn)論文或者使用 Transformer 改進視覺任務(wù)的讀者。文章不繞彎子直接拆解三層內(nèi)容第一層是 QKV、自注意力、多頭注意力的數(shù)學原理與實現(xiàn)細節(jié)第二層是 ViT 的 Patch Embedding、位置編碼、Class Token 和整體訓練策略第三層是 Swin Transformer 的層次化設(shè)計、窗口注意力、移位窗口和相對位置偏置。最后會給出從論文到代碼的驗證路線以及學習中最容易踩的坑。如果你正在為“Transformer 計算機視覺”整理知識體系或者準備面試時被問到“ViT 和 Swin 到底差在哪”這篇可以直接收藏備用。1. 核心能力速覽先給這套內(nèi)容做一個整體畫像方便判斷是否適合自己。能力項說明內(nèi)容定位計算機視覺中的 Transformer 全套精講覆蓋注意力機制、ViT、Swin Transformer面向讀者準備面試的算法工程師、做視覺大作業(yè)/課題的學生、準備復現(xiàn)論文的研究者前置知識Python 基礎(chǔ)、PyTorch 基礎(chǔ)、CNN 基本概念卷積、池化、全連接核心模塊自注意力機制、多頭注意力、位置編碼、ViT 論文、Swin Transformer 論文代碼落地可對照 PyTorch 手寫注意力模塊、Patch Embedding、窗口注意力面試價值高頻考點全覆蓋QKV、softmax、復雜度、歸納偏置、層次化特征配套建議需要一面讀論文原文、一面跑代碼驗證不建議只看概念圖這套內(nèi)容最直接的收益是讀完以后你能回答清楚幾個關(guān)鍵問題——為什么 NLP 的 Transformer 能搬到圖像上ViT 為什么需要大數(shù)據(jù)集預訓練Swin 的窗口注意力到底省了多少計算量這也是面試和論文復現(xiàn)里最容易卡住的地方。2. 為什么計算機視覺需要 Transformer先回顧背景。CNN 統(tǒng)治視覺任務(wù)很多年靠的是局部感受野和權(quán)值共享卷積核一層層堆疊從邊緣、紋理逐步抽象到語義。這個設(shè)計很好但有兩個天然限制。第一個限制是感受野擴展得慢。高層特征雖然能覆蓋更大區(qū)域但依然依賴層層堆疊對于長距離依賴關(guān)系比如一張圖里“遠處的行人”和“近處的汽車”之間的語義關(guān)系CNN 需要很深的網(wǎng)絡(luò)才能建模。第二個限制是歸納偏置強。卷積假設(shè)了 locality局部性和 translation invariance平移不變性這在自然圖像里通常成立但遇到需要全局建模的任務(wù)時反而成了限制。Transformer 的思路完全不同。它不預設(shè)局部性而是通過自注意力機制讓序列中任意兩個位置直接交互。一張圖切成 patch 序列后每個 patch 都能和所有其他 patch 計算相關(guān)性。這種全局建模能力是 Transformer 進入視覺領(lǐng)域的根本動力。但要注意這種能力的代價是計算復雜度。標準自注意力是 O(n2) 的復雜度n 是序列長度。對 NLP 來說一個句子不過幾十到幾百個 token問題不大對圖像來說如果直接把每個像素當 token一張 224×224 的圖就有 5 萬個 token計算量直接爆炸。這也解釋了為什么 ViT 要把圖像切成 patch也解釋了為什么 Swin Transformer 要設(shè)計窗口注意力。理解這條主線后面讀論文就順了。3. 注意力機制核心Q、K、V 與自注意力注意力機制最早來自 NLP 的機器翻譯場景本質(zhì)是做“信息選擇”給定一個查詢Query在一組鍵Key上計算相關(guān)性再按相關(guān)性加權(quán)求和對應(yīng)的值Value。公式長這樣Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V其中Q 是查詢向量代表“我要找什么”。K 是鍵向量代表“我這里有什么”。V 是值向量代表“我實際提供的信息”。d_k 是鍵向量的維度除以 sqrt(d_k) 是為了防止點積過大導致 softmax 梯度消失。為什么除以 sqrt(d_k)因為 Q 和 K 的點積結(jié)果會隨維度增大而增大如果 d_k 很大點積進入 softmax 的飽和區(qū)梯度會非常小??s放一下讓點積分布保持在合適的區(qū)間訓練更穩(wěn)定。自注意力是注意力機制的一個特例Q、K、V 都來自同一個輸入序列。也就是說序列內(nèi)部自己做“注意力分配”每個 token 在計算輸出時都會參考序列里所有 token 的信息。用 PyTorch 實現(xiàn)一個基礎(chǔ)的自注意力模塊代碼很短import torch import torch.nn as nn import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, embed_dim, dropout0.0): super().__init__() self.embed_dim embed_dim self.q_proj nn.Linear(embed_dim, embed_dim) self.k_proj nn.Linear(embed_dim, embed_dim) self.v_proj nn.Linear(embed_dim, embed_dim) self.dropout nn.Dropout(dropout) def forward(self, x): # x: [batch_size, seq_len, embed_dim] B, N, C x.shape q self.q_proj(x) # [B, N, C] k self.k_proj(x) # [B, N, C] v self.v_proj(x) # [B, N, C] attn torch.matmul(q, k.transpose(-2, -1)) / (C ** 0.5) attn F.softmax(attn, dim-1) attn self.dropout(attn) out torch.matmul(attn, v) # [B, N, C] return out這段代碼是理解 ViT 和 Swin 的基礎(chǔ)。ViT 里的 Encoder Block 就是在這個模塊外面加上 LayerNorm、MLP 和殘差連接Swin 里的窗口注意力則是在這個模塊基礎(chǔ)上加了 mask 和相對位置偏置。把這段代碼跑通再去看論文里的公式基本沒有理解障礙。4. 多頭注意力機制單個注意力頭只能學到一種“查詢-鍵”相關(guān)性表達能力有限。多頭注意力把 embedding 分成 h 個頭每個頭獨立計算注意力最后拼接在一起再做一次線性變換。這樣模型可以同時關(guān)注不同的關(guān)系某個頭關(guān)注局部紋理另一個頭關(guān)注全局輪廓各司其職。多頭注意力的公式MultiHead(Q, K, V) Concat(head_1, ..., head_h) W_O head_i Attention(QW_Q_i, KW_K_i, VW_V_i)在實現(xiàn)層面常見的做法不是真的建立多組獨立 Linear而是把 Q/K/V 的線性層輸出拆成 h 份。比如 embed_dim 是 768頭數(shù)是 12每個頭的維度就是 64。PyTorch 里手寫多頭注意力class MultiHeadAttention(nn.Module): def __init__(self, embed_dim, num_heads, dropout0.0): super().__init__() assert embed_dim % num_heads 0 self.embed_dim embed_dim self.num_heads num_heads self.head_dim embed_dim // num_heads self.q_proj nn.Linear(embed_dim, embed_dim) self.k_proj nn.Linear(embed_dim, embed_dim) self.v_proj nn.Linear(embed_dim, embed_dim) self.out_proj nn.Linear(embed_dim, embed_dim) self.dropout nn.Dropout(dropout) def forward(self, x): B, N, C x.shape q self.q_proj(x).view(B, N, self.num_heads, self.head_dim).transpose(1, 2) k self.k_proj(x).view(B, N, self.num_heads, self.head_dim).transpose(1, 2) v self.v_proj(x).view(B, N, self.num_heads, self.head_dim).transpose(1, 2) attn torch.matmul(q, k.transpose(-2, -1)) / (self.head_dim ** 0.5) attn F.softmax(attn, dim-1) attn self.dropout(attn) out torch.matmul(attn, v) # [B, num_heads, N, head_dim] out out.transpose(1, 2).contiguous().view(B, N, C) out self.out_proj(out) return out多頭注意力里的幾個細節(jié)值得單獨記住每個頭的維度是 embed_dim / num_heads不是 embed_dim??s放因子用的是 head_dim不是 embed_dim。拼接完要經(jīng)過 out_proj 做一次融合線性變換。頭數(shù)越多模型越能捕捉不同類型的依賴關(guān)系但計算量也線性增加。面試里常問“為什么 softmax 之前要縮放”答案就是上面說的梯度問題。另一個常問的是“多頭注意力的復雜度”答案和單頭一致因為頭的數(shù)量不改變序列長度的平方項。5. 位置編碼注意力機制本身沒有順序概念。對于一組 token無論它們怎么排列注意力計算的結(jié)果都一樣。NLP 里 token 是詞順序決定語義視覺里 patch 是圖像塊排列決定空間結(jié)構(gòu)。模型必須知道每個 patch 在原始圖像中的位置否則一張圖的所有 patch 順序打亂后模型會得到完全一樣的輸出。位置編碼就是解決這個問題的。ViT 使用可學習的位置編碼。它的做法是初始化一個形狀為 [1, num_patches 1, embed_dim] 的向量表作為可學習參數(shù)參與訓練。推理時直接和 patch embedding 相加。ViT 的 Patch Embedding 和位置編碼疊加邏輯import torch import torch.nn as nn class PatchEmbed(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim768): super().__init__() self.num_patches (img_size // patch_size) ** 2 self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) def forward(self, x): # x: [B, C, H, W] - [B, embed_dim, H/patch, W/patch] x self.proj(x) # flatten spatial dims - [B, num_patches, embed_dim] x x.flatten(2).transpose(1, 2) return x class ViTEmbedding(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim768): super().__init__() self.patch_embed PatchEmbed(img_size, patch_size, in_chans, embed_dim) self.num_patches self.patch_embed.num_patches self.cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed nn.Parameter(torch.zeros(1, self.num_patches 1, embed_dim)) def forward(self, x): x self.patch_embed(x) # [B, N, C] cls_token self.cls_token.expand(x.shape[0], -1, -1) x torch.cat([cls_token, x], dim1) # [B, N1, C] x x self.pos_embed return xSwin Transformer 則使用相對位置偏置relative position bias而不是絕對位置編碼。它的思路是不直接給每個 patch 一個絕對位置向量而是在計算注意力分數(shù)時根據(jù)兩個 patch 之間的相對坐標差加上一個可學習的偏置項。這樣做有兩個好處。第一相對位置信息更符合視覺任務(wù)的特點——某個結(jié)構(gòu)出現(xiàn)在圖像左上角還是右下角有時并不重要重要的是結(jié)構(gòu)內(nèi)部各部件之間的相對空間關(guān)系。第二Swin 的窗口注意力需要在不同窗口間共享參數(shù)相對位置偏置天然具備平移不變性更容易做到這一點。相對位置偏置的實現(xiàn)細節(jié)是對每個窗口內(nèi)的 patch先計算相對坐標偏移映射到一組可學習參數(shù)表中得到形狀為 [num_heads, window_size2, window_size2] 的偏置矩陣然后加到注意力分數(shù)上。這個過程比較繞讀論文時建議配合代碼一起看單獨看公式容易暈。6. ViT 論文精講ViT 全稱 Vision Transformer是 2020 年 Google 團隊發(fā)表在 ICLR 的工作。它的核心主張非常激進既然 Transformer 在 NLP 上已經(jīng)證明了強大的建模能力那么把圖像切成 patch 序列直接輸入標準 Transformer Encoder不依賴任何卷積結(jié)構(gòu)也可以取得很好的圖像分類效果。6.1 網(wǎng)絡(luò)結(jié)構(gòu)ViT 的結(jié)構(gòu)可以拆成四段第一段是 Patch Embedding。把圖像分成固定大小的 patch常用 16×16通過一個 stride 等于 patch_size 的卷積把每個 patch 映射為一個向量。一張 224×224 的圖切成 16×16 patch得到 14×14196 個 patch每個 patch 展平后經(jīng)過線性映射成 768 維向量。第二段是 Class Token 和位置編碼。ViT 參考 BERT 的做法在 patch 序列最前面拼接一個可學習的 class token。最終分類時只取這個 class token 對應(yīng)的輸出過 MLP Head。位置編碼使用可學習參數(shù)形狀是 [1, 197, 768]其中 197 是 196 個 patch 加上 1 個 class token。第三段是 Transformer Encoder。這是標準結(jié)構(gòu)LayerNorm - Multi-Head Attention - 殘差連接 - LayerNorm - MLP - 殘差連接。MLP 通常是兩層中間維度是 embed_dim 的 4 倍激活函數(shù)用 GELU。這個 block 會重復 L 次。第四段是分類頭。取最后一層 Encoder 輸出中的 class token 向量經(jīng)過 LayerNorm 后送入 MLP Head。預訓練時 MLP Head 是一個線性層微調(diào)時換成新的線性層即可。ViT 各階段的維度配置有一個通用命名規(guī)則理解它對讀論文很重要模型Patch 大小embed_dim層數(shù)頭數(shù)MLP 維度參數(shù)量ViT-Base16×167681212307286MViT-Large16×16102424164096307MViT-Huge14×14128032165120632M6.2 關(guān)鍵結(jié)論ViT 論文里最重要的實驗結(jié)論是在中等規(guī)模數(shù)據(jù)集比如 ImageNet-1k上直接訓練ViT 打不過同量級的 ResNet但在大規(guī)模數(shù)據(jù)集比如 JFT-300M約 3 億張圖上預訓練后再遷移到下游任務(wù)ViT 可以超過 ResNet 和其他 CNN 方法。這個結(jié)論引出了 ViT 最著名的特點缺少 CNN 的歸納偏置數(shù)據(jù)量不夠時學不好。CNN 天生帶 locality 和 translation invariance小數(shù)據(jù)也能學出不錯的結(jié)果ViT 把這些先驗去掉了換來更強的表達能力代價是大數(shù)據(jù)需求。后續(xù)研究中DeiT 通過知識蒸餾和更精細的訓練策略讓 ViT 在 ImageNet-1k 上也能直接訓練出不錯的效果說明數(shù)據(jù)不足的問題可以通過訓練策略緩解但這一點在 ViT 原始論文里確實存在。6.3 需要注意的細節(jié)位置編碼在 ResNet-50 特征圖上做的話需要調(diào)整編碼長度以匹配特征圖序列長度。微調(diào)時如果要提高輸入分辨率位置編碼需要用二維插值放大這是一個常見工程坑。Class Token 不是唯一選擇。后續(xù)工作證明直接對所有 patch 輸出做全局平均池化也可以效果差別不大。ViT 論文選擇 class token 是沿襲 BERT 的設(shè)計習慣。7. Swin Transformer 論文精講Swin Transformer 是 2021 年微軟研究院發(fā)表在 ICCV 的工作拿了 Best Paper。它的動機直接針對 ViT 的兩個痛點計算復雜度高和缺乏多尺度特征。7.1 兩個核心創(chuàng)新第一個創(chuàng)新是層次化架構(gòu)。Swin 不是把整張圖一次性切成固定數(shù)量的 patch而是像 CNN 一樣通過 Patch Merging 逐步下采樣。最開始每個 patch 是 4×4 像素經(jīng)過第一個 stage 后特征圖分辨率減半、維度翻倍總共 4 個 stage輸出的特征圖分別是原圖的 1/4、1/8、1/16、1/32。這種多尺度設(shè)計讓 Swin 可以直接用于檢測和分割等密集預測任務(wù)而不像 ViT 那樣需要在最后一層上做復雜的特征恢復。第二個創(chuàng)新是窗口注意力。標準自注意力要在所有 patch 之間兩兩計算復雜度是 O(n2)。Swin 把特征圖分成不重疊的窗口比如 7×7 個 patch 一個窗口注意力只在窗口內(nèi)部計算。這樣復雜度變成 O(n)從平方降為線性這是 Swin 能處理高分辨率圖像的關(guān)鍵。但窗口注意力有一個問題窗口之間沒有信息交互。如果一直用固定窗口每個窗口只能看到自己內(nèi)部的信息全局建模能力被鎖死了。Swin 的解法是移位窗口Shifted Window Attention在連續(xù)的兩層 Transformer Block 之間把窗口偏移一半窗口大小再重新劃分窗口。這樣上一層窗口邊界處的 patch 在下一層就會和相鄰窗口的 patch 處于同一個窗口內(nèi)實現(xiàn)了跨窗口信息流動。移位窗口在工程上有實現(xiàn)難點直接移動窗口會導致窗口數(shù)量變化并且部分窗口會超出特征圖邊界。Swin 引入了 cyclic shift循環(huán)移位把越界的窗口搬回另一側(cè)再通過 attention mask 屏蔽掉不該計算的位置。這一步是 Swin 代碼里最復雜的部分建議讀代碼時單獨花時間。7.2 網(wǎng)絡(luò)結(jié)構(gòu)配置Swin Transformer 有四個常用變體模型embed_dim層數(shù)窗口大小參數(shù)量Swin-T962,2,6,27×728MSwin-S962,2,18,27×750MSwin-B1282,2,18,27×788MSwin-L1922,2,18,27×7197M每個 stage 里是偶數(shù)個 Transformer Block因為需要“標準窗口注意力 移位窗口注意力”成對出現(xiàn)。7.3 相對位置偏置的作用Swin 在注意力分數(shù)上加了相對位置偏置這個偏置來自一個可學習的參數(shù)表表的索引是兩個 patch 的相對坐標偏移。論文里有專門的消融實驗去掉相對位置偏置Swin-T 在 ImageNet 上的 top-1 準確率明顯下降換成絕對位置編碼效果也不如相對位置偏置。這說明相對位置信息對窗口注意力非常重要。7.4 關(guān)鍵結(jié)果Swin 在 ImageNet-1k 上Swin-B 用 ImageNet-1k 預訓練可以達到 83.5% top-1 準確率用 ImageNet-22k 預訓練微調(diào)后可以達到 85.2%。在 COCO 檢測和 ADE20K 分割任務(wù)上Swin 超過了當時所有基于 CNN 和 ViT 的方法成為通用骨干網(wǎng)絡(luò)的新選擇。Swin 的意義不僅是分類精度更在于它證明了 Transformer 通過合理的計算約束和多尺度設(shè)計可以成為 CNN 的完整替代方案覆蓋分類、檢測、分割全場景。8. ViT 與 Swin Transformer 對比把兩篇論文放在一起對比能更清楚地看到設(shè)計取舍對比維度ViTSwin Transformer輸入處理16×16 patch 線性映射4×4 patch逐 stage 合并下采樣特征圖尺度單一尺度多尺度1/4、1/8、1/16、1/32注意力計算范圍全局自注意力窗口內(nèi)自注意力 移位窗口計算復雜度O(n2)O(n)窗口大小固定時位置編碼可學習絕對位置編碼相對位置偏置歸納偏置弱依賴大數(shù)據(jù)相對較強適合中小規(guī)模數(shù)據(jù)集適用任務(wù)圖像分類為主配合改動可用于分割檢測分類、檢測、分割通用典型參數(shù)量86MBase88MBase面試時如果被問“ViT 和 Swin 哪個更好”不能一句話回答。應(yīng)該說清楚ViT 結(jié)構(gòu)更簡潔全局建模能力強但計算復雜度高、需要大數(shù)據(jù)Swin 用窗口注意力換來了線性的計算復雜度并且天然支持多尺度特征更適合遷移到檢測分割等密集預測任務(wù)。選擇哪個取決于數(shù)據(jù)規(guī)模、任務(wù)類型和計算資源。9. 常見問題與易錯點對照實際學習和復現(xiàn)經(jīng)歷列出最常見的幾個問題問題現(xiàn)象可能原因排查方式解決方案自注意力實現(xiàn)后 loss 不下降縮放因子用錯或 mask 缺失檢查是否除以 sqrt(d_k)修正縮放確認 padding maskViT 位置編碼與輸入長度不匹配修改輸入分辨率后未插值位置編碼打印 pos_embed 形狀用雙線性插值放大 pos_embedSwin 窗口注意力結(jié)果異常移位窗口的 attention mask 寫錯單測一個 8×8 特征圖手算對比參考官方實現(xiàn)逐行對照 mask 邏輯顯存不足patch 數(shù)過多或 batch 過大降低 batch、減小輸入分辨率使用漸變學習率配合梯度累積小數(shù)據(jù)集上 ViT 效果差ViT 缺少 CNN 歸納偏置對比 ResNet 在同等數(shù)據(jù)下的表現(xiàn)換用 Swin/DeiT 或增加數(shù)據(jù)增強訓練速度慢全局注意力 O(n2) 開銷大觀察每個 step 的耗時切 patch 更大或換成窗口注意力分類結(jié)果波動大未設(shè)置合理的 warmup 和 weight decay檢查訓練配置ViT 訓練對優(yōu)化器參數(shù)敏感按論文默認配置設(shè)置這里面特別要提的是 ViT 的優(yōu)化敏感性。ViT 對學習率、weight decay、warmup epochs 非常敏感直接拿 ResNet 的訓練配置去訓 ViT往往效果很差。DATData efficient training相關(guān)工作中也專門研究過這個核心經(jīng)驗是使用 AdamW、較大的 weight decay、較長的 warmup、以及適當?shù)脑鰪姴呗浴?0. 學習路線與代碼實踐建議如果你打算把這套內(nèi)容完整學透建議按下面五步走。第一步先不看任何 Transformer 結(jié)構(gòu)用 PyTorch 把一個自注意力模塊從零寫出來跑通前向和反向。這個模塊是后面所有內(nèi)容的地基建議寫到能不看資料獨立寫出的程度。第二步手寫多頭注意力然后自己驗證一件事把輸入序列的順序打亂輸出是否變化。如果不變說明位置編碼確實必要這一步能幫你真正理解位置編碼的作用。第三步讀 ViT 原文同時保持原文和代碼對齊。重點看 Patch Embedding 的實現(xiàn)、Class Token 的拼接、Transformer Encoder 的 Block 結(jié)構(gòu)??梢耘芤粋€簡單的實驗在 CIFAR-10 上用 ViT-Tiny 配置從零訓練觀察收斂情況。第四步讀 Swin Transformer 原文重點放在窗口注意力和移位窗口的實現(xiàn)。建議做兩個驗證實驗第一個是固定窗口注意力下兩個不同窗口的 patch 之間注意力分數(shù)是否為零第二個是經(jīng)過一層移位窗口后跨窗口信息是否開始流動。第五步把兩篇論文做系統(tǒng)性對比整理出自己的筆記。建議按“結(jié)構(gòu)設(shè)計 - 計算復雜度 - 歸納偏置 - 實驗結(jié)論 - 適用場景”五個維度寫這份筆記可以直接當面試復習材料用。代碼實踐上有幾個值得長期保留的最小驗證腳本# 驗證自注意力輸出形狀 python -c import torch from model import SelfAttention x torch.randn(2, 197, 768) attn SelfAttention(embed_dim768) out attn(x) print(out.shape) # 期望輸出 torch.Size([2, 197, 768]) # 驗證 ViT Patch Embedding python -c import torch from model import PatchEmbed x torch.randn(2, 3, 224, 224) pe PatchEmbed(img_size224, patch_size16, embed_dim768) out pe(x) print(out.shape) # 期望輸出 torch.Size([2, 196, 768]) 如果你計劃把 Transformer 用在自己的視覺任務(wù)上比如改進 YOLO 檢測器、做高光譜圖像分類或者視頻理解建議從 Swin 的層次化結(jié)構(gòu)入手而不是直接堆 ViT。絕大多數(shù)實際視覺任務(wù)都需要多尺度特征Swin 的架構(gòu)和現(xiàn)有檢測分割框架的兼容性更好。當然如果資源充足且任務(wù)本身需要極強的全局建模能力ViT 仍然值得嘗試。關(guān)于顯存占用可按實際環(huán)境測試這里有一個通用觀察方式訓練時用nvidia-smi實時監(jiān)控顯存對比不同 patch size、不同分辨率、不同 batch size 下的占用差異。ViT 在 224×224 分辨率下 token 數(shù)只有 197顯存壓力不大一旦提升到 384×384 或 512×512全局注意力的內(nèi)存會快速上漲。Swin 因為窗口注意力是局部計算高分辨率下顯存增長會平緩很多這在工程選型里有實際意義。11. 總結(jié)與下一步Transformer 計算機視覺這條技術(shù)線從注意力機制到 ViT 再到 Swin Transformer是一條邏輯非常清晰的演進路線。抓住三條主線就能串聯(lián)全部內(nèi)容注意力機制解決“如何建模全局關(guān)系”ViT 回答“如何用純 Transformer 做視覺”Swin 解決“如何讓 Transformer 在視覺任務(wù)上更高效、更通用”。首次學習時建議優(yōu)先把自注意力和多頭注意力寫熟然后精讀 ViT 原文最后攻克 Swin 的移位窗口。最容易踩的坑是只看概念圖、不讀源碼、不做對比實驗。建議至少完整復現(xiàn)一個最小自注意力模塊并跑通 ViT 和 Swin 的官方預訓練模型推理。下一步可以根據(jù)自己的方向繼續(xù)擴展如果做圖像生成可以研究 ViT 和 Swin 之后的 Diffusion TransformerDiT如果做多模態(tài)可以看 CLIP 和 BLIP 如何借用視覺 Transformer如果做輕量化可以調(diào)研 MobileViT 和 EdgeViT 這類輕量級視覺 Transformer。基礎(chǔ)打牢之后后面的路會順很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩成人小视频| 人人喜人人妻| 欧美亚洲图片| 激情文学小说一区二区 | 欧美在线视频播放| 91亚洲不卡一区| 中文色综合| 少好三P| 久久久无码精品人妻二区| 久久人妻视频| 免费一级黄色录像影片| 97日韩欧美亚洲| 国产污视频麻豆传媒一区二区| 人人操人人色网| 嗯嗯嗯啊啊啊操的我好爽| 免费的很黄很污的全部视频| 欧美AB在线| 欧美精品 - 91爱爱| 亚洲第一无码播放立川理惠| 中文精品一区二去| 97在线观看免费视频| 久草老司机| 黄总AV色图| 久久老子无码午夜伦不卡| 女一区二区| 大香蕉啪啪啪| av一区二区三区 中文| 狠狠久久手机视频精品| 9久久久久久| 亚洲黄色网址| 91色爽欧美| 欧美日韩丝袜 | 操逼无码操逼| 综合熟女| 亚洲黄片免费在线播放| 999999精品| 四虎免费视频| 婷婷九月丁香| 午夜欧美精品久久久| 精品久久大胆人体| 丰满少妇高潮无码| 亚洲中文字幕日产无码久久| 澳门成人网站久国产日韩| 五月丁香六月婷| 日韩精品人妻一| 国产婷婷综合在线观看| 国产精品探花色| 免费AV中文网在线观看| 色999人与兽| 五月天激情影院| av天堂精品久久| 激情 欧美 亚洲 小说| 麻豆三极片| 日本精品999| 综合色欧美| 亚洲精品久久一区二区三区蜜桃臀| 国产综合久久久鬼色| 97超碰69| B049AV在线播放| 超碰欧美在线欧美| 伊人欧美大香蕉视频| 91美女视频。| 神马九九| 人人艹亚洲| 91肉丝| 亚洲乱码精品一区二区| 大香蕉综合| 久久人妻视频网| 91精品人妻一区二区三区蜜桃| 91成人在线免费视频| 欧美日韩狠狠爱| 久久超碰亚洲人| 色牛牛AV| 少妇人妻好深太紧了vr91| 欧美精品,四区。五区| 老女人日韩美91| 久操网视频| 密臀视频三区免费网站| 亚洲综合情色| 神马午夜久久久| 欧美色偷拍| 人人操人人大香蕉| 隔壁邻居波多野结衣中文字幕| 亚洲第一页色网| 亚洲吊色| 在线情色电影 91大| 久久久久成人蜜桃精品| 大香樵伊人网| 开心五月深爱五月| 新91视频.cmp| 亚欧美色图| 91天天综合网,天天综合网| 啪啪综合网| 亚洲导航深夜福利| 亚川综合视频| PMv在线观看| 春色91| 嗯嗯啊啊的视频| 国产精品 午夜福利| AV中文在线| 成人精品在线| 婷婷丁香五月综合| 日韩国产中文字幕| 国产精品免费视频不卡| 日韩一级成人毛片免费观看| 在线色导航| 五月丁香六月综合缴清无码| 男人天堂.AB| 成片免费播放| 99久久婷婷国产综合精品草原| 亚洲一区二区三区欧美日韩| 激情久久av一区av二区av| 日本操逼视频导航| 久干9操| 亚洲成?V人片在线观看福利| xxx0国产在线播放| 家庭乱伦网站国产| 国产精品自在自拍视频| 久久高清欧美国产| 五月天激情四射| 欧美很很操视频| 国产吞精a级片激情电影| 日本成人电影资源网| 久久夜黄色无码A级大片| 一类无码操逼视频| 岛国精品视频在线观看| 亚洲不卡不卡中文字幕不卡 | 情色五月天就去干| 一摸二插三插| 亚洲资源站| 久久 精品| 亚洲欧美高清无码| 亚洲最大成人a毛毛片| 国产高清精品一区二区三区毛片 | 婷婷激情五月天小说网| 91色久| 日本在线一二 | 色综合20p| 精品无人区麻豆乱码1区2区图片| 久久久啊啊啊| 91看黄片| 秋霞欧美性爰视频| 天天日天天射天天干| 神马影院午夜福利久久久| 操逼天美3区| 思思热在线cao| 久久久精品视频免费观看| 爱做久久久久久| 99热这里| 色色色色色色色色综合| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 99视频这有这里有精品| 日韩去日本高清在| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 精品高清一区二区三区三州| 日本熟妇熟色97一本在线观看| 精品人妻夜夜草| 91操人| 99re免费| 青青操轻轻| 99久久综合| 99草精| 17c在线成人免费A片观看| 亚洲福利中文字幕在线| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 亚洲。天堂。日本在线观看| 久久久久久久九九九九| 91精品久久久久久77777| 国产SV一线| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 免费av高清无码| 亚洲AV无码国产成人| 欧美亚综合色图| 青青草一区二区三区四| 国产日逼视频| 嗯嗯啊啊好大好爽| 国产对白刺激视频| 亚洲中文字幕有码视频一区二区三区| 日本在线999| 一类av片在线看| 福利视频香蕉免费一区二区在线| 亚欧性爱ab| 精品乱码久久久久| 特级特黄一级毛片免费| 日韩三级网址| 操屄日韩| 超碰在线人妻不卡| 国产精品成久久久久午夜午夜| 日韩欧美亚洲一区二区三区影院 | 免费综合亚洲中文| 老女人碰碰在线碰碰视频| 丁香九月婷婷| ,国产乱人伦精品一区二区三区| 超碰吊日色| 成人三级片无码| 曰韩少妇无码| 亚一综合久久久久久久久久| 操逼精品视频| 免费人人搞97| 韩国三级一线观看久| 99精品在线观看| 亚洲欧美校园| 丁香五月天啪啪| 极品出轨视频网站| 五月天婷婷色| 亚洲图片日本AⅤ欧美在线| 欧美色图片91| 中文字幕一区二区三区高清| 欧美少妇性乱| 日韩久久三区| 亚洲av成人精品一区| 亚洲 欧美 91| 欧美影院一区二区三区| 久久综合中文国产| 夜色AV无码手机在线影院| 国产高清成人mv在线观看| 蜜臀99999| 日韩国产乱子伦App| 制服诱惑亚洲一区二区三区在线观看| 一类av片在线看| 亚州日韩97| 人人操人人摸人| 人人妻人人色一区二区三区| 久热99| 熟女人妻精品一区二区视频| 91最新综合| 影音先锋视频在线| 91久久久久久| 欧美999| 97超碰免费人人性爱| 91精品国产高清久久久久久,亚洲成人 | 国产精品女同| 超碰成人公开| 99超碰碰| 天天插夜夜爽| 五月丁香狠狠爱| 92久久| 欲射影视| 秋霞 色色| 中文字幕片| 色狠狠 - 百度| 蜜臀va69| 亚洲 图片 欧美 色图| 免费精品人妻一区二区三| 91天天综合在线观看| 草草影院在线视频| 日韩成人性爱电影在线播放| 十八禁啪啪视频| 熟女精品一区二区在线观看| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 黑人无码一区二区| 国产性刺激| 国产精品亚洲一区二区三区四区| 色欲av一区二区三区蜜芽| 91激情国产| 男人干美女| 久久久无码国精品无码三区三区| 日本一区二区三区午夜观看| 老司机香蕉久久久久| 亚洲第一色页夜| 91精品久久久久久综合五月天| a亚洲欧美色欲| 欧美日韩亚洲少妇寂寞影院正在播放 | 激情五月综合网| 国产最新小视频在线播放下载 | 久久夜黄色无码A级大片| 久久久久久十| 亚洲综合色在线| 久久综合中文国产| 啊啊啊啊一区| 亚洲激情AV| 久久久久久久亚洲Av无码| 亚洲情色综合| 欧美色综合网| 中文字幕丝袜| 偷窥自拍亚洲| 青草伊人网| 国产免费一区| 精品久久久不卡一区二区| 超碰亚洲欧美日韩无| 欧美一区二区亚洲天堂| 亚洲乱码尤物193YW| 亚欧性爱无码| 日韩熟女乱伦中出| 丁香九月 婷婷| 无遮挡男女激烈动态图| 91丝袜美女视频| 超碰吊日色| 精品亚洲国产成人AV制服丝袜| 日本高清免费一本视频在线观看| 国产精品麻豆成人av| 亚洲色图欧美色图另类图片| 青青草国产欧美非洲黑人| 欧美草草高清日韩视频| 97精品全部| 97精品视频在线播放| 丝袜狂射91| 国产精品九九| 少好三P| 四虎影视永久在线观看精品免费网站| 亚洲精品蜜桃久久久| 亚洲性刺激| 青草精品视频一日本久久久久网站| 久艹99| 国产精品高朝久久久久久久| 日本一卡二区在线| 色悠悠伊人网五月天| 天美传媒麻豆一区二区三区国产精| 天美av在线| 午夜噜噜噜| 综合久久9| 精品免费视频国产一区| 岛国福利在线精品播放| 2019午夜福利视频| 国产精品粉嫩福利在线| 久久女人| 亚洲国产精品V?在线播放| 久久久久久亚洲Av无码精| 日韩三A大片在线观看| 国产又黄又粗的视频| 色欲久久久久综合网| 人妻偷拍一区二区三区| 日本人人操人人操| 天天做天天爱天天爽| 欧美第一页性| 97超碰在线资源网站| 伊人久久亚洲色欲综合网站| 综合久久99| 人人干人人操人人爱| 色综合av男人天堂| 亚洲欧美精品一区天堂久久 | 97操97色| 欧美论理片| 女人香蕉久久毛毛片精品| 98一区二区精品| 麻豆天美传媒在线视频天堂| 蜜桃天美传媒AV一区二区三区| 欧美日韩中文视频播放| 亚洲国产尤物yw在线观看| 国模精品娜娜一二三区| 91处女视频在线观看| 大香蕉一人| 夜夜草我| 亚洲男人的天堂亚洲| 色婷婷婷五月天激情四射| 蜜臀va69| 熟妇xxxxx性春色| 色色色色网站| 青娱乐手机日韩在线视频| 蜜臀久久99精品久久久久电影| 国产精品久久久视频| 日韩丝袜高跟制服在线观看| 久久久久久久97| 18禁精品网站在线看| 狠狠操狠狠爱| 亚洲凸凹超碰成人| 你懂的在线观看区国产| 美女黄色一级A视频| 91久久久老司机| av三级电影在线播放| 丰满高潮18xxxx| 国产精品经典一卡久久久| 91热色| 亚洲人体视频在线观看| 啊啊啊慢点| 激情抓乳插进去啪啪啪日韩| 精品精品精品| 中文三一区| 国产黄片精品在线| JULIA人妻风俗店中出电影| 亚洲精品久久一区二区三区蜜桃臀| 国产精品人妻免费精品| 色五月婷婷麻豆在| 国产精品伦理| 插欧洲美女欧美精品| 91熟女综合| 91中出| 色情综合网| 中文字幕免费看| 欧美日韩国产另类综合| 青青草伊人久久| 啊啊啊啊啊在线| 欧美性爱另类综合| 国产视频一区二区免费| 男人的天堂VA在线| 国产av激情无码久久天堂| 欧美午夜精品久久久久久3D| 少妇激情一区二区三区视频| 欧美在线播放aaaa| 日日97| 成人午夜视频免费播放| 97在线日韩中文字幕| 人人摸人人干人人拍97| 欧美第一页| 国产女人和拘做爰视频| 99re在线视频国产| av资源在线观看少妇| 激情视频图片| 日韩三级一区 | 97久久久久| 亚洲精品亚洲人成人网| 天天综合官网| 67914在线精品观看| 四虎视频在线观看| 色婷婷激一区二区三区| 久久久一区二区| 婷婷中文网| 伊人国产AV| 色播五月婷婷| 久96热在线观看视频| 嫩草 人人网精品| 午夜AV人气不卡| 操死我了啊啊啊| 五月丁香婷婷色| 亚洲色图A| 青青11操操操操操操操操| 国产午夜在线观看| 久久久国产精品亚洲精品| 国产精选三级在线观看| 天天欧美| 久久天天躁日日躁狠狠躁| 日韩av不卡在线看| 操熟女91| 欧美少妇色综合| 120分钟婬片免费看| 日韩肏逼视频| 中文字幕精品亚洲熟女| 日本精品人妻少妇一区二区| 操逼1区| 色妇综合网| 亚洲最新中文字幕免费| 欧美丝袜中文字幕07在线| 久久国色天香香蕉| 亚洲制服欧美另类内射| 黄片www视频免费| 69久久久久久久久久久久久| 九九热免费视频| 久久亚洲国产成人| 欧美日韩不卡传媒| 久草在| 人妻少妇视频在线播放| 北约熟女超碰| 诱惑网综合| 人妻免费观看| 亚洲91av| 97久久视频| 中文字幕精品一区欧美| 丝袜足交视频| 99这里都是精品| 看黑人AV不卡| 久热91| 色欲无码人妻日韩欧美精品| 超碰78| 97资源站国产精品| se,,,亚洲欧美| 一二三四日本视频高清| 99欧美| 亚洲一区二区三区AV无码 | 欧美高潮| 一区二区三区黄色片a| 久久精品超碰| 操淫穴亚洲五月丁香| 日韩 人妻 精品| 九热视频| 午夜男女爽爽爽在线视频| 久久久久人妻二区精品叶可怜| 不卡在线观看视频| 九九五月天| 狠狠爱夜夜干| 我中文字幕6区| 亚洲AO在线| 久超碰在| 欧美日韩高潮喷水91| 韩国一级婬片A片AAAAA| 亚洲欧美日韩精品久久久一区二区| 亚洲天堂五月天国产| av中亚| 加勒比综合88| 97在线观看免费视频| 污污汅18禁网站在线永久免费观看| 欧美超碰在线| 久久精品国产亚洲av水密被窝| 色色青青久久| 国产成人啪一区二区| 国产久久一区二区| 日韩欧美水蜜桃人妻| 亚洲综合小视频小说在线观看| 超碰79人人乐| 久久久啊啊| 大香蕉 222| 操逼网站网站| 国产精品久久久吖| 国产无码精品无码| 国产极品粉嫩馒头一线天av| 100啪啪视频大全| 在线有码中文字幕| 久久精品国产99精品亚洲蜜...| 国产精品一二三区18| 69XX一中文字幕人妻91| 色翁荡息又大又硬又粗又爽| 色欲蜜臀AV| 黄色av片三级三级三级免费看| 无码日韩人妻av一| 日韩去日本高清在| 婷婷尹人大香蕉免费| 人妻天堂综合网| 99re6国产精品99re在线| 精品v1区| 九一性生活免费视频| 精品久久久久成人码免| 超碰人人干天天射| a级免费在线观看| AA级电影三区| 亚洲国产午夜真人一级片中文字幕精品黄网站| 国产精品亚洲美女久久久久| 国产精品999aaa| 一个人免费视频观看在线WWW| 日本性爱欧美性爱| 国产九九九九九九九九| 一本道综合色图| 激情露脸爱| 9精品久久| av影院十区| 欧美裸体美女日麻屄| 日韩操逼性鲍| 久久久中文| 日少妇亚洲版| 久久久久深夜无码| 黄色视频高清无码网站| 中文字幕在线观看二区三区| 九九九久千久久激情蜜桃在线看| 思思热久久成人| 一级免费啪啪片| 欧美日本久久精品一区 | 吻戏激情性巴克| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 一级做受视频免费是看美女| 欧美日本不卡| 亚州综合AⅤ| 99爱精品| 色色色999| 亚洲强奸乱伦影视网| 中文字幕精品探花视频| 亚春色色| 中文字幕一区二区三区四五区| 爱爱动态120秒| 97资源站国产精品| 久久精品国产亚洲AV片多多| 亚洲精品久| 精品久久久久久中文字幕三区| 日韩十八禁| 亚洲成人免费中文字幕| 久久黄黄| 国产无码一二三区| 午夜天天碰综合视频| 俞拍自拍| 被男人添B超爽视频| 亚洲天堂综合AV| 国产蜜臀在线| 久久成人国产| 久久日本熟妇熟色高清 | 一区二区 韩日AV| 欧美一区二区三区黄色影视| 中国操逼无码| 超碰97起碰| 美女91网址 | 青青操网| 久久女人视频| 91亚洲欧洲| 日本久久精品| 91成人亚洲色图| 围产精品一区二区三区视频播放| 玖玖爱一区在线| 精品蜜乳AV免费观看| 国产亚洲一黄| 大香久久| 亚洲天堂区| 国内精品99999| 国产97视频免费观看| 老鸭窝黄色视频网站| 欧美性爱18观看| 97色97好| 91精品微拍福利| 韩国三级三级BD在线| 五月天综合网| 人妻干天天| 久久综合中文国产| 一级@啪啪视频| 欧美人妻中出| 亚洲色 国产 欧美 日韩| 一直超碰| 婷婷影院入口| 欧美另类丝袜熟女| 青青草操逼逼视频| 欧美色就是色| 99re69综合| 色五天伊人| 97情超碰色| 乱伦熟女区| 高清无码学生妹高潮| 六月丁香婷| 91无遮挡| 亚av顶级裸体一区二区三区四区五区| 人人操人人摸人人看人人干| 台湾佬中文娱乐网久久久久久久久久com | 一区在线国产播放| 特污精品女优骚货黄色视频在线免费观看| 香蕉在线一区二区三区| 日韩熟女无码| 欧美韩日精品资源| 九九RE视频在线精品| 熟女人妻精品一区二区视频 | 国产天天看| 国产网站在线播放| 亚洲成成熟女人综合一区二区| 欧美超碰在线| 60秒免费小视频| 亚洲操人| 人人性爱视频免费| 亚洲情色综合网| 嗯啊不要在线观看嗯啊| 久久精品国产99精品亚洲蜜...| 91美女視頻| 婷婷五月天av| 欧美国产精品| 久久啊啊| 99re在线精品78| 欧美夜夜狠| 无码高清国产AV| 久久久青青草| 制服中出中文人人精品| 夜色五月天| 国产91乱伦| 欧美亚洲小说| 亚洲欧美91√| 91亚州欧美| 99视频精品| 中文字幕日韩电影人妻| 亚州性色| 99国产精品自在自在| 手机av天堂久久久久| 在线中文字幕极品av| 秋霞色色影院| 婷婷啪啪| 国产性爱乱伦AV| 精品久久久av无码免费| 久久蜜桃一区二区| 亚洲色情在线影视| 五月婷婷hd| 精品人妻伦一二三区久久| 国产宅男宅女在线观看| 蜜桃av色偷偷av老熟女| 97se亚洲| 男人的天堂日韩| 5252色欧美在线| 69超碰综合| 激情五月天丁香社区| 国产对白刺激视频| 岛国黄片网站| 午夜精品久久一区二区| 青青五月天| 97chaopenrihan| 99热 按摩 日韩| 欧美综合色站| 亚洲国产精品久久久久婷婷青年| 五月丁香狠狠爱| 97摸视频| 久久精品亚洲成a人天堂| 精品无码久久久久久国产浪潮| 91成人18| 中文字幕乱亚洲美女精品一区| 日本二区不卡| 久久大香蕉97| 人妻夜爽夜夜爽| 日日嗷| 怡红院网站在线视频| 久久视频,这里只有精品| 国产精品久久久久久久免牛肉蒲团| 亚洲高清视频在线观看| 亚州色站 日韩电影| 亚洲最大黄网| 五月天伊人| 超碰天天久久79| 91视频成人福利网站在线一区| 麻豆国产原创AV色哟哟| 9久久9综合| 欧色综合| 美女AV一区二区| 青青草成人视频在线观看二区| 成人热久久精品| 中文字幕女同在线| 欧美亚州色的图| 久操| 国产精品久久泡妞网站| 青青草好吊色| 肉动漫无遮挡h在线观看| 亚洲伊人久久综合97| 国模无码人体一区二区三| 日韩综合成人免费视频| 操操逼操操逼操操逼逼| 手机在线观看不卡无码av| 婷婷视频网| 国产欧美日韩在线观看麻豆传媒公司| 九色 人妻 大香蕉| 成人色女网| 好屌色综合| 欧美日韩系列| 欧美综合第一页| 中文?日韩?免费?精品| 91精品久久久| 干婷婷综合网| 国产精品扒开腿做爽爽爽视频| 国产成人亚洲精品无| 国产精品爱欲| 亚洲欧美日韩夜夜| 狼天天狼天天大香蕉| 欧洲乱码视频| 精品无码一区二区三区| 日本色日夜干| 国产网红精品| 黑丝少妇在线观看| 欧美精品偷拍| 9 1果冻精品视频| 桃花色综合影院| 国产伦乱91| 96久久科窝| 99999这里都精品| 女人久久久| 免费精品中文字幕| 丝袜美腿诱惑亚洲欧美视频在线观看 | 欧美一级色| 美女淫穴| 96超碰网| 最新三级网址| 国产欧美伊人| 搡老女人老91妇女熟女| 秋霞色色影院| 免费看日本操逼视频| 欧美精品丝袜久久久中文字幕| 韩国毛片一区二区三区| 熟女乱3伦999| 九九碰九九爱97| 久偷拍欧美日韩三区| 蜜臀久久99精品久久久| 欧美劲爆视频一区二区| 麻豆AV短剧| 午夜毛片亚洲精品片国产久久久| 国产aⅴ无码片毛片一级网站| 日韩人妻精品久久久久| 操淫穴亚洲五月丁香 | 国产精品嫩草影院午夜两性 | 免费一级a毛片久久久久久鸭绿欲| 色婷婷狠狠| 久久精品99久久久久久| 久久国产逼| 欧美黄页在线| 亚洲情色 自拍| 欧美性巨大╳╳╳╳╳高跟鞋| 91丝袜美腿网站| AV色女综合| 日本操BAV| 在线一区| 超碰色男人操熟女| 欧美亚综合色图| 久久岛国| 99热思思| 国产久久天堂资源| 精品国产片亚洲一区| 91激情综合| 18禁中文字幕| 美欧老女人97| 亚洲日韩在线a不卡99精品| 蜜桃视频精品一区二区| 欲色综合| 亚洲激情四射| 亚洲资源一区| 亚洲AV免费在线| 黄色成年| 可以免费观看的AV| 欧美性夜| 亚洲色天堂日韩中| 97天堂| 性色avv| 少妇熟女1区2区3区| 啊啊啊好湿国产一二| 蜜臀一区二区三区在线| 嗯嗯啊啊啊好舒服| 国产精品不卡一区二区三区av| 亚洲美女精品| 在线观看一级α片刺激高潮视频| 夜夜高潮夜夜爽| 国产日韩无码一区二区三区久久区| 人妻在线中出视频| 亚洲春色欧美激情自拍| 人妻少妇三级| 久久久久国产精品喷潮免费观看臀 | 久久久com| 人妻性爱一区二区| 999综合色| 丰满少妇乱子伦精品无| 亚洲玖玖爱| 婷婷五月天av| 色吧5亚洲| 欧美激情色婷婷花野真衣一区二区| 97精品熟女少妇一区| 无码人妻丰满熟妇区毛片| 精品国产精品一区二区| 欧美AB在线| 伊人成人情色综合| 黄页视频网站野外| 99久在线精品99re8蜜桃| 91 在线亚洲| 粉嫩av久久一区二区三区| 中文字幕伊人| 五月天开心网| 91看黄片| 91色射| 蜜色网色哟哟| 久草免费福利在线播放| 人妻熟女一区二区在线视频| 中文字暮97| 强奸乱伦亚洲第一页| 国产一区二区在线看| 色性荡荡荡荡视频| 国产三级日产三级韩国三级| 999999精品| 老女人老91妇女老热女| 激情五月婷婷| 樱花蜜乳av| 日日躁夜夜躁狠狠躁超爽| 亚洲免费日韩在线一区二区| 亚洲中文字母在线播放| 成年无码动漫av片无尽在线 | 亚av顶级裸体一区二区三区四区五区 | 麻豆国产视频精品观看| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 素人播放一区| 久久av成人无码免费| 国产久久久久久| 天天草AV| 91新在线欧美| 五月激情影院| 黄色网址在线免费观看| 成人国产视频在线观看| 91精品操美女| 欧美熟妇操操视频| 夜夜一区二区| 日本精品成人无码| 涩涩这里只有精品视频| 中文字幕熟女人妻丝袜| 精品9999| 国产女人和拘做爰视频| 亚洲国产97| 一本大道久| 欧美亚洲涩涩| 久久做97| 综合网,亚洲,欧美| 在线不卡视频| 久久三| 成人av影院在线观看| 国产成人亚洲精品无| 麻豆一区二区AV天美| 欧美性天天影院| 五月天色电影| 国产夜夜艹| 久久亚洲不卡| 超碰在线人妻| 在线啊v一区| 啪啪啪精品视频| 久久久久久69国产一区二区| 凹凸视频在线一区二区| 欧美 亚洲精品首页| 超碰在线综合97| av 模特一区了| 综合久久99亚洲人妻中文在线| 久久av网| AV高清一区| 第45页一区二区| 久久e6只有精品| 亚洲不卡不卡中文字幕不卡 | 丝袜综合色图| 麻豆久久久久久久久丝袜| 亚洲图片 91| 亚洲精品丝袜-不卡成人免费……| 强免费黄色网址| 日韩AV一起草| 国产成人精品日本亚洲语言| 人人摸人人干人人拍97| 思思热影视| 成人免费福利在线观看| 天天视频黄网站| 精品毛片久久久精品毛片| 日韩欧美俄罗斯A片| 日本五十路熟女一区二区| 综合影视国产无码| 人、人、摸,人、人、草| 在线观看黄色电话| aaa一级黄片| 婷婷丁香五月综合| 中文字幕五区| 蜜臀亚洲中文| 二级久久网| 91视频综合在线| 老鸭窝在线视频播放| 78精品| 在线视频免费观看午夜| 91看黄片| 天天操夜夜嗨| 国产情侣自拍在线播放| 六月激情网| 冬京热男人的天堂| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 免费人成?大片在线播放| 五月婷婷久久综合| 青青11操操操操操操操操| 亚洲av总站| 老熟女中文字幕高清| 国产精品动态一区二区三区四四| 色原狠狠天天天| 精品九九| 一本一道波多野毛片中文在线| 亚洲一区二区性爱电影| 床上啊啊啊一区二区三区| 日产国产精品中文久久婷婷| 超碰在线97国产| 黄站在线免费观看| 99无码| 成年人黄色小视频网站| 五月激情啪啪| 天天享受天天看| 香蕉国产97| 国语av狠狠色丁香婷婷综合激情| 日韩精品碰碰| 婷婷五月成人| 日韩不卡码| 东京热av影院| 先锋激情∨在线视频播放| 啊视频在线| 97人人中文网| 99热欧美| 一级性爱啪啪视频| 色婷婷五月天| 超碰1997| 99无码狠狠久久| 竹菊影视国产一区二区| 久久9久9久99久9久9| 国产亚热在线久久| a片在线播放| av资源在线观看少妇| 吉田爱美AV在线| 91精品导航| 国产传媒操逼视频| 毛片视频白嫩| 97资源站国产精品| 又大又长又粗又爽又黄| 激情欧美97| 日本一区二区不卡精品| 日本少妇va7777| 亚洲毛片久久| 日韩 欧美 视频 在线 一区| 无码欧美有限公司| 精品国产乱码久久久久久久久久毛片| 亚洲欧美国产中文视频| 精品久热| 国产精品第一页国产大屁股视频免费区i| 日本欧美中文字幕| 超碰在线成人| 日韩精品影视| 九九精品99| 伊人青青一区成人视频在线观看区 | 狼天天狼天天大香蕉| 97中文字幕一区| 26uuu性物| 久久久久久性爱视频| 国产精品农村妇女| 国产一区二区三区影片| 日韩欧美中文字| 无码区蜜乳| 日韩一999精品| 大香蕉中文在线| 99久久九九| 久久激情四射婷婷丁香五月天| 国产精品干干干| 亚州色站 日韩电影| 日本道不卡| 日韩人妻少妇中文字幕| 五月天伊人网| 久久婷五月天| 色亚洲欧美| 日本123区操B视频| 久超碰这里只有精品| 国产精品无码在线| 99精品久久久久久| 日韩人妻播放| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 日韩无码操逼片| 综合网~91综合网| 精品无码一区二区三区| 嗯……啊…嗯嗯…啊…好舒服| 欧美激情综合| Sekablack无码一区| 天天看片天天爽| 免费人成毛片乱码| 一区二区三区日韩欧美| 黄色免费网| 久久亚洲天天做| 日韩精品国产一区二区| 大香蕉欧美国产日韩高潮| 在线岛| 中文字幕久久亚州无码| 国产综合网站在线播放 | 麻花豆传媒剧国产MV出差| 97久久久精品| 啪啪AV导航| 亚洲天天精品| 亚洲综合婷婷| 大奶的诱惑| 91九色丨国产丨爆乳| 日韩高清黄片| 美女骚尻视频| 97人人草| 日本熟妇浓毛hdsex| 97色爱| 综合欧美激情网| 亚洲第一男人天堂| 亚洲婷婷五月天| www.av家庭乱伦| 成人熟女区| 亚洲Av无码成人精品国产| 夜夜嗨一区二区三区直播内容| 国产丝袜视频| 中文字幕,人妻,日韩| 亚洲清纯唯美| 啊啊啊好爽快点啊啊啊嗯嗯| 欧美不卡在线一区二区| 日本高清加勒比| www.久久| 92性色国产午夜福利在线661| 少妇内射www在线观看视频| 亚洲欧洲国产综合av| 丁香七月婷婷| 久久6热精品99视频| 天天综合精品| 青草草免费网站av| 97se亚洲| 东北女人的毛片| 无遮挡猛进视频免费无限观看| 97天堂| 狠狠做深爱婷婷久久二区| 丁香五月综合| 亚洲精品无码成人久久久99| 天堂性色| 国产精品电影推荐| 操狠狠| 特级毛片特黄久久免费看| 国产农村妇女一区二区| 另类小说综合网| 国产精品久久久亚洲第一牛牛_在线观看| 中文字幕55555| 久久久国产三级黄色片| 人人做天天爱| 97视频免费播放| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 成人在线午夜视频一区| 黄色污污污污污污网站| 九色在线熟女国产黑人| 亚洲人成网站7777| 超碰4A| a片亚洲一本通视频| 久久婷婷色综合一区二区三区| 日韩人妻免费精品| 91性高朝久久久久久久久| 天天欲望网| 98超碰日本| 国产传媒1234区| 亚洲午夜免费狠狠干| 国产精品无码在线| 欧美传媒| 清纯唯美亚洲综合| 国产伊人精品在线| av 模特一区了| 久久色一区二区| 九久9热| 在线黄页看毛片| 99操碰| 婷婷亚洲五月***久久| 欧美大香蕉同搞| 老子午夜伦不卡影院| 91成人18| 风韵犹存大大大大香蕉 | 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 国产大陆天天艹| 欧美gv在线观看| 国产精品美女视频诱惑| 国产精品一区二区三区免费视频| 国产三级中文字幕粉嫩| 超碰97久久国| 老熟女中文字幕高清| 久久久久密臀一区二区| 嫩草 人人网精品| 观看免费区二区三区二| 国产av白丝| 花野真衣| 精品久久久av| 天天淫人人妻日日色| 91 手机在线播放 绯色| 98色网| 丝袜六区| 啪啪视频mP4| 一道本东京热加勒比一区二区三区| 色嘟嘟人妻天堂网| 久久久久久中文字幕中文字幕最新| 色香色香欲天天天影视综合网| 久久久97| 久久国产在线一区二区| 日韩免费在线观看不卡| 先锋影音av先锋一区| 日韩高清黄片| 91色爽欧美| 色香色欲天天综合网天天来吧 | 又大又大又大又粗爽高潮观看 | 97爱| 中文字幕精品免费一区二区| 黄色香蕉视频网站一区| 亚洲欧洲无码bt精品合集| 九月激情婷婷| 91成人久久| 亚洲欧洲综合视频在线| 五月婷视频| 亚洲情色五月天 | 男人下部插入女人下部| 国产又大又粗又长视频在线| 国产精品网站www| 色麻豆AV| 欧美日韩国产精品久久色婷婷| 精品人妻一区二区三区四区| 日韩精品-原创伙伴| 韩国一级做a久久久久| 人人人摸人人| 色嗨嗨在线| 国产久久久久久久久一区二区| 久热这里| 91亚州欧美| 91亚洲狠狠色| 91综合中文字幕| 亚洲av无码国产精品字幕| 久久av一级av少妇av高潮| 亚洲AV无码国产成人| 天综合网| 91AV天堂| 欧美伊人电影| 91性高朝久久久久久久久| 亚洲色 国产 欧美 日韩| 色情婷婷| 免费1级a做爰片观看| 嫩草影院在线观看精品 | 色999五月色| 中文字幕片| 亚洲图片偷拍欧美| 97欧美超碰|