日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Transformer從零實現(xiàn):核心原理與PyTorch實戰(zhàn)

Transformer從零實現(xiàn):核心原理與PyTorch實戰(zhàn) 如果你正在做 NLP、圖像分類、時序預(yù)測或者只是刷到“Transformer 漲點”“手撕 Transformer”這類詞卻還不太清楚它內(nèi)部到底怎么運轉(zhuǎn)這篇內(nèi)容就是給你準備的。先給一個明確判斷Transformer 不是一個只屬于 NLP 的模型結(jié)構(gòu)它已經(jīng)從語言模型走向了視覺、語音、時序預(yù)測、推薦系統(tǒng)等幾乎所有深度學(xué)習(xí)領(lǐng)域。真正理解它不是背下來“自注意力 多頭 位置編碼”這幾個名詞而是能回答下面三個問題為什么 RNN 會被它替代它的每一層結(jié)構(gòu)到底在處理什么如果讓我從零實現(xiàn)一個最小可用版本我該怎么寫這篇文章不會只停留在概念層面。我會從問題切入講清楚 Transformer 的核心原理然后用 PyTorch 從零實現(xiàn)一個可以訓(xùn)練的分類模型跑通訓(xùn)練和驗證流程。接著再把視野擴展到 Vision Transformer、Swin Transformer 這些熱門變體最后給出工程落地和調(diào)試建議。如果你之前看公式看得頭大或者復(fù)制過別人的代碼卻不知道怎么改這篇文章會盡量讓你讀完后能自己動手。1. 為什么最后是 Transformer很多人第一次接觸 Transformer是在學(xué)習(xí) NLP 的時候。當(dāng)時主流的序列建模工具是 RNN、LSTM、GRU。它們有一個天然問題按時間步順序處理序列。這意味著第 100 個詞要等前 99 個詞算完才能開始訓(xùn)練速度慢而且長距離依賴容易丟失。雖然 LSTM 通過門控機制緩解了梯度消失但本質(zhì)上仍然受限于“按順序”這個約束。CNN 在 NLP 里也被用過。TextCNN 通過不同尺寸的卷積核提取 n-gram 特征優(yōu)點是能并行計算缺點是感受野有限。想要捕捉長距離關(guān)系就必須堆很多層或者用很大的卷積核效率不高。Transformer 換了一個思路不再依賴順序處理而是讓序列中的每個元素直接和所有元素計算相關(guān)性。這個機制叫自注意力。它帶來兩個關(guān)鍵變化計算可以并行訓(xùn)練速度大幅提升。任意兩個位置之間只隔一次計算長距離依賴不再是難題。所以“為什么最后是 Transformer”這個問題的答案可以概括為它同時解決了 RNN 的串行瓶頸和 CNN 的局部感受野限制而且隨著數(shù)據(jù)量和算力增大它的擴展性遠好于前兩者。更重要的是Transformer 的架構(gòu)足夠通用輸入不一定非得是文本只要你能把數(shù)據(jù)變成一組向量就能用 Transformer 處理。從工程角度看Transformer 還帶來了一個隱性優(yōu)勢統(tǒng)一建模。以前做文本用 RNN做圖像用 CNN做語音用專門的模型。現(xiàn)在 Transformer 提供了統(tǒng)一的基礎(chǔ)結(jié)構(gòu)不同模態(tài)的數(shù)據(jù)經(jīng)過適當(dāng)編碼后都能塞進同一個架構(gòu)。這也是 GPT、BERT、ViT、Swin Transformer 等模型真正重要的原因——它們共享同一套底層設(shè)計邏輯。當(dāng)然Transformer 不是沒有代價。它的計算復(fù)雜度是序列長度的平方顯存占用大訓(xùn)練需要更多數(shù)據(jù)。這也是后面 Swin Transformer 這類模型嘗試優(yōu)化的方向之一。了解它的優(yōu)點和局限才算真正理解它。2. 核心機制自注意力與多頭注意力2.1 自注意力想解決什么問題先看一個具體場景。假設(shè)輸入一句話“小明把蘋果放在桌上然后拿走了它?!币屇P椭馈八敝复氖恰疤O果”還是“小明”就需要讓“它”這個位置的向量能參考其他位置的向量。自注意力做的事情就是讓每個 token 根據(jù)自己的 Query 向量去所有 token 的 Key 向量上做匹配再用匹配結(jié)果對 Value 向量加權(quán)求和。用大白話說每個詞都發(fā)出一條查詢問“誰和我相關(guān)”然后根據(jù)收到的答案從其他詞那里匯總信息。這個匯總結(jié)果就是當(dāng)前詞的新表示。整個過程可以做一次矩陣運算完全并行。2.2 縮放點積注意力公式自注意力的核心公式是Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V其中Q 是 Query 矩陣代表當(dāng)前元素要查詢的信息。K 是 Key 矩陣代表其他元素能被匹配的特征。V 是 Value 矩陣代表其他元素實際提供的內(nèi)容。d_k 是 Key 向量的維度除以 sqrt(d_k) 是為了防止點積結(jié)果過大導(dǎo)致 softmax 進入飽和區(qū)。從實現(xiàn)角度Q、K、V 通常來自同一個輸入序列 X經(jīng)過不同的線性變換得到Q X W_Q K X W_K V X W_V三種變換使用不同的權(quán)重矩陣才能讓模型在同一份輸入上學(xué)到不同視角的表示。2.3 多頭注意力不是一種注意力而是多套并行如果只做一次自注意力模型只能學(xué)到一種相關(guān)性模式。但真實語言中的關(guān)系是多樣的可能是語法關(guān)系、指代關(guān)系、語義相似關(guān)系等。多頭注意力把 Q、K、V 拆成 h 份每份獨立計算注意力最后把所有頭的結(jié)果拼接起來再經(jīng)過一個線性層。公式如下MultiHead(Q, K, V) Concat(head_1, ..., head_h) W_O head_i Attention(Q W_Q^i, K W_K^i, V W_V^i)多頭的好處有三個不同頭可以關(guān)注不同位置的關(guān)系。每個頭運行在更低維空間計算成本不會成倍增加。增加模型并行度表達能力更強。實際項目中BERT-base 使用 12 個頭GPT 使用 12 個頭ViT 的 large 版本使用 16 個頭。頭數(shù)不是越大越好頭數(shù)過大會導(dǎo)致每個頭的維度太小表達能力下降也會增加訓(xùn)練開銷。2.4 注意力機制的一般視角還有一點值得理解注意力機制不是 Transformer 獨有的。早年機器翻譯中的 Bahdanau Attention 和 Luong Attention 就已經(jīng)用注意力來對齊源語言和目標語言。Transformer 的貢獻在于把它從輔助模塊變成了主架構(gòu)并且用自注意力取代了所有循環(huán)結(jié)構(gòu)。所以理解 Transformer本質(zhì)上就是理解自注意力在深層網(wǎng)絡(luò)中的組織和實現(xiàn)方式。3. Transformer 總體架構(gòu)拆解3.1 標準架構(gòu)編碼器和解碼器原始論文《Attention Is All You Need》中Transformer 采用編碼器-解碼器結(jié)構(gòu)兩條線分別處理后輸出。編碼器由 N 個相同的層堆疊每層包含兩個子層多頭自注意力層。逐位置前饋網(wǎng)絡(luò)。每個子層后面都接一個殘差連接和層歸一化。用公式表示就是x LayerNorm(x Sublayer(x))解碼器與編碼器類似但有兩點不同解碼器使用帶掩碼的自注意力防止當(dāng)前位置看到未來位置。解碼器額外插入一個交叉注意力子層讓解碼器能關(guān)注編碼器的輸出。很多實際任務(wù)不一定需要完整的編碼器-解碼器結(jié)構(gòu)。比如 BERT 只用編碼器適合理解任務(wù)GPT 只用解碼器適合生成任務(wù)。這個取舍在工程上非常常見后面講視覺變體時還會看到。3.2 位置編碼給并行模型一個順序概念自注意力本身不關(guān)心 token 的先后順序因為它同時計算所有兩兩關(guān)系。要引入順序信息必須在輸入向量里注入位置信號。原始 Transformer 使用正弦位置編碼PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i 1) cos(pos / 10000^(2i/d_model))其中 pos 是位置索引i 是維度索引d_model 是模型維度。每個維度的頻率不同模型可以從角度關(guān)系里學(xué)到相對位置信息。工程上還有幾種常見位置編碼可學(xué)習(xí)位置編碼把位置向量當(dāng)作普通參數(shù)訓(xùn)練BERT 和 ViT 都采用了這種方案。相對位置編碼建模兩個 token 之間的距離而非絕對位置。旋轉(zhuǎn)位置編碼RoPE在 LLaMA 等大模型中被廣泛使用能更好地處理長序列。理解位置編碼的重要性是因為很多從零實現(xiàn) Transformer 的人最容易忽略的就是這里。如果你的模型在訓(xùn)練時表現(xiàn)不錯但序列一變長效果就很差可以先檢查位置編碼的方案。3.3 前饋網(wǎng)絡(luò)與層歸一化每個 Transformer 塊中的前饋網(wǎng)絡(luò)Feed-Forward NetworkFFN由兩個線性層和一個激活函數(shù)組成。常用的設(shè)置為FFN(x) max(0, x W_1 b_1) W_2 b_2第一個線性層將維度從 d_model 擴展到 4 * d_model第二個線性層再降回 d_model。中間用一個 ReLU 激活函數(shù)有些實現(xiàn)會換成 GELU。層歸一化LayerNorm對每個 token 的特征維度做歸一化。它與 BatchNorm 的主要區(qū)別BatchNorm 對一個 batch 的同一特征維度做歸一化依賴 batch 大小。LayerNorm 對單個樣本的所有特征做歸一化不依賴 batch 大小在 NLP 和 Transformer 中更穩(wěn)定。公式LayerNorm(x) (x - mean) / sqrt(var eps) * gamma beta這里的 gamma 和 beta 是可學(xué)習(xí)參數(shù)。3.4 殘差連接的意義Transformer 層數(shù)一般很深BERT-base 有 12 層GPT-3 有 96 層。如果沒有殘差連接梯度很難傳到淺層。殘差連接讓每一層的輸出變?yōu)?x Sublayer(x)相當(dāng)于把原始信息沿著網(wǎng)絡(luò)直接傳遞。這既緩解了梯度消失也保證了模型不會因為層數(shù)增加而明顯退化成恒等映射。4. 環(huán)境準備與前置條件在動手寫代碼前先說明運行環(huán)境。本文核心演示使用 Python 和 PyTorch具體版本以你實際安裝為準思路在不同版本下都適用。建議環(huán)境操作系統(tǒng)Windows / Linux / macOS 均可。Python 版本3.8 或更高。PyTorch2.0 或更高。CUDA如果你有 NVIDIA 顯卡建議安裝 CUDA 版 PyTorch訓(xùn)練會快很多。Jupyter Notebook 或 VS Code 均可。如果還沒安裝 PyTorch可以用下面的命令安裝 CPU 版本pip install torch torchvision需要 GPU 支持的話建議到 PyTorch 官網(wǎng)選擇對應(yīng)的 CUDA 版本安裝命令這里不寫死某個版本的 CUDA 號以免因為顯卡驅(qū)動不匹配導(dǎo)致安裝失敗。安裝完成后可以運行一段代碼驗證環(huán)境import torch print(torch.__version__) print(torch.cuda.is_available()) device torch.device(cuda if torch.cuda.is_available() else cpu) print(device)如果打印的版本正常并且torch.cuda.is_available()在有 GPU 的機器上返回 True就說明環(huán)境沒問題。5. 手撕 TransformerPyTorch 從零實現(xiàn)這一章是全文核心。我們不用現(xiàn)成的nn.Transformer而是手動實現(xiàn)每個組件這樣你能真正理解內(nèi)部機制。5.1 項目結(jié)構(gòu)為了方便維護建議用下面的文件結(jié)構(gòu)transformer-tutorial/ ├── data.py # 數(shù)據(jù)準備 ├── model.py # Transformer 模型定義 ├── train.py # 訓(xùn)練腳本 └── utils.py # 輔助函數(shù)這里為了控制篇幅把關(guān)鍵代碼放在 model.py 和 train.py 中方便組合運行。5.2 模型定義model.py先引入依賴import torch import torch.nn as nn import math然后是縮放點積注意力class ScaledDotProductAttention(nn.Module): def __init__(self, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) def forward(self, q, k, v, maskNone): d_k q.size(-1) scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn_weights torch.softmax(scores, dim-1) attn_weights self.dropout(attn_weights) output torch.matmul(attn_weights, v) return output, attn_weights這段代碼有幾個關(guān)鍵細節(jié)scores 的維度是 [batch_size, num_heads, seq_len, seq_len]。除以 sqrt(d_k) 是為了穩(wěn)定梯度。mask 中為 0 的位置會被替換成負無窮softmax 后這些位置的概率趨近于 0。返回 attn_weights 是為了方便可視化注意力權(quán)重。然后是單頭注意力模塊class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_head, dropout0.1): super().__init__() assert d_model % n_head 0, d_model must be divisible by n_head self.n_head n_head self.d_k d_model // n_head self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.w_o nn.Linear(d_model, d_model) self.attention ScaledDotProductAttention(dropout) self.dropout nn.Dropout(dropout) def _split_heads(self, x): batch_size, seq_len, _ x.size() x x.view(batch_size, seq_len, self.n_head, self.d_k) x x.transpose(1, 2) return x def forward(self, q, k, v, maskNone): batch_size q.size(0) q self._split_heads(self.w_q(q)) k self._split_heads(self.w_k(k)) v self._split_heads(self.w_v(v)) x, attn_weights self.attention(q, k, v, mask) x x.transpose(1, 2).contiguous().view(batch_size, -1, self.n_head * self.d_k) output self.w_o(x) return output這里有一個很容易出錯的地方把多頭拆開計算后要記得把維度重新拼接回 [batch_size, seq_len, d_model]。同時view之前要確保 tensor 在內(nèi)存中是連續(xù)的所以需要調(diào)用contiguous()。接下來是位置編碼class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len512, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp( torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model) ) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0).transpose(0, 1) self.register_buffer(pe, pe) def forward(self, x): x x self.pe[: x.size(0), :] return self.dropout(x)位置編碼使用正弦余弦函數(shù)好處是它能外推到更長序列并且相對位置信息隱含在相位差中。下面是編碼器層class FeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout0.1): super().__init__() self.linear1 nn.Linear(d_model, d_ff) self.linear2 nn.Linear(d_ff, d_model) self.dropout nn.Dropout(dropout) def forward(self, x): x self.linear1(x) x torch.relu(x) x self.dropout(x) x self.linear2(x) return x class EncoderLayer(nn.Module): def __init__(self, d_model, n_head, d_ff, dropout0.1): super().__init__() self.self_attn MultiHeadAttention(d_model, n_head, dropout) self.ffn FeedForward(d_model, d_ff, dropout) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): x x self.dropout(self.self_attn(x, x, x, mask)) x self.norm1(x) x x self.dropout(self.ffn(x)) x self.norm2(x) return x注意這里先做殘差再 LayerNorm這種寫法叫 Post-Norm是原始 Transformer 的實現(xiàn)方式。實際工程中很多模型改用 Pre-Norm即先 LayerNorm 再做殘差訓(xùn)練更穩(wěn)定后面會細說。最后是完整編碼器模型class TransformerEncoder(nn.Module): def __init__(self, vocab_size, d_model, n_head, n_layers, d_ff, max_len, num_classes, dropout0.1): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.positional_encoding PositionalEncoding(d_model, max_len, dropout) self.layers nn.ModuleList([ EncoderLayer(d_model, n_head, d_ff, dropout) for _ in range(n_layers) ]) self.norm nn.LayerNorm(d_model) self.fc_out nn.Linear(d_model, num_classes) def forward(self, x, maskNone): x self.embedding(x) x self.positional_encoding(x) for layer in self.layers: x layer(x, mask) x self.norm(x) cls_rep x[:, 0, :] # 取第一個 token 的表示作為分類結(jié)果 logits self.fc_out(cls_rep) return logits這里我們采用一個常見做法在每個序列開頭加一個特殊的 [CLS] token最后用它的表示做分類。這個思路來自 BERT在文本分類任務(wù)里非常實用。5.3 訓(xùn)練腳本train.py再寫一個最小訓(xùn)練腳本。數(shù)據(jù)部分用一個小型文本分類演示你可以替換成自己的數(shù)據(jù)集。import torch import torch.nn as nn from torch.utils.data import DataLoader, Dataset from model import TransformerEncoder # 假設(shè)有 4 條簡單樣本 texts [ this movie is great, the film is terrible, I love this book, what a waste of time ] labels [1, 0, 1, 0] # 構(gòu)造詞表 def build_vocab(texts): vocab {pad: 0, cls: 1} for text in texts: for word in text.split(): if word not in vocab: vocab[word] len(vocab) return vocab vocab build_vocab(texts) max_len 6 def encode(text, vocab, max_len): tokens [cls] text.split()[: max_len - 1] ids [vocab.get(w, 0) for w in tokens] ids ids [0] * (max_len - len(ids)) return torch.tensor(ids, dtypetorch.long) class TextDataset(Dataset): def __init__(self, texts, labels, vocab, max_len): self.texts texts self.labels labels self.vocab vocab self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): x encode(self.texts[idx], self.vocab, self.max_len) y torch.tensor(self.labels[idx], dtypetorch.long) return x, y dataset TextDataset(texts, labels, vocab, max_len) dataloader DataLoader(dataset, batch_size2, shuffleTrue) model TransformerEncoder( vocab_sizelen(vocab), d_model32, n_head4, n_layers2, d_ff64, max_lenmax_len, num_classes2, dropout0.1 ) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr3e-4) for epoch in range(30): total_loss 0 for x, y in dataloader: optimizer.zero_grad() logits model(x) loss criterion(logits, y) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 5 0: print(fEpoch {epoch 1}, Loss: {total_loss / len(dataloader):.4f})這里使用AdamW而不是傳統(tǒng) Adam因為它把權(quán)重衰減和梯度更新解耦是 Transformer 訓(xùn)練中最常用的優(yōu)化器。5.4 這份實現(xiàn)缺了什么可以看到上面的實現(xiàn)是一個編碼器模型適合做分類但它不是完整的編碼器-解碼器 Transformer。如果你想做翻譯或生成任務(wù)還需要實現(xiàn)DecoderLayer加入掩碼自注意力和交叉注意力。masked_fill 的因果掩碼確保位置 i 只能看到它之前的位置。訓(xùn)練時用 teacher forcing推理時逐步生成。不過對大多數(shù)想理解 Transformer 核心機制的人來說理解編碼器已經(jīng)建立了一個非常重要的基礎(chǔ)。6. 運行結(jié)果與效果驗證把上面兩個文件放在同一目錄下然后運行python train.py預(yù)期輸出類似Epoch 5, Loss: 0.6123 Epoch 10, Loss: 0.4371 Epoch 15, Loss: 0.2789 Epoch 20, Loss: 0.1682 Epoch 25, Loss: 0.1094 Epoch 30, Loss: 0.0731如何判斷模型訓(xùn)練成功了Loss 是否在持續(xù)下降。如果 loss 停滯或升高說明學(xué)習(xí)率可能太大或代碼存在 bug。訓(xùn)練完成后可以看預(yù)測結(jié)果model.eval() with torch.no_grad(): sample encode(this film is terrible, vocab, max_len).unsqueeze(0) logits model(sample) pred torch.argmax(logits, dim-1).item() print(Predicted label:, pred)如果訓(xùn)練順利這條樣本應(yīng)該輸出 0。如果輸出 1說明模型還沒收斂可以增加訓(xùn)練輪數(shù)。從實操角度看這里第一個要檢查的地方不是 loss而是:詞表構(gòu)建是否正確有沒有把詞映射到正確的索引。輸入 batch 是否完整填充到相同的長度。位置編碼的維度是否和 embedding 維度一致。7. 從 NLP 到視覺Vision Transformer 與 Swin TransformerTransformer 真正讓人驚訝的地方是它從語言模型進入了計算機視覺領(lǐng)域并且開始挑戰(zhàn) CNN 的地位。7.1 Vision Transformer 的核心思路Vision Transformer 的做法很直接。把一張圖片切成一堆 patch比如 224x224 的圖片切成 16x16 的 patch會得到 196 個 patch。每個 patch 展平成一個向量經(jīng)過線性映射后變成 token。再加上一個 [CLS] token 和位置編碼然后送入標準的 Transformer 編碼器。最后用 [CLS] token 的表示做分類。這個設(shè)計最吸引人的一點是幾乎沒有為視覺任務(wù)定制專門的架構(gòu)直接把圖像變成了序列就取得了很好的效果。它證明 Transformer 的建模能力不限于文本。但 ViT 有一個明顯弱點需要大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練。因為 patch 之間沒有 CNN 那種天然的先驗知識在小數(shù)據(jù)集上容易過擬合。7.2 Swin Transformer 的改進Swin Transformer 為了解決 ViT 的問題引入了兩個關(guān)鍵設(shè)計層次化結(jié)構(gòu)不同階段逐漸降低分辨率、增加通道數(shù)類似 CNN 的 pyramid 結(jié)構(gòu)。窗口注意力在局部窗口內(nèi)計算自注意力限制計算復(fù)雜度。窗口注意力雖然減少了計算量但窗口之間信息無法交互。Swin Transformer 為此引入了 shifted window 機制交替移動窗口讓不同窗口之間的 token 有機會互相看到。這樣既保留了 Transformer 的建模能力又讓計算復(fù)雜度從 O(n^2) 降到了 O(n)。從工程角度看Swin Transformer 的一個價值在于它更容易復(fù)用到檢測、分割等稠密預(yù)測任務(wù)上。ViT 處理這類任務(wù)時需要額外設(shè)計而 Swin 的層次化結(jié)構(gòu)天然適配。7.3 視覺 Transformer 的落地選擇做圖像分類時到底該選 CNN 還是 Transformer一個務(wù)實的建議是如果數(shù)據(jù)集很小比如幾千張圖片建議先從 ResNet 這類 CNN 入手。如果有大規(guī)模數(shù)據(jù)或者能用預(yù)訓(xùn)練權(quán)重ViT 和 Swin Transformer 值得優(yōu)先考慮。如果要部署到邊緣設(shè)備CNN 在速度、顯存占用、推理優(yōu)化上通常更省心。這里并不是說 Transformer 一定比 CNN 好只能說它的架構(gòu)選擇面更寬、上限更高但需要的數(shù)據(jù)和算力也更多。8. Transformer 的改進方向與工程實踐8.1 訓(xùn)練穩(wěn)定性原始 Transformer 的 Post-Norm 結(jié)構(gòu)在深層網(wǎng)絡(luò)下容易出現(xiàn)訓(xùn)練不穩(wěn)?,F(xiàn)在的主流做法是 Pre-LayerNorm即x x Sublayer(LayerNorm(x))這個改動雖然簡單但對深層模型有明顯幫助。GPT、BERT 后續(xù)版本以及很多開源大模型都采用了 Pre-Norm 結(jié)構(gòu)。理解這一點的價值在于你在復(fù)現(xiàn)別人代碼時會看到兩種不同的寫法不要覺得是錯誤只是設(shè)計選擇不同。8.2 長序列優(yōu)化Transformer 平方復(fù)雜度的短板催生了一系列優(yōu)化方法sparse attention只讓每個 token 關(guān)注部分位置而不是全部。FlashAttention從訪存優(yōu)化的角度減少顯存占用不改變數(shù)學(xué)結(jié)果。Longformer、BigBird針對超長文本設(shè)計稀疏注意力模式。上下文擴展在大模型中通過調(diào)整位置編碼的方式支持更長上下文。實際應(yīng)用里如果你只是處理幾千 token 的文本標準注意力完全夠用。如果文本動輒幾萬甚至幾十萬 token就需要考慮這些優(yōu)化手段。8.3 工程落地建議在實際業(yè)務(wù)中很少有人真的從隨機初始化開始訓(xùn)練一個 Transformer。最穩(wěn)妥的路徑是使用預(yù)訓(xùn)練模型比如 BERT、RoBERTa、ViT、Swin Transformer。在自己的領(lǐng)域數(shù)據(jù)上做微調(diào)fine-tuning。評估效果時不僅看準確率還要看推理延遲、顯存占用、模型體積。這里要特別提醒一點如果你用預(yù)訓(xùn)練模型上游模型使用的分詞器和你的文本處理方式必須一致。很多亂碼和效果差的問題源頭其實是分詞器配置不對而不是模型結(jié)構(gòu)改錯了。8.4 關(guān)于“漲點”這件事熱搜里經(jīng)常能看到“Transformer 漲點”的說法。所謂漲點是指通過調(diào)整模型結(jié)構(gòu)或訓(xùn)練策略在某個 benchmark 上提升指標。常見漲點手段包括改位置編碼從絕對位置編碼換成 RoPE。調(diào)整初始化某些初始化策略對深層網(wǎng)絡(luò)的收斂速度影響很大。用更好的激活函數(shù)比如把 ReLU 換成 GELU 或 SwiGLU。調(diào)整 dropout 位置在 attention 計算后的 dropout 和 FFN 后的 dropout效果差異較明顯。但漲點往往依賴具體數(shù)據(jù)和任務(wù)。別人在論文里漲點不意味著你的業(yè)務(wù)也一定漲。務(wù)實的做法是把改進當(dāng)作實驗變量每次只改一個因素記錄效果而不是一股腦堆疊所有技巧。9. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案Loss 不下降學(xué)習(xí)率過大或過小數(shù)據(jù)歸一化不一致打印梯度統(tǒng)計嘗試多個學(xué)習(xí)率使用 warmup 合適的學(xué)習(xí)率如 3e-4訓(xùn)練時報 NaN注意力分數(shù)過大分母為 0檢查輸入是否包含 NaN檢查位置編碼確認 mask 正確增加 eps降低學(xué)習(xí)率序列長度變化時報錯位置編碼 max_len 設(shè)置過小查看報錯堆棧中的 reshape 行增大 max_len或改用相對位置編碼多頭注意力維度不匹配d_model 無法被 n_head 整除檢查 assert 條件調(diào)整 d_model 或 n_head預(yù)測結(jié)果總是同一個類別類別不平衡模型未收斂查看驗證集 loss打印 logits 分布先訓(xùn)練足夠輪數(shù)必要時調(diào)整類別權(quán)重位置編碼無效位置編碼加在錯誤的維度上打印位置編碼 shape 和輸入 shape對齊 max_len 與輸入序列長度GPU 顯存不足序列過長注意力矩陣太大逐步縮小 batch_size 或 max_len使用梯度累積采用 sparse attention第一排查優(yōu)先級永遠是數(shù)據(jù)。模型不會憑空產(chǎn)生錯誤輸出絕大多數(shù)問題都能追溯到輸入數(shù)據(jù)、mask 或者詞表構(gòu)造階段。代碼里加上斷言和日志能省下大量調(diào)試時間。10. 下一步實踐路徑如果你讀完這篇文章最好的實踐方式不是再去背概念而是按下面兩條路選一條走。第一條路徑從零改代碼。把我給出的實現(xiàn)繼續(xù)完善比如加上解碼器、實現(xiàn)因果掩碼然后訓(xùn)練一個簡單的中文文本生成模型。這個過程會逼迫你理解每個矩陣的維度變化。第二條路徑用開源庫做項目。如果你關(guān)心的是應(yīng)用層可以先把 Hugging Face Transformers 這類庫用熟用預(yù)訓(xùn)練 BERT 做文本分類用 ViT 做圖像分類。通過微調(diào)任務(wù)反向理解模型內(nèi)部機制也是很多工程師的實際學(xué)習(xí)路徑。我個人更推薦這兩條路結(jié)合。先在開源庫上跑通一個任務(wù)再回來看代碼實現(xiàn)很多之前看不懂的概念會瞬間串起來。Transformer 的核心其實不復(fù)雜它只是把“根據(jù)上下文加權(quán)地更新每個元素”這件事做到了極致。真正復(fù)雜的是它衍生出來的工程實踐數(shù)據(jù)處理、訓(xùn)練技巧、推理優(yōu)化、多模態(tài)融合。這些都需要你在具體項目中一點點積累。把這個最小實現(xiàn)跑通是理解整個生態(tài)的第一步。建議把文章里這幾段代碼保存成模板下次遇到 Transformer 相關(guān)項目時你會感謝當(dāng)初愿意從零寫一遍的自己。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久人人爽人人爽人人片Ⅴ| 热热色中文无码| 蜜臀Av一区二区三区| 蜜乳中文字幕a在线| 可以免费观看的AV| 久久r精品| 精品中文字幕一区二区| 黄总AV色图| 超碰地址久久| 亚洲色偷偷色噜噜狠狠99网| 最新制服中文第一页| 台湾成人无码AV| 一区二区首页| 人人操欧美风骚| 色9999日韩国产| 青青伊人加勒比海| 日本天天操| 久插综合| 精品亚洲国产成人AV制服丝袜 | 免费日韩黄片| 日韩AV色图| 国产丰满少妇久久久精品影院| 日韩av在线精品观看| 五月天社区| 91性网| 狠狠干,狠狠操| 日韩电影中文字幕| 五月天婷婷影院| 女生看匆91网站| 久久婷婷视频| 欧美狠狠| 超碰日韩美妻| 亚洲超碰在线| 亚洲成a人片在线观看中文!!!| 欧美日日网| 丁香九月婷婷| 伊人久久大香蕉线AV五月天| 国产操操日韩三级黄| 加勒比海成人视频网| 精品成人亚洲午夜电影| Aa东京男人的天堂| 99操碰| 丰满人妻一区二区三区免费| 一区二区三区网站日日骚| 成人精品无码| 999综合色| 日韩性爱再线视频| 亚洲天堂2020| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 国产67194| 操逼操2| 97资源欧美| 日韩性爱毛片操骚逼| 人人操人人射人人干| 午夜福利视频在线一区| 91精片| 丁香五月天久久精品视频一区二区三区| 思思热在线cao| 97欧美综合网| 久草在| 久热91| 一级毛片久久久久久久女人18| 日韩人妻精品| 日韩传媒在线| 国产人妻精品久久久一区二区三区 | 日本不卡码黄色| 3P乱轮视频| 超碰久超碰久| 91美女色视频亚洲| 97中文天堂| 先锋色眉乱伦资源| 97无码视频在线播放| 91国精产品| 蜜色网色哟哟| 去干网最新版| blacked精品一区国产| 91中出在线| www.欧精品| 日韩乱插| 亚洲黄色a级片| 精品毛片av一区二区| 国产丁香精品露脸视频| 九九拍拍精品视频在线播放| 超碰97欧美在线| 另类 日韩 熟女| 欧亚无码视频| 亚洲在饯| 国产精品欧美在线观看| 中日韩久久久免费看| 99re只有精品| 超碰97资源中文字幕| 自偷自拍的亚洲视频| av无码av无码专区| 亚洲蜜乳av| 一级性爱视频免费在线| 免费的黄片有限公司| 国产97亚洲| 亚洲区小说| 欧洲亚洲天堂精品 | 久久美女福利是上海美女| 国产欧美精选激情视频| 国产成年女人免费视频播放a| 日本人妻丰满熟妇久久久久久| 东北熟女91| 国产又粗又长的视频| 夜色97| 亚洲素人网| 男人的天堂欧美| 一区 欧美 日韩 麻豆| 欧亚综合一卡二卡中文字幕| 欧美亚洲国产自久久| 99青草| 亚洲18禁| 国产视频一区二区在线观看| 一区=区三区视频| 欧洲免费一区二| 久久香蕉国产传媒一区剧情天美| 五月天社区| 五月婷婷激情综合| 一区二区你上我| 99久久久久| 8050午夜少妇无码| 色婷婷亚洲婷婷| 亚洲性爱无码乱伦av| 亚洲国产成人精品999| aaa亚无码专区| 91 丝袜在线播放| 96精品久久久久久久久久| 亚洲图片欧美偷拍| 91美女在线观看| 国产精品乱码久久久久| 日韩在线国产字幕| 日韩激情电影中文字幕| 人人看欧美性爱| 岛国大片在线观看网站入口| 郑州宾馆老熟女露脸啪啪| 一起草三级AV电影在线观看| 中国AV美女| 亚洲国产精品9999在线观看| 日本视频一区二区三区| 国产精品久久久三级无码| 美女自卫慰黄网站免费| 亚洲另类在线观看| 嗯嗯嗯,草死我| 一本一首道人妻少妇免费久久| 麻豆性爱视频在线播放| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 欧美性爱三区二区| 久热这里| 日日干夜夜操视频h| 夜夜爽爽爽| 欧美午夜精品久久久久久超碰| 伊人国产av| 日本中文字幕熟妇| 久久久精品电影| 亚洲一卡2卡3卡4卡乱码网站 | 久草免费福利在线播放| 97久久久| 亚洲色入欧美| 久9精品| 久操91视频| 亚洲国产一区二区入口| 色综合加勒比四四季| 精品二999| yazhououmeizongya| 丝袜综合网| 免费一级黄色录像影片| 亚洲 综合 欧美| 97久久精品国产| 囯产精品强| 9久在线视频只有精品| 亚洲精品影视老司机| 久久99视频| 欧美日韩电影一区二区| 欧美性色欧美| 欧美日韩操逼动图| 亚洲中文制服诱惑| 东北女人性交| www.91理论| 天天肏美女| 欧美日韩97在线| 96精品久久久久久久久久| 欧美性爱三区二区| 色偷偷色偷偷欧美日韩| 欧美激情区| 无码国产Av| 熟女人妻av在线资源,黄色的资源 粉嫩国产精品久久粉嫩 | 影音先锋每日最新资源在线观看| 无码视频黄色网战| 天天内射| 精品日韩中文在线| 成人无码专区精品视频| 国产精品不卡少妇白| 男人a天堂手机在线版| 91在线欧色| 99精品在线| 色呦呦呦在线观看视频| 99re8免费高清在线| 日韩97P| 五月婷婷激情网| 少妇人妻激情四射| 97人妻免费中文字幕| 求求你操操我| 香蕉久久AⅤ...| 久久久久久久九九九九九九| 国产午夜精品一区二区三区牛牛| 久久久久国产一区二| AV久日| 国产人妖的免费的视频| 久久夜嗨| 久思思热视频在线观看| 欧美性爱一区二区三区四区| 岛国片国产成人亚洲播放| 国产青视频| 国产兽交视频在线播放| 求求你操操我| 午夜无遮挡男女啪啪视频| juliaann精品熟女一区| 东京热一区二区中文字幕| 五月丁香| 中文字幕99999| 亚洲色图超碰在线| 秋霞网无码| 超碰这里只有精品| 懂色AV蜜臀无码精品APP| 97爱b| 亚洲操逼无码| 天天噜| 日本有码久久| 日韩欧美亚欧在线视频| 日韩人妻精品中文字幕| 國產尤物AV尤物在線觀看| 中文熟女五十乱码在线| 大香蕉伊人久久| 亚洲97精品| 日韩AV电影网站 | 亚洲国内精品成人不卡| 日韩色欲久久一二三四区| 天堂在线一区二区| 岛园激情| 亚洲天堂男人天堂网| 一道本东京热加勒比一区二区三区 | 宅男午夜在线视频| 成人乱人伦一区二区| 69久久久久久久久久久久久| 国产懂色精品国产av| 色狠狠一区二区三区香蕉| 91丨九色丨东北熟女| 国产内射爽爽大片| 天堂伊人久久| 小泽玛利亚一二三| 草b在线| 无码精品久久| 青青草综合在线| 久久啊哟| 婷婷激情五月| 国产偷拍自拍在线视频| 亚洲男人在线观看天堂| 操亚州| 丁香五月色| 亚洲成人黄色在线观看| 国产乱不卡| 久9久| 亚洲午夜福利在线影院| 91精片| 美女黄码视频午夜| 99热精品青草在线| 99热这里只有精品99| 国产拍偷精品网站| 国产精品久久久久婷婷二区次| 久久人人爽爽爽人久久久| a片 xxxx受爽视频| 天天日骚逼熟女| 中文字幕精品人妻丝袜| 五月丁香综合| 精品国产久热在线观看| 国产粉嫩蜜臀av一区二区三区 | av天堂影视中文在字幕在线中文 | 中文字幕1区2区| 97一区二区三区视频| 99精品免费| 性色av蜜臀av色欲aV| 九九亚洲| 超碰99在线| 婷婷精品国产欧美精品亚洲人人爽| 99熟女| 日韩av在线免费网站| 日本成人在线不卡一区二区三区 | 国产毛片精品一区二区色欲黄A片| 久久日韩精品一区二区| 日韩综合色图| 少妇熟女一区二区三区| 夜夜骑日日| 日本男人插女人的逼黄色| 日韩一区二区熟女| 麻豆区99999| 成人五月香网在线| 国产999精品久久久久久| 午夜国产成人福利视频| 综合五月婷婷| 色综合久久久久| 老司机射| 强奸乱伦αv片| 国产精品点击进入在线影院| 在线有码中文字幕| 青青在线视频日韩欧美| 中文字幕国产在线天堂| 欧美日韩传媒| 五月婷亚洲精品天堂| 男人的天堂va在线| 国产精品熟女一区二区三区| 91网站18禁| 亚洲日韩电影| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 婷婷五月av| 中国国国产一级特黄毛片| 天天草天天干天天日| 可以在线观看AV的网站| 激情黄色五月天| 97超碰超欧美。| 91AV天美在线视频| 久久久草草精品| 欧美黑人168页欧美黑人167| 色老大| 夜色综合| 日本操逼视频在线| 欧美日本中字另类在线| 久久久久久久国产视频| 精品性爱无码在线播放| 色综合五月天| 一区,二区,三区网站| 一区二区三区国产精产| 亚洲视频一二区| 欧美日动态视频| 熟女露脸激情自拍视频| 久久香蕉国产线看观看亚洲女人 | 最新av在线| 亚州中文字幕超碰97| 日影院久久婷婷夜夜网| 亚洲狠狠入| 欧美天天射| 18禁止看精品中文字幕| 亚洲二区精品在线观看| 婷婷色婷婷| 97欧美资源| 亚洲欧美setu| 美女91在线| 亚洲无码国产探花在线观看| 亚洲高清国产理伦片| 97碰在线视频| 求求你操操我| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 美女午夜福利免费视频| 丁香六月激情综合| 亚州色图欧美| 91国产伊人大香蕉| 老子午夜伦不卡影院| 超碰成人最新最好看| 2020视频1区2区3区| 另类av天堂| 久久精品一区一起草| 国产一区二区二区按摩精品啪视频| 国产又色又粗又黄又爽| 婷色五月| 国产热av| 日韩欧美午夜一区二区| 四虎永久在线精品免费网址 | 丝袜 亚洲 偷拍| 国产夜夜艹| 亚洲做性| 亚洲国产一区二区入口| 国产女人高潮视频| 97在线欧| 国产精品无码av嫩草| 中文字幕一区av| 啊啊啊啊啊好舒服视频| 精品日韩人妻视频| 97国产色综合| 午夜久久久| 国产成人拍国产亚洲精品| 亚洲一区日韩| 九久久精品| 国产精品久久久久久久电影渣男| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 爽 好舒服 无码刺激久久| 国产视频一区二区在线| 国产一级内射高清视频| 99热成人| 日韩乱伦影音先锋| 综合色拍| 免费a级毛片av无码久久精品中文字幕| 九九热精品视频在线观看| 九九九精品一区二区无码| 日本韩国国产精品一区| 超碰2017| 大香蕉92| 日本不卡免费二区| 久久男人的天堂| 人妻偷拍一区二区三区| 色噜噜人妻丝袜a∨先锋影| 丝袜剧情| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 太久视频| 欧美综合站| 色九九九综合| 台湾佬大香蕉| 国产精品呦一区二区三区| av一区二区三区 中文| 久久本道| 熟女91网| 亚洲美女AV无码| 美国aaaaa一级黄片| 五月丁香六月| 亚洲中文国际强奸字幕| 长长久久88视频| 国产九区| 女沟厕偷窥piss小便| 3028国产精品| 国产夜夜艹| 天欧美在线| 黄色免费一级在线毛片| 色噜噜狠狠色综合日日| www.高清无码诱惑一区.com | 好看的91视频| 日本媚薬中文字幕在线| 91社区拍啪人妻| 狼人综合婷婷激情四射 | 试看日韩黄片| 一区二区三区免费岛国片| 人妻在线臀日韩| 春色综合免费| 国产毛片在线| 久久久久亚洲Av无码专区老牛影视| 欧美亚洲第一页| 国产91美女高潮| 黄站在线免费观看| 美国一区二区三区视频| 亚欧美天堂在线| 欧美日韩制服| 女人高潮大叫一级毛片| 97超碰国产亚洲精品| 最新av中文字幕高清| 韩国久久97| 四虎精品永久在线观看| 人人做人人妻人人夜视频| 97久久精品亚洲中六字幕| 国产97视频| 成人片在线播放| 性交一区二区在线播放| 久久久性| 9热9热综合网| 日韩性爱小视频| 思思热在线| 97国产精选| 可以在线观看AV的网站| 亚州色国| 日本免费一级AAA大片器| 精品免费视频国产一区| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 日韩欧美综合激情| 日韩中文字幕2020| 一级黄色视频网| 精品小视频在线| 日本性感人妻91| 伊人久久国产免费观看视频| 美女被啪到深处抽搐视频| 国产精品一二三免费网站| 99999亚洲另类| 久久人人爽人人爽人人片Ⅴ| 久久久久婷婷精品av电影| 日本操大逼| 国产风韵犹存熟妇三区| 人人操人人摸人| 少好三P| 婷婷色播婷婷| 91天堂网| 亚洲射综合网| 亚洲一级性爱视频免费看| 国产第11页| 十八禁av无码免费网站APP| 白 大 人妻 区 在线| 久久精品国产99国产精品亚洲| 性夜影院爽黄A爽免费动漫| 嗯~啊~快点 死我视频| 日本精品一级二级三级| 成人热久久精品| 国语精品内射在线观看| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 久热影视| 欧美天堂亚洲电影院一区在线播放| 亚洲国产ⅴ高清在线观看| 欧美大战久久久伊人| 精品人妻1区| 欧美在线中M| 不卡啪啪视频| 日日夜夜摸| 国产高清不卡视频| 操逼片中文| 日韩99999| 国产超碰国产97| 免费的黄片有限公司| oumeizonghese,www| 99久久久无码国产精品性男| 天天久久| 日韩电影天堂视频一区二区| 一起草精品人妻| 91超碰在线| 男人的亚洲天堂| 激情五月综合网| 自拍内地三级在线观看| 91熟女视频网| 大香蕉伊人网WWWn0n| 丰满人妻一区二区三区四区| 99热9| 成人精品在线免费视频| 爱妻综合网| 午夜精品一区二区三区三上悠亚| 国产日韩区| 欧美 色 亚洲| 亚州中文字幕超碰97| 激情综合网五月婷婷| 国产一区二区三区高清视频| 亚洲欧美激情小说| 亚州综合电影| 国产又大又硬又长又粗| 国产在线视频午夜精华在| 中文一区二区| 97香蕉人人乳| 黄污污污污| 日韩Va亚洲va欧美Ⅴa久久| 九九九九九九九九九国产精品 | www.色婷婷| 草草影院日本第一页| 97鸡把在线视频| 久9久精品视频| 久久本道| 麻豆AV一区二区天美传媒| 情色五月天久久久| 一区二区 韩日AV| 日韩Va亚洲va欧美Ⅴa久久| 精品国产乱码久久久久久网站入口| 亚州综合AⅤ| 中文高清一区二区的| www欧美性爱| 中文字幕日韩专区精品系列| 九七色图| 久超碰这里只有精品| 欧美在线55555| 欧美少妇大量自拍视频在线观看| 四虎影院成年人片| h4610国产人妻| 免费久久一级毛片大黄| 91夜色| 欧美碰碰综合色| 久久久少妇诱惑精品视频| 日韩ab网 | 97网址97| 骚人妻少妇视频| 超碰精品国产无码| 久久大黄片| 亚洲人久久久久日| 大茄子熟女AV导航| 欧美亚洲在线| 亚州五月| 男女香蕉一区二区| 日韩精品国模| 天天综合网~91综合网| 日韩78m视频| 久久綜合很很很| 精品美女在线视频| 乱码熟妇人妻久久久| 91在线限制级| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久热精品在线| 人妻天天爽夜夜爽2| 小骚逼被操的爽不爽| 日韩午夜国产| 最新精品久久蜜桃| 蜜桃丰满熟妇av无码区不卡| 熟妇人妻一区二区| 国产五码丝袜屁眼| 99精品人人爽| 九九av| 很狠操| 亚洲有薄码区久久在线一区| 黄站在线免费观看| 78m成人视线| 日日夜夜骑| 91精品人妻一品二品三品| 亚洲天天自拍| 一区二区高清视频| 干我久操| 国产精品视频麻豆入口| 午夜寂寞欧美| 337p大胆噜噜噜噜噜91Av| 夜夜操二区| 尻女朋友一夜| 国产成人AV麻豆| 亚洲综合性网址| 乱色老一区二区三区的观看方式 | 久久久久亚洲| 东京热一区二区中文字幕| 在线观看一级α片刺激高潮视频| 无码丰满熟妇一区二区浪潮AV| 1级黄色夫妻对换性交免费看| 人人 操人人 操人人| 手机在线视频国内精品| 国产精品一区二区黄片| 亚洲情色电影网| 闷骚老熟女15P| 精品综合久久久久久97| 97中文综合| 人人操欧美风骚| 久草视频观看视频在线| 亚洲成av人片色午夜乱码| 狠狠欧美| 国产一区二区三区,在线观看观看| 美女黄色91| JIZZJIZZ亚洲女人被躁| 日韩乱伦影音先锋| 粉嫩国产精品久久粉嫩| 男人天堂日日夜夜| 久久久涩| 天天干天天燥| 亚洲中文字幕97久久精品少妇| 日韩在线AB| 中文字幕伊人| 屁股久久久久久久| 国产高清MV操逼视频| 日本超碰在线国产一区| 搡老女人老妇女AAA一VU麻豆| 亚洲自拍天堂| 中文字幕一二三区| 四虎免费视频| 一区二区三区美女超清| 思思热免费视频观看| 青青11操操操操操操操操| 99热日| 日本精品一级二级三级| 亚洲av乱伦色图网站| 亚洲色图20p| 久久97视频| 人人操人人搞人人草| 欧美日不卡| 日韩成人人妻网站| 日韩高清黄片| 伊人AAA| 老鸭窝在线视频播放| 欧美精品久久久久久久丰满| 国产成人+综合亚洲+天堂| 粉嫩AV一区夜夜嗨| 成人精品无码| 伊人久久婷婷| 91处女视频在线观看| 东北毛片| 亚洲激情综合| 精品久操| 嫩草影院在线观看精品 | 久久99手机免费视频| 水滴偷拍| 精品少妇一区二区三区在线视频| 91国产美女丝袜足交精品视频| 在线黄页看毛片| 亚洲精品久久久久久| 免费一级黄色录像影片| 亚洲情色一区综合| 亚州欧美色图| 长长久久88视频| 欧洲站一级二级三级h| 欧美日日操| 亚洲网自拍| 91大神精品长腿在线观看网站| 亚洲精品男人的天堂| 色网亚洲人| 殴美大黄片| 中文子幕一二三| 精品高清一区二区三区三州| 一区,二区,三区网站| 亚洲巨爆乳一区二区三区四季网| 久久乐| 中文字幕成人乱码熟女精品国50 | 一区二区三区无卡视频在线观看| 国产91影院| 女人妻一区| 91精品人妻偷情| 韩国轻伦国内自拍一区| 在线午夜成人无码视频| 大稥蕉免费视频这里只有精品| 青青操国产夫妻| 国产这里只有精品| 蜜臀久久久99久久久久| 啊啊啊不要好疼视频| 欧美天天搞| 东京日日夜夜| 在线观看一卡二卡| 欧美激情精品| 色色色色色色色色色色色色色色综合| 亚洲日精品| 婷婷五月在线视频| 美女诱惑一区| 中文字幕艹艹| 富女玩鸭子一级毛片| 丰满少妇一区二区三区四区观看| 亚洲无码 国产无码| 久久综合女优| 国产精品激情久久久久久久| 亚洲AV不卡在线观看| 亚洲精品成人激情在线| 校园春色亚洲色图| 亚洲中文人妻色| 一级毛片久久久久久久女人18| 人妻 欧美 中文| 青娱乐国产精品| 97视频在线免费播放| 亚洲精品成人| 97亚洲综合| 操一区| 亚洲精品精品一区二区| 日本男人天堂| 大香蕉色网| 不卡免费av在线播放| 九久9精品| 欧洲综合视频| 亚洲欧美在线观看2021| 视频二区美腿制服人妻欧美| 亚洲91av| 手机在线人成免费视频| 淫淫综合网| 日本一道在线播放高清| 精品二999| 国产精品成人在线| 亚洲 欧美 日韩 国产一区二区| 国产熟妇一区二区| 岛国精品视频在线观看| 人人么人人操| 97欧美色| 人妻夜夜爽天天爽麻豆三区网站 | 麻豆黄色五月天| 色色香蕉| 校园春色五月天| AV丝袜东京热| 神马精品视频| 国产女生在线| 国产精品不卡一区二区三区av| 韩国嫰模上门援交视频| 青青草九九九九九| 在线中文字幕极品av| 日韩无码极品| 青青草在线视频播放器| 美女久久久久久久| 国产乱伦性爱AV| 一区操逼| 婷婷综合伊人一区| 99热国产精品| 亚洲中文电影| 蜜桃色色网站视频三区| 免费A V在线播放| 国产一级内射高清视频| 少妇特黄一区二区三区| 久久夜色一区二区| 超91综合网| 人人操人人摸人人看人人干| 啪啪综合网| 欧美综合亚洲| 中文字幕AV片| 国产精品久久9| 91丨九色丨43老版熟女| 370p日韩欧美亚洲精品| 欧美第二页| 精品人妻一区二区三区不卡断 | 91丨豆花丨熟女| 999精品久久久久久久| 丰满丝袜少妇AV| 麻豆视频国产一区二区| 欧洲一区二区三区四区在线观看| 亚洲丝袜色图| 亚洲色偷偷色噜噜狠狠99网| 免费综合亚洲中文| 精品偷拍13p欧美dodk视频| 丰满人妻被猛烈进入中| 鸥美中出| 久区视频| 超碰在线综合97| 蜜屁Av| AV丝袜少妇| 密臀在线免费观看| 夜夜爽妓女| 天天综合~91入口| 丁香婷婷色五月| 久久老子无码午夜伦不卡| 日本www操操操| 综合久久久久久久综合网| AV一起草在线| 51国产午夜精品视频| 欧美大片91| 超碰97综合| 中出20p| 黄久在线| 中文精品少妇天堂| 综合激情一一91| 麻豆精品三区视频| 欧美日韩青操| 日韩精品9区| 俞拍自拍| 走光一区92下载| 人妻天天爽| 青青操视频在线| 欧美中字不卡| 九九九国产精品| 亚洲综合有码| 国产精品一区二区三区四区五区| 黑人性欧美| 天美传媒麻豆一区二区三区国产精| 久草精品视频| 亚洲精品黑丝| 日韩在线观看AV| 亚州欧美在线| 2017天天插| 天天综合网日韩| 日韩中文字幕国产| 欧美精品xxxwww| 思思性爱| 久久丁香| 搡老女人老妇女老妇老熟女怎么读| 亚洲精品久| 色九月综合| av东京热男人的天堂| AV久日| 亚洲风情在线观看| 国产偷人伦激情在线观看| 午夜亚洲WWW湿好大| 国产亚洲欧美每日在线| 在线观看亚洲专区| 欧美一级色| 久久亚洲影院一区二区| 亚洲 图片 欧美 色图| 五十路二区在线| 日本淫穴在线| 久久黄黄黄| 国产精品自拍视频| 亚洲精品乱码线路中文字幕| 3d成人精品一区二区| 五月婷婷色| 精品人妻夜夜草| 狠操91,com| 偷拍导航视频网站| 试看日韩黄片| 久久久久久精品免费看A级| 超碰久热| 天天碰操中国年青熟妇| 亚州国产成人精品女人久久| 欧洲精品一级二级精品综合视频综合 | 亚洲系列第一页| 日本免费亚洲欧美| 青青草在线成人视频| 色综合久久夜色精品国产天堂| 久久久久久九九九九九九| 亚洲国产精品成人久久蜜臀| 久久首页| 婷婷精品| 欧美色图 人妻| 91N综合网| 国产视频一区二区三区在线免费观看| 在线观看中文av字幕| 嗯嗯啊啊视频在线看| 伊人网在线观看| 乱人乱色一区二区三区免费| 97人人夜夜精品视频| 在线国产探花| 国产精品色哟哟| 中文有码9| 74成人在线| 大香蕉五月天婷婷| 在线观看A啊啊啊| 96久久久久久久| 思思热国产在线视频| 国产精品老熟女一区二区| yy少妇精品久久| 国产一级内射高清视频| 综合一区中亚洲国产成人综合精品 | 欧美内射少妇| 无套后入双马尾| 成人三一级一片aaa| 国产精品熟女AV中文字幕在线播放| 午夜精品久久久久久久| 在线视频亚洲无码| 六月丁香久久| 99热18这里只有精品| 日韩精品在线视频,日韩精品……| 久久99午夜精品一区人妻| 影音综合网| 91爱| 五月婷婷啪啪| 国产精品粉嫩福利在线| 欧美偷拍区| 人妻激情另类| 久久爱97| 日韩成人网址| 大香蕉92| 国产精品嫩草久久久久| 操我啊啊啊啊啊| 91东北熟女| www.夜夜操| 偷拍亚洲情色| 日本性爱不卡视频| 是还免费视频1727我| 一本色道综合久久欧美| 日本久操视频| 欧美色乱| 爽爽歪在线视频| 超碰久超碰久| 亚洲无码一区二区三区三州| 国外91| 欧美系列在线一区二区| 精品人妻一区春色| 一起草欧美| 欧美白嫩在线放| 翔田千里AⅤHD无码| 国产久久久9999| 亚洲天堂男人网| 亚州国产精品乱| 好吊色综合| 中文字幕五区| 日本欧美不卡| 人妻熟女午夜精品在线| 青青草久草| 天天操夜夜操| 久草新在线| 首页亚洲国产高跟丝袜诱惑视频| 日逼97| 天天狠| 亚洲欧美日韩偷拍色图| 操人妻丝袜高跟| 一级性爱视频免费观看| 一区=区三区视频| 人人做,人人操,人人摸| 亚洲骚女一区二区三区| 操逼A∨| 青苹果影院男人的天堂| 三级日本一区二区三区| 精品免费一区二区三区在线亚洲人成| 一区二区乱码福利| 91丝袜在线观看视频在线观看| 成年无码动漫av片无尽在线 | 人妻三级在线中文字幕| 老女人日韩美91| 中文字幕高清精品一区| 伊人一区二区三区| 黄色在线网站| 激情婷婷丁香网| 一区二区偷拍拍视频| 色狠狠 - 百度| a片亚洲一本通视频| 国产女人操逼视频| 18精品一二区| 夜夜爽33333| 一区AV| 成人在线永久| 国内自拍 日韩激情 99| 欧美激情视频一区二区| 中文字幕视频2区| 亚洲成人日韩小说| 上海一级黄片| 欧美精品黑人猛交高潮| 综合天天。| 影音综合网| 肥臀熟女福利视频一区二区| 亚洲青青草| 天天艹天天日| 欧美日韩99精品麻豆传媒| 青青草在线视频欧美| 欧美黑人性猛交91| 蜜桃色色网站视频三区| 欧美97日韩| 欧美A片中文字幕| 国产精品区在线12p| 久久久久亚洲Av无码专区老牛影视| 一区二区三区在线资源| 东京热男人的天堂精品| 女沟厕偷窥piss小便| 日韩有码中文字幕女同性恋| 久久久久人| 蜜桃臀久久| 美女t无毒不卡不卡| 久久久久久免费电影| 男人天堂2030| 丰满岳乱妇一区二区三区 | 亚洲国产一级中文综合久久天堂在线免费观看| 第一高清av中文字幕| 93人人操人人| 色99视频| 亚洲最大黄网| 欧美视频激情久久久久久| 怡红院怡春院| 51一区二区三区| 欧美综合天堂| 亚洲āv网址在线观看| 97碰久久| 一中国女人毛片水真多| 操人人| 人妻中文字幕日韩电影| 九九热在线精品视频| 四季AV综合网址| 欧洲中文字幕| 亚洲av资源| 国产福利视频精品视频| 超碰成人国产| 又大又白奶子| 91丝袜美腿片| 夫妻AV网站| 成人羞羞视频国产| 亚洲九月丁香| 殴美牲| 超碰到97情色| 色婷五月| 久久九色| 涩涩久久精品| 人人贴人人摸| 天堂8在线新版官网| 1956日韩精品| av日韩在线观看电影| yw尤物av无码点击进入麻豆| 午夜精品久久久久久久99| 嗯嗯啊啊用力视频免费| 狠狠穞A片一區二區三區| 26uuu性| 亚洲精品一区二区日本| 伊人国产AV| 日本黄色天堂| 嫩草伊人久久精品| 天天影视网综合少妇| 十八禁的黄污污免费网站| 26UUU欧美日本| 在线不欧美| 日日夜夜骑| 91AV国产精品| 久久精品视频一区三区小泽玛利亚| 91暧暧| 91 国产丝袜在线放观看| 另类天堂| 亚洲九区| 九九人人操| 国产精品久久伊人| 精品人体无圣光凹凸| 国产日韩手机视频在线| 精品一级毛片在线观看| 2017天天插| 亚洲熟女av中文字幕| 超碰欧美COM| 蜜桃天美传媒AV一区二区三区| 亚洲素人综合| 欧美另类自拍| 97超碰色屌| 人妻社区男人天堂| 久久久久久久久久久久久久久性生活视频| 久久综合99| 久/久精品99看9| 婷婷久久五月天| 992这里有精品| 日产狠狠干| 天天摸,夜夜摸| 国产欧美美女免费观看视频| 欧美少妇熟女| 国产超碰国产97| 大香蕉伊人网WWWn0n| 91丝袜美女| 美女91av| 亚洲欧美91√| 精吧天堂| 一本色道久久综合狠狠操| 加勒比性爱成人在线| 少妇久久久免费| 毛片麻豆91糖心精品毛情片| 少妇久久久免费| 青青草原av| 大香蕉中文在线| 日韩av性爱在线播放| 极品欧美一区二区三区| 久久69精品久久久久久久| 日韩乱伦影音先锋| 日本一级性爱| 国产九月婷婷| 国内毛片热久久思思热| 人人干黄色| 欧美一区二区观看在线| 五月天大香蕉| 小草精彩毛片| 超碰综合色| 懂色AV网| 国产9区| 亚洲欧美在线观看无码| 人妻精品一区二区在线| 婷婷久久综合久| 亚洲不卡不卡中文字幕不卡| 成人精品一区二区三区| 骚货 中文字幕 av| 男女国产精品| 蜜乳av一区二区| 精品-91人妻子系列| 亚洲一区二区三区久久 亚洲一区二区| 日韩成人午夜精品久久高潮| 色综合99999| 快播电影网日韩新片| 强奸抽插av| 亚洲成?V人片在线观看福利| 成功精品影院| 久久久18禁| 一卡二卡在线播放| 国产精品日日摸天天碰| 丁香五六月啪啪| 中文字幕av乱伦| 91色噜噜狠狠| 日韩人人精品| 很很操在线| 黄色av一区二区在线| 国产视频三区四区| 久久久国产精品亚洲精品| 中文久久久| 岛国网址国产 | 中文字幕1区2区| 99精品国产户外露出| 精品v日韩欧美国产| 91丝袜美女| 日韩成人人妻网站| 999久久久免费精品国产牛牛| 国产成人网站在线观看| 乱伦av.com| 亚洲欧美另类小说| 亚洲第一免费视频| baisiav| 中文字幕二区| 无码高清操逼| 色五月综合网| 亚洲综合性网址| 91老司机精品| 精品人妻中文字幕高清| 国模不卡| 狠狠中文字幕| 成人九九| 人人干黄色| 国产原创自拍| 亚洲涩图欧美| 操b在线观看| 91久久久久免| 免费亚洲国产精品久久一区| 精品国产乱码久久| 综合色播| 国产欧洲精品亚洲午夜拍精品| 日躁天天爽爽| 久久九九网| 国产精品午夜福利视频| 四虎午夜影院| 美女尤物福利视频| 亚洲人精品久久久| 思思热在线cao| 午夜精品久久久99| 中文字幕视频二区| 操逼操逼逼操操逼91| 中文字幕55555| 国产白丝精品在线观看|