日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

大模型門控機(jī)制全解析:從SwiGLU到Gated MLA與MoE路由

大模型門控機(jī)制全解析:從SwiGLU到Gated MLA與MoE路由 最近在梳理 Kimi K3 的架構(gòu)資料時(shí)有一個(gè)詞被反復(fù)提及門控Gating。Gated MLA、KDA 的門控分支、MoE 中的 SiTU-GLU、SwiGLU……看起來每個(gè)模塊都在做“門控”但每個(gè)地方的門控含義又不太一樣。如果只是零散地看很容易把一個(gè)概念套到另一個(gè)模塊上最后越看越亂。這篇文章就把 LLM 里的門控機(jī)制集中梳理一遍結(jié)合 Kimi K3 的公開架構(gòu)討論拆開 Gated MLA、KDA 門控分支以及 MoE 里的 SiTU-GLU 與 SwiGLU。我會(huì)盡量不堆術(shù)語先講清楚門控本身是什么再逐層進(jìn)入現(xiàn)代大模型的門控設(shè)計(jì)并給出可運(yùn)行的 PyTorch 簡(jiǎn)化實(shí)現(xiàn)。需要提前說明的是Kimi K3 的官方技術(shù)報(bào)告尚未完整公開本文的架構(gòu)解析基于公開模型信息、社區(qū)復(fù)現(xiàn)討論和技術(shù)博客整理代碼示例是教學(xué)用簡(jiǎn)化版本不完全等價(jià)于官方實(shí)現(xiàn)。1. 門控機(jī)制LLM 架構(gòu)里的“信息閥門”1.1 從 LSTM 說起門控是什么門控不是新概念。早在 LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)時(shí)代門控就是核心機(jī)制。LSTM 里有三個(gè)門遺忘門決定上一時(shí)刻的記憶要保留多少。輸入門決定當(dāng)前輸入有多少寫入記憶。輸出門決定當(dāng)前記憶有多少輸出到隱藏狀態(tài)。每個(gè)門都輸出一個(gè) 0 到 1 之間的數(shù)值用 sigmoid 激活函數(shù)實(shí)現(xiàn)。0 表示“完全關(guān)閉”1 表示“完全打開”中間值則表示“部分通過”。用一句話概括門控的本質(zhì)學(xué)習(xí)一個(gè)軟開關(guān)決定信息以什么比例通過。為什么要用“軟”開關(guān)因?yàn)橛查_關(guān)if-else不可導(dǎo)梯度無法回傳軟開關(guān)用 sigmoid 這類連續(xù)函數(shù)梯度能順暢流動(dòng)模型就能通過反向傳播自動(dòng)學(xué)習(xí)開關(guān)的開合程度。1.2 Transformer 時(shí)代的三類門控Transformer 出現(xiàn)后門控并沒有消失而是演化出了更豐富的形態(tài)。在當(dāng)今的大模型架構(gòu)里門控至少出現(xiàn)在三個(gè)層面第一層是注意力內(nèi)部的門控。標(biāo)準(zhǔn)的縮放點(diǎn)積注意力用 softmax 對(duì) attention score 做歸一化這本身可以理解為一種“競(jìng)爭(zhēng)式門控”所有位置競(jìng)爭(zhēng)權(quán)重權(quán)重和為 1。但這是隱式門控模型不能靈活地表達(dá)“某個(gè) token 的 KV 信息整體要減弱”這類需求。第二層是前饋網(wǎng)絡(luò)中的門控。從 GLU 到 SwiGLU、SiTU-GLU本質(zhì)都是用一個(gè)非線性變換生成門控信號(hào)去調(diào)控另一路線性變換的輸出。這是目前大模型最常用的門控形式。第三層是MoE 中的路由門控。MoEMixture of Experts混合專家模型里有一個(gè) router它決定每個(gè) token 被送到哪幾個(gè)專家網(wǎng)絡(luò)去計(jì)算。這層門控做的是“稀疏調(diào)度”和注意力門控關(guān)注“通道強(qiáng)度”不同路由門控關(guān)注“選擇性激活”。理解了這三層門控再看 Kimi K3 的各個(gè)模塊就容易對(duì)號(hào)入座了。1.3 Kimi K3 中的門控體系根據(jù)公開資料和社區(qū)討論Kimi K3 的架構(gòu)中門控機(jī)制分布得很廣Gated MLA在多頭潛在注意力MLA中引入門控分支對(duì) KV 信息做軟過濾。KDA 的門控分支在鍵解耦注意力Key-Decoupled Attention路徑中用門控融合不同來源的 key 信息。MoE 中的 SiTU-GLU 與 SwiGLU專家網(wǎng)絡(luò)內(nèi)部使用門控激活函數(shù)路由門控負(fù)責(zé)專家選擇。這三個(gè)方向剛好對(duì)應(yīng)上面說的三層門控。下面逐個(gè)拆開講。2. 環(huán)境準(zhǔn)備與符號(hào)約定2.1 Python 環(huán)境與依賴本文的代碼示例全部使用 PyTorch 編寫。如果你的電腦上還沒有環(huán)境可以這樣準(zhǔn)備conda create -n gating python3.10 conda activate gating pip install torch版本方面以下代碼基于 Python 3.8 與 PyTorch 2.x 編寫不同小版本之間的 API 基本一致。如果你使用 CPU 版本的 PyTorch也能運(yùn)行本文所有示例因?yàn)槭纠簧婕靶∫?guī)模張量計(jì)算。2.2 本文使用的數(shù)學(xué)符號(hào)為了不讓公式讀起來太吃力先約定幾個(gè)符號(hào)(x)輸入向量或輸入序列shape 為[batch, seq_len, d_model](W)線性投影權(quán)重矩陣(\sigma)sigmoid 激活函數(shù)(\otimes)逐元素相乘Hadamard product(d_model)隱藏層維度(n_heads)注意力頭數(shù)(head_dim)每個(gè)注意力頭的維度(latent_dim)MLA 中低秩壓縮后的潛在維度3. 從激活函數(shù)到門控前饋SwiGLU 與 SiTU-GLU3.1 為什么 LLM 不再只用 ReLU早期 Transformer 的前饋網(wǎng)絡(luò)FFN非常簡(jiǎn)單[ FFN(x) \text{ReLU}(xW_1 b_1)W_2 b_2 ]ReLU 把負(fù)數(shù)直接置 0正數(shù)原樣通過。這個(gè)“硬門控”簡(jiǎn)單高效但有兩個(gè)問題負(fù)數(shù)區(qū)間梯度為 0容易造成神經(jīng)元死亡。輸出均值不為 0不利于深層網(wǎng)絡(luò)的訓(xùn)練穩(wěn)定性。后來研究者發(fā)現(xiàn)用平滑激活函數(shù)替代 ReLU 能提升訓(xùn)練穩(wěn)定性和模型質(zhì)量。于是有了 GELU、Swish / SiLU 等替代方案。但真正帶來質(zhì)變的是把激活函數(shù)放進(jìn)一個(gè)“門控結(jié)構(gòu)”里也就是 GLU 系列。3.2 GLU 與 SwiGLU 的原理GLUGated Linear Unit門控線性單元最早由 Dauphin 等人提出它的形式是[ GLU(x) (xW_1 b_1) \otimes \sigma(xW_2 b_2) ]這里有兩路線性變換一路直接輸出叫做“值分支”。另一路經(jīng)過 sigmoid輸出 0 到 1 的門控信號(hào)。兩個(gè)結(jié)果逐元素相乘。模型通過訓(xùn)練可以決定每個(gè)維度上信息通過的比例。SwiGLU 是 LLaMA 等大模型使用的變體核心改動(dòng)是把 sigmoid 換成 SwishSiLU門控。[ SwiGLU(x) (xW_1) \otimes \text{SiLU}(xW_2) ]其中[ \text{SiLU}(x) x \cdot \sigma(x) ]SiLU 的形狀比 sigmoid 更豐富當(dāng)輸入為負(fù)且絕對(duì)值較大時(shí)SiLU 輸出會(huì)先輕微下降再趨近 0這種非單調(diào)性給門控帶來了更強(qiáng)的表達(dá)能力。3.3 SiTU-GLU門控激活的另一種形態(tài)SiTU-GLU 是 Kimi K3 相關(guān)討論中頻繁出現(xiàn)的一個(gè)詞。SiTU 通常被理解為 Sigmoid-Tanh Unit 的縮寫。雖然官方準(zhǔn)確公式還沒有完整公開但社區(qū)討論中較多提到的一種形式是[ SiTU(x) x \cdot \left( \frac{\sigma(x) \tanh(x)}{2} \right) ]也就是說把 sigmoid 和 tanh 兩種門控曲線做平均再與輸入相乘。sigmoid 的取值范圍是 0 到 1tanh 的取值范圍是 -1 到 1兩者結(jié)合后門控信號(hào)不再局限于 0~1而是可以輸出負(fù)值相當(dāng)于“允許信息反向調(diào)制”。把 SiTU 放進(jìn) GLU 結(jié)構(gòu)就得到 SiTU-GLU[ SiTU_GLU(x) (xW_1) \otimes SiTU(xW_2) ]注意這個(gè)推導(dǎo)是社區(qū)討論形式不等同于官方實(shí)現(xiàn)。對(duì)于學(xué)習(xí)來說重要的不是記住某個(gè)公式而是理解 SiTU-GLU 屬于“門控激活 線性變換”的家族。3.4 代碼實(shí)現(xiàn)PyTorch 版 SwiGLU / SiTU-GLU下面用 PyTorch 實(shí)現(xiàn) SwiGLU 和 SiTU-GLU。import torch import torch.nn as nn import torch.nn.functional as F class SwiGLU(nn.Module): SwiGLU 門控前饋層 輸入 x 會(huì)經(jīng)過兩條分支 - 分支1線性變換 w - 值分支 - 分支2線性變換 v SiLU - 門控分支 最后逐元素相乘。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): return self.w(x) * F.silu(self.v(x)) class SiTUGLU(nn.Module): SiTU-GLU 教學(xué)簡(jiǎn)化版 門控分支使用 (sigmoid tanh) / 2 作為門控信號(hào)。 這里只是社區(qū)討論形式的示例實(shí)際參數(shù)以官方為準(zhǔn)。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): gate_input self.v(x) gate (torch.sigmoid(gate_input) torch.tanh(gate_input)) / 2.0 return self.w(x) * gate # 測(cè)試示例 if __name__ __main__: torch.manual_seed(42) x torch.randn(4, 16, 128) # [batch, seq_len, d_model] swiglu SwiGLU(128, 256) situ_glu SiTUGLU(128, 256) out1 swiglu(x) out2 situ_glu(x) print(SwiGLU output:, out1.shape) # torch.Size([4, 16, 256]) print(SiTU-GLU output:, out2.shape) # torch.Size([4, 16, 256])這段代碼里最關(guān)鍵的一行是return self.w(x) * F.silu(self.v(x))它體現(xiàn)了 SwiGLU 的靈魂一個(gè)分支負(fù)責(zé)內(nèi)容變換另一個(gè)分支負(fù)責(zé)生成門控權(quán)重。4. Gated MLA門控多頭潛在注意力拆解4.1 先回顧 MLA 要解決的問題要理解 Gated MLA得先理解 MLAMulti-head Latent Attention多頭潛在注意力。MLA 最初由 DeepSeek-V2 引入核心動(dòng)機(jī)是降低 KV cache 的顯存占用。在標(biāo)準(zhǔn) MHAMulti-Head Attention中每個(gè)注意力頭都要緩存一份完整的 K 和 V推理時(shí)長(zhǎng)序列時(shí)顯存開銷非常大。MLA 的思路是先用一個(gè)低秩壓縮矩陣 (W_{DKV}) 把隱藏狀態(tài)壓縮成維度很小的 latent 向量。在注意力計(jì)算時(shí)再把這個(gè) latent 向量解壓回完整的 K、V 矩陣。這樣一來推理時(shí)只需要緩存低維的 latent 向量KV cache 的大小大幅降低。但這里有一個(gè)問題RoPE 位置編碼需要在 K 上疊加位置信息而低秩壓縮后的 latent 空間不方便直接做這個(gè)操作。DeepSeek-V2 的解法是“解耦 RoPE”把一部分維度拿出來單獨(dú)做位置編碼另一部分維度保持原本的低秩壓縮邏輯。4.2 Gate 加在哪里Gated MLA 可以理解成“在 MLA 的 latent 空間里插入一個(gè)門控分支”。Kimi K3 的公開討論中Gated MLA 的門控分支通常被認(rèn)為放在低秩壓縮之后、解壓之前或解壓過程中它的作用是對(duì) latent 向量的每個(gè)維度生成一個(gè) 0 到 1 之間的權(quán)重。用這個(gè)權(quán)重去調(diào)制 K、V 的信息強(qiáng)弱。為什么要這么做因?yàn)樵跇?biāo)準(zhǔn)注意力中所有 token 的 KV 信息都會(huì)被同等對(duì)待但真實(shí)場(chǎng)景并非如此。有些 token 的信息對(duì)當(dāng)前 query 是冗余的甚至是有干擾的有些 token 的 KV 信息則需要被放大。門控分支讓模型學(xué)會(huì)“按需放行”。這比直接用 attention score 調(diào)節(jié)更精細(xì)。attention score 調(diào)節(jié)的是“query 對(duì) key 的匹配程度”而 Gated MLA 調(diào)節(jié)的是“key/value 本身要保留多少信息”。4.3 可運(yùn)行的 SimplifiedGatedMLA 示例下面實(shí)現(xiàn)一個(gè)教學(xué)用的 Gated MLA 簡(jiǎn)化版本不包含完整的 RoPE 處理但保留低秩壓縮和門控分支兩個(gè)核心思想。import math import torch import torch.nn as nn import torch.nn.functional as F class SimplifiedGatedMLA(nn.Module): 簡(jiǎn)化版 Gated MLA 流程 1. 將輸入 x 壓縮為低維 latent 2. 從 latent 解壓出 K、V 3. 根據(jù) latent 生成門控權(quán)重調(diào)制 K、V 4. 與 Q 做標(biāo)準(zhǔn)縮放點(diǎn)積注意力。 def __init__(self, d_model, n_heads, latent_dim, head_dim): super().__init__() assert d_model n_heads * head_dim, d_model 需等于 n_heads * head_dim self.n_heads n_heads self.head_dim head_dim self.latent_dim latent_dim # 壓縮隱藏狀態(tài) - 低維 latent self.w_dkv nn.Linear(d_model, latent_dim, biasFalse) # 解壓latent - K、V self.w_uk nn.Linear(latent_dim, n_heads * head_dim, biasFalse) self.w_uv nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # Q 直接投影 self.w_q nn.Linear(d_model, n_heads * head_dim, biasFalse) # 門控分支從 latent 生成門控信號(hào) self.gate_proj nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # 輸出投影 self.w_o nn.Linear(n_heads * head_dim, d_model, biasFalse) def forward(self, x): B, T, D x.shape # 1. 低秩壓縮 latent self.w_dkv(x) # [B, T, latent_dim] # 2. 解壓得到 K、V k self.w_uk(latent) # [B, T, n_heads * head_dim] v self.w_uv(latent) # [B, T, n_heads * head_dim] # 3. 門控調(diào)制 gate torch.sigmoid(self.gate_proj(latent)) # [B, T, n_heads * head_dim] k k * gate v v * gate # 4. Query 投影 q self.w_q(x) # [B, T, n_heads * head_dim] # 5. 多頭拆分 def reshape_to_heads(t): return t.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) q reshape_to_heads(q) # [B, n_heads, T, head_dim] k reshape_to_heads(k) v reshape_to_heads(v) # 6. 縮放點(diǎn)積注意力 attn_scores (q k.transpose(-2, -1)) / math.sqrt(self.head_dim) attn_weights F.softmax(attn_scores, dim-1) out attn_weights v # [B, n_heads, T, head_dim] # 7. 合并多頭并輸出 out out.transpose(1, 2).reshape(B, T, -1) return self.w_o(out) # 運(yùn)行測(cè)試 if __name__ __main__: torch.manual_seed(0) model SimplifiedGatedMLA( d_model128, n_heads4, latent_dim64, head_dim32 ) x torch.randn(2, 10, 128) # [batch2, seq_len10, d_model128] y model(x) print(Gated MLA output:, y.shape) # torch.Size([2, 10, 128])這個(gè)簡(jiǎn)化實(shí)現(xiàn)有幾個(gè)可以繼續(xù)深挖的點(diǎn)實(shí)際 MLA 中解壓后的 K、V 會(huì)先拆分出“內(nèi)容部分”和“RoPE 部分”分別處理再拼接。門控分支可以加在 latent 上也可以加在解壓后的 K、V 上。不同位置效果不同。真實(shí)實(shí)現(xiàn)里 (Q) 也會(huì)做低秩投影這里為了可讀性直接使用完整 Q 投影。4.4 門控分支對(duì)推理成本的影響Gated MLA 的工程價(jià)值在于門控分支在 latent 空間計(jì)算維度通常遠(yuǎn)小于完整的 K/V 維度。以latent_dim64、n_heads * head_dim128為例門控分支需要的計(jì)算量大約是 K/V 解壓后做門控的 1/2。在大模型推理場(chǎng)景下這部分額外計(jì)算成本是可以接受的因?yàn)楣?jié)省的 KV cache 顯存遠(yuǎn)大于新增門控的算力開銷。5. KDA 的門控分支注意力路徑的信息分流5.1 KDA 的基本思路KDA 通常被理解為 Key-Decoupled Attention鍵解耦注意力。社區(qū)中關(guān)于 Kimi K3 KDA 的討論重點(diǎn)在于“把 key 路徑拆成多個(gè)分支”。標(biāo)準(zhǔn)注意力中每個(gè) token 只有一個(gè) key 向量它同時(shí)承擔(dān)內(nèi)容語義匹配和位置關(guān)系匹配兩個(gè)職責(zé)。這實(shí)際上是一個(gè)隱式的多任務(wù)耦合content matching 和 position matching 共享同一個(gè)向量模型很難獨(dú)立調(diào)節(jié)兩者的權(quán)重。KDA 的思路是把 key 拆開內(nèi)容分支負(fù)責(zé) token 本身的語義相關(guān)性。位置分支負(fù)責(zé) token 之間的相對(duì)位置關(guān)系。門控分支學(xué)習(xí)一個(gè)權(quán)重決定最終 attention score 在多大程度上依賴內(nèi)容分支、多大程度上依賴位置分支。5.2 門控分支如何參與融合假設(shè)我們有(q)query 向量(k_{content})內(nèi)容分支的 key(k_{position})位置分支的 key傳統(tǒng)做法可能是直接拼接或者相加[ score q \cdot (k_{content} k_{position}) ]KDA 門控分支的做法是學(xué)習(xí)一個(gè)門控參數(shù) (g)讓模型自動(dòng)決定兩種信息的占比[ score g \cdot (q \cdot k_{content}) (1 - g) \cdot (q \cdot k_{position}) ]當(dāng) (g) 接近 1 時(shí)注意力主要由內(nèi)容語義驅(qū)動(dòng)當(dāng) (g) 接近 0 時(shí)注意力主要由位置關(guān)系驅(qū)動(dòng)。這種門控的優(yōu)勢(shì)是讓模型在不同層、不同注意力頭之間形成分工。有的頭可能更偏向內(nèi)容匹配有的頭更偏向位置匹配門控機(jī)制讓這種分工變得顯式可學(xué)。5.3 偽代碼與實(shí)現(xiàn)思路下面給出一個(gè)教學(xué)級(jí)別的偽代碼展示 KDA 門控分支的數(shù)據(jù)流def kda_attention(q, k_content, k_position, v, gate_logits): 教學(xué)簡(jiǎn)化版 KDA 門控分支 gate_logits: [B, n_heads, T, 1] 或 [B, n_heads, T, T] 這里簡(jiǎn)化為每個(gè) token 一個(gè)門控權(quán)重。 score_content q k_content.transpose(-2, -1) score_position q k_position.transpose(-2, -1) # 門控權(quán)重在 0~1 之間 gate torch.sigmoid(gate_logits) # 信息融合 total_score gate * score_content (1 - gate) * score_position attn_weight F.softmax(total_score, dim-1) out attn_weight v return out, gate實(shí)際實(shí)現(xiàn)中g(shù)ate_logits可以由 query 生成也可以由 query 和 key 的交互生成。前者計(jì)算量更小后者表達(dá)能力更強(qiáng)具體怎么選是一個(gè)效率和效果的權(quán)衡。6. MoE 里的門控路由與專家內(nèi)部門控6.1 MoE 路由門控的本質(zhì)MoEMixture of Experts混合專家是當(dāng)前超大模型的主流架構(gòu)。一個(gè) MoE 層通常包含一個(gè)路由網(wǎng)絡(luò)router。若干專家網(wǎng)絡(luò)experts。路由網(wǎng)絡(luò)本質(zhì)上就是一個(gè)門控分類器輸入 token 的表示輸出每個(gè)專家的選擇概率。通常的做法是用線性層把 token 映射到專家數(shù)量維度的 logits。softmax 得到概率分布。top-k 選出得分最高的 k 個(gè)專家。對(duì)選中的概率做歸一化作為加權(quán)系數(shù)。路由門控的數(shù)學(xué)形式如下[ p_i \frac{\exp((x \cdot W_r)i)}{\sum{j1}^{N}\exp((x \cdot W_r)_j)} ]然后取 top-k得到最終組合權(quán)重。6.2 路由門控的負(fù)載均衡挑戰(zhàn)路由門控最經(jīng)典的問題是負(fù)載不均衡如果某個(gè)專家總被選中其他專家?guī)缀醪槐皇褂谜麄€(gè) MoE 層就退化成單專家模型稀疏性的收益全部消失。解決辦法是加輔助均衡損失。常見的做法是計(jì)算每個(gè)專家的平均路由概率。計(jì)算每個(gè)專家的平均被選中次數(shù)。讓兩個(gè)分布盡量接近。公式可以表達(dá)為[ L_{balance} \alpha \cdot N \cdot \sum_{i1}^{N} f_i \cdot p_i ]其中 (f_i) 是第 (i) 個(gè)專家被選中的頻率(p_i) 是路由平均概率(N) 是專家數(shù)量(\alpha) 是平衡系數(shù)。6.3 專家內(nèi)部門控SiTU-GLU 與 SwiGLU 的定位MoE 里的門控其實(shí)存在兩層第一層是路由門控決定“選擇誰”。第二層是專家內(nèi)部的前饋門控決定“信息怎么變換”。SwiGLU 和 SiTU-GLU 屬于第二層。專家網(wǎng)絡(luò)本質(zhì)上是一個(gè) FFN而 FFN 的內(nèi)部結(jié)構(gòu)正好可以用 GLU 系列激活函數(shù)來強(qiáng)化。所以一個(gè)典型的 MoE 專家可以寫成Expert(x) OutputProj( GateActivation(InputProj(x)) * ValueProj(x) )其中GateActivation可以是 SiLU對(duì)應(yīng) SwiGLU或 SiTU對(duì)應(yīng) SiTU-GLU。6.4 完整示例Top-K Router SwiGLU 專家下面把路由門控和 SwiGLU 專家組合成一個(gè)可運(yùn)行的簡(jiǎn)化 MoE 層。import torch import torch.nn as nn import torch.nn.functional as F class TopKRouter(nn.Module): 簡(jiǎn)化版 Top-K 路由器 輸入: [B, T, d_model] 輸出: top_idx: [B, T, top_k] 每個(gè) token 選中的專家編號(hào) top_probs: [B, T, top_k] 歸一化后的路由權(quán)重 def __init__(self, d_model, n_experts, top_k2): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) def forward(self, x): logits self.router(x) # [B, T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) # 對(duì)選中的概率重新歸一化 top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) return top_idx, top_probs class SimpleMoE(nn.Module): 簡(jiǎn)化版 MoE Layer 每個(gè)專家內(nèi)部使用 SwiGLU 風(fēng)格的前饋網(wǎng)絡(luò)。 def __init__(self, d_model, n_experts, top_k, hidden_dim): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) # 每個(gè)專家: 兩個(gè)線性層 SiLU 門控 self.experts nn.ModuleList([ nn.Sequential( SwiGLU(d_model, hidden_dim), nn.Linear(hidden_dim, d_model) ) for _ in range(n_experts) ]) def forward(self, x): B, T, D x.shape x_flat x.reshape(-1, D) # [B*T, D] # 路由 logits self.router(x_flat) # [B*T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) out torch.zeros_like(x_flat) # 逐專家計(jì)算貢獻(xiàn) for e, expert in enumerate(self.experts): # 哪些 token 選中了專家 e mask (top_idx e).any(dim-1) if not mask.any(): continue expert_out expert(x_flat[mask]) # 提取每個(gè) token 對(duì)專家 e 的權(quán)重 e_probs torch.where( top_idx[mask] e, top_probs[mask], torch.zeros_like(top_probs[mask]) ) weight e_probs.sum(dim-1, keepdimTrue) # [n_selected, 1] out[mask] expert_out * weight return out.view(B, T, D) # 測(cè)試 if __name__ __main__: torch.manual_seed(42) moe SimpleMoE( d_model128, n_experts8, top_k2, hidden_dim256 ) x torch.randn(2, 10, 128) y moe(x) print(MoE output:, y.shape) # torch.Size([2, 10, 128])如果你希望訓(xùn)練更穩(wěn)定可以把top_k換成可學(xué)習(xí)的 soft 門控權(quán)重但在稠密場(chǎng)景下 Top-K 的效果已經(jīng)足夠好。7. 常見誤區(qū)與排查清單門控相關(guān)概念多且相似下面整理幾個(gè)高頻誤區(qū)和排查思路。問題現(xiàn)象常見原因解決思路把 Gated MLA 理解成 MHA 后面加個(gè) sigmoidMLA 的核心是低秩 KV 壓縮門控是在 latent 空間調(diào)制 K/V先理解 MLA 的壓縮-解壓過程再看門控插入位置認(rèn)為 KDA 就是 GQAGQA 減少 KV 頭數(shù)量KDA 是把 key 路徑拆成多分支并用門控融合畫出 key 分支結(jié)構(gòu)對(duì)比把 SwiGLU 和 SiLU 當(dāng)成同一個(gè)東西SwiGLU 是門控線性單元SiLU 是激活函數(shù)二者不是同一層面SwiGLU 值分支 x SiLU(門控分支)訓(xùn)練 MoE 時(shí)某個(gè)專家始終不被選中路由初始化不當(dāng)或缺乏負(fù)載均衡損失調(diào)整 router 初始化加入 balance loss門控輸出經(jīng)常飽和梯度消失sigmoid 輸入絕對(duì)值過大檢查 gate_proj 的初始化或使用帶下界的門控變體推理時(shí)門控分支拖慢速度門控在完整 K/V 維度計(jì)算把門控放在 latent 維度或與 KV 解壓算子融合8. 工程實(shí)踐建議與學(xué)習(xí)路線8.1 架構(gòu)設(shè)計(jì)建議在實(shí)際設(shè)計(jì)或復(fù)現(xiàn)帶門控的 LLM 模塊時(shí)有幾點(diǎn)值得留意。首先門控分支的位置直接影響信息選擇效果。Gated MLA 中門控放在 latent 空間更高效但表達(dá)力可能不如放在解壓后的 K/V 空間如果顯存允許可以選擇在兩組位置同時(shí)加門控再用殘差連接做兜底。其次初始化很重要。sigmoid 在輸入為 0 時(shí)輸出 0.5如果門控權(quán)重初始化過大信號(hào)會(huì)接近飽和梯度難以流動(dòng)。實(shí)踐中可以讓gate_proj的輸出初始偏向 0 附近甚至給 bias 設(shè)置一個(gè)負(fù)初始值讓門控初始偏向“關(guān)閉”以穩(wěn)定早期訓(xùn)練。8.2 訓(xùn)練與推理注意事項(xiàng)訓(xùn)練階段要關(guān)注門控是否存在“退化成常數(shù)”的問題。如果訓(xùn)練后期門控輸出始終固定在某個(gè)值附近說明門控沒有學(xué)到有效的信息選擇邏輯可以檢查一下梯度或嘗試給門控分支添加正則。推理階段Gated MLA 和 KDA 門控分支的額外算子會(huì)帶來 kernel launch 開銷。真實(shí)部署時(shí)建議把gate_proj、w_uk、w_uv等線性層合并成一個(gè)大矩陣乘法減少訪存和 kernel 啟停次數(shù)。對(duì) MoE 來說路由門控的數(shù)值精度要留心。在低精度推理時(shí)router logits 的微小波動(dòng)可能導(dǎo)致 top-k 選擇結(jié)果變化進(jìn)而影響生成穩(wěn)定性。必要時(shí)用更高精度計(jì)算 router logits或者對(duì) router logits 做縮放防止 softmax 后概率過于集中。8.3 學(xué)習(xí)路線如果你想系統(tǒng)掌握門控機(jī)制可以按這個(gè)順序走從激活函數(shù)入手實(shí)現(xiàn)并對(duì)比 ReLU、GELU、SiLU、Mish。實(shí)現(xiàn) GLU 和 SwiGLU觀察門控分支對(duì)梯度流動(dòng)的影響。實(shí)現(xiàn)標(biāo)準(zhǔn) MHA再實(shí)現(xiàn) DeepSeek-V2 的 MLA最后加上門控分支。閱讀 LLaMA 系列和 Mistral 的代碼看 SwiGLU 在實(shí)際模型中如何落地。嘗試實(shí)現(xiàn)一個(gè)包含 router 和專家網(wǎng)絡(luò)的 MoE 層加入負(fù)載均衡 loss?;氐?Kimi K3 的公開架構(gòu)資料對(duì)照本文的模塊圖逐層印證。如果條件允許可以下載一個(gè)中等規(guī)模的開源 MoE 模型用推理框架觀察不同專家被激活的頻率配合日志分析路由門控的行為。這會(huì)比單純看論文更有體感。門控機(jī)制是理解現(xiàn)代大模型的一條重要線索。從 LSTM 的遺忘門到 SwiGLU 的門控前饋再到 Gated MLA 和 MoE 路由本質(zhì)上都在做同一件事讓模型自己學(xué)會(huì)信息該如何選擇、何時(shí)放行、以什么比例放行。建議你打開編輯器把文中的 SimplifiedGatedMLA 和 SimpleMoE 各跑一遍然后試著調(diào)整門控位置、初始化和 top-k 大小直觀感受這些改動(dòng)對(duì)訓(xùn)練和輸出的影響。動(dòng)手跑通之后再回去看 Kimi K3 的架構(gòu)分析會(huì)順手很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
青青草中文-久久青草精品一区二区三 | 91大神精品长腿在线观看网站| 思思久热在线精品66| 立川理惠无码一区二区| 日韩精品9999| 人妻无一区二区三区| 欧美精品999| 国产精品久久久视频| 久久久久女教师免费一区| 成 人片 黄色大片| 亚洲999综合| 欧美激情视频在线一区| 九九久久国产精品| 欧美黄色大片在线观看 | 蜜乳视频网站| 2025亚洲男人天堂| 欧美人体性爱互联网第一页婷婷日本| 91久久久久久久久久久| 国产成人精品必看 | av最新免费中文字幕| 人妻在线臀日韩| 加勒比综合88| 不卡九肏| 极品尤物自安慰| 热久日综合| 99婷婷一区二区| 丁香五月天婷婷姐| 最新亚洲黄色免费电影 | 超碰91在线| 999熟女精品| 韩国午夜理伦三级好看| 99日免费视频中文字幕| 熟女突然公开看18禁影片| 久久一区二区加油站| 国产理论视频在线播放| 国产传媒一区二区三区| 黑丝少妇麻豆| 久久九九综合| 91高潮| www99热| 日本性感人妻91| 中国黑人三级片网站上区| 秋霞成人做爱| yazhouzaixian| 免费看日本操逼视频| 欧美姓爱综合网| 柠檬AV导航| 91精品国产一区三一| 97干色天堂| 99在线免费公开视频| 国产丝袜一区二区三区| 最新欧洲欧美日本激情网站| 国产老太乱伦一区| 亚洲欧美国产中文字幕| 欧日a| 精品无码一区二区三区色欲| AV99热18这里只有精品| 日韩中文字幕二区| 色五天伊人| 中文字幕乱偷人妻久久艾草网| 91久久99久久91熟女精品| 啊啊啊啊啊在线| 日韩图区| 日韩av女优在线免费一区| 国产日韩精品suv| 加勒比性爱成人在线| 亚洲精品a人片在线观看视| 国内一级精品| 久久日本熟女精品一区| 色青青久久影视| 老司机午夜精品视频| 欧美日韩精品国产91| 五月丁香成人网| 92性色国产午夜福利在线661| 久久夜夜夜| 丁香五月电影| 91成人精品在线播放| 久久久555| 日韩 成人 有码| 思思热在线| 蜜乳Av成人片网站| 性色亚洲| 欧美色青| 美女91网址| 国产精品suv一区| 91色综| 国产91久久九九免费精品无码| 精品国产乱码久久久久久蜜臀| 久久美国毛片| 中美日韩毛片| 99999久久久久9国产精品| 国产女人操逼视频| 乱伦3P视频| 国产色综合亚洲色综合吹潮| 草草草草视频| 97日韩超碰超碰中文字幕| 久久骚| 亚洲大色堂| 91色艳| 伊人久久88国产女| 3571色综合一区二区二区| AV无码久久久精品| 欧美日韩国产中文精品字幕自在自线 | 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 99精品综合久久久久五月天| 天天躁狠狠躁av| 少妇一区二区三区在线观看| www四虎| 极品色社| 混色激情av| 99精品无码| 久精品无码av一区二免费国产在线观看| 久久久精品中文字幕爱豆| 97这里只有精品| 在线天堂资源亚洲| 久久久久久久唑| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 青草伊人网| 怡红院网站在线视频| 福利天堂| 少妇久久久免费| 亚洲欧美综合网站| 麻豆视频一区二区| 蜜桃狠狠色伊人亚洲综合网站| 久久老女人| 一起草视频在线| 黄页| 人妻无一区二区三区| 男女日B国产| 欧美色青| 亚洲欧美日韩二区视频| 午夜欧美女人操逼| 久久亚洲av成人无码国产| 操逼网站地址| 亚洲欧美精品一区天堂久久 | 日本精品一区二区中文字幕| 热天堂一区二区| 亚洲成人精品久久久| 久久人人妻| 中文字幕人妻色偷偷久久皮| 97热视频在线观看| 夜夜爽夜夜操| 自拍偷拍国产欧美日韩韩| 日韩操p| 变态乱伦伪娘灌肠一区二区| 黄色小视频日本txt| 亚洲欧美国产其他二区| 九九九九九九九精品视频| 精品人妻一区二区三区-国产精品 一个人在线看的黄色电影网站 | 日韩欧美tv一区二区在线观看| 精品一区二区成人| 黄页18禁| 超碰97欧美日韩| 国产精品农村妇女| 久久久久久久久久久免费精品| 性色av网站| 另类图片五月| 成人无码欧美一级A片狼牙直播| 久久久96| 婷婷AV一区二区三区| 久久久久久人妻| 大香蕉综合| 欧美性五月| 91大香蕉伊人| 涩综合导航| 国产精品自产拍在线观看社区| 97久久久久久久精| 午夜传煤十二区精品| 日本操逼aaaaa| 婷婷激情四射| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 超碰97综合网| a片在线播放| 无码自拍SM| 亚州乱码中文字幕综合久久久| 青草影院内射高潮| 亚洲欧洲中文日韩女优乱码| 亚洲精品成人激情在线| 亚洲污污网站| 岛园激情| 91精品国产乱码| 久久国产逼| 夜夜一区二区| 97视频在线播放| 日韩欧美国产高清视频| 后入内射蜜桃臀| 天天舔日美女视频| 亚洲色欲天天人妻无码系列专区| 久久久99999久网站| 国产深夜福利| 97干在线| 热99这里有精品综合久久 | 黄色成人网久久久久久| 91欧美| 久久久久久少妇| 精品人妻1区| 亚洲色图91欧美日韩| 丝袜美腿91| jizzjizz欧美| 韩国毛片一区二区三区| 国产一区二区a毛片| 色综合一区二区三巨| 久久久久久久久9| 国产91精品福利在线| 亚洲综合在线高清| 亚洲天天操| 99热啪啪| 天堂亚洲精品| 日韩草久视频| 看免费的黄片| 超碰人妻中文在线| 久久av成人无码免费| 91爱看| 97人人夜夜精品视频| 一本大道综合伊人精品热热| 一本色道久久天天射天天干| 九九九久久久久| 99re免费| 亚洲第91页 | 国产日韩久久| 天天干天天日天天射黄色大片| dy888午夜老子影视达达兔| 免费看污网站| 亚洲色图尤物视频 | 欧美久久九九| 家庭乱伦网站国产| 综合网亚洲在线| 久久伊人大香蕉| 啊啊啊慢点| 人妻久热在线| 亚洲欧美综合区自拍另类| 啊啊啊啊,啊啊好多水| 亚洲中文字幕三级在线| 高清有码一区二区| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 91少妇香蕉久久精品| 色情乱伦AV| 婷婷久久久精品| 97色婷婷| 日本高清免费一本视频在线观看| 亚洲日韩熟女人妻高清在线| 亚欧性爱在线无码| 久久精品人人做人人看| 人妻大香蕉| 91丝袜美女| 天天看天天在线精品| 99少妇| 熟妇高潮一区二区免费视频| 99色热国产视频精品| 亚洲在线A| 九九精品美女高溯喷水| xxx0国产在线播放| 国产一区二区在线播放| 激情情色五月天| 欧美男女午夜啪啪| 激情啪啪拍91| 久久久一区二区三区三州| 骚货 中文字幕 av| 亚洲熟妇图片| 91久久精品国产| 国产51色综合久久免费| 9久在线视频只有精品| 热热色色综合| 亚州人妻| 国产白领连续中出在线观看| 激情小说五月天| 国产黄色影片在线观看| 天天操妹子| 麻豆 亚洲 97| 一区二区三区四区五区高清无码永久视频| 久久久久亚洲Aⅴ无码| 立川理惠被中出无码| 精品一区二区久久| 久久日本熟女精品一区| 五月丁香六月婷| 无码乱人伦中文视频| 97免费在线视频| 婷婷九月丁香| 亚州色图片在线色| 91九九九小逼| 大香蕉手机在线视频| 牛牛aV| AV一区观看| 亚洲图片激情小说| 免费视频观看60秒| 加勒比无码毛片| 中文乱码99| 91N欧美| 久久人人爽人人爽人人片Ⅴ| 99热只有这里有精品| 欧美性爱第一区| 91中出| 亚洲 欧美 色图| 在线 欧美 亚洲| 色www精品视频在线观看| 国产传媒一区日韩| 嗯嗯,啊啊,国产精品| 亚欧精品久久久久久久久久久| 手机在线人成免费视频| 岛国片在线观看视频亚洲| 韩国一级AAA| 国产一区二区啪啪视频| 国产家庭乱伦性爱视频| 欧美性爱综合,免费| 久久久久亚洲Av无码专区老牛影视 | 国产日本久久免费精品| 午夜影美女日鸡鸡天天视频国产| 影音先锋视频在线| 色综91| 精品九九九| 青草一区二区| 香蕉人欧美综合| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 嗯嗯啊啊操我| 97精品网| 翔田千里无码一区| 国产精品久久99日日| 成人a级高清视频在线观看| 亚洲国产欧美一区二区潘金莲| yaouchengrenav| 一起草视频在线| 蜜臀99久久国产| 射综合网| 欧美一区二区福利在线| 免费簧片在线观看| 免费观看欧美日韩操逼视频| 一本道综合色图| 久草资源在线视频官方总站日韩丝袜美腿| 丰满人妻-区二区三区免费| 亚洲aw毛茸茸在线| 欧美97视频| 久久久久幕乱码| 夜夜嗨一区| 超清中文乱码字幕| 亚洲囯产精品女人久久久| 激情久久av一区av二区av| 婷婷伊人綜合中文字幕小说| 人妻AV 中文字幕的| 天天干2019| 黄日韩| 亚洲AV无码久久精品蜜桃小说| 锕锕好爽 死我在线观看| 高清无码91| 国产强奸乱伦无码视频| 日韩AV熟女乱伦| 青娱乐亚洲热| 欧中美三级一区二区三区| 亚洲91在线| 国产精品亚洲无码| 99无码精品| wwe 天天干.com| 日韩特一级久久| 夜夜高潮夜夜爽国产伦精品| 欧美在线官网| 香蕉国产97| 探花精品视频| 手机不卡视频不卡在线一二三区| 人妻美腿丝袜日韩| 日韩欧美操逼xxx| 国产91久久九九免费精品无码| 天天欧美色| 四虎免费视频| 人人操人人摸人人看人人干| 曰韩欧美国产传媒麻豆第一区| 伦在线97| 精品综合久久久久久五月天| 超碰人妻在线| 视频在线中文字幕| 国产传媒午夜理伦精品| 日本三级大片| 激情婷婷黑人91| 黑人美精品 A片| 国产精品一二三免费网站| 久久久专区| 国产综合日韩伦理| 亚洲情色婷婷五月天| 插插综合网天天影视网| 精品人妻中文字幕4399| 人妻精品综合中文字幕在线 | 操淫穴亚洲五月丁香| 日本布卡一区二三区| 久久久久久久伊人精品| 天天日日本| 亚洲天天更新| 欧美综合97www| 久久久亚洲熟妇资源| 99在线无码精品秘 入口黑人| 禁止观看美女黄| 日韩天天综合| 色墦五月丁香| 快灬快灬 一下爽蜜桃在线观看| 黄色小视频日本txt| 黄呦呦在线| 亚洲欧洲自拍图片专区满春格| 丝袜熟女2P| 一区二区三区四区理论片| 日操粉逼逼| 亚洲熟女偷拍在线观看| 欧美性爱1080p| 久久国模av| 黄色AAAAAAAAAAA大片| 综合网亚| 国产性爱在线视频一区二区| 国产欧美美女免费观看视频| TS人妖另类精品视频系列| 综合影院亚洲| 成人免费性爱视视| 91在线|亚| 91综合网| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 蜜臀久久99精品久久久| 久热色情精品| 午夜视频久久久久一区| 天天看特黄的免费网站| 国产精品麻豆免费视频| 在线亚洲丝袜视频网站| 亚洲国产成人福利在线观看| 亚洲脚交| 夜夜嗨AV一区天天| 一本色道综合久久欧美| 超碰97久久国| 亚洲欧美经典一区二区| 热热色91| 亚洲综合一| 免费看一级a性色生活片久久无| 国产精品另类一区大香蕉| 操人无码| 国产乱伦亚洲色图高清无码| 大香蕉日韩欧美| 五月丁香成人网| 影音先锋每日最新资源在线观看| 99色婷婷中文字幕乱色| 精品性爱无码在线播放| 91丝袜美女视频| 欧美性后入| 亚洲AV无码AV吞精久久久久| 综合五月天| 激情综合五月天| 女性喷水高潮在线观看| 久久精品日韩专区免费观看| 又黄又爽在线观看视频| 欧美激情另类一区二区| 亚洲色阁| 亚洲在线A| 狠狠色婷婷777| 9国产超碰| 乱码人妻一区二区三区| www超碰| 八戒无码国产午夜福利| 老熟女综合| 欧美日动态视频| 东京热亚洲一区二区| 欧美中文字幕日韩在线| 欧美一级在线观看成人| 国产精品69久久久久孕妇欧美| 校园春色 男人天堂| 国产成人亚洲精品无码古代早漏男| 欧美激情 亚洲色图| 欧洲精品一区二区三区| 78综合网| 五月开心网| 性色av网站| 欧美日韩另类激情图片| 欧美暴力猛交| 思思热在线观看| 91视频伊人| 吊色| 亚洲青色欧美| 四虎AV在线观看| 日韩福利综合一区| 加勒比综合| 久久亚洲一区女同性恋中文字幕| 成人十八禁日韩欧美一二三| 久久精品亚洲婷婷| 午夜丁香婷婷| 91在线无码精品秘 软件| 99久久久无码精品国产人| 欧美亚洲| 黄片www视频免费| 97天天| 91操熟妇| 人人妻天天做天天爽| 中文幕97| 丰满少妇高潮无码| 久久鲁夜| #NAME?| 玖玖视频在线资源一区二区三区| 99热超碰在线| 日本岛国黄色网址| 亚洲性爱无码乱伦av| 老司机射| 黑人无码一区二区| 天天色综亚洲91污| 黄色av片三级三级三级免费看| 国产辣妈在线视频福利| 人人操人人爽人人操人人| 国产免费一区2区3区| 久久精品国产久精国产| 久久九九精品一区二区 | 精品亚洲国产成人AV制服丝袜| 国产女人操逼视频| 欧美日韩操操操| 性爱免费视频成人| 天堂无码精品国产久| 国产乱伦亚洲色图高清无码| 曰韩精品视频一区二区| 国内毛片国产专区二| 一区二区三区黄片免费观看| 日本在线视频导航| 多乙久久久久久| 一区二区三区精品视频| 国产动漫操逼视频| 色婷婷影视| 国精品一区二区三| 大香蕉伊在线久草麻豆天堂故事| 东京热av男人的天堂| 九一精品牛牛一区二区| 少妇高潮喷水无套久久久久久| 亚洲AV色图一区| 偷拍盗拍亚洲色图图片| 精品福利| 国产综合网站在线播放 | 国产9 9在线 | 亚洲| 亚洲精品一二区| 婷婷伊人网| 淫淫总合网| 日韩精品人妻中文字有码在线| 伊人四虎综合| 99中文字幕| 伊人天天久久动态图| 白丝AV| 免费无码国产精品v片在线观看| 亚洲欧洲日本精品中文a∨| 久久这里是精品| 91粉嫩萝控精品福利网站_精品影音先锋国 | 91在线页| 色女99一级片在线观看| 色九九综合AV| 69精品| 国产人妖视频一区在线观看| 日韩女模中文造逼| 国产13区| 久久这里只| 五月丁香黄色网| 免费一级欧美片片线观看| 天堂资源欧美| 色综九九九一区| 无码一区二区精品视频久久久春药| 亚洲天堂人妻熟妇视频| 加勒比无码一区二区三区| 欧美人妻中出| 蜜桃天美传媒AV一区二区三区| a片自拍直播视频| 青青草天天亲夜夜操网| 伊人国产视频| 国产自制av蜜乳| 强奸乱伦αv片| 禁十八久久| 欧美 亚洲| 国产高潮AA片免费看| 91精品人妻一区二区三区蜜桃臀| aV中文麻| 破苞ⅩXXX性无码动漫无码| 青青草视频爽一爽| 久久 精品| 亚州操逼图| 久久精品国产99国产精品亚洲| 91无码人妻精品一区二区三区蜜桃 | 色99色| 精品一区99999| 日韩无码三级影院| 亚洲黄日韩无码专区| 97超碰久久| 99超级碰免费视频| 精品少妇一区二区三区| 日韩国产欧美伦理在线| 国产有码一区| 日韩亚洲欧美中文字幕| 久久综合18p| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 免费的很黄很污的全部视频| 啊啊好多水| 国产精品一区二区手机看片| 久久久久久久 九九九九九九九| 中文字幕午夜精品久久久| 26uuu偷拍亚洲欧洲综合| 超碰精品| 日韩精品在线视频在线观看| 麻豆区99999| 97天堂| 超碰超碰95| 精品传媒在线一区| 青青国产精品在线| 91香蕉国产尤物视频| 五月丁香啪啪啪| 久久久久久久久一区二区三区| 91精品综合久久久久久五月丁香| 大香蕉2017| 婷婷五月天色| 亚洲 暴爽 AV人人爽日日碰| 亚洲熟妇图片| 欧美精品23| 91女神在线视频| 日韩成人私密一级精品av| 好爽,再快点啊哈嗯嗯嗯嗯| 亚洲精品少妇| 欧美熟妇乱码在线一区| 亚洲天堂中文字| 天天看天天综合成人网| 91性高朝久久久久久久久| 二三四区精品| 91小视频| 搡老女人老91妇女熟女| www久久99| 亚洲男人天堂手机版| 蜜桃久久综合视频| 久久亚州精品成人Av无| 日韩在线人妻网站| 天天躁日日躁xxxxx| 国产女主播视频在线观看| 亚洲精品乱码久久久久久蜜桃麻豆| 日韩中文9| 婷婷五月天av| 精品国产91内射久久| 亚洲欧美日韩电影网站一区| 丁香六月啪啪| 国产家庭乱伦性爱视频| 老熟乱一区二区三区四区| 天天综合网国产| 国产一级内射无挡观看| 九九九成人| 岛国人妻少妇av在线观看| 成年人性爱日韩| 色香av| 欧美中字不卡| 中文字暮97| 综合久久六月久久婷婷| 亚洲色婷婷久久91| 97操综合| 神马午夜久久久| 无套内射性感少妇视频| 国产一国产一级毛片古装| 国产热av| 美女高潮视频91| 亚洲蜜桃V妇女| 欧美日韩国产成人高清| 老熟女综合网| 久久9亚洲| 99色综合| 日韩综合成人免费视频| 四虎AV在线播放| 青青草成人视频在线观看二区| 色九月婷婷| 久久人人舔人人爽舔人人av片| 东京热天堂网| 女人香蕉久久毛毛片精品| 丰满少妇一区二区三区四区观看| 亚洲精品aa久久伊人| 1级黄色夫妻对换性交免费看| 免费一二区| 69久久| 美女上床网站| 99热日| 婷婷五月天久久精品视频一区二区三区 | 91精品少妇搡搡搡| 青青草色情网站视频| 久热伊人99re| 日韩人妻大香蕉| 色色激情五月天| 八人操人人摸人人看| 无码一区免费在线不卡| 99色热| 久久精品一区一起草| 狠综合网| 久草男人天堂| 91精产一区二区三区| 亚洲射综合网| 99操| 综合97亚洲| 天天碰操中国年青熟妇| 亚洲日韩av一区二区三区百合| 九九Av| 加勒比久久综合网高清| 无码外流操逼视频| 精品九九国产无码| 性爱边摸边日免费AV| 极品欧美一区二区三区| 日韩极品无码B| 91精品无码久久久久久久| 五十路熟女人妻一区二区三区四区五| 极品色电影院| 97干在线视频| 精品一区二区三区丰满熟女-亚洲欧美一区| 亚洲美腿丝袜香蕉影视欧美成人| 丝袜视频网国产90| 亚洲第一视频 欧美风情 日韩| 久久精品国产97欧美精品亚洲| 男人的天堂三级| 国产一区二区精品在线视频| 国产熟女自拍| 中文字幕一区二区三区四五区| 热的中文 热的有码 热的国产| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 少妇久久久久久久| 无码精品久久| 人人弄人人摸| 国产Aα| 人人看人人摸人人色| 欧美日韩91| 久久精品欧美一区蜜桃| 中文字幕一区二区三区人妻少妇在线| 中文97国产| 精品96久久| 欧美特黄视频网站| 欧美综合天堂| 加勒比伊人| 久久青青草原免费视频| 成人午夜小视频手机在线看| 狠狠中文字幕| 激情五月丁香五月| 久久久久久性爱视频| 久久久久久久六六 | 成人综合网 欧美| 97久久国产亚洲精品超碰热| 操逼无毒无码免费视频| 97久久久久| 吖在线不卡一区二区国产剧情| 大色综合网| 丁香五月综合| 人人搡人人肉久久精品| 久久久久久99999国产精品| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 大香蕉 222| 热久久无毒不卡| 国产精品网址| 午夜福利视频在线一区| 欧美成人精品一区二区三区| 麻豆国产原创AV色哟哟| 熟妇无码视频三区| 人人么人人操| 日本国产成人亚洲精品无码| 欧美在线官网| 人妻少妇久久中文| 亚洲精品自拍| 午夜丁香| 中文久久96| jizz啪啪| 97干在线| 欧亚揄拍偷拍精品视频| 人妻丝袜美腿中文字幕| 免费综合亚洲中文| 秋霞男人网| 九九热只有精品| 亚洲精品无码久久AV| 亚洲 日韩 欧美 国产综合体| 青青操视频在线| 久久黄片国产一区二区| 色九九综合| 91欧美性| 波多野结衣被操50分钟免费视频| 国产日本熟女顶级一区二区三区视频| 97欧美久久久久久久| 欧美日韩在线视频网站| 日本超碰在线国产一区| 伊人久久亚洲色欲综合网站| 热思思免费视频| 精品久久視頻在线| 99视频自拍区| 青椒国产97在线熟女| 欧美第38页| 天天噜| 色播五月丁香| 丁香婷婷激情五月天无毒不卡| 91精品人妻一区二区三区蜜臀| 亚洲最大的综合性av| 亚洲美欧999| 在线αⅴ| 日本999精品视频| 91视频综合网| 精品视频久久久久九九九九9999| 深喉吞精| 综合色图区| 夜夜操夜夜高潮夜夜爽国产精品区| 7777奇米影视久久| 国产成人AV麻豆| 免费视频在线一区二区不卡| 婷婷色一区| 91天天| 婷婷天堂站| 日韩 女同 综合| 超碰在线香蕉| 亚洲天堂日本| 亚洲无吗在线视频| 好舒服视频| 12一15性XXXX粉嫩国产| 久久国产精品91| 夜夜躁狠狠躁日日躁av| 粉嫩不卡一区二区性爱| 亚洲。天堂。日本在线观看| 欧美aaaaaaa| 91爱欧美| 天天色,天天干,天天干| 欧美色图下一页| 6080YYY午夜理论片在线观看| 精品国产91久久久久久一区黄无| 日韩综合成人免费视频| 97超碰人操| 亚洲午夜福利在线影院| 99999亚洲另类| 丁香五月激情婷婷| 色九久| 久久亚州高清| 在线观看免费视频国产| 夜夜国自区| 色五月网址| 91网站18| 久久99精品国产| V A在线| 青青草白白色| 国产在线视视频有精品| 日本欧美不卡| 精品无码久久久| 蜜乳AV一区| 日韩欧美~中文字| 日本天天人人狠狠在线日美女 | 欧美激色| 啊啊啊啊嗯嗯嗯用力好爽| 92性色国产午夜福利在线661| 日本一天色道久久久精品视频| 97任你吞精| 夜夜爽夜夜操| 久操在97| 色99视频| 人人操人人插 - 百度 - 百度| 97视频新免费| 五月婷婷六月丁香| 飘花国产午夜精品不卡| 国产精品另类一区大香蕉| 啊啊啊好湿国产一二| 欧美一级黄片视频在线| 91精品人妻一品二品三品| 日韩紧密久久| 乱伦系列一区二区| 蜜臀久久99精品久久久久| 操操操操操操| 亚洲男人的天堂亚洲| 国产成人亚洲精品无码最新在线| 超碰精品人妻狠狠干| 丰满人妻一区二区三区在线| 色综合久| 精品久久久久久AV无码| 一本色道人妻久久| 裸体女人草逼视频播放一区,二区,三区,四区,五区| 东北丰满熟女国产一区| 97资源亚洲| 亚洲精品蜜桃久久久久久久| 色哟哟国产精品免费网址| 成人免费福利在线观看| 久久精品国产精品一区 | 久久久久9999妇女| 亚洲.欧美.丝袜.中文.综合| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 日本精品加勒比海一区| laoshunv91| 日韩在线视频1234| 日韩操p| 丝袜美女诱惑 91 视频| 五月丁香啪| 国产偷拍自拍在线视频| 国产福利电影| 一区二区三| 黄页网站成人免费| 淫乱图区| 嗯~啊~快点 死我视频| 国产农村一一级特黄毛片| 亚欧免费| 国产精品国产亚洲区艳妇糸列| 久久9999| 天天色踪合| 美女在线H91| 久久久久日本视| 欧美亚涩| 久热伊人| 久久女婷| 天天摸,夜夜摸| 色官网色综合| 黄色人人| 尤物黄色在线观看网站| 99国产在线 精品 视频| 岛国网址国产| 三男一女不戴套的A片| 亚洲成人贴图| 精品九九九九九| 丰满人妻aA一区二区三区| 色综合加勒比| 亚洲色人| 日本中文字幕不卡视频| 综合影院永久入口国产| 欧美成年人性爱视频免费观看| 97超碰中文在线| 91超碰在线| 青娱乐国产剧情av一区| 妇女性内射冈站HDWWWCOM| 亚洲成人激情小说视频| 精品无码久久久久久久久果冻糖心| 狠狠爱综合网| 亚洲日韩在线a不卡99精品| 91亚洲高清| 欧美18 在线观看| 中国国产精品一区视频| 久久久久久亚洲中文| 少妇一区二区三区高速| 日韩人妻中文视频| 亚洲最大网站av| 日本大片日本一区二区免费高清| 久久国产视频性吧| 少妇免费视频| 粉嫩AV一区夜夜嗨| 亚洲精品97久久中文字幕| 亚洲天堂久| 日本506070| 日韩精品在线放| 国产精品久久久久无码A√| 2017av无码免费无线播| 亚洲无线码欧洲精品区别| 美国一区二区三区视频| 伊人五月天| 开心五月婷婷| 亚洲熟女乱色| 美女让帅哥通她小鸡鸡| 国产精品天堂| 成人26uuu| 国产第25页在线观看| 噜噜在线| 日本加靬比网站发布页| 日本精品九九九| 久久久啊啊啊| 人妻少妇精品久久久久久久| 26uuu偷拍亚洲欧洲综合| 国内精品久久久久影院亚洲| 99色在线视频| 青青草久久一区网| 日本布卡一区二三区| 亚洲AV成人无码一二三久久| 色嗨嗨在线| 又粗又长又爽在线观看| 国产无码精品无码| 干婷婷综合网| 91九色丨国产丨爆乳| 黑人精品久久97| 嗯嗯啊啊好爽| 国产三级中文有码在线视频| 色综合一区二区三巨| 蜜色网色哟哟| 97精品在线| 黑人免费福利视频| 婷婷激情综合网| 青青青艹在线视频| 日韩超碰97| 玖玖玖玖精品国产剧情| 免费农村成人少妇人妻Aa一区二区视频| 神马久久69| 2017天天插| 亚洲一区二区三区AV无码 | 蜜乳AV一区| 久久人妻视频网| 试看60秒| 天天日天天搞天天干| 色精品极品| 1二区9| 91综合网站| 乱伦熟女区| 少妇人妻激情四射| 久久久久亚洲熟妇熟女| 一级免费啪啪片| 小草av不卡亚洲二区 | 久久午夜神马| 香蕉久久AⅤ...| 久九干| 久久九色| 99热9| 在线 欧美 亚洲| 国产中文字幕在线点播| 91女网站| 69麻豆天美| 精品国产久热在线观看| 人人色人人射人人妻| 91亚洲黄色网| 玖玖资源综合在线视频| 久久九精品| 日本免费专区| 欧美久久久15P| 亚洲一区在线观看欧洲| 美女露胸露奶头| 久久婷婷苹果| 欧亚性爱啪啪| 国产视频大全| 婷婷激情五月天小说网| 久久久久久久久久黄色网| 极品综合| 在线观看一卡二卡| 久久久91| 97超碰美国| 国产福利合集| 熟妇最新先锋一二三区| 欧美激情内射| 啊啊啊好爽快点啊啊啊嗯嗯| 青草精品视频日本久久久久网站在线| 久久久国产三级黄色片| 99re这里只有精品2| 国产精品亚洲一区二区三区四区| 91痴汉| 色情综合| 夜夜爽夜夜爽| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 艹少妇网站| 中日韩久久久免费看| 国产精品久久久久av| 东京热伊久| 夜夜肏2021| 校园春色五月天| 久久久久久性爱片| 国产午夜在线观看视频| 97超碰中文| 国产欧美一区激情交| 欧美色图欧美| 色女网日韩| 日韩欧美tv一区二区在线观看| 欧美日韩亚洲国产中文永久天天看| 日本性爱少妇| 密臀在线视频| 江都AV在线| 日韩无码a片| 中文字幕乱妇免费视频| 富二代亚洲精品99| 欧美午夜视频免费观看| 98福利在线视频| 天天爽天天| 激情 欧美 亚洲 小说| 土豪酒店各种姿势玩弄极品幼稚| heyZO天然素人无码AⅤ专区| 欧美日韩中国x| 天美传媒国产原创中文字幕亚洲欧美另类 | 在线五区| 大鸡巴久久久| 熟妇xxxxx性春色| 97精品久久久久中文字幕| 日本色婷婷| 乱伦一二三区| 久草电影网| 日韩人妻精品久久久久| 国产传媒午夜理伦精品| 久久久久久久久9| 一区二区精品更新提醒| 国产中文字幕曰本毛片| 久久后入制服| 色女综合| 亚洲激情在线| 中字幕人妻一区二区三区| 四虎影视国产精品| 天色综合网| 久久久久国产一区二| 亚洲日韩人妻中文字幕一区| 青青青草原| 97色涩| 99热精品在线播放| 五月天婷婷在线看| 欧色网址| 午夜精品人妻二区三区| 殴美牲| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 深夜福利黄片| 狠狠爱夜夜干| 自拍欧美| 精品四五区| av天堂5| 亚洲精品官网在线观看| 色欲天天综合久久久无码网中文| 新精精品久久精品| 欧美少妇第一页| 校园春色综合| 丁香五月性| 日韩欧美aⅴ综合网站发布| 大香蕉中文在线| 我爱操| 精品综合久久久久久97| 色鬼在线综合| 欧美|91色综合| 婷婷99狠狠躁天天躁| 欧美精品,四区。五区| 26uuu久久| 亚洲天堂情色| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 91精品人妻电影| 中文字幕第9页萱萱影音先锋| 欧美性爱一区二区三区| 99久久9| 欧美性区| 日本欧美国内在线| 亚洲第一狼人丝袜美女另类| 大象AV在线| 午夜福利 成人 91| 日韩在线97| 久久天天躁日日躁狠狠躁 | 在线观看日韩av不卡| 日本 色 导航| 日韩三级在线观看网站| www亚洲欧美| 青青草好吊色| 欧美色图第一页| 99re99| 99少妇| 安微少妇操BBB| 欧美色日| 精品中文日韩字幕视频| 91久久堂| 亚洲大胆人体av| 国产精品青青草| 亚洲伊人久久精品狠狠在线| 少妇毛片久久| 亚洲综合在线高清| 大吊色| 久久熟女久| 日日夜夜模| 99色婷婷中文字幕乱色| 亚洲人91| 人澡逼| 亚洲欧美清纯| 亚洲影院成人| 欧州一区二区三区四区| 亚洲欧美在线观看无码| 日韩色欲久久一二三四区| 狠狠色噜噜狠狠狠狠狠色综合久久| 日韩一级特黄av毛片| 欧美日韩性爱操大逼| 国产一区二区视频在线播放| www.婷婷| 97精品国产97久久久久久| 色女综合| 国产久久久久影院老熟女| 另类图片五月天| 人妻熟妇一区二区三区| 亚洲Av诱惑| 国产精品不卡一区二区三区av| 一个国产在线综合网站| 亚洲成人美女无吗| www狠狠| 五月天婷婷成人网| 天天干天天日天天射黄色大片 | 欧美性天天影视| 精品乱子一区二区三区99| 亚洲人91| 老鸭窝在线视频播放| 欧美天天弄| 无码丰满熟妇一区二区浪潮AV| 日欧操屄视频| 麻豆这里只有精品| 美女尤物福利视频| 综合视频91| 97欧美精品|