日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案

MLoRA多任務(wù)微調(diào)實(shí)戰(zhàn):從LoRA權(quán)重混亂到共享低秩頭的高效方案 1. 我為什么最后選了 MLoRA從一份亂到崩潰的任務(wù)權(quán)重開(kāi)始先交代一下背景。上個(gè)月做一個(gè)多領(lǐng)域大模型微調(diào)項(xiàng)目模型底座固定下游要同時(shí)支持客服意圖識(shí)別、合同關(guān)鍵信息抽取、摘要生成和三版風(fēng)格不同的企業(yè)話術(shù)生成。當(dāng)時(shí)圖省事直接給每個(gè)任務(wù)單獨(dú)訓(xùn)了一套 LoRA然后通過(guò)簡(jiǎn)單的 route 層在推理時(shí)切換。任務(wù)少的時(shí)候沒(méi)問(wèn)題任務(wù)一多就露餡了不同 LoRA 之間其實(shí)共享了大量公共知識(shí)但每套權(quán)重都把完整的底座語(yǔ)義空間復(fù)制了一遍6 個(gè)任務(wù)跑完光 checkpoint 就占了 40 多 GB朋友出差期間我改了一版數(shù)據(jù)把其中兩個(gè) LoRA 搞亂了回滾來(lái)來(lái)回回折騰了一整天。之后我把目光轉(zhuǎn)向多頭低秩適配也就是 MLoRA。它從設(shè)計(jì)上就不是“一個(gè)任務(wù)一條完整 LoRA”的思路而是在一個(gè)共享底座上掛多個(gè)低秩子空間每個(gè)子空間負(fù)責(zé)一部分任務(wù)能力訓(xùn)練時(shí)梯度按路由走推理時(shí)只激活需要的頭。這樣既保留了 LoRA 省顯存的優(yōu)點(diǎn)又不需要為了加一個(gè)任務(wù)去把整份 LoRA 權(quán)重重新拷貝一遍。如果你跟我一樣已經(jīng)用 LoRA 微調(diào)跑順了好幾個(gè)業(yè)務(wù)場(chǎng)景但對(duì)“任務(wù)之間互相打架”“權(quán)重版本管理麻煩”這兩件事有切膚之痛那么 MLoRA 就很值得了解一下。這篇文章不會(huì)去復(fù)讀論文里的數(shù)學(xué)推導(dǎo)只講我實(shí)際落地過(guò)程中覺(jué)得最關(guān)鍵的設(shè)計(jì)邏輯、踩過(guò)的坑和最終結(jié)果。文里涉及的實(shí)現(xiàn)細(xì)節(jié)一部分來(lái)自公開(kāi)論文加我自己的復(fù)現(xiàn)調(diào)整論文里沒(méi)寫(xiě)清楚的地方我會(huì)按常規(guī)做法說(shuō)明并注明哪些是行業(yè)通用方案、哪些是我個(gè)人的取舍。2. 為什么單 LoRA 在多任務(wù)場(chǎng)景下越來(lái)越別扭2.1 顯存省了維護(hù)成本沒(méi)省單 LoRA 微調(diào)最大的功勞是讓“消費(fèi)級(jí)顯卡也能跑大模型微調(diào)”這件事變成現(xiàn)實(shí)。7B 模型全參數(shù)微調(diào)一般要 70GB 以上的顯存LoRA 把這壓到 20GB 左右。代價(jià)是每一個(gè)新任務(wù)都要重新產(chǎn)出一份任務(wù)專屬權(quán)重。如果任務(wù)之間毫無(wú)交集這當(dāng)然無(wú)所謂但實(shí)際業(yè)務(wù)里很多任務(wù)來(lái)自同一個(gè)底座能力比如客服話術(shù)和合同摘要都要先做語(yǔ)義理解指令數(shù)據(jù)有重疊標(biāo)簽分布也有重疊我卻為每個(gè)任務(wù)都保存了一份“完整”的低秩適配結(jié)果等于把重復(fù)的知識(shí)冗余存了好多遍。更麻煩的是訓(xùn)練流程。4 個(gè)任務(wù)分 4 輪訓(xùn)練每輪都要重新加載底座和數(shù)據(jù)處理管線算力浪費(fèi)倒在其次真正難受的是評(píng)估環(huán)節(jié)。前幾天訓(xùn)好的客服 LoRA可能因?yàn)楹笠粋€(gè)任務(wù)的訓(xùn)練過(guò)程動(dòng)了公共數(shù)據(jù)緩存的預(yù)處理邏輯測(cè)試結(jié)果出現(xiàn)波動(dòng)你很難判斷到底是數(shù)據(jù)變了、隨機(jī)種子變了還是真的發(fā)生了災(zāi)難性遺忘。2.2 任務(wù)一多路由層就變成了定時(shí)炸彈常見(jiàn)的多 LoRA 部署方案是訓(xùn)練多個(gè)適配器加一個(gè)路由。但這個(gè)路由只能做粗粒度分流解決不了“同一個(gè) prompt 既涉及意圖識(shí)別又涉及情緒安撫”這種重疊場(chǎng)景。我在實(shí)測(cè)中遇到過(guò)同樣的輸入意圖 LoRA 認(rèn)為是退貨咨詢?cè)捫g(shù) LoRA 認(rèn)為是安撫情緒最后路由按照優(yōu)先級(jí)硬選一個(gè)效果完全靠運(yùn)氣。而且多個(gè) LoRA 之間沒(méi)有交互訓(xùn)練時(shí)各訓(xùn)各的無(wú)法共享不同任務(wù)都能用到的泛化特征。這種“先分裂、再拼接”的思路本質(zhì)上還是在用系統(tǒng)工程的手段解決模型能力問(wèn)題。任務(wù)邊界清晰的場(chǎng)景勉強(qiáng)能用邊界一模糊就只能聽(tīng)天由命。MLoRA 之所以吸引我就是因?yàn)樗选岸鄠€(gè)能力”放在同一套模型參數(shù)框架內(nèi)去組織而不是在模型外堆放一堆互不通信的小副本。這一點(diǎn)在下面的第 4 節(jié)會(huì)細(xì)講。3. MLoRA 和它的一眾近親到底差在哪3.1 別再把 MLoRA 理解成“一堆 LoRA 的集合”討論 MLoRA 之前先避免一個(gè)常見(jiàn)誤區(qū)它并不是“把很多 LoRA 塞進(jìn)一個(gè)文件夾”。目前社區(qū)里跟 LoRA 相關(guān)的多任務(wù)方案大概分三類最樸素的多 LoRA每個(gè)任務(wù)一套獨(dú)立低秩矩陣運(yùn)行時(shí)用 Task ID 切換或動(dòng)態(tài)加載。LoRA 合并/組合訓(xùn)練完多個(gè) LoRA 后直接對(duì)權(quán)重做算術(shù)操作像任務(wù)向量一樣相加或相減。專家混合MoE把 FFN 層替換成多個(gè)專家網(wǎng)絡(luò)用門(mén)控網(wǎng)絡(luò)按 token 路由。MLoRA 嚴(yán)格來(lái)說(shuō)更接近第一條和第三條的中間態(tài)結(jié)構(gòu)上仍然是“共享底座 多個(gè)低秩頭”沒(méi)有換掉主干網(wǎng)絡(luò)結(jié)構(gòu)也不需要在推理時(shí)重新加載整套權(quán)重。訓(xùn)練時(shí)門(mén)控會(huì)對(duì)輸入和任務(wù)條件做統(tǒng)一調(diào)度讓低秩子空間各司其職推理時(shí)你只需要給一個(gè)任務(wù)條件它就能在幾毫秒內(nèi)選中對(duì)應(yīng)的低秩路徑。有人會(huì)問(wèn)這不就是 MoE 嗎區(qū)別在于MoE 一般替換的是 FFN 的中間層而 MLoRA 是給原有線性層加并行旁路不改變主干計(jì)算圖MoE 的門(mén)控通常走 token 粒度MLoRA 可以走任務(wù)粒度加 token 粒度的混合靈活性更高實(shí)現(xiàn)也更簡(jiǎn)單。3.2 與普通 LoRA 訓(xùn)練的本質(zhì)區(qū)別普通 LoRA 訓(xùn)練目標(biāo)只有一個(gè)讓新增的低秩旁路去擬合當(dāng)前任務(wù)的分布。多任務(wù)微調(diào)時(shí)如果分多次訓(xùn)練后訓(xùn)練的任務(wù)會(huì)覆蓋前一個(gè)任務(wù)學(xué)到的分布如果把多個(gè) LoRA 合并再一起訓(xùn)練低秩矩陣之間又會(huì)互相稀釋。MLoRA 的做法是把這些旁路全都放在同一個(gè)優(yōu)化過(guò)程里靠路由區(qū)分樣本來(lái)自哪個(gè)任務(wù)共享底座只承擔(dān)“公共表示”部分的更新每個(gè)頭的矩陣只在自己對(duì)應(yīng)的任務(wù)數(shù)據(jù)上累積信息從而在優(yōu)化層面隔離了任務(wù)之間的干擾。不過(guò)這里說(shuō)的“隔離”不是絕對(duì)隔離。如果門(mén)控允許某個(gè) token 同時(shí)激活多個(gè)頭那么多個(gè)頭的梯度就會(huì)同時(shí)作用到共享底座上。這本身是特性不是 bug但需要配合負(fù)載均衡否則高頻任務(wù)會(huì)持續(xù)污染低頻任務(wù)的頭。這個(gè)坑我放到第 4 節(jié)和第 6 節(jié)細(xì)說(shuō)。先說(shuō)一個(gè)重要的結(jié)論MLoRA 不是替代 LoRA 的方案而是“當(dāng)你有多個(gè) LoRA 需求時(shí)用一套框架替代 N 套獨(dú)立流程”的方案。任務(wù)只有一個(gè)的話老老實(shí)實(shí)用 LoRA 就好沒(méi)必要引入額外的路由邏輯。4. MLoRA 的機(jī)制拆解共享底座、低秩頭、路由三角色4.1 前向公式里藏著最核心的設(shè)計(jì)思想你可能在其他地方看到過(guò)類似寫(xiě)法我這里用最容易理解的方式再捋一遍。假設(shè)原始預(yù)訓(xùn)練權(quán)重為 W0普通 LoRA 的前向計(jì)算可以寫(xiě)成y W0x (B A) x其中 A 是 d × r 的輸入投影矩陣B 是 r × d 的輸出投影矩陣r 就是低秩維度。MLoRA 把后半部分?jǐn)U展為多條并行路徑再加上一個(gè)任務(wù)條件 t 和路由權(quán)重 gy W0x Σ_i g_i(t) · (B_i A_i) x其中 i 是任務(wù)編號(hào)g_i(t) 是路由函數(shù)對(duì)任務(wù) t 輸出的標(biāo)量權(quán)重。前向時(shí)并不是所有 i 都參與計(jì)算為了省顯存通常只取 top-1 或 top-2也就是每個(gè) token 最多激活兩個(gè)低秩頭。這樣一來(lái)參數(shù)總量雖然變大了但單次推理的計(jì)算量并不會(huì)隨任務(wù)數(shù)量線性增加。數(shù)學(xué)上很好理解如果 g_i(t) 在任務(wù) t 上只把 t 對(duì)應(yīng)的頭置為 1其他頭置為 0那公式就退化回多個(gè)獨(dú)立 LoRA。所以 MLoRA 的突破點(diǎn)全在 g_i(t) 怎么設(shè)計(jì)。4.2 門(mén)控與負(fù)載均衡為什么不能只讓頭部任務(wù)吃獨(dú)食如果 g_i(t) 完全由任務(wù) ID 決定那么 6 個(gè)任務(wù)就是 6 個(gè)互不相干的分區(qū)和原來(lái)部署 6 個(gè)獨(dú)立 LoRA 的區(qū)別就不大了。MLoRA 的優(yōu)勢(shì)在于允許門(mén)控關(guān)注的不是“你是哪個(gè)任務(wù)”而是“這個(gè) token 更適合走哪條低秩子空間”。所以實(shí)際實(shí)現(xiàn)里門(mén)控輸入通常拼接了任務(wù) ID 嵌入和當(dāng)前 token 的 hidden state這樣模型能根據(jù)語(yǔ)義做細(xì)粒度選擇。很多復(fù)現(xiàn)項(xiàng)目忽略的是負(fù)載均衡損失。沒(méi)有負(fù)載均衡時(shí)門(mén)控會(huì)偏向高頻任務(wù)的頭低頻任務(wù)哪怕有專屬頭也可能一個(gè) token 都分不到訓(xùn)完等于白訓(xùn)。我通常會(huì)在輔助損失里加一個(gè) λ 控制項(xiàng)懲罰各頭被選中的概率與均等分布之間的 KL 距離。論文里常見(jiàn)的是 Switch Transformer 風(fēng)格的負(fù)載均衡損失直接用任務(wù)頻率作為先驗(yàn)讓各頭的使用率盡量平滑。下面是我常用的一套負(fù)載均衡損失計(jì)算邏輯偽代碼def load_balance_loss(gating_probs, num_heads, target_probsNone): # gating_probs: [batch * seq_len, num_heads] mean_probs gating_probs.mean(dim0) # 每個(gè)頭被的平均激活概率 if target_probs is None: target_probs torch.ones_like(mean_probs) / num_heads # 計(jì)算 mean_probs 與 target_probs 的 KL 散度 kl F.kl_div(mean_probs.log(), target_probs, reductionbatchmean) return klλ 取 0.01 到 0.1 之間比較合適。我試過(guò)取 0.5結(jié)果是模型為了滿足均衡直接犧牲了任務(wù)精度得不償失。4.3 可訓(xùn)練矩陣的初始化細(xì)節(jié)這里有個(gè)容易忽略的細(xì)節(jié)每個(gè)頭內(nèi)部的 A_i 用隨機(jī)高斯初始化B_i 初始化為 0。原因和普通 LoRA 一樣是為了保證訓(xùn)練開(kāi)始時(shí)低秩旁路輸出為 0不會(huì)破壞底座權(quán)重。如果所有 B_i 都是 0那么共享底座在第一步仍然只輸出 W0x梯度的初始階段也相對(duì)穩(wěn)定。但多個(gè)頭同時(shí)參與時(shí)A_i 的初始化方差如果設(shè)得過(guò)大會(huì)導(dǎo)致門(mén)控梯度噪聲變大。我試過(guò)把 A 的初始化標(biāo)準(zhǔn)差從默認(rèn)的 1/sqrt(d) 調(diào)小到 1/sqrt(2d)在任務(wù)數(shù)量較多時(shí)確實(shí)收斂更穩(wěn)。你也可以保持默認(rèn)但學(xué)習(xí)率要相應(yīng)調(diào)低否則訓(xùn)練初期 loss 會(huì)像過(guò)山車一樣抖動(dòng)。5. 一份可以直接拿去用的 MLoRA 訓(xùn)練配置5.1 復(fù)現(xiàn)成本與最小硬件需求先說(shuō)結(jié)論用 7B 級(jí)別底座訓(xùn)練 4 到 6 個(gè)任務(wù)的 MLoRA單卡 24GB 顯存足夠。我本機(jī)是一張 RTX 4090上下文長(zhǎng)度開(kāi)到 2048batch size 單卡 2梯度累積 16。如果底座是 13B顯存就要上 48GB或者用兩張卡做張量并行否則會(huì)吃緊。相比單任務(wù) LoRAMLoRA 多出來(lái)的顯存主要是每個(gè)低秩頭的 A/B 矩陣和路由門(mén)控的一小部分參數(shù)增長(zhǎng)幅度和頭數(shù)量成正比但遠(yuǎn)小于全參微調(diào)。5.2 超參表我自己跑得比較穩(wěn)的一組我用的可訓(xùn)練參數(shù)量統(tǒng)計(jì)7B 模型32 層 transformerLoRA 作用在 q/k/v/o 上秩 r 用 16加上三套下游頭 MLP總共可訓(xùn)練參數(shù)約 50M 到 60M 之間。如果不知道 LoRA 參數(shù)怎么算簡(jiǎn)單記憶法是每個(gè)線性層兩個(gè)小矩陣參數(shù)量約為 2×輸入維度×r再乘以所有掛載層數(shù)量即可。加上任務(wù)專屬分類頭和生成頭之后總參數(shù)還會(huì)再漲一截但相比動(dòng)輒幾十億的全參微調(diào)依然很小。超參數(shù)數(shù)值如下參數(shù)取值說(shuō)明低秩維度 r16任務(wù)專業(yè)度高可升到 32通用任務(wù) 8 也能用縮放系數(shù) α16和 r 相等即縮放 α/r 1學(xué)習(xí)率2e-4AdamW權(quán)重衰減 0.01門(mén)控學(xué)習(xí)率1e-3比主干低秩矩陣的學(xué)習(xí)率稍高批大小32多任務(wù)輪轉(zhuǎn)構(gòu)造后累積等效最大步數(shù)3000 步左右配合早停按驗(yàn)證集波動(dòng)判斷負(fù)載均衡權(quán)重 λ0.05任務(wù)數(shù)越多λ 可以稍微調(diào)大看起來(lái)有點(diǎn)違背“門(mén)控學(xué)習(xí)率應(yīng)當(dāng)和主干一致”的直覺(jué)但我實(shí)測(cè)下來(lái)門(mén)控如果學(xué)得太慢前期頭選擇隨機(jī)震蕩主干只能學(xué)到任務(wù)無(wú)關(guān)的通用表示后期想掰回來(lái)很費(fèi)勁。門(mén)控學(xué)習(xí)率給高一點(diǎn)它能先穩(wěn)定下來(lái)主干后續(xù)再慢慢適應(yīng)路由分布整體收斂效率反而更高。5.3 數(shù)據(jù)組織不要直接拼一個(gè)大混合集多任務(wù)數(shù)據(jù)處理我最開(kāi)始犯過(guò)錯(cuò)誤把所有任務(wù)數(shù)據(jù)直接混成一個(gè) dataset只在每條樣本里加一個(gè) task_id 字段。結(jié)果由于任務(wù)數(shù)據(jù)量不均高頻任務(wù)徹底主導(dǎo)了共享底座和所有頭的更新。后來(lái)改成每個(gè) epoch 內(nèi)先按任務(wù)分組每組內(nèi)部 shuffle然后把各組樣本以“輪轉(zhuǎn)”方式拼成 batch。這樣每步更新都包含不同任務(wù)的數(shù)據(jù)低秩頭之間的更新頻率更加均衡。一個(gè) batch 的實(shí)際組織方式可以寫(xiě)成這樣偽代碼from itertools import cycle task_datasets [load_task(name) for name in TASK_NAMES] iters [cycle(ds) for ds in task_datasets] batch_parts [next(it) for it in iters] final_batch torch.cat([p[input_ids] for p in batch_parts], dim0)這樣每步都會(huì)均勻出現(xiàn)每個(gè)任務(wù)的樣本不用額外加繁重的采樣權(quán)重調(diào)參。等到訓(xùn)練后期再逐步切回隨機(jī)混合讓模型去做一些跨任務(wù)的邊界模糊處理效果會(huì)更好。對(duì)我來(lái)說(shuō)訓(xùn)練過(guò)程里唯一需要盯死的指標(biāo)不是總 loss而是每個(gè)任務(wù)獨(dú)有的驗(yàn)證指標(biāo)。多任務(wù)框架的 loss 曲線會(huì)掩蓋單任務(wù)的退化如果你只看平均 loss低頻任務(wù)早就崩了你都不知道。6. 實(shí)測(cè)效果三種典型任務(wù)組合下的表現(xiàn)6.1 組合一領(lǐng)域相似但標(biāo)簽體系不同我先把“客服意圖識(shí)別”和“工單分類”放進(jìn)同一個(gè) MLoRA 里。這兩個(gè)任務(wù)共享大量口語(yǔ)表達(dá)但標(biāo)簽體系完全不同。單獨(dú)訓(xùn)練兩套 LoRA 時(shí)意圖識(shí)別的 F1 在 0.89工單分類 F1 在 0.86。MLoRA 訓(xùn)練后兩個(gè)任務(wù)分別達(dá)到 0.90 和 0.88原因很直觀共享底座里去掉了任務(wù)專屬偏置語(yǔ)義表示更通用子空間按任務(wù)切分反而各得其所。這個(gè)結(jié)果讓我意識(shí)到一個(gè)重要規(guī)律MLoRA 最擅長(zhǎng)處理的不是“一堆八竿子打不著的任務(wù)”而是“共用底層語(yǔ)義、只是上層決策不同”的任務(wù)群。它把公共部分留給底座把差異化部分留給低秩頭分工明確。6.2 組合二任務(wù)之間有重疊但輸出形式不同合同關(guān)鍵信息抽取和摘要生成的輸入輸出差異很大一個(gè)是抽取式 span一個(gè)是生成式摘要。讓這兩類任務(wù)強(qiáng)行共享低秩頭不是不行但會(huì)出現(xiàn)“抽取模塊和生成模塊搶梯度”的現(xiàn)象一個(gè)任務(wù)收斂快了另一個(gè)任務(wù)驗(yàn)證損失就開(kāi)始反彈。我最后強(qiáng)制把二者的頭設(shè)置為分離共享底座部分正常更新問(wèn)題就消失。這也說(shuō)明 MLoRA 不是徹底消滅任務(wù)沖突而是把沖突面從“整個(gè)模型層”縮小到“子空間邊界”。判斷哪些頭該共享、哪些頭該分離目前沒(méi)有量化公式我自己的經(jīng)驗(yàn)是輸出形式差異越大頭越要分離輸入分布差異越大底座越要分開(kāi)或者換更大的底座。6.3 組合三數(shù)據(jù)量差異特別懸殊低頻任務(wù)樣本只有 2000 條高頻任務(wù)樣本有 5 萬(wàn)條。單 LoRA 微調(diào)低頻任務(wù)極易過(guò)擬合直接混合訓(xùn)練低頻任務(wù)會(huì)被淹沒(méi)。MLoRA 里我給低頻任務(wù)單獨(dú)開(kāi)了一個(gè)頭并把它在前 500 步的采樣比例人為抬高到 30%之后逐步降低到自然比例。這種訓(xùn)練曲線用普通 LoRA 做不了因?yàn)槠胀?LoRA 只有一個(gè)優(yōu)化目標(biāo)難以對(duì)不同任務(wù)施加不同步調(diào)。MLoRA 的熱啟動(dòng)策略則簡(jiǎn)單粗暴但有效在模型還沒(méi)看清低頻任務(wù)分布的時(shí)候高頻任務(wù)已經(jīng)把共享底座帶向了它的主場(chǎng)。前 500 步有策略地“偏科”后續(xù)再讓共享底座回歸正常分布相當(dāng)于給低頻任務(wù)搶了一個(gè)好的初始化狀態(tài)。7. 上線部署與推理加速多出來(lái)的頭怎么處理7.1 合并權(quán)重時(shí)的三種選擇MLoRA 訓(xùn)練完最終產(chǎn)物是共享底座權(quán)重 W0 和一組低秩頭 (B_i, A_i)。上線時(shí)無(wú)非三種做法第一種把每個(gè)頭合并回底座變成獨(dú)立 LoRA保持原來(lái)多 LoRA 部署架構(gòu)不變。這種方式在只支持單 LoRA 的引擎上最省事但失去了“按需加載”的優(yōu)勢(shì)。第二種保留“底座 多頭”格式用支持 adapter 調(diào)度的框架在推理前動(dòng)態(tài)加載對(duì)應(yīng)頭。顯存更省但需要選對(duì)推理框架。第三種直接把所有權(quán)重復(fù)合進(jìn)完整權(quán)重輸出一份大模型。這樣推理最快但新增任務(wù)時(shí)必須重跑一次合并靈活性最差。我最終選了第二種。如果只是想快速驗(yàn)證效果第一種最穩(wěn)代碼改動(dòng)最小。第三種適合對(duì)延遲極其敏感且任務(wù)基本不再增長(zhǎng)的場(chǎng)景。7.2 推理時(shí)門(mén)控是否還用得上如果你在上線時(shí)只按任務(wù) ID 切換頭那訓(xùn)練時(shí)門(mén)控在推理階段就不參與計(jì)算如果希望在線服務(wù)能自動(dòng)對(duì)開(kāi)放域 query 做路由那就保留門(mén)控。兩種我都跑過(guò)保留門(mén)控會(huì)讓精度略微提升但排查問(wèn)題時(shí)多了一個(gè)無(wú)法解釋的變量。所以如果業(yè)務(wù)任務(wù)邊界清晰建議生產(chǎn)環(huán)境先關(guān)閉門(mén)控把歸屬問(wèn)題留給上層任務(wù)分發(fā)器解決。等線上數(shù)據(jù)驗(yàn)證確實(shí)存在跨任務(wù)混用需求時(shí)再把門(mén)控加上也不遲。先讓系統(tǒng)簡(jiǎn)單再讓系統(tǒng)聰明這條順序別顛倒。7.3 服務(wù)化時(shí)最容易被忽略的顯存坑多頭權(quán)重在加載進(jìn)顯存時(shí)如果按 PyTorch 默認(rèn) dataclass 存儲(chǔ)每多一個(gè)頭都會(huì)產(chǎn)生一系列 Python 對(duì)象開(kāi)銷。我實(shí)際啟動(dòng)服務(wù)時(shí)發(fā)現(xiàn)8 個(gè)頭加載后顯存占用比理論值多了 2.5GB全部來(lái)自 adapter 配置對(duì)象的元數(shù)據(jù)緩存。處理方式很簡(jiǎn)單把檢查點(diǎn)里每個(gè)頭轉(zhuǎn)成 safetensors 分片只加載當(dāng)前任務(wù)需要的頭其他頭留在磁盤(pán)。這樣不僅啟動(dòng)快顯存也從 21GB 降到了 17GB 左右。另外如果你用 vLLM 這類推理框架要注意它對(duì)新 adapter 的加載方式。很多框架默認(rèn)把每個(gè) adapter 的權(quán)重全部 preload 到顯存多任務(wù)場(chǎng)景下顯存會(huì)被無(wú)謂占滿。我最后用的是一個(gè)簡(jiǎn)單的外層調(diào)度每個(gè)請(qǐng)求只把對(duì)應(yīng)任務(wù)的頭從磁盤(pán)加載進(jìn)來(lái)請(qǐng)求結(jié)束立即釋放。額外增加的延遲在毫秒級(jí)別但能換來(lái)更大的并發(fā)密度。8. 三個(gè)必須提前想清楚的問(wèn)題8.1 任務(wù)數(shù)超過(guò)多少個(gè)該停手我的經(jīng)驗(yàn)是任務(wù)數(shù)超過(guò) 8 個(gè)以后MLoRA 的訓(xùn)練曲線會(huì)明顯波動(dòng)各頭更新頻率重新變得不均衡負(fù)載均衡損失也很難壓住。這時(shí)候把任務(wù)做分層先按領(lǐng)域聚成 3 到 4 組每組內(nèi)部再用 MLoRA 多任務(wù)訓(xùn)練反而比強(qiáng)行一把梭更穩(wěn)。任務(wù)不是越多越好MLoRA 解決的是“中等數(shù)量任務(wù)的共享問(wèn)題”不是無(wú)限擴(kuò)展的萬(wàn)能藥。如果你真的遇到 20 個(gè)以上的任務(wù)我建議先做任務(wù)聚類再把聚類結(jié)果交給路由。比如把 20 個(gè)任務(wù)聚成 4 個(gè)簇每個(gè)簇內(nèi)部共享一個(gè)低秩頭這樣參數(shù)規(guī)??煽厝蝿?wù)沖突也最小。8.2 和全參微調(diào)相比MLoRA 到底犧牲了什么全參微調(diào)能對(duì)底座做大規(guī)模重排適合改動(dòng)非常大的遷移。MLoRA 受限于低秩旁路能表達(dá)的偏移空間是在 r 維子空間里。若任務(wù)需要模型理解一種底層邏輯差異比如從通用對(duì)話遷移到代碼生成低秩旁路覆蓋不了這種結(jié)構(gòu)性變化。這時(shí)候哪怕加更多頭也沒(méi)用我的判斷是直接換底座或全參微調(diào)才是正路。如果你不確定任務(wù)是否超出了低秩旁路的能力范圍可以先做一個(gè)快速診斷用 500 條任務(wù)數(shù)據(jù)訓(xùn)練一個(gè)單 LoRA看驗(yàn)證集上的分?jǐn)?shù)是否達(dá)到業(yè)務(wù)線。如果單 LoRA 都達(dá)不到MLoRA 只會(huì)讓事情更復(fù)雜不會(huì)讓效果變好。這不算嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明但作為項(xiàng)目決策依據(jù)足夠了。8.3 文檔里不提的經(jīng)驗(yàn)關(guān)于 α/r 的爭(zhēng)議網(wǎng)上一大半文章說(shuō) LoRA 里 α 要設(shè)為 r 的 2 倍理由是輸出縮放更平滑。我在 MLoRA 多任務(wù)訓(xùn)練里試過(guò) α r 和 α 2r前者的收斂更快后者在測(cè)試集上波動(dòng)更小。沒(méi)有絕對(duì)正確只有針對(duì)場(chǎng)景的選擇。最關(guān)鍵的是整個(gè)模型里所有頭要保持一致的縮放。如果任務(wù) A 的 α/r 是 1任務(wù) B 的 α/r 是 2低秩子空間之間的相對(duì)尺度就失去可比性路由判斷也會(huì)失真。所以我把“所有頭統(tǒng)一 α r”寫(xiě)進(jìn)了團(tuán)隊(duì)規(guī)范比每次臨時(shí)調(diào)參靠譜得多。另外還要注意新增任務(wù)的初始化不能直接復(fù)制現(xiàn)有頭的 A 和 B否則新任務(wù)會(huì)先繼承舊任務(wù)的語(yǔ)言習(xí)慣需要很長(zhǎng)時(shí)間才能“洗”回來(lái)。正確做法是新頭保持隨機(jī)初始化、B 置 0然后只讓新任務(wù)的數(shù)據(jù)參與前幾百步更新等它的 loss 開(kāi)始下降再放開(kāi)門(mén)控。9. 一些關(guān)于后續(xù)延展的想法MLoRA 最近吸引了很多研究者把它和持續(xù)學(xué)習(xí)、模型合并、參數(shù)高效微調(diào)這些方向結(jié)合起來(lái)看。我自己的實(shí)踐體會(huì)是它最大的價(jià)值在于改變了“一個(gè)任務(wù)一份權(quán)重”的慣性思維。你不再需要為每個(gè)小任務(wù)維護(hù)一套完整的微調(diào)產(chǎn)物而是可以把任務(wù)拆解成共享底座上的一個(gè)可插拔頭。這也是我目前比較推薦的實(shí)踐路徑先跑通單任務(wù) LoRA確認(rèn)任務(wù)本身可學(xué)再在業(yè)務(wù)量級(jí)上做一輪任務(wù)聚類判斷哪些任務(wù)適合共享底座最后才是引入 MLoRA 的多頭結(jié)構(gòu)。順序反了很容易被路由調(diào)參、負(fù)載均衡這些問(wèn)題淹沒(méi)。如果你想在項(xiàng)目里落地 MLoRA最好從 2 到 3 個(gè)相似任務(wù)開(kāi)始不要一上來(lái)就塞 10 個(gè)任務(wù)。一個(gè)小規(guī)模的驗(yàn)證能幫你快速確認(rèn)底座是否適合這些任務(wù)、路由模塊是否穩(wěn)定、顯存和延遲是否滿足要求。驗(yàn)證通過(guò)后再逐步增加任務(wù)數(shù)量。這個(gè)節(jié)奏走下來(lái)踩坑的概率會(huì)小很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
乱老女人一区二区视频| 无码137片内射在线影院| 高清无码久操视频| 黄色网址久久精品欧美喷水| 97精品一区| 91精品久久久久五月天精品| 亚洲熟女乱色一区二区三区| 久久久久骚| 欧美热图99| 欧美性爱三区二区| 激情综合av| 加勒比综合| 99色热| 日本九九久久99| 亚洲天堂精品日韩电影| 日韩一区二区精品视频| 久久久久久人| 无遮挡猛进视频免费无限观看 | 91劲爆| 懂色中文一区二区三区| 国产自产91区13区| 人妻性爱一区二区| 亚洲 中文 女同| 91综合在线| 国产精品一二三区福利| 妇女乱色二区| 五月丁香色综合| 麻豆精品.欧美精品.日韩精品.| 97摸视频| 9久久精品| 九九九精品美女| 综合久久中文字幕综合日韩精品| 中文字幕午夜精品久久久| 美女被艹尤物视频| JuliaAnnXXX888| 日本久久精品| 超碰78| 精品久久久久瑟瑟| 日韩图区 偷拍| 久久人妇| 干婷婷综合网| 春色综合网| 欧美熟妇视频| 制度丝袜99| 欧美亚洲厕所精品偷拍91| 国产成人一级av88| 夜夜骑日日| 婷婷99狠狠| 五月亭亭六月丁香| 国产视频大全| 丁香五月成人| a片 xxxx受爽视频| 自拍视频大全亚洲专媒视频/一区二区三区| 狠狠色伊人亚洲综合网站色| 色超碰综合| 国产精品婬乱一级毛片彝族| www.男人的天堂| 亚码激情| ..日韩av毛片精品久久久| 免费男人的天堂| 欧美激情综合色综合啪啪五月| 亚洲色图欧美色图另类图片| 精品亚洲俞拍视频一区| 婷婷色中文字幕| 欧美高清第一页| 欧美中文狠| 亚洲啪啪性视频| 91亚洲色图| 精品999日本| 色色色色综合网| 久久久九九九| 殴美性天天| 99国产精品免费| 婷婷视频网| 亚洲无992tv| 亚洲高清少妇| 天美av在线观看| 四虎国产精品永久在线囯在线 | 大香蕉伊然在亚洲91| 91美女丝袜诱惑视频| 成人无码在线视频网站| 激情综合 婷婷五月 红杏| 香一区二区三区| 欧美大香蕉专区网| 欧差乱伦二三| 欧美中日韩XXXX| 色女99一级片在线观看| 超碰成人免费| 免费看日产一区二区三区| 久久产精品一区二区三区电影| 中文字幕精品亚洲熟女| 成人日韩中文字幕| 中文字幕乱码人妻一区二区三区,99精品 | 国产农村一一级特黄毛片| 欧美97| 夜夜爽夜夜摸夜夜操免费视频| 亚洲成人碰碰| 激情五月天丁香社区| 啪啪视频免费在线观看| 伊人网高清| 亚洲精品黑丝| 综合91网| 97视频7| 亚洲日韩一区电影| 亚洲中文一区二区三区视频| av一区二区三区四区| 久夜视频| 大粗鳼巴久久久久| 91无码人妻精品一区二区三区蜜桃 | 欧美在线视频播放| 色老牛| 国产白领连续中出在线观看| 欧美黑人猛交春色影视大全| 久久五月婷| 日韩无码黄色片| 99色热国产视频精品| 国产成人精品必看| 成人无码在线视频网站| 日韩操p| 少妇熟女1区2区3区| 友优传媒精品在线一区二区| 97超碰9| 高清无码学生妹高潮| 婷婷久草| 九九九九精品在线| 国产精品另类| 美女骚尻视频| 91模特在线观看| 淫穴高潮色图| 一本色道久久综合精品婷婷| 99999久久精| 啊啊啊啊免费视频| 国语av狠狠色丁香婷婷综合激情| 狠狠婷婷亚洲中文综合久久| 综合伊人激情| 国产黄色影片在线观看| 伊人久久在线视频观看| 操操吧亚洲乱伦视频| 国产欧美日本亚洲精品| 成人性爱AV在线免费观看| 国产又黄又爽又刺激久久久久久| 可以免费看黄片的视频| 不卡啪啪视频| 亚洲日韩一区电影| 99999精品视频| 大香蕉综合| 国产AV天美| 麻豆天美久久91| 新久久AV| 乱伦熟女论坛| 国产精品久久久久久久AV大片| 免费观看网黄| 亚洲色图欧美视频| 一本一道人妻久久一区二区三区| 亚州色站 日韩电影| 中文字幕AV片| 中文字幕一区二区三区人妻不卡| 欧美色涩| 中文字幕在线观看永久| 1024人妻熟女一区二区三区| 婷婷五月天色色| 嗯嗯嗯嗯啊啊啊好紧好大| 国产成自自拍在线观看| 丝袜天堂网| 久久9精品| 98人妻精品一区二区色欲| 26uuu欧美日韩| 无码精品一区二区三区潘金莲| 粉嫩绯色AV一区二区在线| 五月婷婷综合网| 一区久久久二区| 久操网在线| 亚洲AV不卡在线观看| 欧美97爱| 色黄污美女啪啪啪免费网站| 女人被添高潮免费视频| 日韩激情视频| 午夜啊啊| 亚洲一区二区三区播放在线| 狠狠操综合| 亚洲中文字幕妇伦久久| 白嫩妹子国产骚| 日少妇视频| 一区二区免费电影久久| 婷婷激情四射| 国产青青美女玩逼视频| 亚洲熟女综合一区二区| 欧美大香蕉同搞| 四虎AV在线观看| 亚洲色图美腿丝袜| 97超碰碰| 玖玖在线视频| 偷拍导航视频网站| 色黄色美女大长腿午夜视频| www.yeyecao| 国产 v乱码一区二| 亚州乱码中文字幕综合久久久| 97久久天天综合色天天综合色电影| 蜜臀久久久99久久久久 | 欧美国产日韩清纯唯美| 天堂资源站| 一级性爱网| 91|九色|国产熟女| 伊人991| 一区二区中文| 欧美另类色图片| 少妇激情AV| 国产男女边吃边摸视频网站| 啊啊啊啊啊啊啊国| 久久久新亚洲AV| 一区二区三区四区色图| 欧美天天综合在线| 97干在线| 97操b| av婷婷色婷婷色六月| 老师充足的奶水小说| 97久操| 多乙久久久久久| 天天享受天天看| 97超碰久久| 青青草天天亲夜夜操网| 久久妇| 日韩欧美午夜一区二区| 熟妇xxxxx性春色| 激情99| 96久久久久久久| 亚洲图片婷婷五月天| 麻豆黄四叶草网站| 天天日天天干天天色| 大香蕉亚洲中文| 国产人妻久久精品一区二区三区| 日韩性爱电影一区| 婷婷久久久精品| 国产精品一级片在线看| 素颜老阿姨乱情色| 人人看欧美性爱| 台湾肥佬网一区二区三区| 97综合国产| 亚洲黑丝在线| 丰满欧美少妇| 放黄片放3级黄片没穿衣服| 色色国产| 啊啊啊啊啊啊好多水| 九月色婷婷| 97精品一区| 天天操天天舔| 国产嫩草精品A88AV| 秋霞欧美性爰视频| 淫淫综合网| 开心婷婷五月| 蜜臀99久久精品久久久久| 欧美躁死她一区二区| 人妻色情天天操| www成人啪啪18秘 免费| 超碰99在线| 亚洲超碰97| 狠狠操狠狠| 欧美日韩狠狠爱| 久久小视频| 亚洲欧美另类图片| 一区麻豆 高清中文字幕| 99re免费| 国产传媒一区日韩| 日本激情免费大片| 色婷婷日韩精品一区二区三区| 久久 国产精品 一区| 大香蕉手机在线| 狠狠操狠狠爱| 亚洲欧美首页| 久干网| 欧美一级A片在线看视频性色| 美女t无毒不卡不卡| 日韩啪啪啪啪啪| 中国AAAAAA黄色片| 中文字幕诱惑制服人妻丝袜美丝袜美 | 中文字幕一区二区日韩网| 绑缚麻绳人妻寝取完整版| 国产白嫩漂亮KTV在线| 色97欧美| 欧美少妇性乱| 久久婷婷五月综合| 日韩中文字墓| 久久久草草精品| 中文字幕在线观看视频www| 在线97视频| 国产美女激情| 九九在线视频| 日韩欧美午夜视频在线| 91少妇人妻| juliaann丝袜大战黑鬼| 五月婷婷爱六月丁香色| 一级性爱视频免费观看 | 天天日天天干天天整| 人人妻人人爽一区二区三区| 97er欧美性| 丁香五月影院| 肉嘟嘟www视频在线观看高清| 91n处女在线观看| 手机在线免费看的av| 91热色| 91啪啪视频| 18禁止看精品中文字幕| 亚洲日韩97| 亚洲男人的天堂一区二区| 黄片免费久久久久久久| 久久大| 狠狠躁天天躁日日躁97| 久草精品国产蜜臀| 丁香激情五月天| 日韩色欲久久一二三四区| 中文乱码字幕观看视频| 天天干1区2区在线| 欧美日韩国产电影| 丁香激情五月天| 午夜寂寞欧美| 强奸国产在线| 亚洲国产精品无码AV久久久| 亚洲欧美首页| 色亚洲欧美| 欧美亚洲高清不卡| 免费的黄片有限公司| 国产91美女视频| 欧美精品91| AV 少妇 人妻 偷拍| 国产成年免费大片黄在线观看| 欧美人妻少妇| 国产又粗又长又大的视频| 久久久久9| 人妻一区二区三区| 东北女人av| 婷婷五月天av| 五月天色图| 日韩乱伦影音先锋| 日日噜噜夜夜狠狠视频无| 啊啊啊啊啊在线| 精品一区二区三区蜜桃| 欧美洲精品一级| 热久久国产精品视频大陆精品| 色精品极品| 九九成人视频| 黑操B| 亚洲欧美校园另类春色| 亚洲全色网| 亚洲欧美清纯| 超碰色97| 后入式免费视频| 欧美78P| 国产精品日日摸天天碰| 麻豆色99999| 啊啊啊男女| 精品一区二区久久| 婷婷丁香人妻 | 超碰在线1234区| 欧美在线视频观看一二三四区高清| 婷婷丁香一区二区三区| 欧日韩在线观看| 青春草A| 91网亚洲| 久久大精品乱码视频人妻熟女| 伊人久久久日韩一区| 欧美日韩少妇色情| 久久同城AV| 97精品97久久| 久久久久久无码人妻中文字幕| 欧美日韩操逼嗦吊| 97碰在线视频| 91麻豆天美国产欧美| 久久久精品国产亚洲伊人| 91久久精品蜜臀| 国产suv精品一区二区四| 一区二区三区四区五区高清无码永久视频 | 丰满人妻一区二区三区免费| 日本成人在线不卡一区二区三区 | 91久久久老司机| 九九九九免费高| 69精品人人人人| 97亚洲欧美日韩| 无码操逼天堂| 国产精品网址| 午夜舔阴达高潮视频免费看| 天天草夜夜草高潮片| 国产高清精品一区二区三区毛片| 留下AⅤ黄色片| 色婷婷激情| 欧美日韩在线视频网站| 高清无码一区二区三区| 手机看片1024你懂的国产| 婷婷色色五月天| 天天添天天干电影| 亚洲男人的天堂网| 91 丝袜在线播放| av在线观看不卡网站| 欧美成人性爱视频大全| 偷窥自拍亚洲色图| 色网综合网| 国产一区在线看| 大香蕉乱级| 国产视频一区二区免费| 日本一级性爱| 午夜成人福利影视| 999久久久久久久久| 激情小说亚洲| 韩国午夜理伦三级好看| 亚洲五月丁香花狠狠干一区二区三区 | 91色婷婷综合久久中文字幕二区| 欧美性爱精品七区| 99国产女人| 亚洲一区日韩精品| 色婷婷电影网| 免费超碰97久久| 色香AV| 囯产操逼片| 久久理论字幕视频| 一本大道青青| 欧美色视频在线| 亚洲中文字幕噜噜噜久久久| 2003天天干夜夜操| 国产日韩欧美操逼视频| 亚洲国男人的天堂| 人妻少妇久久中文| 久久精品一区二区一8| 日本三级R| 欧美大香蕉97| 国产97色在线| 做爱A级亚欧| 91在线美女| 欧美色91| 成人 日本A片无码8888| 一区,二区,三区网站| 在线观看啊啊啊啊啊| 国产白丝在线| 中文一区二区三区影院| 色婷婷av在线观看| 日韩 欧美 国产 麻豆| 亚洲中字幕日本一区二区三区| 欧美十八禁在线看| 狠狠夜色午夜久久综合在线| 91视频精品| 青青草日韩无码| 国产精品午夜精品| 欧美人妻久久精品二区三区| 天天影视射综合网| 久久无码一区二区二三区性色| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 一区二区三区四区五区高清无码永久视频| 不卡二三区人妻少妇| 十八禁的黄污污免费网站| 艾草av| 亚洲天堂男人天堂| 97色97干| 素人播放一区| 啊啊啊好大好深| 91呆哥人妻| 久久中文字幕女同性恋一区| 浪人综合网| 欧美在线色| 中日亚韩免费视频| 亚拍在线| 欧美人妻精品一区二区| 爱妻综合网| 国产欧美岛国精品一区| 中文字幕文字幕无码一区二区三区电影99| 在线岛| 亚爽爽爽爽爽爽爽爽| 国产午夜在线观看视频| 欧美 日韩 国产传媒| 日韩欧美大片免费高清啪啪| 美女刺激久久国产欧美| 一区=区三区视频| 操逼操2| 97干在线看| 色波多| 91日日| 岛国福利在线精品播放| 亚州中文字幕超碰97| 精品国产91内射久久| 天操老女人| 蜜乳AV一区| 久久久久久久9最新免费视频观看| 日韩亚洲中文有码视频| 婷婷九月丁香| 91久久久久免| 日韩成人高清一区二区| 神马久久啊啊| 囯产操逼片| 亚洲 欧美综合| 亚洲天堂性爱| 99在线免费公开视频| 日韩淫色网| 青草av在线| 69久久| 宅男91视频在线播放| 99re99视频在线免费观看| 18禁中文字幕| 人妻喷水| 高树玛利亚无码流出| 尤物黄色在线观看网站| 四季av一区二区凹凸精品小说| 色综合五月天| 欧美人人曰人人操人人射射| 亚洲九九视频在线观看| 97超碰碰碰| 精品视频免费在线一区| 婷婷丁香人妻| 人人天天干干| 亚洲天堂五月天国产| 午夜综合在线| 内射白嫩美女| 色爱三区| 欲色综合| 久久精品国产亚洲AV无码电影| 国产精品农村妇女精品| 亚州再线| 九九激情网| 精品毛片av一区二区 | 亚洲素人网| 成人精品在线观看| 91操操操操| 色一区二区三区综合| 日本天天吊| 国产精品久久久久久 百度| 精品熟女呻吟久久91| 韩国女主播青草在线| 婷婷丁香成人| 国产乱色国产精品免费视| 可乐操在线| 伊人网在线视频| 人妻少妇精品一区二区三区| 亚洲 日韩 丝袜 熟女 变态| 日本不卡一区| 国际精品久久久| 日本黄色裸日本黄色裸体 | xxx亚洲午夜天堂| 日韩不卡a级视频专区| A级片日韩欧美国产欧美视频精选观看| 91国内外在线| 亚州色图狠狠干| 婷婷在线视频| 亚洲九月丁香| 欧美精品日韩久久久九| 欧美国产精品久久九九| 亚洲图片小说欧洲| 国产精品毛片| 97 九色| 亚洲男人的天堂V| 99热综合| 欧美黄片视频在线观看免费| 人妻丰满熟妇一区二区三| 秋霞怕怕片| 性91| 自拍六区| 亚洲欧美91| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 国产成人无码高清| 国产精品人妻熟女aⅴ| 亚洲日韩av专区无码| 久久αⅴ| 操熟女91| 日本大香蕉综合网红本杳社区| 97国产精品久久久久| 久久神马影院| 日韩99999色| 日本特黄f c2| www.狠狠干.coom | 中文字幕一区二区视频在线观看| 青青草好吊色| 久9九综合在线| 成人青青草原伊人| 美女黄页网站| 欧美一级二级三级| 亚洲性天堂| 综合第一页| 青草精品视频日本久久久久网站在线| 国产成人五月天丁香花| 九九九999久久久网站| 床戏久久久av一区二区麻豆| 俞拍自拍| 亚洲狠狠入| 清纯唯美激情| 亚洲另类天堂| www.91视频网| 丰满人妻一区二区三区蜜桃视频| 91亚洲色图| 热99这里有精品综合久久| 91n处女在线观看| 国产精品一区二区三区四区五区| 伊人久久AV诱惑悠悠| 精品视频在线观看| 欧美翘臀视频网站一区二区三区| 久艹日日日| 亚洲国产精品无码AV久久| 中文?日韩?免费?精品| 国产日韩精品suv| 人人贴人人摸| 大香网站| 国产这里只有精品| 德国一二三不卡| 亚洲自拍欧美国产首页网曝| 色拍偷亚洲| 一区二区三区色综合| 台湾佬中文娱乐网久久久久久久久久com| 天欧美在线| 日本精品一区二区不卡| 人人搞人人插人人操| 内射老妇BBWX0C0CK| 艹少妇网站| 色综合五月天| 国产精品网站www| 日韩精品影视| 啊啊啊啊啊啊啊啊在线观看| 天天射天天操天天干天天吃2018| 99re国产精品视频| 色色婷婷五月天| 男人的天堂在线2| 香蕉免费一区二区三区不读| 日韩精品亚洲一二三| 欧美色图片| 伊人久久大香线蕉无码| 欧美v亚洲v日韩v最新在线二区| 精品精品精品| 亚洲。天堂。日本在线观看| 神马久久久久久久| 久久夜黄色无码A级大片| 五月天婷婷色| 色超碰综合| 精品传媒在线一区| 97欧美性爱| 欧美图片色综合| 亚洲天堂另类| 国产精品久久99日日| 又黄又爽在线观看视频| 无码操逼天堂| 奇米四色网| www.五月天| 久久久久元码视频| 久久的免费性爱视频| 亚洲 欧美日韩 另类| 宗合情欲网| 清纯唯美激情| 黄色免费网页无码| 宗合情欲网| 清纯唯美激情| 97欧美性爱| 欧美精品91| 亚洲天堂2020| 综合色久| 99热线麻豆| 超碰97人人cao| 性爱综合网| 欧美综合传媒| 国产日韩欧美中文在线播放| 2001天天操| 日韩91网| 青青操狠狠撩| 加勒比AV天堂| 国产综合在线视频网站| 国内精品999| 欧亚 另类 久| 欧亚乱色熟女一区二区| 亚洲人妻熟妇三十三区| 久久久一区二区三区四区五区| 成人免费福利在线观看| 神马久久69| 亚洲啪啪视频免费| 成人AV素股で擦久久| 一起草视频在线| 久久综合婷婷| 免费视频观看60秒| 睡产熟女乱伦| 久久久久人| 精品美女久久久久| 久9久| 女性91网站| 草草影院在线视频| 日韩欧美~中文字| 久久久久亚洲Aⅴ无码| 天美传媒在线一区| 亚洲 日本 国产 综合| 麻豆性爱视频在线播放| 欧美97在线欧| 素人播放一区| 91美女小视频| 亚洲.欧美.丝袜.中文.综合| 清纯唯美综合| 丁香婷婷久久 | 夜夜骑操视频| 老司机射| 欧美亚洲色的图| 午夜精品探花| 偷拍99| 欧美三级中文字幕hd| 人妻五十路在线| 操逼啊啊啊91| 国产精品第一页国产大屁股视频免费区i| 啪啪资源网| 伦在线97| 亚洲成?V人片在线观看福利| 做爱福利视频一区二区| 操死我了嗯嗯嗯| 亚洲色情在线影视| 丝袜AV一区二区三区| 激情五月婷婷| 久久风骚城市| 中文字幕啊啊啊在线观看视频| 91精品老女人| 蜜臀精品1区2区| 亚洲成人在线高清| 久久草视频污视频| 国产超碰| 伊人久久AV诱惑悠悠| 亚洲另类久操网| 手机午夜电影神马久久| 99久久婷婷| 起碰97| 密臀AV在线| 国产精品视频一区二区三区八戒| 亚洲精品国产熟女久久久| 丁香九月激情| 探花精品 一区二区| 久久久中文版| 殴美大黄片| 青青草中文字幕| 99www.bibizy香蕉资源国产一区二区三区高清 | 精品制服美女中文一区二区三区| 日本中文字幕在线视频| 国产一线二线三线av| 尤物av网站| 岛国黄色短视频| 亚洲精品欧洲色| AV丝袜少妇| 97干在线| 五月天久久综合网| 欧美狠狠狠| 久7色| 欧美丝袜制服久久| 蜜桃久久一区二区| 日韩图区| 亚洲精品a人片在线观看视| 性色亚洲| 日韩中文9| 国产精品小视频一区二区三区| 在线a v| 综合网少妇| 操操操操网黑人| 久久98| 中文字幕人成乱码熟女香港| 欧美成人性爱视频在线播放| 蜜臀操逼黄色视频操的好爽| 九九九九精品| 日本不卡一区二区三区| 真实高潮91| 国产成人www免费人成看片| 欧美精品三级黄片| 天天搞欧美| 欧洲综合视频| 亚洲精品aa久久伊人| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 中文字幕文字幕无码一区二区三区电影99| 久久久无码国精品无码三区三区| 中文字幕一区二区韩| 亚洲天堂久久久久久粉红视频| 天天综合网合集91| 五十路熟女工口 | 91女人的网站| 无套内射性感少妇视频| 成人激情无码在线视频| 香蕉国产精品麻豆亚洲欧美日韩| 欧美综合亚洲| 青青草国产亚洲精品久久 | 国产久久男人天堂| 97干色天堂| 射 色综合| 日韩成人大片在线观看| 国产亚洲日韩在线三区黑人| 9色国产精品一区粉嫩| 国产中文字幕在线观看| 天天日天天屌天天操| 后入 亚洲 美女 射| 色婷婷综合网站| 精品久久久久av影院| 青娱乐999| 中国91AV| 草B在线| 日韩欧美中文字| 中文高清一区二区的| 久操热线| 中国探花熟女| 操逼1区| 国产精品黄色三级av| 婷婷干黄色| 精品久久久av无码免费| 超碰在线一区二区| 俞拍久久国应视频| 99re在线视频| 天天超级碰碰碰| 亚洲欧美setu| 东北老女人的激情视频| 日本三级小说中文字幕| 日本在线不卡123| 亚洲黑丝在线| 男人天堂一区二区| 六月色婷婷| 婷婷激情五月| 67914亚洲精品| 日本三级中国三级99人妇网站| 成人日本视频人妻在线| 秋霞曰韩R级| 自拍偷拍2025在线观看| 国产一区二区三区精品观看啪| 人人干人人搞人人摸| 每日更新AV| 国产精品岛国片在线观看| 爆操无码| www久久久| 精品-91人妻子系列| 亚洲精品久久久久久久蜜桃臀| 911粉嫩人妻| 午夜无码精品免费看性色| 日韩精品中文字幕一| 亚洲国产精品无码AV在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | ji熟女.com| 日韩精品一区二区日韩| 亚洲黄色网址视频| www.人人cao| 久久这里只精品99re66图| 爱射综合| 99re6久热只有精品6在线直播| 欧美日韩99精品麻豆传媒| 少妇被玩视频二三区| 人妻在线臀日韩| 丝袜av一区二区三区| 屁股久久久久久久久| 国产尤物在线三区| 麻豆天美91| 欧美97爱| 人人贴人人摸| 精品国产久热在线观看| www久久99| 男人亚洲91首页在线| 久久亚洲不卡一区二区三区| 99精品高潮| 密臀在线视频| 精品人成视频在线观看| 人干人人人操人人摸| 亚洲欧美日韩夜夜| 六月婷婷综合| 精品久久久久瑟瑟| 天天躁狠狠躁av| 天天影视综合色| 东北少妇高潮zzzz| 久久伊人亚洲AV无码网站| 国产剧情AV不卡在线观看| 久久99操天天日| 欧美暴力猛交| 午夜啊啊| 翔田千里AⅤHD无码| 欧美黄色片AAAAA| 久九九九九九九热| 91美女视频电影| 精品九九| 95自拍视频在线观看| 99视频自拍| 天堂精品小草| 97超碰精品图片| 国内毛片无遮挡国产| a在线视频免费观看| 久久国产视频专区一二三| 日本高清熟女久久一区| 午夜毛片亚洲精品片国产久久久| 18禁中文字幕| 青青操青娱乐| 青青青草伊人精品| 亚洲另类欧美精品| 欧美男人一区| 曰本特级特黄特色黄色A级网站高清在线免费看 | 26uuu国产成人综合| 69AV女优男人的天堂| 人妻另类| 国产精品免费日韩| 亚洲国产精品久久久久婷婷青年| 大白逼三四级| 九九热久久99精品re| 天天影视色香色欲| 国产自啪精品视频网站黑丝| 思思热在线视频免费| 夜嗨影院| 精品十三区| 97在线播放 | 99热欧美| 国产第25页在线观看| 麻豆黄四叶草网站| www.人人摸在线视频| 午夜一区二区三区国产| 亚洲天堂综合AV| 加勒比无码毛片| 免费在线黄片视频| 九九久久国产精品| 中文字幕97| 六月丁香网| 人妻少妇无码| 中文字幕aⅴ在线视频| 麻豆福利视频导航| 国产白丝精品在线观看| 婷婷99狠狠| 中出20p| 在线无码操| 欧洲精品在线播放| 尤物av网站免费在线播放| 婷婷久久综合| 亚洲日本天堂| 国产成人精品无码久久| surenchaopeng| 午夜福利1区2区3区| 嗯嗯啊啊用力视频免费| 亚洲天天综合| 91ise欧美| av天堂电影网| 亚洲欧美精品一区天堂久久| 老熟女天天操| 大香蕉五月天| av天堂加勒比| 亚洲欧洲综合视频在线| 熟女熟妇伦久久影院毛片一区二区| 亚洲国产成人福利在线观看| 试看福利| 啪啪AV导航| 日日骚精品视频| 欧美成人A天堂片在线观看| 亚洲天堂情色| 日本欧美韩国国产在线| 蜜臀av中字字幕网站| 老熟女91视频| 九九热九九热| 国产一级舔足在线观看| 国产传媒日本欧美专区| 91福利网在线观看| 五月婷婷hd| 波多野42部激情无码喷潮| 色综合潮| 一区二区视频在看| 欧美99热| 蜜臀久久99精品久久久久久无删减| 精品久久久九九九孕妇| 日韩精品在线放| 9999亚洲精品| 亚洲av无码成人精品国产| 中文字幕三四五区| 密臀在线免费观看| 日本视频在线观看污污污| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 久久激情五月| yw尤物av无码点击进入麻豆| 99RE在线视频精品,这里只有精品| 91c色| 自拍六区| 精品国产72| 熟女人妻一区二区三区| 久久免费少妇| 裸体1区| 天天弄天天操| 日本色色视频网站| 天天影视综合色| 超碰色中文| 成人免费在线网站| 欧亚日韩中文在线| 加勒比海成人视频网| 色色激情| 国产Av超碰| 超碰97久| 一本一首道人妻少妇免费久久| 国产精品三级视频网站| 日韩性爱小视频| 9997se| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 蜜臀一二三区| 青青草在线视频人人想人人上| 国产精品色片一区二区| 久久久久九九九| 骚逼自拍99| 日本三级人妻a人妻一在线| 日韩成人精品视频自拍| 久久精品一区二区三区四区五区| 加勒比人妻综合| 日本曲间由美性生活片| 大色综合网| 日韩无码视频黄色| 人妻熟女一区二区在线视频| 久久久久久9999| 亚洲18禁| 强奸xx国产| 又大又长又粗又爽又黄| 天天综合-91入口| 超碰9 7女人| 四虎视频在线观看| 激激五月| 超碰人人草| 大香蕉专区| 91AV入口| 久久久久久久唑| 天天爱综合网| 成人热久久精品| 91人妻超碰| 婷婷色导航| 日韩欧美午夜视频在线| 东京热视频网| 97欧美视频| 老熟女综合网 | av无码av无码专区| 中文字幕美女91| 91视频综合网| 外国免费性情大片| 后入式999| 欧美论理片| 中文字幕88av在线| 久久发布国产伦子伦精品| 丁香六月激情综合| 免费看欧美美女黄色大片| 亚洲国产婷婷在线播放| 亚洲A曰本VA欧美VA视频| 91亚洲欧洲| 男女啊啊啊| 蜜臀网址在线| 青青草女人天天干| 精国久久一区二区三区98| 久久超碰97中文字幕| 久久一二区四| 精品人人| 99国内精品| 日本有码影片下载| 日韩精品一二三四| 五月婷婷丁香| 色婷婷小说| 婷婷综合五月| 婷婷久久大香蕉| 一级免费啪啪片| 熟女被操视频网址| 中文字幕性感少妇av| A片 AV一级在线播放观看免费| 亚洲一级特黄大片在线播放91| 高清一区AV无码| 国产精品亚洲一级av第二区| 中文精品一区二去| 园内精品自拍视频在线播放| 欧美一区二区三区入口| 天天艹天天日| 91快色色色色色| 五月天玖玖资源站| 国产视频不卡在线观看| 一区二区三区视频在线观看免费| 伦理片秋霞免费影院| 亚洲夜夜欢无码一区二区 | 久久精品黄色| 亚洲欧美人妻| 999久久久免费精品国产牛牛| 明星性猛交ⅹxxx乱大交| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 成人草草视频| 欧美熟妇精品黑人巨大91| 国产精品国产精品国产| 国产偷人伦激情在线观看| 欧美综合国产精品久久丁香| 中文精品一区二去| 久久久麻豆精品| 五月婷婷综合激情| 午夜激情床戏激情| 91中文精品日韩欧美在线 | 久久久久日本视| 97精品久久久久久久| 91爱做| 国产精品夜夜夜| 人妻天堂网| 91国产操逼视频| 欧美精品日韩久久久九| 牛牛aV| 黑丝内射一区二区三区| 蜜臀久久99精品久久久久免费观| 裸体1区| 日韩精品三级| 精品人妻一二三| WWW啪啪的com| 99日精品欧美国产| 999狠狠综合| 亚洲天堂人人妻| 骚鸭AV| 久久的免费性爱视频| AV不卡在线| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 欧美十八禁导航成人| 亚洲高清无码免费观看视频| 久久久影院| 大香蕉综合在线| 综合亚洲欧美| AA级电影三区| 无码少妇精品一区二区60岁老人| 日本久操视频| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | nuu12国产麻豆精品| 三上悠亚在线毛片91| 亚洲天堂人妻熟妇视频| 亚洲少妇喷视频看| 午夜后入| 日韩色| 操逼操逼逼操操逼91| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 多乙久久久久久| 国产欧美日韩女同性恋ww喷水精品| www.AV有限公司一区| 国产精品久久泡妞网站| 隔壁邻居波多野结衣中文字幕| 免费观看的av| 色天堂在线观看| 欧美乱伦专区| 美女被艹尤物视频| 国产熟女一区二区丰满| 久久婷婷一区| 黄色人人| 嗯嗯啊中文字幕| 韩日自拍| 一级人妻性爱视频| 九月色婷婷| 9999久久久久| 69av一区二区三区| 五月婷色| 夜夜免费视频| 国产精品久久久久无码Av网曝门| 狠狠色综合网| 亚洲色图 综合| 国产粉嫩蜜臀av一区二区三区| 亚洲偷拍自拍在线视频| 久久色一区二区| 久久人妻| 色五月综合网| 91无摭挡| 成人av影院在线观看| 激情内射| juliaann丝袜| 嫩草影院在线观看精品| 欧美 青青草| 人人操人人肉久久精品| 国产 日韩 另类 视频一区爱| 青青操少妇| 无码国产精品96久久久久孕妇| 9999免费精彩视频| 久操影视| 性爱乱伦视频免费| 亚洲精品一二三四区| 亚州性9| 大香蕉九九| 亚洲加勒比色图| 国产欧美岛国精品一区| 国产精品欧美激在线| 久久的免费性爱视频| 亚洲日韩一区电影| 日韩本不卡视频在线观看| 很很热性爱视频| 伊人久久亚洲色欲综合网站 | 欧美一区二区亚洲天堂| 精品一区二区久久| 国产区91柔拿会所技师|