日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ChatGLM3-6B LoRA微調(diào)實(shí)戰(zhàn):從環(huán)境搭建到推理部署全流程指南

ChatGLM3-6B LoRA微調(diào)實(shí)戰(zhàn):從環(huán)境搭建到推理部署全流程指南 簡(jiǎn)介大語(yǔ)言模型微調(diào)是行業(yè)落地的核心技術(shù)環(huán)節(jié)。LoRA作為一種高效參數(shù)微調(diào)方法通過(guò)凍結(jié)基座模型權(quán)重并訓(xùn)練低秩增量矩陣顯著降低顯存占用使6B級(jí)別模型在普通顯卡上也能完成業(yè)務(wù)定制。ChatGLM3-6B作為中文場(chǎng)景中表現(xiàn)優(yōu)秀的基礎(chǔ)模型配合LoRA可在知識(shí)問(wèn)答、領(lǐng)域?qū)υ挼热蝿?wù)上快速適配。本文完整梳理了從環(huán)境搭建、數(shù)據(jù)清洗、訓(xùn)練參數(shù)配置到推理驗(yàn)證的工程流程并針對(duì)顯存溢出、過(guò)擬合、loss異常等常見(jiàn)問(wèn)題給出可操作的排查方案為開(kāi)發(fā)者提供一套可直接復(fù)現(xiàn)的微調(diào)實(shí)踐路徑。 做AI應(yīng)用落地這幾年我最大的感受是模型底座要選對(duì)但真正決定業(yè)務(wù)體驗(yàn)的往往是最后那一步定向調(diào)教。ChatGLM3-6B是我常用的底座之一通用對(duì)話、知識(shí)問(wèn)答都能打可一旦牽扯到具體的行業(yè)術(shù)語(yǔ)、輸出格式、角色人設(shè)直接拿原版模型上線就會(huì)顯得官方而空洞。這篇就把我的完整跑通方案記錄下來(lái)——基于ChatGLM3-6B模型用LoRA方法做微調(diào)從環(huán)境搭建、數(shù)據(jù)處理到訓(xùn)練、推理每一步都給出可復(fù)現(xiàn)的源碼和參數(shù)并且把我在實(shí)操中踩過(guò)的坑一并講清楚。先說(shuō)這套方案適合誰(shuí)。如果你準(zhǔn)備在自己的顯卡上把一個(gè)大模型拉向垂直場(chǎng)景手頭有一張24G顯存左右的卡或者幾張消費(fèi)級(jí)卡做數(shù)據(jù)并行想把模型從什么都能聊變成你的領(lǐng)域?qū)<夷沁@篇文章就是給你準(zhǔn)備的。LoRA的核心價(jià)值在于不跟那60億參數(shù)硬碰硬而是訓(xùn)練一組規(guī)模極小的增量矩陣讓模型在保持原有能力的同時(shí)學(xué)會(huì)你要的說(shuō)話方式。我的實(shí)測(cè)結(jié)論是在1千到1萬(wàn)條高質(zhì)量業(yè)務(wù)數(shù)據(jù)下LoRA微調(diào)的效果跟全參微調(diào)已經(jīng)非常接近但訓(xùn)練資源需求卻低了一個(gè)數(shù)量級(jí)。1. 項(xiàng)目背景與整體設(shè)計(jì)思路1.1 為什么選ChatGLM3-6B當(dāng)?shù)鬃疫xChatGLM3-6B有幾個(gè)非常實(shí)際的考量。首先是參數(shù)規(guī)模卡位很合適6B這個(gè)量級(jí)既不像70B那樣需要多卡集群伺候也不會(huì)像幾百M(fèi)的小模型那樣微調(diào)完還是顯得笨。它在中文上的表現(xiàn)尤其是在指令遵循和上下文理解方面明顯好于同體量的多數(shù)開(kāi)源模型這對(duì)我做的業(yè)務(wù)問(wèn)答、文本潤(rùn)色、結(jié)構(gòu)化抽取這類(lèi)任務(wù)來(lái)說(shuō)特別重要。其次ChatGLM3的對(duì)話協(xié)議是固定的一套模版格式。官方微調(diào)腳本里已經(jīng)對(duì)這種格式做了完整支持包括system prompt、多輪歷史、工具調(diào)用這些字段。這意味著你在微調(diào)時(shí)不需要自己發(fā)明輪子只要把數(shù)據(jù)整理成對(duì)應(yīng)的對(duì)話結(jié)構(gòu)剩下的交給模型。最后社區(qū)的生態(tài)成熟度也是個(gè)隱性優(yōu)勢(shì)。transformers、peft、datasets這些主流庫(kù)對(duì)ChatGLM3支持得很到位踩坑時(shí)隨便一搜就能找到答案這一點(diǎn)對(duì)新手來(lái)說(shuō)價(jià)值很大。說(shuō)到生態(tài)我還要多提一句很多人以為選底座只看榜單分?jǐn)?shù)但實(shí)際開(kāi)發(fā)里庫(kù)的兼容性和社區(qū)活躍度往往是決定能否按時(shí)交付的關(guān)鍵。我早期用過(guò)一些小眾模型文檔不全、加載報(bào)錯(cuò)、社區(qū)沒(méi)人回答折騰一周還在環(huán)境階段。后來(lái)統(tǒng)一收斂到ChatGLM3這類(lèi)有官方微調(diào)倉(cāng)庫(kù)、有大量第三方教程的模型上交付效率明顯上來(lái)了。1.2 選LoRA而不選全參微調(diào)核心邏輯在哪這里我要把方案選型講透因?yàn)楹芏喑鯇W(xué)者上來(lái)就糾結(jié)我到底該用LoRA還是全參微調(diào)。我自己的判斷標(biāo)準(zhǔn)很簡(jiǎn)單先看你的硬件再看你的數(shù)據(jù)量。全參微調(diào)意味著6B模型的所有參數(shù)都要參與梯度更新。以AdamW優(yōu)化器為例光優(yōu)化器狀態(tài)就要占掉兩倍模型參數(shù)量的內(nèi)存加上模型本身、梯度、激活值一張24G的卡根本塞不下通常需要A100 80G級(jí)別的設(shè)備。LoRA的做法是凍結(jié)所有原始參數(shù)只訓(xùn)練插入在attention層里的低秩矩陣。以r8為例ChatGLM3-6B可訓(xùn)練參數(shù)大概只有800萬(wàn)到1000萬(wàn)級(jí)別只占全部參數(shù)的1%左右。訓(xùn)練時(shí)的顯存大頭是模型本身的權(quán)重和推理帶來(lái)的激活值所以24G單卡就能很舒服地跑起來(lái)。再?gòu)臄?shù)據(jù)量的角度說(shuō)全參微調(diào)在數(shù)據(jù)量不足時(shí)特別容易災(zāi)難性遺忘——模型把原來(lái)的通用能力全忘了只知道你的業(yè)務(wù)話術(shù)。LoRA因?yàn)樵紮?quán)重不動(dòng)相當(dāng)于在保持常識(shí)基礎(chǔ)的同時(shí)疊加一個(gè)業(yè)務(wù)適配層一千條高質(zhì)量數(shù)據(jù)就能看到效果而且訓(xùn)練完的LoRA權(quán)重只有幾十MB切換任務(wù)時(shí)只要把a(bǔ)dapter換掉就行不需要維護(hù)多個(gè)完整模型副本。P-Tuning v2也是官方推薦的一種輕量方案它通過(guò)在模型輸入側(cè)加連續(xù)型prompt來(lái)實(shí)現(xiàn)微調(diào)。但它對(duì)長(zhǎng)文本、復(fù)雜推理場(chǎng)景的適配不如LoRA靈活而且每次推理都要多走一段連續(xù)prompt的學(xué)習(xí)路徑。我綜合對(duì)比后LoRA在大多數(shù)業(yè)務(wù)場(chǎng)景下是性價(jià)比最優(yōu)的選擇這也是這篇文章為什么用LoRA來(lái)實(shí)戰(zhàn)的原因。2. 環(huán)境準(zhǔn)備與依賴安裝2.1 硬件評(píng)估顯存到底怎么算在你開(kāi)始敲pip install之前先把機(jī)器的情況摸清楚。我的運(yùn)行環(huán)境是這樣的單張RTX 4090 24G系統(tǒng)是Ubuntu 22.04CUDA 12.1PyTorch 2.1。這個(gè)配置可以很輕松地跑ChatGLM3-6B的LoRA微調(diào)實(shí)際峰值顯存約21GB左右。如果你用的是16G顯存的卡比如RTX 4080或者4090 Laptop也能跑但要開(kāi)啟gradient checkpointing并調(diào)小batch size。這里我給大家一個(gè)粗略的顯存估算公式。6B模型在FP16下權(quán)重占用約為12GB60億參數(shù) × 2字節(jié)。LoRA訓(xùn)練時(shí)這12GB是固定的因?yàn)槟銉鼋Y(jié)了原始權(quán)重額外的開(kāi)銷(xiāo)來(lái)自LoRA參數(shù)、梯度緩存、優(yōu)化器狀態(tài)和激活值。以per_device_train_batch_size1、max_length1024為例激活值大約占3~5GBLoRA參數(shù)及其優(yōu)化器狀態(tài)不到1GB模型梯度凍結(jié)層不需要存基本可忽略。所以整體算下來(lái)18~23GB是一個(gè)比較現(xiàn)實(shí)的區(qū)間。你準(zhǔn)備硬件之前可以拿這個(gè)公式粗算一下別等啟動(dòng)訓(xùn)練才發(fā)現(xiàn)OOM。如果你只有一張12G的卡也并非完全不行??梢試L試量化為4bit加載用bitsandbytes配合peft的load_in_4bitTrue把模型權(quán)重壓到3GB左右騰出空間給訓(xùn)練。當(dāng)然4bit量化會(huì)稍微損失精度訓(xùn)練出來(lái)的效果比16bit略差但確實(shí)能讓你在低端卡上跑通整個(gè)流程。2.2 環(huán)境搭建和依賴清單依賴這塊我直接給出經(jīng)過(guò)我驗(yàn)證的版本組合避免大家被各庫(kù)之間的版本沖突折磨Python 3.10transformers 4.36.0低于4.30會(huì)有ChatGLM3的tokenizer兼容問(wèn)題peft 0.7.0datasets 2.16.0accelerate 0.26.0bitsandbytes 0.42.04bit量化用可選項(xiàng)sentencepiece 0.1.99protobuf 3.20.3這個(gè)版本很關(guān)鍵后面的版本會(huì)跟ChatGLM的tokenizer依賴沖突創(chuàng)建虛擬環(huán)境后用pip安裝這些包即可。有條件的話我建議用conda裝PyTorch然后pip裝其他庫(kù)。conda create -n glm3-lora python3.10 conda activate glm3-lora pip install torch2.1.0 --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.36.0 peft0.7.0 datasets2.16.0 accelerate0.26.0 sentencepiece0.1.99 protobuf3.20.3裝完之后先把模型下載到本地。注意模型文件不小6B的FP16權(quán)重大約12GB提前留好磁盤(pán)空間。git lfs install git clone https://huggingface.co/THUDM/chatglm3-6b提示如果網(wǎng)絡(luò)不穩(wěn)定也可以從ModelScope的鏡像倉(cāng)庫(kù)下載代碼上只要把model_name_or_path換成對(duì)應(yīng)的本地路徑就行。這一步踩過(guò)的坑也順便說(shuō)一下protobuf版本不對(duì)時(shí)tokenizer加載會(huì)報(bào)TypeError: Descriptors cannot not be created directly我當(dāng)時(shí)卡了差不多半天最后鎖定到3.20.3才正常。別小看依賴版本微調(diào)項(xiàng)目大部分時(shí)間都耗在這些不起眼的小問(wèn)題上。3. 數(shù)據(jù)準(zhǔn)備與預(yù)處理3.1 數(shù)據(jù)結(jié)構(gòu)讓模型看懂你的業(yè)務(wù)LoRA微調(diào)成敗的第一決定因素是數(shù)據(jù)而不是模型。ChatGLM3-6B的官方微調(diào)腳本期望的數(shù)據(jù)是對(duì)話格式的JSON。我通常使用ShareGPT格式每個(gè)樣本是一個(gè)多輪對(duì)話數(shù)組[ { conversations: [ { role: system, content: 你是云運(yùn)維助手熟悉Kubernetes、Docker、Prometheus等工具。 }, { role: user, content: Pod一直處于Pending狀態(tài)我該怎么排查 }, { role: assistant, content: 首先用 kubectl describe pod pod-name 查看事件重點(diǎn)看調(diào)度失敗原因。常見(jiàn)情況包括節(jié)點(diǎn)資源不足、節(jié)點(diǎn)被污點(diǎn)污化、PVC沒(méi)有綁定等。 } ] } ]注意這里有幾個(gè)細(xì)節(jié)。第一system字段可以顯式設(shè)定人設(shè)這是ChatGLM3相對(duì)早期模型的一大增強(qiáng)如果你要的是某個(gè)垂直領(lǐng)域的問(wèn)答助手建議每個(gè)樣本都保留這個(gè)字段。第二多輪對(duì)話要保留完整的上下文不要只給單輪切出來(lái)的片段否則模型學(xué)不到記住前文的能力。第三字段名必須是conversations里面每輪的role只能是system、user、assistant三種之一連大小寫(xiě)都不能錯(cuò)。對(duì)于數(shù)據(jù)量我給個(gè)經(jīng)驗(yàn)區(qū)間。如果只是做風(fēng)格遷移或角色扮演兩三百條高質(zhì)量樣本就夠看到明顯變化如果是行業(yè)知識(shí)問(wèn)答建議至少準(zhǔn)備一千條覆蓋主要問(wèn)法的樣本最好是三千到一萬(wàn)條的效果更穩(wěn)。數(shù)據(jù)再多的話普通LoRA可能就有點(diǎn)吃力了需要配合增量預(yù)訓(xùn)練或者調(diào)整數(shù)據(jù)采樣策略。3.2 數(shù)據(jù)清洗與質(zhì)量檢查這一步極其容易被忽略但恰恰決定了微調(diào)效果的天花板。我拿到原始數(shù)據(jù)后的處理順序是這樣的先做格式清洗再做內(nèi)容去重最后做質(zhì)量抽檢。格式清洗包括JSON解析驗(yàn)證、剔除空content的樣本、把內(nèi)容中的多余空白和不可見(jiàn)字符清掉、統(tǒng)一全角半角標(biāo)點(diǎn)。很多從業(yè)務(wù)數(shù)據(jù)庫(kù)里摳出來(lái)的數(shù)據(jù)格式亂得讓人頭大但模型學(xué)的就是這些文本垃圾進(jìn)垃圾出所以這一步不能省。內(nèi)容去重我用的是datasets庫(kù)的Dataset.from_list配合簡(jiǎn)單的hash去重。因?yàn)橹貜?fù)樣本會(huì)在訓(xùn)練時(shí)被反復(fù)加權(quán)導(dǎo)致模型對(duì)某幾條回答過(guò)擬合降低泛化能力。實(shí)際操作中我還遇到過(guò)一種隱蔽問(wèn)題文本內(nèi)容不同但語(yǔ)義高度重復(fù)的樣本比如K8s是什么和Kubernetes是什么同時(shí)大量出現(xiàn)這會(huì)讓模型對(duì)特定說(shuō)法過(guò)度敏感。處理這類(lèi)問(wèn)題沒(méi)有捷徑只能靠人工抽樣看所以我的習(xí)慣是第一步先按字面去重第二步再抽檢語(yǔ)義重復(fù)率實(shí)在太多就做聚類(lèi)后挑代表樣本。最后的人工抽檢是必須的。我習(xí)慣從清洗后的數(shù)據(jù)里隨機(jī)抽20~30條逐條看答案是否準(zhǔn)確、是否包含明顯錯(cuò)誤信息。大模型微調(diào)最怕的就是數(shù)據(jù)本身有毒——模型一旦學(xué)進(jìn)去錯(cuò)誤知識(shí)很難通過(guò)后續(xù)手段擦除。這塊用一句話總結(jié)就是寧可少十頁(yè)數(shù)據(jù)不要一條臟數(shù)據(jù)。4. LoRA微調(diào)核心實(shí)現(xiàn)4.1 LoRA參數(shù)到底怎么設(shè)在寫(xiě)代碼之前先得對(duì)LoRA的幾個(gè)關(guān)鍵參數(shù)心里有數(shù)不然一行代碼都看不懂。LoRA的核心思想是把權(quán)重更新量拆成一個(gè)低秩矩陣的乘積即ΔW BA其中B的維度是d×rA的維度是r×k。訓(xùn)練時(shí)只更新B和A這個(gè)r就是秩。參數(shù)名推薦值作用備注r8低秩矩陣的秩決定可學(xué)習(xí)容量數(shù)據(jù)量大可加大到16新手別一上來(lái)就64lora_alpha32縮放因子控制LoRA影響強(qiáng)度和r搭配實(shí)際縮放系數(shù)為alpha/rlora_dropout0.1隨機(jī)失活比例防過(guò)擬合數(shù)據(jù)量小、過(guò)擬合時(shí)加到0.15target_modulesquery_key_value指定插入LoRA的網(wǎng)絡(luò)層ChatGLM3核心attention模塊biasnone是否訓(xùn)練偏置項(xiàng)一般設(shè)為none省參數(shù)省顯存這些參數(shù)不是拍腦袋定的我在不同任務(wù)上做過(guò)對(duì)比。r8配上alpha32在客服對(duì)答、知識(shí)抽取、文案改寫(xiě)這些任務(wù)上都能拿到不錯(cuò)的效果。如果你想追求更極致的推理速度可以把r降到4alpha調(diào)成16模型體積會(huì)小不少但表達(dá)能力的上限也會(huì)相應(yīng)降低。另外特別提醒一下target_modules不要亂加。有人為了充分微調(diào)把dense、dense_h_to_4h全都加上結(jié)果訓(xùn)練時(shí)間翻倍、顯存暴漲效果卻沒(méi)有明顯提升因?yàn)榇蟛糠挚蛇w移的知識(shí)就集中在attention層的value投影里。4.2 訓(xùn)練主流程代碼下面直接上核心代碼。首先是加載基座模型和tokenizerimport torch from transformers import AutoTokenizer, AutoModel, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model model_name THUDM/chatglm3-6b tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained( model_name, torch_dtypetorch.float16, trust_remote_codeTrue, device_mapauto ) # 如果顯存緊張用下面的方式加載4bit量化模型 # from transformers import BitsAndBytesConfig # bnb_config BitsAndBytesConfig(load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16) # model AutoModel.from_pretrained(model_name, quantization_configbnb_config, trust_remote_codeTrue)然后配置LoRA并注入模型lora_config LoraConfig( r8, lora_alpha32, lora_dropout0.1, target_modules[query_key_value], biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 輸出類(lèi)似: trainable params: 8,388,608 || all params: 6,258,278,400 || trainable%: 0.134數(shù)據(jù)處理部分需要把對(duì)話樣本拼成ChatGLM3的prompt格式。這里的關(guān)鍵是讓tokenizer正確處理特殊token。我建議自己實(shí)現(xiàn)一個(gè)拼接函數(shù)這樣對(duì)batch處理更友好ChatGLM3的chat模板長(zhǎng)這樣def build_prompt(conversations): system 你是一個(gè)智能助手 if conversations[0][role] system: system conversations[0][content] conversations conversations[1:] prompt [gMASK]sop system \n for msg in conversations: if msg[role] user: prompt |user|\n msg[content] |assistant|\n else: prompt msg[content] \n return prompt訓(xùn)練時(shí)我們對(duì)整條拼接后的文本做tokenize把user部分對(duì)應(yīng)的token在labels里設(shè)為-100忽略loss只讓模型學(xué)習(xí)assistant的回答部分。實(shí)現(xiàn)時(shí)可以用tokenizer(prompt, return_tensorspt)然后手動(dòng)構(gòu)造labels數(shù)組凡是user位置的token label都置為-100。接著配置TrainingArgumentstraining_args TrainingArguments( output_dir./glm3-lora-checkpoints, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-4, warmup_ratio0.03, logging_steps10, save_steps500, evaluation_strategysteps, eval_steps500, fp16True, gradient_checkpointingTrue, report_tonone ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, tokenizertokenizer, ) trainer.train()這些參數(shù)里per_device_train_batch_size1加gradient_accumulation_steps8等效batch size是8但顯存壓力卻被控制得很好。gradient_checkpointingTrue會(huì)以少量計(jì)算換顯存實(shí)測(cè)能省下4GB左右的占用。learning_rate用2e-4是LoRA微調(diào)常見(jiàn)的起點(diǎn)比全參微調(diào)的1e-5到5e-5要大一兩個(gè)量級(jí)原因很簡(jiǎn)單可訓(xùn)練參數(shù)太少學(xué)習(xí)率太小根本學(xué)不動(dòng)。這個(gè)經(jīng)驗(yàn)我在多個(gè)模型上驗(yàn)證過(guò)用1e-5訓(xùn)練LoRAloss基本貼著原地不動(dòng)。這里插一句非常重要的經(jīng)驗(yàn)不要盲目開(kāi)大batch size。LoRA微調(diào)時(shí)batch size影響的是LoRA那一小部分參數(shù)的梯度估計(jì)8的等效batch已經(jīng)足夠。過(guò)大反而讓模型傾向于復(fù)刻訓(xùn)練集的常見(jiàn)回答損失多樣性模型會(huì)變得油嘴滑舌但缺乏真正的泛化能力。4.3 訓(xùn)練過(guò)程中的幾個(gè)坑這塊是純實(shí)操經(jīng)驗(yàn)了。第一個(gè)坑是loss不下降或下降極慢。我遇到過(guò)最典型的原因就是learning_rate設(shè)成了全參微調(diào)的1e-5LoRA參數(shù)更新本身就小1e-5基本等于沒(méi)訓(xùn)練。改成2e-4甚至5e-4后loss明顯開(kāi)始往下走。排查時(shí)先看learning_rate再看target_modules是否正確注入最后看數(shù)據(jù)加載是否真的打到了模型上。第二個(gè)坑是顯存突然爆炸。有時(shí)候開(kāi)始訓(xùn)練正常跑了幾百步之后OOM。這一般是激活值累積或者某個(gè)batch的文本特別長(zhǎng)導(dǎo)致的。我后來(lái)習(xí)慣在數(shù)據(jù)集里加一個(gè)長(zhǎng)度上限過(guò)濾比如超過(guò)2048 tokens的樣本直接截?cái)嗷騺G棄訓(xùn)練穩(wěn)定性會(huì)好很多。具體做法是在preprocess函數(shù)里判斷l(xiāng)en(input_ids) max_length就跳過(guò)。第三個(gè)坑是梯度檢查點(diǎn)跟某些庫(kù)的兼容問(wèn)題。如果你在加載模型時(shí)用了prepare_model_for_kbit_training又同時(shí)開(kāi)啟gradient_checkpointing在模型反向傳播時(shí)可能報(bào)RuntimeError: None of the inputs have requires_gradTrue。這個(gè)問(wèn)題的根源是4bit量化后部分參數(shù)被設(shè)為不需要梯度解決方法是確保你只對(duì)model.base_model調(diào)用gradient_checkpointing_enable()并檢查所有需要梯度的參數(shù)是否都在LoRA的adapter里。這個(gè)報(bào)錯(cuò)信息看著嚇人其實(shí)原因非常具體按這個(gè)思路排查基本都能解決。5. 模型評(píng)估與推理部署5.1 模型保存與合并訓(xùn)練完成后trainer會(huì)直接把LoRA adapter保存在output_dir里。這里面有幾個(gè)文件adapter_config.json、adapter_model.bin還有tokenizer相關(guān)文件。adapter_model.bin通常只有幾十MB這就是你辛苦訓(xùn)練的成果。保存LoRA其實(shí)就夠了因?yàn)橥评頃r(shí)你可以在基座模型上臨時(shí)加載這個(gè)adapter。但如果你的最終目的是部署到生產(chǎn)環(huán)境不希望每次啟動(dòng)都多一步加載adapter的邏輯那就需要把a(bǔ)dapter合并回原始模型from peft import PeftModel model PeftModel.from_pretrained(model, ./glm3-lora-checkpoints/checkpoint-1500) merged_model model.merge_and_unload() merged_model.save_pretrained(./glm3-lora-merged) tokenizer.save_pretrained(./glm3-lora-merged)合并后的模型跟普通ChatGLM3-6B的結(jié)構(gòu)完全一樣只是權(quán)重已經(jīng)被業(yè)務(wù)數(shù)據(jù)微調(diào)過(guò)可以用常規(guī)方式加載和部署。這樣在推理服務(wù)里就不需要依賴peft庫(kù)也能省掉adapter疊加的運(yùn)行時(shí)開(kāi)銷(xiāo)。如果你的服務(wù)框架不支持peft合并導(dǎo)出幾乎是唯一的選擇。需要提醒的是合并操作會(huì)把LoRA權(quán)重加到原始權(quán)重上結(jié)果是一個(gè)新的6B完整模型磁盤(pán)占用又回到12GB左右。如果你同時(shí)維護(hù)多個(gè)業(yè)務(wù)場(chǎng)景的LoRA建議保留adapter文件按需加載合并而不是每個(gè)場(chǎng)景都存一份完整模型磁盤(pán)開(kāi)銷(xiāo)會(huì)大很多。5.2 推理驗(yàn)證效果好不好自己先聊幾輪模型微調(diào)完光看loss曲線是不夠的loss低不代表效果好可能是過(guò)擬合了。我自己習(xí)慣先做一組固定的測(cè)試問(wèn)題集蓋上訓(xùn)練分布專(zhuān)門(mén)測(cè)模型的遷移能力。比如我訓(xùn)練了一個(gè)客服助手測(cè)試時(shí)會(huì)問(wèn)幾個(gè)訓(xùn)練數(shù)據(jù)里完全沒(méi)出現(xiàn)過(guò)的同義問(wèn)題看它能否給出合理回答。推理測(cè)試的代碼很簡(jiǎn)單model AutoModel.from_pretrained(./glm3-lora-merged, trust_remote_codeTrue, devicecuda) response, history model.chat(tokenizer, 你熟悉Kubernetes嗎請(qǐng)用一個(gè)例子說(shuō)明Pod調(diào)度原理。, history[]) print(response)測(cè)試時(shí)重點(diǎn)看三個(gè)維度一是回答是否跟業(yè)務(wù)口徑一致二是多輪對(duì)話是否還能記得前面的內(nèi)容三是是否出現(xiàn)通用能力退化比如原本能做的數(shù)學(xué)題現(xiàn)在做不出來(lái)了。第三個(gè)維度很多人會(huì)忽略但恰恰是衡量LoRA微調(diào)是否健康的關(guān)鍵指標(biāo)。我在一個(gè)項(xiàng)目里就遇到過(guò)微調(diào)后模型對(duì)領(lǐng)域問(wèn)題的回答非常漂亮但一讓它算11都開(kāi)始胡說(shuō)這就是典型的災(zāi)難性遺忘。解決方案是訓(xùn)練時(shí)在數(shù)據(jù)里摻10%左右的基礎(chǔ)通用數(shù)據(jù)效果立竿見(jiàn)影。后來(lái)我每次準(zhǔn)備數(shù)據(jù)都會(huì)刻意留出這個(gè)比例確保模型既懂業(yè)務(wù)又不丟常識(shí)。我還會(huì)把微調(diào)前后的回答放在一起做對(duì)比。用同一組問(wèn)題先問(wèn)原版ChatGLM3再問(wèn)微調(diào)后的模型輸出差異一目了然。這個(gè)對(duì)比過(guò)程不只是看結(jié)果好壞還能幫你理解LoRA到底改了什么。比如我看到過(guò)原版模型回答你怎么看云原生時(shí)會(huì)給出標(biāo)準(zhǔn)百科式的定義而微調(diào)后模型的回答變成了結(jié)合業(yè)務(wù)場(chǎng)景的具體建議這就是LoRA在起作用。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 顯存不足怎么辦這個(gè)問(wèn)題出現(xiàn)的頻率最高。如果你遇到CUDA out of memory按下面的順序排查確認(rèn)已經(jīng)開(kāi)啟gradient_checkpointing這是性價(jià)比最高的手段。把per_device_train_batch_size降到1。檢查max_length設(shè)置很多數(shù)據(jù)里有個(gè)別超長(zhǎng)樣本會(huì)在某個(gè)step突然撐爆顯存可以先把max_length設(shè)成512或768試跑??紤]4bit量化加載模型。我在一張24G卡上用上面的組合可以跑batch_size1 grad_accum8 max_length1024的訓(xùn)練顯存峰值不到22GB。如果這么調(diào)還是OOM那基本得換更大的卡或者減少數(shù)據(jù)長(zhǎng)度了不要指望靠玄學(xué)優(yōu)化繞過(guò)物理限制。6.2 過(guò)擬合與欠擬合怎么判斷過(guò)擬合看eval loss。如果訓(xùn)練loss持續(xù)下降但eval loss先降后升那就是過(guò)擬合的典型信號(hào)。LoRA微調(diào)數(shù)據(jù)量一兩千條時(shí)過(guò)擬合非常容易發(fā)生。我的對(duì)策是加大lora_dropout到0.15降低學(xué)習(xí)率到1e-4訓(xùn)練輪數(shù)減少到2輪同時(shí)用early stopping回調(diào)來(lái)早停。如果過(guò)擬合嚴(yán)重到訓(xùn)練集loss都快到0了建議先別急著調(diào)參回到數(shù)據(jù)處理環(huán)節(jié)看是不是重復(fù)樣本太多、對(duì)話模式太單一。欠擬合則相反訓(xùn)練loss降不下去模型的回答還是跟原版差不多。這多半是學(xué)習(xí)率太小、訓(xùn)練輪數(shù)不夠或者LoRA的r設(shè)得太小??梢韵仍囍裭earning_rate提到5e-4觀察幾輪再?zèng)Q定。注意欠擬合和過(guò)擬合的調(diào)參方向是相反的別搞混。我見(jiàn)過(guò)有人把欠擬合誤判成過(guò)擬合加了dropout、降了學(xué)習(xí)率結(jié)果問(wèn)題越來(lái)越嚴(yán)重。6.3 Loss變成NaN或訓(xùn)練崩潰Loss出現(xiàn)NaN最常見(jiàn)的原因是學(xué)習(xí)率過(guò)大導(dǎo)致梯度爆炸或者是fp16混合精度下的loss scale出了問(wèn)題。處理方式先把lr降到1e-5確認(rèn)穩(wěn)定后再往上調(diào)。如果還不行把fp16關(guān)掉用純fp32訓(xùn)練顯存壓力會(huì)大但能排除精度問(wèn)題。另外數(shù)據(jù)里如果混入了特別臟的文本比如超長(zhǎng)亂碼也可能導(dǎo)致數(shù)值異常清洗數(shù)據(jù)時(shí)要把這類(lèi)內(nèi)容過(guò)濾掉。還有一個(gè)容易被忽略的問(wèn)題tokenizer的pad token沒(méi)設(shè)置好。ChatGLM3的tokenizer默認(rèn)沒(méi)有pad_token而Trainer在batch時(shí)需要對(duì)樣本pad到相同長(zhǎng)度。解決辦法是在訓(xùn)練前顯式設(shè)置tokenizer.pad_token tokenizer.eos_token不設(shè)置的話可能報(bào)錯(cuò)或訓(xùn)練行為異常這是我見(jiàn)很多人卡住的點(diǎn)。另外如果用了DataCollatorForSeq2Seq記得把paddingTrue開(kāi)啟否則pad邏輯不會(huì)生效。這些小細(xì)節(jié)看著不起眼但往往就是它們決定了你能不能順利跑通一次訓(xùn)練。6.4 訓(xùn)練速度太慢怎么辦如果你覺(jué)得訓(xùn)練速度慢先別懷疑顯卡性能大概率是數(shù)據(jù)長(zhǎng)度太長(zhǎng)或者小batch拖累的。LoRA訓(xùn)練的計(jì)算量主要集中在attention的前向反向傳播上輸入token越長(zhǎng)計(jì)算復(fù)雜度增長(zhǎng)越快。我建議先統(tǒng)計(jì)一下訓(xùn)練數(shù)據(jù)的平均長(zhǎng)度如果大部分樣本都能控制在512 token以內(nèi)就不要把max_length設(shè)成2048白白增加計(jì)算量。另外檢查一下數(shù)據(jù)加載是否有瓶頸比如每次都在內(nèi)存里重新讀寫(xiě)大JSON換成datasets庫(kù)的內(nèi)存映射機(jī)制會(huì)快很多。還有一個(gè)訓(xùn)練加速的技巧在數(shù)據(jù)預(yù)處理時(shí)提前把所有樣本tokenize好并緩存到磁盤(pán)訓(xùn)練時(shí)直接加載預(yù)處理后的token可以省掉運(yùn)行時(shí)的tokenize開(kāi)銷(xiāo)。數(shù)據(jù)量幾千條時(shí)這個(gè)優(yōu)化不明顯但如果數(shù)據(jù)量到了幾萬(wàn)條能省下不少時(shí)間。我的習(xí)慣是第一次跑數(shù)據(jù)預(yù)處理時(shí)花些時(shí)間緩存之后每次調(diào)參訓(xùn)練都不用重復(fù)處理數(shù)據(jù)。這些坑回頭看看都不復(fù)雜但確實(shí)會(huì)一個(gè)接一個(gè)地消耗時(shí)間。我把它們整理成一張速查表方便你排查現(xiàn)象首要懷疑點(diǎn)處理建議顯存OOM激活值過(guò)大開(kāi)gradient checkpointing、降batch、裁長(zhǎng)文本Loss不降學(xué)習(xí)率太小調(diào)大到2e-4乃至5e-4Eval loss反彈過(guò)擬合加dropout、減訓(xùn)練輪數(shù)、查數(shù)據(jù)重復(fù)LossNaN學(xué)習(xí)率過(guò)大或fp16不穩(wěn)降lr、關(guān)fp16試跑、清理臟數(shù)據(jù)訓(xùn)練報(bào)pad相關(guān)錯(cuò)誤未設(shè)置pad_token顯式設(shè)置tokenizer.pad_token自己在實(shí)際項(xiàng)目里把這一整套流程跑下來(lái)之后我最大的體會(huì)是LoRA微調(diào)這個(gè)事代碼層面還真不難難的是數(shù)據(jù)整理和對(duì)效果的系統(tǒng)驗(yàn)證。源碼和參數(shù)照著抄都能跑通可如果你的數(shù)據(jù)是臟的或者壓根沒(méi)有一套效果評(píng)估方法那微調(diào)出來(lái)的模型很可能只是看起來(lái)在訓(xùn)練實(shí)際離上線還有很大距離。我現(xiàn)在的固定流程是先花一天整理數(shù)據(jù)再花半天配環(huán)境訓(xùn)練一晚上第二天上午做定向測(cè)試對(duì)比微調(diào)前后在業(yè)務(wù)問(wèn)題上的回答差異。這個(gè)節(jié)奏在我做過(guò)的幾個(gè)項(xiàng)目里都挺穩(wěn)定。如果你準(zhǔn)備在自己的場(chǎng)景里上手ChatGLM3-6B的LoRA微調(diào)我建議從小數(shù)據(jù)量開(kāi)始跑通全流程再逐步加數(shù)據(jù)、調(diào)參數(shù)這樣可以省下很多不必要的試錯(cuò)時(shí)間。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰碰97资源站| 97人妻免费中文字幕| 嗯阿好爽好紧| 91殴美大片| 干干干天天| 自拍偷拍国产欧美日韩韩| 男人天堂2019亚洲| 天天艹天天日| 伊人五月天| 97天天插| 日韩人妻免费精品| 亚州欧美在线| 97视频在线观看高清资源| 欧美一区二区三区入口| 97人人夜| 色欲色香天天天综合网www-亚洲综合国| 欧美一区二区在线资源| 91处女在线观看| 久久性爱城| 91蜜桃传媒精品久久久一区二区| 成年人性爱日韩| 亚洲天堂东京热| 精品一区二区三区四区外站| 91热热色| 国产精品色| 91在线国产后入风骚翘臀美女素人| 日B操| 18精品一区| 99碰碰| 久夜操| 综合色图区| 国产av色网| 久热大香蕉| 色约约一区=区三区| 国产精品女同| 亚洲色 国产 欧美 日韩| 亚洲影视第一页| 天天日天天插| 在线播放一级无码视频| 欧美人黑A片无码免视费| 国产午夜福利专区综合| 色妺妺在线视频| 97欧美超碰| 91丝袜激情在线| 国产女人91精品嗷嗷嗷嗷| 欧美激情精品| 欧美日韩天堂| 丝袜狠狠草尤物人妻av91| 日韩卡一卡二卡三在线| 人人看黄色视频| 青青草久草AV| 97超久碰| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 蜜臀中文无码午夜| 久久久99久9| 99999亚洲| 94色色电影网| 麻豆区久久久久亚| 日本不卡二三区| 日韩中文欧美| 久久免费少妇| 天天射日日干| 欧美日韩狠狠爱| 国产情色在线| 嗯嗯啊啊好大好爽| 超碰中文字幕人妻草一区| 天天干天天做| 蜜桃香蕉久草精品在线| 日本免费中文一区二区三区四区| 日韩中文字幕精品一区在线| 91网九色蝌蚪操熟女| 91bbb| 国产伊人精品在线| 欧美激情内射| 欧美性性性| 97欧美久久久久久久| 強姦亂倫a| 免费在线看黄片av| 成人av性爱电影在线观看| 亚洲精品九九九| 久久精品电影| 劲爆欧美人妖三区91| 欧美性综合| 98福利在线视频| 久久久久久裸体| 美国三级日本三级久久99| 性爱AV天堂| 一级免费精品| 国产乱码精品久久久久久| 伊人玖玖网| 黄页| 色牛aV| 久久久久久97| 乱伦a片视频| 成人亚欧免费视频| 激情色色| 色综合1991| 成人福利视频网| 熟女熟妇伦久久影院毛片一区二区| 亚洲色图 图片| 久久精品国产97欧美精品亚洲 | 中日亚韩免费视频| 九九精品美女高溯喷水| 人妻喷水| 无码抄逼网| 97超碰巨乳| 中国AAAAAA黄色片| 91综合网站| www.yeyecao| 和协影院中文字幕三区| 狠狠干,狠狠操| 啊啊啊啊啊好多水| 91国产美女丝袜足交精品视频| 屁屁影院一区二区三区国产| 大香蕉青青9| 久久久久亚洲熟妇熟女| 亚洲成人性爱在线观看| 国产91精品福利在线| 国人欧美精品一区二区| 美女黑人91神马| 亚洲性网| 91丝袜在线播放| 亚洲综合色图欧美| 激情四射熟女丝袜| 欧美色天堂网在线视频| 国产精品网址| 欧美天天拍| 欧美激情视频一区二区| 桃花色涩综合影院| 亚州欧美在线| 中文字幕视频在线观看| 伊人少妇久久久| 人人操天天爽| 国产欧美日韩在线观看麻豆传媒公司| 三级网色| 国产亚卅97| 夜夜嗷嗷一区二区| 国产成人主播| 人人澡人人爽人人精品| 久久动漫精品视频这里只有精品| 蜜臀久久99精品| 欧美亚洲国产自久久| 旡码电影特区| 亚洲国产剧情少妇激情| 国产强奸无码乱伦| 中文字幕欧美日韩三级| 国产精品熟女一区二区三区| 2019天天干| 一区二区三区国产在线播放 | 热热色青青草| 亚洲se91| 无码不卡八戒| 再深点灬舒服灬太大了添视频 | 日韩三级视频一区二区三区| 日韩人妻操B| 国产欧美美女免费观看视频| 啊啊啊啊啊操我视频| 久久理论字幕视频| 久久色一区二区| 丰满人妻一区二区三区在线| 1204av韩国| 蜜臀th| 中文字幕诱惑制服人妻丝袜美丝袜美 | 久久久一区二区三区麻豆| 久久久三区二区一区| 久超碰这里只有精品| 91色欧美| 日韩黄片影院| h无码动漫在线观看| 男女激情黄色网址| 一区二区日韩欧美久久| 台湾大香蕉99热| 少妇色综合| 青青五月天| 日本东京热久久久电影| 成年女人黄网站| 日本3级一区二区免费| caopeng97| 嗯,啊。舔我逼| 亚洲欧美变态| 国产强奸乱伦欧美| 99热官网| 色 亚洲 91| 欧美色蜜桃97| 中文字幕日韩专区精品系列| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 日韩精品黄片免费观看| 91视频国品一二三区| 91色黑人少妇| 亚洲性综合11| 成人性爱AV在线免费观看| 亚洲AV成人在线| 婷婷色香| 亚洲天堂资源网| 国产 无码 一区二区| 色播五月婷婷| 亚拍在线| 精品午夜福利导航| 亚洲色图久久精品蜜| 亚洲熟女乱色一区二区三区久久久| 欧美色图自拍| 久久亚州精品成人Av无| 国产免费永久精品无码| 日本道日本道中文字幕日本道最新日本道在线观看 | 操逼网站视频漫画国产| 天天日日夜夜| 91天美免费| 亚洲一区二区三区不卡国产欧美| 久久极品一区二区| 夜夜爽夜夜摸夜夜操免费视频| 国产精品久久| 久久亚洲不卡| 91天堂| 亚洲风情综合网| 超碰天天操你比| 一块操欧美| 亚洲一区二区三区麻豆传媒| 亚洲欧美91| 2019久久久久久久久福利| 精品久久青青草| 国产怡红院在线| 成人aⅴ一区二区三区| 炮色五月| 97综合国产| 久久99精品视频| 久久久久大香青草精品综合| 天天摸夜夜操视频| 操www| 又大又黄国产| 欧美色老汉| 国产精品呦一区二区三区| 色女综合| 欧美性爱18观看| 国产视频三区四区| 97手机日韩| 99热这里是精品| 国产欧美日产一区二区三区 - 国产欧美日 | 超碰偷拍| 人人爱人人操人人性| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 99精品网| 丰满人妻-区二区三区免费看 | 久久久涩| 91美| 丁香成人五月天| 99久在线精品99re8| 亚洲第2页| 国产后入清纯| 亚洲操逼视频网站| 九九五月天| 九九色精品| 九九热re99re6在线精品| 欧美人与性动交a美精品| 91美女视频在线免费观看| 俄罗斯一区二区视频在线观看 | 久九9精品| 国产AV毛片| 学生妹天天看| 日本在线视频导航| 男女国产精品| 少妇免费视频| 人人玩人人添人人澡免费| 男插女青青影院| 隔壁邻居波多野结衣中文字幕| 黑人与人妻| 人妻激情在线视频| 婷婷五月天av| 超碰在线人妻中文字幕| 欧美视频激情久久久久久| 国产欧美成人第一页在线观看 | 日本不卡二三区| 亚洲黄色网址视频| 蜜桃狠狠色伊人亚洲综合 | 插欧洲美女欧美精品| 另类老少妇| 天天日天天插| 午夜.DJ高清在线观看免费7| 亚洲男人的天堂在线看| 99啪啪| 色婷婷国产精品一区在线观看| 久久久久久久 九九九九九九九| 青娱乐福利99| 久久机热| 青青草在线成人视频| 午夜福利无毒不卡| 午夜操操操| 67194无码不卡| 蜜桃精品视频一区| 精品人人插人人操| 99久久久无码国产精品性啊聊| 老女人碰碰在线碰碰视频| 玖玖婷婷五月天| 天天日天天操天天射河南省| 东京热91| 91久久久老司机| 91久久久久久| 国产强奸乱伦xd| 极品出轨视频网站| 亚洲高清视频在线观看| 婷婷五月天激情网| 黄片视频,下载| 日韩97在线| 亚爽爽爽爽爽爽爽爽| 在线播放成人网站| 操逼视频国产无套| 久久99国产精品| 日本淫穴在线| 暖暖精品二区三区观看| 一区二区三区机械有限公司| 亚洲欧美日韩二区视频| 亚洲天天自拍| 1769一区| 骚日日av| 亚洲第一色页夜| 久久,精品一二三| 999亚洲国产视频| 女性91网站| 人妻少妇无码| 男人的天堂在线| 激情自拍 校园春色| 免费成人在线观看91| 欧美性第1页| 97在线无精品| 黄呦呦在线| 欧美三级一级| 激情丁香五月| 九九亚洲视频| 男男H黄动漫啪啪无遮挡网站| 精品视频一区二区| 99久久综合| 99亚洲国产精品色一区二区三区| 深喉吞精| 麻豆精品.欧美精品.日韩精品.| 91五月天| 国产美女口爆吞精视频| 91亚洲欧洲| 大香蕉手机在线| 精品人妻美妇91job| 这里都是精品在线观看| 国产91丝袜 在线播放| 成人欧美日超碰| 成人日本精品九区| 日本精品人妻少妇一区二区| 亭亭丁香激情| 五月婷丁香| 国产尤物AV尤物在线观看不卡| 久操操AV电影| 性暴力欧美猛交在线直播| 欧亚无码视频| 欧美日韩性爱电影在线| 免费观看国产小粉嫩喷水精品午| 囯戸精品高潮呻吟旡码| 免费一级黄色录像影片| 人妻干天天| 色哟哟综合| 自怕偷自怕亚洲精品| 久久久久久久免费A片国产成a人亚洲精∨品无码| 天天操熟妇| 成人精品欧洲亚洲| 欧美91网| 一本色道综合久久欧美日韩精品| 999九九九九国产动| 国产精品午夜福利视频| 久久中文字幕女同性恋一区| 日韩色| 国产日韩欧美亚洲精品95| 福利操逼| 亚洲最新av无码成人精品区| 日韩精品视频在线观看一卡二卡| 国产精品午夜高潮呻吟久久av| 日韩AV熟女乱伦| 成人精品视频一区二区| 国产精品不卡高清在线观看| 蜜臀99久| 思思热国产高清| 国产h小视频在线观看免费| 97爱爱| 久久久久九九九| 成人国产视频在线观看| 国产一区二区三区白丝| 午夜福利成人免费视频| 国产伦精品一区二区三区在线观 | 亚洲人妻一区二区三区| 熟女一区二区| 97精品视频免费| 久久伦理视频久久大香蕉视频| 啊啊啊久久久视频| 少妇淫妇久久久久久久| 人人干黄色| 国产精品一区二区三区,亚洲综合| 亚洲欧美日韩夜夜| 乱操乱伦AV| 78m啪啪啪| 91色久| 丰满人妻无码一区二区三区| 国产亚洲精品美女久久久m| 欧洲成人性爱视频| 日本福利社| 亚洲无码电影久久久| 久久久久久99AV无码免费网站| 在线欧美69V免费观看视频| 日韩黄色成人性爱| 国产精品 亚洲情色| 伊人久久大香蕉线AV五月天| 黑丝制服中文字幕| 日本韩国国产精品一区| 大香蕉婷婷| 亚洲图片 91| SUV一区二区在线看| 91综合无码| 蜜乳AV.COM| 久操网线| 射丝袜高跟鞋99| 性欧美精| 亚洲第一页第二页激情| 国产亚州日韩欧美看片| 久久综合精品一区二区三区| 九热超碰| AV天堂国产| 亚洲另类电影| 欧美一区二区传媒| 久久久久99999| 蜜臀久久99'精品久久久| 亚洲精品欧洲色| 欧美日韩国产高清在线一二三区| 中文字幕视频一区视频二区| 成人国产二区三区在线,男女精品。| 草莓精品视频在线免费观看| 97天天爽| 中文字幕黄色一起草| 东北丰满熟女国产一区| 亚洲 欧美 天天| 亚欧美综合网。| 色色毛片| 精品久久久久,69国产成人精| 婷婷九月国产| 日日日日做夜夜夜夜无码| 九九热免费国产视频婷婷伊人| 亚洲蜜臀视频精品久久| 91人妻最真实刺激绿帽| 国产一区二区三区不卡手机在线| 极品人妻少妇综合| 亚洲精品美女久久久久久久久| 亚洲色图欧美另类在线| 波多野结衣AV无码一区| 91亚洲不卡一区| 久久久久国色αv免费观看| 操我无码| 五月丁香社区婷婷日韩欧美精品影院| 99热aaa| 91综合在线| 91欧美| 国产白丝网站| 亚洲精品国产精品乱码不99| 久久精品91| 久久美女国产| 伊人嫩草| 亚洲无码一区二区三区三州| 久久久久久久久国产| 人人爽天天爽| 中文字幕片| 超碰色综合| av优播| 三四中文字幕| 久久久99久9| 无码精品一区二区三区潘金莲| ji熟女.com| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 九九九久久久W精品| 日韩欧美亚洲一区二区三区影院| 96AV精品| 97精品国产手机| 999精品国产高清一区二区| 日韩av不卡在线观看| 青春草A| 久久亚洲一区女同性恋中文字幕| 99re公开精品免费视频| 色原狠狠天天天| 欧美在线播放aaaa| 香蕉精品二区二区| 久久婷婷五月天| 91啪啪| 成年男人的天堂| 男女猛烈无遮掩视频免费软件| 九草在线大香蕉| 国产精品女久久久久av爽| 伊人久久亚洲色欲综合网站| 九九色逼| 成人五级久久| 97网址97| 久久天堂婷婷网| 国产偷拍网站| 韩国毛片一区二区三区| 97福利视频| 12一15性XXXX粉嫩国产| 少妇与黑人高潮在线| 亚洲导航深夜福利| 久久超碰日韩精品| 黑人与人妻| 日本综合久久| 亚洲一区二区三区不卡国产欧美| 大香蕉99热| 国模精品娜娜一二三区| 香蕉国产精品麻豆亚洲欧美日韩| 无码人妻系列少妇| 亚洲天堂女优在线| A 天堂在线观看视频| 国内一区二区免费| 日日骚精品视频| 中文字幕一区av| 97超碰人人操人人操| 91久久国外网| 精品人妻1237| 亚洲黄网在哪免费看| 亚洲乱码精品一区二区| 久久天堂网| 熟妇人妻一区二区 | 国产一级特黄大片处女| 91狠狠综合久久| 国产 大胆 对白| 六六久久日韩不卡| 在线无码操| 日韩精品人妻中文字幕不卡乱码| 2017大香蕉国产精品久久| 9色在线| 精品人妻中文字幕4399| 男人在线天堂| 亚洲在线观看| 老熟女熟妇| www五月| 日韩欧美俄罗斯A片| 一区在线精品中文字幕| 国产深喉| 啊啊啊在线观看免费视频| 天堂俺去俺来也www久久婷婷| 无码操逼天堂| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 亚欧精品久久久久久久久久久| 日韩 欧美 另类 人妻| 欧美人妻少妇| 91模特在线观看| 国产精品视频播放| 日韩精品人妻中文字幕有码午| 亚洲色诱惑| 精品午夜福利国产一区二区在线观看| av一区二区三区不卡| 嗯嗯啊啊啊好爽| 男女香蕉一区二区| 国产精品视频| 91美女视频在线| 爆乳免费黄网站| 久久久久久午夜男人的天堂| 91久久婷婷| 久久国内| 久久久久久久亚洲Av无码| 久久精品店| 久久伊人影院| 日韩欧视频| 九草九九九| 狠狠操狠狠燥| 欧美国产操逼| 五毛骚逼极品美女怕怕| 超碰97首页| 亚热日本熟女| 久草热制服丝袜在线观看| 精品无人区麻豆乱码久久久| 91成人在线| 九九热五区| 夜夜操av亚洲一区二区| 亚洲激情 欧美色图| 四虎影视在线| 夜夜狼人妻| 一区二区偷拍拍视频| 色婷婷久久| 91狠狠综合久久久久久| 免费视频无码| 偷窥自拍亚洲色图| 99999久久久久9国产精品| 九九久久久九九| 精爱久久| 久久精品夜色国产亚洲AV| 蜜臀AV成人精品蜜臀| 日韩久久超碰色| 麻豆九九九| 欧美久久婷婷| 丰满人妻一区二区中文| 午夜操一视频一区| 精品国产乱子伦一区二区三区,精品一| 欧美草草高清日韩视频| 超碰91在线| 午夜性生活av免费在线看| 亚洲无码国产探花在线观看| 岛国片国产成人亚洲播放| 91精品人妻电影| 久操精品网| 亚洲图片偷拍欧美| 欧美九一精品久久久熟妇| 在线观看一卡二卡| 超碰国产情侣自拍网| 99操| 久久久久久无码人妻中文字幕| 久久久久久久久女黄| 色五月av| 人妻一区二区三区视频| 波多野结衣先锋影音| 黄片在线免费在线观看| 久久久艹艹艹| 91五月天| 色噜噜人妻av中文字幕| 本道综合精品| 欧美性爱精品七区| 在线精品福利免费播放| 久久小视频| 欧美在线l亚洲| 男人的天堂kva| TS人妖另类精品视频系列| 亚乱色| 亚欧高清在线| 久无码| 色眯眯av| 久久永久无码人妻视频| 日韩国产乱子伦App| 性爱综合网| 97超碰色五月| yazhouzaixian| 亚洲av性爱电影| 91强热人妻| 国产精品国产自产拍高清AV| 91操人| 欧美男人天堂| 亚洲无码一区二区三区三州| 亚洲综合网图| 青青草依人大香蕉| 久操网无码在线| 色蜜AV| 日韩久草| 日本人妻伦在线中文字幕| 一区二区三区激情在线观看| 有码人妻系列| 高清孕妇孕交 交| 亚洲国产婷婷在线播放| 国语人妻精彩刺激| 密臀在线视频| 国产精品无套内谢| 国产精品熟女AV中文字幕在线播放| 四虎影视国产精品| A V视频日本| 麻豆视频test| 神马麻豆福利院| 国产乱码精品一区二区三区四川| 久艹伊人精品综合在线| 激情小说亚洲色图| 国产福利第一视频| 96久久久精品| 九九精品99| 九九久久首页| 亚洲动态色图| 夜夜操狠狠操| 天天综合站| 久久美女国产| 亚洲区限制级| 亚洲欧美国产中文视频| 91neishe| 久久99九九九九6666免费观看软件| 久久久久亚洲AV无码专区少妇| 少妇蜜汁| 日本一级特级毛片视频| 色五月婷婷在线| 超碰偷拍| 探花一区在线| 欧美一区二区三区成人性生活| 偷拍 欧美 日韩| 日本一二区免费| 美女诱惑一区| 日本超碰在线国产一区| 欧美日韩中文字幕人妻| 久久婷婷视频| 国产97色在线 | 亚洲| 午夜后入| 亚洲五月天激情| 国产亚热在线久久| 91制服丝袜| 麻豆久久精品亚洲精品88| 色综合久| 97资源站国产精品| 熟女被操视频网址| 黑人在线91| 97最新在线播放视频| 中文字幕精品专区搜索结果91| 国产99久久99热这里只有精品15 | 嫩草美女久久| 欧美性,色九九| 69视频入口| 丰满少妇高潮无码| 国产精品视频自拍在线| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 99国产在线 精品 视频| 日韩精品人妻中文字有码在线| 制度丝袜99| 无毛精品| 99精品网| 中文字幕欧美日韩三级| 亚州成人a∨| 天天色黄色影院天天操| 国产乱码久久久久久| 乱伦AVxx| 夜夜性| 伊人天堂在线| 欧美中文字幕日韩在线| 欧美一品道| 日本人妻A片成人免费看片| 伊人网高清| 亚洲天堂自拍| 國產尤物AV尤物在線觀看| 日日AAvv| 中文字幕精品丝袜| 大学生口爆吞精| 国产精品电影推荐| 九九黄色网| 免费精品无码一级毛片牛牛影视 | 亚洲欧美国产其他二区| 一起草视频在线| 蜜桃精久三区| 每日更新AV| 亚洲天堂精品日韩电影| 91爱做| 美女写真| 酒色综合网| 99re在线观看| 国产亚洲在线观看| 国产福利一区二| 国产精品在线一区二区| 色网1| 综合网亚洲1| 色路综合| 熟女日韩| 日本免费专区| 熟妇熟女一区二区三区| 国产青视频| 国产懂色精品国产av| 美女被啪到深处抽搐视频| 成人欧美日超碰| 天美传媒麻豆一区二区三区国产精| 亚洲美女高潮喷水视频| 日逼97| 欧美日韩成人在线| 亚洲精品欧洲精品| 99久久久99久久91熟女| 欧美精品成人一区二区在线观看| 东京热99999| 大香蕉伊人网WWWn0n| 黄色小视频日本txt| 国产精品熟女一区二区三区| 91劲爆| 亚洲情色1区| 国产免费一区二区在线A片视频| 婷婷av在线中文字幕| 亚洲性刺激| 91精品国久久久久久无码| 人人天天欧洲| 在线观看av区| 中文字幕久热视频在线| 蜜臀久久99精品久久久久久-DVD原版全| 精品中文一区二区| 久久综合日韩亚洲欧美| 欧洲亚洲人妻无码中字久久三区四区| 精品国产片亚洲一区| 強姦亂倫a| 欧美亚洲手机在线| 久久久内射良家| 色天堂综合| 日本一区二区三区精品| 国产AV高清AV无码| 懂色天天爱天天日天天射天天澡| 色嘟嘟人妻天堂网| 91九色精品熟女内射| 国产精品嫩草影院免费| 日本在线观看网址| 放黄片放3级黄片没穿衣服| 青青草一区二区高清无码视频| 骚熟女吞| 国产不卡免费在线视频| 色天欧美| 婷婷色网| 国产无码精品无码| 国产视频一区二区在线| 男人a天堂手机在线版| 欧美日韩国产电影| 精品久热| 亚洲色 国产 欧美 日韩| 亚州综合网| 激情色播| 中文字幕一区二区三区人妻少妇在线| 久久久久久久强迫| 91欧美综合在线| 欧美男人一区| 欧美极度丰满熟妇hd| 999久久久九九九九| 欧美色图在线视频少妇| 一道本东京热加勒比一区二区三区| 日本在线不卡v二区| 日本成人免费一区二区三区| 美欧色综合| 99热精品在线观看| ...日韩成人一区二区三区字幕| 91欧美成人色站| 北京专精特新企业招聘信息| 亚洲天堂男人在线| 中文字幕一区日韩精| 青青操综合网| 国产毛片毛片4p懂色| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 亚州综合| 91老熟妇| 中文字幕视频一区视频二区| 中文字幕一二区二三区人妻专区| 强奸乱伦 亚洲一区| www.97在线| 中文字幕av色| 欧美一区二区情色| 射欧美综合| 综合91网| 午夜精品久久久久久久99| 99热在线只有精品| 五月情色天| 色色毛片| 精品亚洲国产成人精品| 国产亚洲日本精品在线| 97精品综合久久| 亚洲男人天堂Av| 少妇国产不卡| 啊啊啊要高潮了| 福利五区| 2017大香蕉| 日韩福利综合一区| 欧美αv.com| 静品嫩模一区二区| 97色伦欧美| 婷婷另类小说| 99精品综合久久久久五月天| 欧美日韩国产精品久久色婷婷| 变态综合色| 久久国产熟女影院| 怡红院一区二区熟女人妻| 日韩啪啪啪啪啪| 乱老熟女一区二区三区| 久久精品无码不卡| 啊啊啊啊啊啊啊啊视频| 欧美性生活免费网| 99自拍视频在线观看| 中文字幕在在线观看网站| 日本九九久久99| 日日夜夜骑| 午夜一级免费毛片| 国产亚洲在线| 嗯嗯啊好大| 午夜噜噜噜| 搞中出久久| 丁香五月激情啪啪| 国产精品。| 78m成人视线| 奇米四色网| 婷婷久久五月天| 亚洲精品性爱片| 国产浮力影院第1页| 老鸭窝亚洲毛片| 国产性爱欧美性爱在线| 久久久97| 深夜激情无码| 天无日色综合| 久欲AV| 色综合av综合久久| 99久久网站| 麻豆精品A片免费观看| 熟女熟妇一区二区三四区| 亚欧高清| 欧美精品久久久久久久久88| 欧美一区二区日韩传媒搭讪精品| 亚洲精品乱码久久久久久蜜桃麻豆| 日韩强奸av| 大香蕉av在线| 99re6在线视频精品免费完整版安卓版| 中文字幕在线免费观看| av无码精品久久久久| 午夜欧美J进J出白浆流出久久久| 极品出轨视频网站| 亚洲无码?第一页| 欧美色图亚洲特色| 国产女人视频三四五区| 操逼网免费无码视频| 久偷拍| 91欧洲国产成人久久精品网站| 韩国三级理论在线| 久久日本熟女精品一区| 色综合一区二区三区| 91一起操| 欧美草草| 欧美性爱1080p| 欧美日韩亚洲高清不卡一区二区三区| 中国少妇啪啪视频| 欧美做爰无码A片视频| 久神马| 亚洲图片色图欧美另类| 小草精彩毛片| 男人天堂毛片| 国产精品亚洲免费| 丰满人妻一区二区中文| 亚洲国产奇米影视久久| 国产白领连续中出在线观看| 亚洲男人天堂av| 日本片日本片祼观看网站在线看中文版网页在线看 | 日韩懂色网| 亚洲一区二区三区麻豆传媒| AV色女综合| 亚洲操操| 偷窥自拍亚洲| 91久久99久久91熟女精品| 99热国产| 国产成人午夜视频网址| 媚薬在线视频麻豆| 伊人操你| 精品一久久久| 国产黄色在线播放观看| 人人超碰在线观看黄| 色吧5亚洲| 中文乱码99| 欧美18老人禁| 四虎影视在线| 青娱乐老司机视频| 97色欧州| 很黄很色的视频在线观看| 欧洲精品在线播放| 天堂俺去俺来也www久久婷婷| 加勒比综合九九99视频在线播放| 国产精品一区二区亚洲人成毛片| wwe 天天干.com| 久久久久久亚洲中文| se,,,亚洲欧美| 偷拍 欧美 日韩| 91美女在线视频| 亚洲图片婷婷五月天| 久久精品国产久精国产| 国产中文字幕曰本毛片| 高清无码91| 色婷婷激情| 亚洲精品国产精品成人| 中文字幕版| 国产AV久久野战精品| 青操影院| 欧色网址| 久久欧美按摩999| 97超碰超碰| 亚洲图片欧美制度| 国产免费黄色一级大片| 农村妇女精品一区二区| 肉嘟嘟www视频在线观看高清| 美女十八禁| 亚州情色j区| 自怕偷自怕亚洲精品| 99re6国产精品99re| 可以免费观看的av| 亚洲一区中文精品| 欧美大干日韩| 99热精品在线观看| 日韩极品无码B| 色五月激情AV在线| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 青青青艹在线视频| 色情综合| 国产偷拍网站| 九九九九九九九| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | A啊啊在线观看| 91丨熟女丨丰满熟女| 97超碰站| 久久精品视| 操人妻少妇中文| AV丝袜东京热| 综合婷婷| 国产91av在线播放| 久久这里只精品| 日本青青草在线| 亚洲色图殴美色图激情乱伦| 熟妇视频一区二区三区在线| 999 久久久| 中文字幕黑人大片| 亚洲AV无码AV吞精久久久久| 亚洲丝袜少妇在线| 国产视频第2页| 亚洲黑丝在线| 玖玖玖玖精品国产剧情| 亚洲成a人v欧美综合天堂下载| 综合九九| 熟妇最新先锋一二三区| 8050午夜少妇无码| 搡老熟女免费视频| 熟妇人妻一二三区免费| 欧美一区二区在线资源| 搡老女人老妇女AAA一VU麻豆| 天天肏天天干| 亚洲在钱| 亚州精品丝袜-不卡成人免费| 手机看片1025| 伊人久久综合影院| 爱爱动态60秒| 国产激情在线| 91无码人妻| 久久鲁夜| 五月天丁香欧洲日韩| 亚洲国产无码精品首页久久久| 伊人网青青| 91东北熟女| 色哟哟av| 色网综合网| 欧美性,色九九| 96AV精品| 桃花色涩综合影院| 一级A片女人高潮叫床| 男人的天堂三级| 亚洲97在线观看| 色就色综合| 无码九九| 精品无人区麻豆乱码久久久| 操久久久久久| 中文字幕精品区先锋资源| 日韩性爱人人爱人人操| 中文字幕丰满子伦无码专区在线视频最新| 中文字幕人乱码中文字的预防方法| 日韩人妻操B| 激情五月天丁香社区| 国产三级多多影院2022国产AA一级毛片无码| julia国产在线| 久久熟女嫩草成人片免费| 91久久久视| 欧美 传媒 麻豆 日韩 偷拍| 国产一区二区在线电影| 国产精品一区二区三区,亚洲综合| 国产又黄又爽| 亚洲精品97| 男人的天堂VA| 超碰久热| 粉嫩粉嫩一区性色AV片| 欧洲视频在线| 99re这里只有精品2| 日韩射图| 欧美高清在线| 国产超碰欧美| 久久亚州大香蕉| 怡红院亚洲怡春院av| 男人的天堂久久狠| 粉嫩av一区二区三区四季| 91影视亚洲| 九九九九九九免费视频| 久久久9 9 9精品| 欧美桃色网| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 日韩特一级久久| 男人精品天堂一区| 久9爱经典视频| 97日视频| 国产情色第一第二页在线观看| 1204金沙人妻懂旧版免费| 91成人国产综合久久精品蜜月| 中文一区二区婷婷视频| 99青草| 国产精品久久久蜜臀| 97内射偷拍| 东京热熟女亚洲视频网站| 91欧美性| 99精品综合久久久久五月天| 四虎免费在线播放| 97超碰大| 97在线免费观看视频| 色婷婷六月丁香七月婷婷| 色综合V| 伊人激情五月天一区二区| 91爆操视频| 天天综合精品| 9久久精品| 亚洲国产精品久久久久婷婷青年| 欧洲精品在线播放| 欧美在线视频播放| 久久蜜桃一区二区| 国产女人视频三四五区| 中文字幕精品一区二| 思思热免费在线视频| 日韩激情啪啪| 丁香五月影院| 久插综合| 午夜无码熟妇丰满人妻| 少妇精品| 黑人娇小av在线播放| 富女玩鸭子一级毛片| 国产高清26uuu| 国产精品99久久久www| 黄色污污污污污污网站| 丝袜综合| 天天综合欧美黑人| 老熟女网站| 草草影院日本第一页| 9999九九九久久久| 少妇色欲综合网2| 亚洲A曰本VA欧美VA视频| 国语国产操逼伊人AV网| 午夜免费视频1000| 亚洲精品天天影视综合网| 亚洲影视第一页| 狠狠操狠狠操操| 婷婷丁香五月天综合东京热| 一区二区偷拍拍视频| 亚洲男人的天堂在线看| 一本色道综合久久欧美日韩精品| 秋霞一级鲁丝片A片| av国产无码| 中文字幕少妇色| 97超级久久| 欧美日韩啪啪电影| 欧美激情综合| 中文字幕av久久爽Av| 9精品久久久久| 国产99精品一区二区三区免费| 开心五月深爱五月| 91精品免费| 三级三级三级日本99| 欧美日韩在线国产在线| 婷婷爱五月| 91无码人妻| 夜夜爽夜夜爽| 麻豆啪啪啪视频| 无码人妻丰满熟妇奶水区毛片| 久久有码视频| 亚洲蜜乳av| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 国产av强奸美女| 婷婷久草一区二区三区| 色777999综合| 国产一区二区成人av在线播放| 婷婷久久久| 97网址97| 国产精品ⅴ无码大片在线看.| 日韩性爱高清免费视频| 天天享受天天看| 加勒比综合网| 欧美一区二区三区日韩| 性爱AV天堂| 91精品人| 2010男人的天堂| 中出20p| 精品人体无圣光凹凸| 亚洲精品天天影视综合网| 床上啊啊啊一区二区三区| 久草线上视频免费看| a'v在线资源| 国产少妇肉丝在线观看| 精品人妻一区二区三区蜜桃视频| 另类TS人妖一区二区三区| 亚洲欧美中日韩| 偷拍盗拍亚洲色图图片| 色五月网址| AV中文字幕三四五|