日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從零開始大模型開發(fā)與微調(diào):基于PyTorch與ChatGLM的實戰(zhàn)指南

從零開始大模型開發(fā)與微調(diào):基于PyTorch與ChatGLM的實戰(zhàn)指南 聊點實在的。這兩年“大模型開發(fā)與微調(diào)”幾乎成了算法崗簡歷上的標(biāo)配關(guān)鍵詞但真正從零開始上手的人里十個有八個都卡在第一步環(huán)境裝不起來模型加載報錯更別提拿自己的業(yè)務(wù)數(shù)據(jù)去微調(diào)了。這篇內(nèi)容就圍繞《從零開始大模型開發(fā)與微調(diào)基于PyTorch與ChatGLM》這條完整路線把我自己踩過坑之后整理出來的流程寫一遍——從 PyTorch 環(huán)境搭建、CUDA 適配到 ChatGLM 模型加載、數(shù)據(jù)處理再到用 LoRA 跑通一次真正的微調(diào)訓(xùn)練最后配上模型合并和推理驗證。適合剛?cè)腴T算法的同學(xué)也適合有 PyTorch 基礎(chǔ)、但還沒碰過開源大模型微調(diào)的工程師。1. 先從整體思路說起你真正要做的“大模型開發(fā)”是什么1.1 預(yù)訓(xùn)練和你關(guān)系不大微調(diào)才是主線很多人聽到“從零開始大模型開發(fā)”第一反應(yīng)是“我要重寫一遍 Transformer從頭訓(xùn)練一個 GPT”。真沒必要。以 ChatGLM 為例ChatGLM-6B 這種量級的模型一次預(yù)訓(xùn)練的成本是百萬級算力小時起步個人或者小團(tuán)隊根本扛不住。實際工程里說的“從零開始”指的是從零開始掌握這套工具鏈拿一個成熟的開源基座模型加載起來用自有數(shù)據(jù)做微調(diào)最后部署成能回答業(yè)務(wù)問題的服務(wù)。這里要先把“預(yù)訓(xùn)練”和“微調(diào)”這兩個詞掰開。預(yù)訓(xùn)練是拿海量通用文本讓模型學(xué)會語言本身的規(guī)律相當(dāng)于把一個人培養(yǎng)成受過通識教育的普通人微調(diào)是用領(lǐng)域里的高質(zhì)量數(shù)據(jù)讓模型學(xué)會你期望它掌握的技能和表達(dá)方式相當(dāng)于給這個人做崗位培訓(xùn)。大模型在預(yù)訓(xùn)練階段已經(jīng)會說話、會推理但沒接觸過你的私有數(shù)據(jù)和業(yè)務(wù)場景所以直接問它“請按我們公司的格式寫周報”它即使能答也答不到點子上。微調(diào)的目的就是讓它從“通用”走向“特定”。這里還有一個常見誤解微調(diào)不是“給模型灌知識”。模型記不住太多新事實它真正學(xué)的是“對話的格式、任務(wù)的模式、輸出的風(fēng)格”。想讓它記住大量知識優(yōu)先考慮檢索增強(qiáng)而不是硬灌這一點在后面的數(shù)據(jù)準(zhǔn)備部分還會展開。1.2 為什么偏偏是 PyTorch 加 ChatGLM先說框架。PyTorch 在今天的大模型圈子里基本是事實標(biāo)準(zhǔn)HuggingFace Transformers、PEFT參數(shù)高效微調(diào)、bitsandbytes、accelerate 這些工具鏈都是優(yōu)先支持 PyTorch 的。TensorFlow 也能做大模型但你搜資料時會發(fā)現(xiàn)凡是涉及 LoRA、QLoRA、DeepSpeed 的教程十篇里有九篇是 PyTorch 代碼。選 PyTorch本質(zhì)上是選生態(tài)不讓自己在起跑線上就陷入“找半天沒有一個能直接跑的 demo”的窘境。再說模型。ChatGLM 是智譜AI開源的中文對話大模型系列ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B 都是公開權(quán)重可以本地跑的。為什么拿它當(dāng)教學(xué)載體三個理由第一中文效果好中文踩坑案例也多第二6B 參數(shù)量在消費級顯卡上有機(jī)會跑微調(diào)換成 65B 的模型個人電腦基本沒戲第三它原生接近對話場景做完微調(diào)能直接做智能客服、文檔問答這類演示正反饋來得快。對于從零開始的開發(fā)者這個組合試錯成本最低。1.3 零基礎(chǔ)怎么規(guī)劃學(xué)習(xí)路徑如果連 PyTorch 都還沒入門直接沖 ChatGLM 微調(diào)會很難受。我給你一個按比例分配時間的路徑先用一到兩周過 PyTorch 基礎(chǔ)重點看張量操作、自動求導(dǎo)、nn.Module、DataLoader 和訓(xùn)練循環(huán)這五件事不用摳得太深能跟著教程跑通一個圖像分類或文本分類就夠了。很多人說自己是看入門視頻起步的這個路線沒問題關(guān)鍵是要親手敲代碼不能只看然后花三到五天熟悉 HuggingFace 的加載與推理流程把模型加載、tokenizer 那套邏輯跑通最后再進(jìn)入微調(diào)階段。這個順序看起來慢實際上最快。我見過太多一上來就找“ChatGLM 微調(diào)代碼”的人結(jié)果模型加載完連 loss 是怎么算出來的都不知道訓(xùn)練崩了也不知道從哪查起。PyTorch 基礎(chǔ)不是可選項是排查問題的底氣。2. 環(huán)境準(zhǔn)備PyTorch 安裝與 CUDA 適配最容易翻車的一步2.1 硬件要求先對齊別拿集顯硬扛跑 ChatGLM-6B 的推理至少要 12GB 顯存fp16 精度下做 LoRA 微調(diào)建議 16GB 以上24GB 的顯卡RTX 3090、4090 或 A5000 之類體驗比較舒服。全參微調(diào) 6B 模型對個人玩家就不太現(xiàn)實了動輒 40GB 以上顯存所以后面我會把重點放在 LoRA 上。沒有 N 卡怎么辦兩個選擇一是用 CPU 推理跑通流程能跑但很慢而且微調(diào)基本不用想二是租云 GPU 實例按小時付費很多平臺有 24GB 顯存的卡可選新手練習(xí)反而比買卡劃算。另外像 MX150 這種入門級獨顯跑點小規(guī)模 PyTorch 練習(xí)沒問題大模型就別指望了該上云上云。2.2 Anaconda 創(chuàng)建隔離環(huán)境別碰系統(tǒng) Python環(huán)境管理這一步強(qiáng)烈建議用 Anaconda 建虛擬環(huán)境。原因很樸素深度學(xué)習(xí)項目依賴版本沖突太常見了今天裝的 torch 版本很可能跟下個項目的 torchvision 打架。用 conda 把每個項目隔開出了問題直接刪環(huán)境重建五分鐘就能恢復(fù)。conda create -n llm python3.10 conda activate llm為什么要 3.10這是個兼容性經(jīng)驗值。ChatGLM 相關(guān)依賴鏈transformers、peft、datasets、accelerate 等在 Python 3.8 到 3.11 之間都能工作但 3.10 是這幾個庫支持最均衡的版本太低的 Python 對一些新庫支持不好太新的可能遇到個別依賴沒跟上。后續(xù)所有操作都在這個 llm 環(huán)境里進(jìn)行。2.3 PyTorch 與 CUDA 版本匹配三個概念先分清這一步是新手最常翻車的地方。先記住三件事顯卡驅(qū)動driver、CUDA Toolkit、PyTorch 編譯時用的 CUDA 版本是三樣?xùn)|西不是一回事。顯卡驅(qū)動是底層的它決定了系統(tǒng)能不能讓程序調(diào)用 GPU。驅(qū)動版本太老上面跑什么都會報錯。CUDA Toolkit 是開發(fā)庫里面是編譯器和運行時庫。很多博客會讓你去官網(wǎng)單獨裝 Toolkit但在 PyTorch 場景下通常不強(qiáng)制手動裝PyTorch 的安裝包里自帶一部分運行時依賴。PyTorch 的 whl 包名里的 cu 后綴代表它鏈接的 CUDA 版本。比如 torch-2.1.2cu118 表示這個包匹配 CUDA 11.8torch-2.3.1cu121 匹配 CUDA 12.1。理解了這三者的關(guān)系判斷兼容性就一句話顯卡驅(qū)動版本不能低于 PyTorch 所對應(yīng) CUDA 版本的最低驅(qū)動要求否則程序就跑不起來。怎么知道自己該裝哪個先用一條命令看驅(qū)動支持到什么級別nvidia-smi右上角會顯示 CUDA Version這個值代表當(dāng)前驅(qū)動最高支持的 CUDA 版本。比如它顯示 12.1那你可以放心選擇 cu121 甚至更低的 cu118 版本安裝都不會超出驅(qū)動能力。如果驅(qū)動只支持到 11.8那就老老實實裝 cu118 的版本。推薦一套組合PyTorch 2.1.2 CUDA 11.8或者 PyTorch 2.3.1 CUDA 12.1。前者兼容性強(qiáng)后者更接近新版。安裝命令統(tǒng)一用 pip 就行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118裝完先驗證這一步別跳過import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果輸出的 torch.version末尾帶 cpu說明下載成了 CPU 版本趕緊重裝如果 is_available() 是 False優(yōu)先懷疑驅(qū)動太舊。2.4 Ubuntu 和 CentOS 下的環(huán)境坑Ubuntu 相對省心CentOS 用戶在裝依賴時容易遇到缺底層庫的問題這里給一段通用排查思路。如果是服務(wù)器內(nèi)網(wǎng)環(huán)境不能直接在線裝就用離線方案在一臺有網(wǎng)且系統(tǒng)架構(gòu)一致的機(jī)器上執(zhí)行 pip download把所有 wheel 包拉下來打包拷貝到目標(biāo)機(jī)器再 pip install --no-index --find-links./wheelhouse 安裝。注意 PyTorch 的 wheel 包很大下載時要確認(rèn)磁盤空間充足。還有一個容易被忽略的點別把 pip 和 conda 混著隨便裝。我建議虛擬環(huán)境里優(yōu)先用 pip 裝 Python 包conda 主要管 Python 版本和環(huán)境的創(chuàng)建銷毀。混用容易把包的依賴解析搞亂后期一升級就出幺蛾子。很多人報環(huán)境問題最后追查下來都是因為曾經(jīng)在同一個環(huán)境里用 conda 裝了一個包、用 pip 裝了另一個兩個依賴圖互相覆蓋一升級就崩。2.5 低端卡也能學(xué) PyTorch但別做大模型如果你的顯卡是 MX150 這類入門卡甚至核顯不是說不能學(xué)。學(xué) PyTorch 基礎(chǔ)、跑小網(wǎng)絡(luò)、處理自己的小數(shù)據(jù)集完全沒問題很多熱詞里提到的“PyTorch 處理高光譜 hdr 文件”“UCF101 視頻分類”“TD3 強(qiáng)化學(xué)習(xí)”這類項目在低配機(jī)器上都能跑。但這些項目練完之后要意識到大模型是另一個量級硬件不夠就上云別在本地硬耗時間。3. 加載 ChatGLM理解模型結(jié)構(gòu)再動手寫代碼3.1 ChatGLM 背后的 GLM 架構(gòu)是怎么回事先別急著復(fù)制粘貼代碼花五分鐘了解下它是什么。ChatGLM 系列用的是 GLMGeneral Language Model架構(gòu)和 GPT 那種標(biāo)準(zhǔn)自回歸模型有一個關(guān)鍵區(qū)別GPT 是從左往右一個字一個字預(yù)測GLM 是“自回歸空白填充”可以理解成一個高級版完形填空——給定一部分文本讓它預(yù)測被摳掉的片段預(yù)測時按自回歸方式一個 token 一個 token 生成。這個設(shè)計帶來的好處是GLM 既能做生成任務(wù)也能做理解任務(wù)所以中文能力表現(xiàn)不錯。對于你來說這些細(xì)節(jié)暫時不需要完全吃透但至少要記住它是個 Transformer 家族模型所以用 transformers 庫就能加載它的代碼里帶有 chat 方法所以可以很方便地做多輪對話。這些認(rèn)知會在排查問題時派上用場比如看到報錯里出現(xiàn) Transformer 層的名字你能大概定位到是哪一部分出了問題。3.2 用 HuggingFace Transformers 加載模型加載 ChatGLM 權(quán)重非常標(biāo)準(zhǔn)幾行代碼import torch from transformers import AutoModel, AutoTokenizer model_name THUDM/chatglm3-6b tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ).eval()這里有幾個點值得展開說說。trust_remote_codeTrue 是因為 ChatGLM 的模型定義需要執(zhí)行官方倉庫里附帶的自定義代碼不加這個參數(shù)會直接報錯torch_dtypetorch.float16 是把模型權(quán)重加載成半精度顯存占用幾乎減半在消費級顯卡上這是標(biāo)配操作device_mapauto 讓框架自動把模型分配到可用設(shè)備上。第一次執(zhí)行會從 HuggingFace 下載權(quán)重6B 模型的 fp16 權(quán)重有 12GB 左右網(wǎng)速不理想時會很煎熬。我的經(jīng)驗是先把權(quán)重手動下載到本地目錄然后用本地路徑加載。下載下來后檢查目錄里要有 pytorch_model.bin 或多個 .safetensors 分片文件、config.json、tokenization 相關(guān)文件缺一不可。批量下載一堆二進(jìn)制大文件時文件名要對上錯一個文件名加載時就各種詭異報錯。3.3 指令微調(diào)數(shù)據(jù)長什么樣微調(diào) ChatGLM 這種對話模型數(shù)據(jù)格式遵循“指令-輸出”的結(jié)構(gòu)。我常用的是一份 JSONL 文件每一行是一條訓(xùn)練樣本{instruction: 請用一句話解釋什么是反向傳播, input: , output: 反向傳播是從損失函數(shù)出發(fā)沿網(wǎng)絡(luò)結(jié)構(gòu)反向逐層計算每個參數(shù)梯度的算法。} {instruction: 根據(jù)給定的需求寫一段商品文案, input: 商品無線藍(lán)牙耳機(jī)賣點降噪、續(xù)航24小時, output: 這款無線藍(lán)牙耳機(jī)主打深度降噪單次充電續(xù)航長達(dá)24小時讓通勤路上徹底告別外界喧囂。}注意 input 字段是可選的沒有額外輸入就留空。數(shù)據(jù)數(shù)量上新手階段準(zhǔn)備幾百條高質(zhì)量樣本就能看到明顯效果比一次性塞幾萬條噪聲數(shù)據(jù)強(qiáng)得多。數(shù)據(jù)質(zhì)量永遠(yuǎn)排第一格式不統(tǒng)一、答案錯漏、指令和輸出不對齊模型都會學(xué)壞。而且微調(diào)數(shù)據(jù)要盡量貼近你真實使用場景否則訓(xùn)完還是“答非所問”。3.4 關(guān)于 transformers 版本和模型兼容性這里必須專門說一個常見誤區(qū)。很多人搜“哪個版本的 PyTorch 和 CUDA 能支持 transformers3.4.0”其實問錯了方向。transformers 是 Python 包它的版本約束主要來自 Python 版本和 torch 的接口跟 CUDA 版本沒有直接綁定關(guān)系。CUDA 影響的是底層能不能調(diào)用 GPUtransformers 管的是上層模型邏輯兩者不是一回事。真正要注意的是模型權(quán)重與 transformers 版本的兼容性。比如 ChatGLM2 發(fā)布時配套的 transformers 版本較老如果你裝了一個很新的 transformers可能會碰到 tokenizer 類型找不到、模型類不注冊之類的報錯。解決辦法是安裝官方 README 里 requirements.txt 指定的依賴版本別輕易追求最新版。實操中遇到這類問題優(yōu)先看官方倉庫的說明文件這是最靠譜的方案。4. 微調(diào)實操用 LoRA 跑通 ChatGLM4.1 為什么選 LoRA 而不是全參微調(diào)ChatGLM-6B 有 60 億參數(shù)全參微調(diào)時優(yōu)化器狀態(tài)和梯度都要占顯存算下來 24GB 的卡根本不夠用個人玩家基本可以放棄這個路線。LoRALow-Rank Adaptation的思路是凍結(jié)原模型全部參數(shù)只在每層注意力模塊旁邊注入兩個小矩陣訓(xùn)練時只更新這些小矩陣。用一個小類比原模型是一本已經(jīng)印刷好的教科書LoRA 是課堂上補(bǔ)充的幾頁講義不動原書只改講義卻能顯著改變模型的輸出風(fēng)格。LoRA 訓(xùn)練時顯存需求大幅下降實測在單張 24GB 顯卡上配合 fp16、batch_size 設(shè) 4、最大序列長度 512能比較從容地訓(xùn)練。顯存再緊張就上 QLoRA它先把模型量化成 4bit 再套 LoRA甚至能在 8GB 到 12GB 顯存上跑微調(diào)但訓(xùn)練速度會慢一些。三者的對比可以看下面這張表方案訓(xùn)練參數(shù)量顯存需求6B量級效果保留度適合場景全參微調(diào)60億40GB以上最高有A100/H100等專業(yè)卡追求極限效果LoRA數(shù)百萬到千萬級16GB~24GB高消費級顯卡大多數(shù)業(yè)務(wù)微調(diào)場景QLoRA數(shù)百萬到千萬級8GB~12GB較高顯存緊張優(yōu)先跑通流程只要顯存夠用優(yōu)先 LoRA顯存不夠再降級到 QLoRA。效果差距在大多數(shù)任務(wù)上肉眼分辨不出來LoRA 是性價比比較高的起點。4.2 安裝微調(diào)所需依賴在 llm 環(huán)境里執(zhí)行pip install peft transformers datasets accelerate bitsandbytes這幾個庫的分工peft 提供 LoRA 等參數(shù)高效微調(diào)方法transformers 負(fù)責(zé)模型和訓(xùn)練器的上層封裝datasets 用來加載和處理數(shù)據(jù)accelerate 是訓(xùn)練加速框架Trainer 底層會用到bitsandbytes 是 QLoRA 的量化后端。哪怕你暫時不用 QLoRA也建議一起裝上后面顯存不夠想切過去能省一步安裝。裝了這么多庫之后環(huán)境開始變得脆弱。我的習(xí)慣是把當(dāng)前環(huán)境所有包版本導(dǎo)出一份pip freeze requirements.txt這樣環(huán)境一旦崩了重建之后一條命令就能復(fù)原省得二次踩坑。4.3 構(gòu)造數(shù)據(jù)集類微調(diào)前先把數(shù)據(jù)集做成 PyTorch 的 Dataset。ChatGLM 系列的多輪格式一般是 [Round 1] 加一問一答我們做演示時可以先用簡化拼接重點是把流程跑通。import json import torch from torch.utils.data import Dataset class SFTDataset(Dataset): def __init__(self, data_path, tokenizer, max_len512): self.samples [] with open(data_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue item json.loads(line) prompt item[instruction] inp item.get(input, ) output item[output] text f問{prompt}\n{inp}\n答{output} self.samples.append(text) self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): text self.samples[idx] enc self.tokenizer( text, max_lengthself.max_len, truncationTrue, paddingmax_length, return_tensorspt, ) input_ids enc[input_ids].squeeze(0) attention_mask enc[attention_mask].squeeze(0) # 標(biāo)簽用 input_ids 本身訓(xùn)練時模型會自己 shift 一個位置 labels input_ids.clone() return {input_ids: input_ids, attention_mask: attention_mask, labels: labels}兩個重點解釋一下。paddingmax_length 會把所有樣本補(bǔ)到同樣長度batch 訓(xùn)練時不會因長度不一致報錯代價是短樣本浪費一點顯存labels 直接復(fù)制 input_ids因為自回歸模型在計算 loss 時會自動在序列維度上做 shift也就是用一個 token 預(yù)測下一個 token不需要手動制造錯位。4.4 配置 LoRA 并啟動訓(xùn)練加載模型后用 peft 包套一層 LoRAfrom peft import LoraConfig, get_peft_model lora_config LoraConfig( task_typeCAUSAL_LM, r8, lora_alpha32, target_modules[query_key_value], lora_dropout0.1, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()幾個參數(shù)說一下。r 是低秩矩陣的秩r 越大可訓(xùn)練參數(shù)量越多、模型表達(dá)能力越強(qiáng)但也更容易過擬合8 或者 16 是常見起點lora_alpha 是放縮系數(shù)最終的實際縮放是 lora_alpha / r32 / 8 4這個值調(diào)節(jié) LoRA 更新對原模型的“音量”調(diào)太大訓(xùn)練會不穩(wěn)定調(diào)太小容易訓(xùn)不動target_modules 要指向模型中真正做注意力投影的層對 ChatGLM 來說就是名為 query_key_value 的線性層不同模型這個字段不一樣換模型時得去模型代碼里確認(rèn)。訓(xùn)練直接用 Trainerfrom transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./chatglm-lora, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate1e-4, num_train_epochs3, logging_steps10, save_steps500, fp16True, remove_unused_columnsFalse, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, tokenizertokenizer, ) trainer.train()訓(xùn)練參數(shù)的設(shè)定邏輯在這里。batch_size 為 4 是顯存和速度的折中如果報顯存不足先把它降到 2 或 1gradient_accumulation_steps8 表示每 8 個小 batch 累計一次梯度等效于一次更新用了 4*832 個樣本能模擬大 batch 的穩(wěn)定性又不占顯存learning_rate 用 1e-4因為 LoRA 只訓(xùn)練少量參數(shù)學(xué)習(xí)率可以比全參微調(diào)的 2e-5 高一截fp16True 開啟混合精度顯存減半速度還會提升是消費級顯卡必備選項。自定義數(shù)據(jù)集放到 Trainer 時remove_unused_columnsFalse 必須設(shè)否則 Trainer 會自動丟棄 data collator 用不到的列而我們的數(shù)據(jù)集返回的是字典某些字段會被誤刪導(dǎo)致報錯。訓(xùn)練完保存兩種東西model.save_pretrained(./chatglm-lora-checkpoint) tokenizer.save_pretrained(./chatglm-lora-checkpoint)注意這里保存的是 LoRA 適配器不是整套權(quán)重文件大小只有幾十到一百多 MB。想合并回原始模型用 merge_and_unloadmerged_model model.merge_and_unload() merged_model.save_pretrained(./chatglm-lora-merged)合并產(chǎn)出一個完整的 fp16 權(quán)重可用于部署或繼續(xù)微調(diào)。兩條保存路徑用途不同適配器格式利于快速切換多個微調(diào)任務(wù)合并格式適合上線推理。4.5 推理驗證微調(diào)前后對比訓(xùn)練完加載用的方式也要調(diào)整from peft import PeftModel base_model AutoModel.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ).eval() model PeftModel.from_pretrained(base_model, ./chatglm-lora-checkpoint) model model.eval() response, history model.chat(tokenizer, 請解釋什么是反向傳播, history[]) print(response)推理時一定要先加載基座模型再把 LoRA 適配器掛上去順序反了會報一堆 shape 不匹配的錯。建議你保留微調(diào)前的模型做對比同樣一個問題微調(diào)前和微調(diào)后各問一遍看輸出風(fēng)格、知識范圍、格式是否按預(yù)期改變。如果差異為零大概率是數(shù)據(jù)量太少或?qū)W習(xí)率太低如果訓(xùn)練集上能完美復(fù)述、測試問法上卻答非所問大概率是過擬合了要降 rank、加數(shù)據(jù)或加 dropout。5. 常見問題與排查技巧實錄5.1 CUDA 相關(guān)報錯怎么定位把最常見的情況列成速查表現(xiàn)象可能原因解決方向torch.cuda.is_available() 返回 False裝成了 CPU 版或驅(qū)動未生效檢查 torch.version是否帶 cpu 后綴重裝對應(yīng) cu 版本再查 nvidia-smi 是否正常報錯 no kernel image is available for execution on the device顯卡太老或驅(qū)動不支持當(dāng)前 CUDA 版本升級驅(qū)動或換用更低版本的 cu 后綴 PyTorch訓(xùn)練時報 CUDA out of memory顯存不夠先降 batch_size再考慮開 gradient_accumulation、開 fp16、縮短 max_len最后才是換 QLoRA出現(xiàn) warning: you need pytorch with cu130 or higher to use optimized cuda operati編譯時使用的 cu 版本與你當(dāng)前資源不匹配檢查顯卡驅(qū)動版本換一個與驅(qū)動對應(yīng)的 PyTorch 版本或升級驅(qū)動定位 CUDA 問題有個通用順序先 nvidia-smi 看驅(qū)動再 python 看 torch 版本和 is_available()再跑一個最小樣例。別一上來就換環(huán)境先把三層信息收集齊大多數(shù)問題十分鐘內(nèi)能定位。5.2 顯存不夠的最后一搏QLoRA如果降 batch_size、降序列長度、開 fp16 還是 OOM終極方案是 QLoRA。做法是把基座模型加載成 4bit 量化from transformers import BitsAndBytesConfig bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16, ) model AutoModel.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue, quantization_configbnb_config, device_mapauto )注意 QLoRA 的模型因為已經(jīng)量化訓(xùn)練完通常不推薦直接 merge 回 fp32導(dǎo)出部署時要用原模型加載再掛載適配器。另外量化加載時對 transformers 和 bitsandbytes 的版本敏感如果報 QuantizationSetupError先檢查 bitsandbytes 是否與當(dāng)前 torch 和 CUDA 匹配再檢查 Python 版本。5.3 模型加載時的 tokenizer 兼容性問題“A tokenizer class must be passed”或“xxx is not a valid tokenizer class”這類報錯多數(shù)出現(xiàn)在新版本 transformers 加載老模型時。ChatGLM 的自定義 tokenizer 依賴倉庫里的代碼加載時 trust_remote_codeTrue 沒加是常見原因加了還報錯就查 transformers 版本是不是太新。我的處理方式是看官方倉庫的 requirements.txt把關(guān)鍵包版本對齊不要盲目追新。5.4 訓(xùn)練 loss 不降或過擬合的排查方向loss 始終不降先加一條“打印模型參數(shù)是否更新”的調(diào)試代碼確認(rèn) LoRA 適配器確實插進(jìn)去了print_trainable_parameters 有沒有輸出可訓(xùn)練參數(shù)其次看學(xué)習(xí)率是否過小1e-4 訓(xùn)不動就試 2e-4 或 5e-4再檢查數(shù)據(jù)格式如果標(biāo)簽和輸入混在一起模型可能在學(xué)“背答案”而不是學(xué)“根據(jù)指令回答”。過擬合的判斷標(biāo)準(zhǔn)則是訓(xùn)練 loss 下降、驗證集回答質(zhì)量反而變差這時應(yīng)該減少 epoch、增大數(shù)據(jù)量、加大 dropout而不是盲目繼續(xù)訓(xùn)。5.5 離線環(huán)境安裝的經(jīng)驗內(nèi)網(wǎng)機(jī)器裝 PyTorch我的做法是在一臺聯(lián)網(wǎng)機(jī)器上先創(chuàng)建相同 Python 版本的虛擬環(huán)境然后執(zhí)行pip download torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -d ./wheelhouse再把 wheelhouse 整個目錄拷貝到內(nèi)網(wǎng)機(jī)器執(zhí)行pip install --no-index --find-links./wheelhouse torch torchvision torchaudio這里有個細(xì)節(jié)torch 的 wheel 依賴 nvidia 開頭的多個 CUDA 運行庫包pip download 時要把依賴也一起下下來建議在聯(lián)網(wǎng)機(jī)器上用 pip download 命令把這些依賴一并拉取否則內(nèi)網(wǎng)裝時還是會提示找不到依賴。離線環(huán)境最容易栽的坑就是“包下全了但缺間接依賴”備一份 requirements.txt讓 pip 正常解析依賴后再下載比手動一個個找要穩(wěn)得多。5.6 訓(xùn)練時間長怎么辦LoRA 在 24GB 單卡上訓(xùn)練幾百條數(shù)據(jù)每個 epoch 大概幾分鐘到幾十分鐘還算可以接受。如果數(shù)據(jù)集上萬條單卡就有點吃力了。這時候優(yōu)先優(yōu)化數(shù)據(jù)不是所有數(shù)據(jù)都值得訓(xùn)練很多重復(fù)樣本反而拖慢收斂其次是調(diào)小 max_len序列長度對訓(xùn)練耗時的影響是線性的把 512 改成 256時間能省一半前提是你的任務(wù)不需要長上下文。千萬不要一上來就上多機(jī)多卡那個復(fù)雜度對新手不友好單卡 LoRA 能解決的場景真的很多。最后再分享一個小技巧回到標(biāo)題里那句“從零開始”我想再啰嗦一句別追求一次把所有東西都搞懂這是我從自己第一次微調(diào)就崩掉的過程里總結(jié)出來的。把目標(biāo)拆成“今天能把環(huán)境裝好”“明天能加載模型”“后天能跑通一次訓(xùn)練”這種小里程碑每完成一個都有正反饋后面碰到報錯也不慌。而且做完一輪微調(diào)之后別急著刪代碼把它整理成一個模板換數(shù)據(jù)集、換模型、換超參數(shù)都能復(fù)用這才是真正的沉淀。紙面的知識很容易忘能跑的流程才是你自己的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
女人香蕉久久毛毛片精品| 色呦呦呦在线观看视频| 99色在线| 欧美综合色综合| 日韩毛片9| 在线人人人人人人精品超| 中文?日韩?免费?精品| 超碰九色| 精品亚洲国产成人精品| 欧美爱国产综合、| 色综合中文字幕不卡| 亚洲欧美人妻| 欧美日韩婷婷中文| 色吧5亚洲| 午夜福利免费精品视频| 青娱乐av在线| 99国内熟女露脸视频| 操逼操操操91| 久久久天堂| 精品免费国产二区三区 | 色色99| 亚洲一二三| 啊啊啊啊啊舒服| 亚洲五区熟女| 波多野结衣AV无码一区| 成人av福利在线观看| 特级大荫道BBwBBwBBW| 青青草影视蜜久久| 91bbbbbb| 中文字幕日韩综合| 精品人妻少妇| 日本十八禁免费看污网站| 性色AV蜜色av色欲av| 日本午夜精品理论片A级APP发布| 超碰综合97在线| www.久久最新地址| 日韩电影在线观看网址| 婷婷婷婷婷婷久久久久| 色爽爽文学| 超碰97人人乐| a级免费在线观看| 思思热在线视频精品| 97chaopenrihan| 精品久久久久久无码| 天天天天天干夜夜夜夜夜操| 91美女视频。| 欧美在线播放aaaa| 中国国产精品一区视频| 97欧美视频| 被体育老师抱着c到高潮| 男人天堂 天天射| 99re这里只有| 天天天天天天天天天天干美女| 91福利网在线观看| 天色综合网| 青青操少妇| 欧美性爱中文字幕无线码| 久久国99999| 99这里有精品视频| 亚洲欧美经典一区二区| 视频分类 国内精品| 亚洲资源站| 久久草视频污视频| 免费观看国产不卡av| 欧美人与动性人交a| 亚洲图片视频小说| 男人天堂免费| 九九九九97| 老司机免费视频在线91| 日韩无码视频黄色| 新版天堂中文资源8在线| 免费精品国偷自产在线在线| 青青草原伊人网| 亚洲综合码| 91国产精品在线看| 色色毛片| 成人婷婷丁香| 成人乱码一区二区三少妇| 亚洲欧美精品国产一区二区| 26uuu国产亚洲综合| 成人无遮挡毛片免费看| 69av一区二区三区| 性影在线视频| 亚洲国产欧美中日韩成人综合视频| 欧美一级A一级a爱片久久| 亚洲情欲| 亚洲欧美国产va在线播放频| 精品人妻中文字幕高清| 亚洲不卡三级手机播放| 国产亚洲女v在线观看| a v网站在线播放| 国产小黄片在线免费观看| 影音先锋乱| 尤物黄色在线观看网站| 国产精品一区二区a| 亚洲图片婷婷五月天| 人人爱人人操人人性| 欧美视频在线视频免费va| 超碰99热| 极品后入免费视频| 伊人97| av激情亚洲五月天| 精品国产乱码| 少妇人妻好深太紧了vr91| 亚洲AV成人无码久久精品播放| 色婷视频| 黑人与人妻| 少妇淫妇久久久久久久| 久久成人午夜精品影院| 国产精品乱人伊人网| 亚洲激情天堂网| 久区视频| 熟女这里只有精品6| 超碰国产精品无码| 日韩AV电影网站| 欧美 日韩 婷婷 五月| 亚洲成人ab| 日本成人A片免费看| 国产人妖视频一区在线观看| 夜夜高潮夜夜爽高清视频一 | 欧美色www亚洲国产阿娇要播| 天堂中文日本在线观看| www.激情| 水滴偷拍| 性爱av网站| 91视频观看网站| 嗯嗯啊啊好大好爽| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 欧美成人黄网色网站| 色综和网| 国产绿奴视频在线观看| 天美精品av| 亚洲欧洲日韩中文字幕一区| 韩国一级做A片免费的| 久久美国毛片| 精品国产肉丝袜在线拍国语| 欧美91精彩| 亚洲三区视频| 大香蕉之青青草原| 高清无码国产亚洲| 亚洲九九爱| 欧美大香蕉同搞| 欧美一区二区三区黄色影视| 中文字幕丝袜| 亚州操操穴网| 人妻偷拍一区二区三区| 欧美大香蕉97| 首页中文字幕中文字幕免费| 99热日| 国产精品久久久久久久电影渣男| 精品国产乱码久久久久A| 91网站18在线观看| 74成人在线| 91超碰碰在线| 婷婷亚洲天堂| 岛国1区2区3区在线观看| 久9久9精品| 日操粉逼逼| 91老妇女| 岛国小电影| 最新国产精品| 热热色色综合| 超碰激情808| 曰韩精品视频一区二区| 欧美亚洲今日在线| 在线小视频| 伊人色综合网电影| 亚洲阿v天堂在线| 我中文字幕6区 | 大香蕉久操| 欧美激情内射| 色九月综合| 人人性爱视频免费| 97精品国产97久久久久久| 久久久久亚洲AV无码专区少妇 | 久久超碰98| 嗯嗯,好大,好爽,好骚 | 伊人精品视频| 久久久18禁| WWW4虎| 男人的天堂久久狠| 一线黄色免费性爱片| 禁止观看美女黄| 夜夜国自区| 亚洲黄色a级片| 伊人精品视频| 国产一区二区三区影片| 欧美在线亚洲| 欧美,日韩综合久久| 91草草草| 欧美极品美女aaaaaa级黄片| 97精品97| www99热| 丰满少妇精品一区二区| 久久久艹艹艹| 亚洲一区中文精品| 夜夜夜夜爽| 99色在线| 欧美色图亚洲激情| 久久女同性恋一二区| 亚洲成人综合在线| 日韩免费在线视频观看| 欧亚成人在线视频| 日本一级一级一级一级| 都市久久精品激情亚洲| 91久久婷婷| 日产狠狠干| 国产超碰97| 日本有码影片下载| 日本午夜福利影院| 外站AV在线| 97超级欧美| av天堂手机版追回| 欧美亚洲国产91在线| 少妇特黄一区二区三区| 日韩有码免费视频| 静品嫩模一区二区| 免费国产电影一区二区| 久久精品久久久久久久| 久久综合女优| 97国伦国色| 思思性爱| CCYY草草影院地址入口| 亚州综| 久久精品人妻一区二区三区| 欧美97爱| 人妻人久久精品中文字幕| 亚州宗合另类| 91九九| 91色婷婷综合久久中文字幕二区| 日本操大逼| 96超碰网| 精品视频一区二区| 人爽不卡视频| 五月婷婷hd| 亚洲有薄码区日本系列中文字幕| 激情五月丁香五月| 免费a在线播放v| 一,爱啪啪,在线免费视频| 精品一级毛片在线观看| 91网站18禁| 学生妹天天看| 果冻传媒一区二区三区| 公司1区2区3区精产精| 欧美中字二区| 白丝jkav| 欧美后入式| 天天综合91入口| 淫穴高潮色图| 无码人妻丰满熟妇区毛片| 99操| 欧美高潮| 在线99热| 1024久久高清视频| 日韩本不卡视频在线观看| 久久久久久99999国产精品| 精品久久久久久亚洲| 377p欧洲日本亚洲大胆| 97精品视频在线| 国产夫妻一区二区| 操b网站亚洲无码| 97超级久久强资源| 亚洲伊人久久精品影院| 成人怡红院| 强奸乱伦Av网| 免费农村成人少妇人妻Aa一区二区视频 | 91日韩| 亚欧高清v| 鸥美精品一区二区久久婷婷| 中文字幕 码精品视频网站| 久久久久婷婷精品av电影| 久久五月综合| 俞拍自拍| 欧美夜夜骑视频| 为用户提供免费看黄网址在线观看| 狠狠躁AV| 人妻熟女字幕一区二区| 日韩一级成人毛片免费观看| 中文字幕亚洲欧美在线不卡| 天天干天天日天天射黄色片| 97色插| 亚洲色 国产 欧美 日韩| 很很很很操| 国产视频97| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 很很很很操| 午夜天堂精品久久久久91| 操逼逼中文字幕| 欧美96精品在线| 91欧美www| 久久华人网| 白丝AV| 日韩综合色图| 欧美的性爱网站免费| 熟妇女人妻呻吟久久AV| 精品黄色电影| 91亚·色| 亚洲精品xxx| 97在线免费公开视频| 欧美伦乱爱| 艳美熟妇先锋一二三区| 顶级少妇BT天堂| 夜夜操天| 欧美日韩国产高清在线一二三区 | 九一屌逼| 丁香色狠狠色综合久久小说| 欧美黄色大片在线观看| 亚洲色人阁| 67914在线精品观看| 蜜桃av色偷偷av老熟女| 91成人久久 | 亚洲 欧美 另类 综合 偷拍| 天天视频网站黄| 天天弄欧美| 激情综合色| 久久久久9| 婷婷激情啪啪| 牛牛aV| 久久专区| AV在线资源| 欧美美女视频| av最新免费中文字幕| 国产综合网站在线播放 | 色97欧美| 看日韩美女二区三区免费操逼视频| 丝袜足交视频| 色性荡荡荡荡视频| 欧美中日韩XXXX| 欧美一区二区三区日韩| 91超碰碰在线| 曰韩av中文字幕专区| 岛国毛片在线观看免费| 91中文在线| 97色婷婷| 色97干| 欧美|91色综合| 久久精品性| 操逼www.| 久久久中文| 久久亚码| 天美传媒AV国产在线| 97天天爽| 蜜桃色色网站视频三区| 污污汅18禁网站在线永久免费观看 | 亚洲欧美在线综合| 99www.bibizy香蕉资源国产一区二区三区高清 | 亚洲一区二区三区麻豆传媒| 加勒比少妇AV婷婷六月天超碰超碰| 一区二区三区四区五区高清无码永久视频| 久热色情精品| 嗯嗯啊啊好疼| 亚州性色| 超碰在线91| 婷婷丁香一区二区三区| 亚洲第一狼人丝袜美女另类| 久久精品72| 国产精品第二页| 青青草乱入乱欲视频在线观看| 啪啪视频亚洲第一| 亚洲天天综合| 在线岛| 一区二区三区精品黑丝白丝酒店对鸡| 久久婷婷一区二| 欧美大色交| 日韩欧美麻豆| 天天综合,91综合永久| 亚洲蜜乳av| 欧美人黑A片无码免视费| 久久欧美1卡2卡3| 国精精品无码一二三区水多多| 国产午夜福利专区综合| 国产一区二区在线看| 屁股久久久久久| 国产毛片毛片4p懂色| 欧美少妇色图| 顶级丝袜熟女一区二区三区 | 啊啊啊啊啊啊好多水| 思思热一热婷婷热一热| 久久大香蕉手机高清| 日韩精品熟妇| 中文一区在线日| 国产一级内射高清视频| 亚洲成人碰碰| 人妻素股| 亚洲AV无码黄色强奸| 欧美日韩国产在线| 97精品视频在线播放| 国产女人和拘做爰视频 | www.男人的天堂| 人妻精品视频一区二区| 亚洲欧洲无码一区夜| 性色亚洲| 97亚洲欧美日韩| 久九九九九九九九热| 性色A∨91| 中欧人妻丝袜中文字幕| 国产11页| 婷婷丁香九月| 91欧洲国产成人久久精品网站| 婷婷深爱五月| 亚州欧美一区| 中文字幕日本久久| 夜夜高潮夜夜爽夜夜爱爱一区| 国产浮力影院第1页| 黄色污污污污污污网站| 91丝袜| http://qxhbdz.com| 亚洲伊人成综合成人网| 日韩AV片| 草草草视频在线免费看| 成人丁香五月| 97视频免费播放| 国产乱婷婷精品二区三区| 91无码精品| 中文字幕亚洲欧美在线不卡| 四虎影视永久在线免费| 98福利在线视频| 九九色综合| 99最新日韩偷拍视频| 婷婷久草一区二区三区| 国产辣妈在线视频福利| 九热超碰| 亚洲熟妇乱女区二区三区| 美女尤物人人操| 天天大干大香蕉| 色九九综合| 国内毛片热久久思思热| 1204金沙人妻懂旧版免费| 人人操 欧美| 一区二区播放| 98人妻精品一区二区色欲| 色欲色香天天天综合网www-亚洲综合国| 中文字幕五月婷婷免费| 午夜操操操| 青青青青草av在线观看| 一级免费啪啪片| 国产传媒午夜理伦精品| 少妇久久久久久| 操逼内射干逼白丝91| 无码视频黄色网战| 人人摸人人添人人操| 欧中美三级一区二区三区| www成人啪啪18秘 免费| 黄色在线网站| 国产v片在线免费观看| 伊人超碰97| 天堂综合| 熟妇熟女视频一区二区三区| 久久久精品视频免费观看| WWW操逼| 美女高潮国产高清| 色婷婷综合久久久久中文一区二区| 亚洲 欧美 手机在线观看| 日本幼女18+| 九九自拍伦理| 中文字幕女同在线| h色99999| 亚州欧美一区| 久久久九九| AV色五月天| 久久久久久少妇| 人妻大香蕉| 日韩无码服务区| 欧美色图在线视频少妇| 91九九九小逼| 久久久久久久久九九久孕交| 久久精品亚洲婷婷| 啊…啊…操我用力操我| 超AV色女| 97精品久久久久中文字幕| 亚洲污污网站| 亚洲图片欧美色| 中文字幕,人妻,日韩| 欧美一级久久久久久久大片动画 | 伊人aaa| 久久有码| 91操熟妇| 另类小说综合网| 黄片免费视频2019| 在线有码中文字幕| 上海一级黄片| 少妇二级| 日韩日本欧美在线观看| 操东北女人| 中文字幕一区二区无码成人| 成人国产精品三级A片| 99999这里都精品| 中文字幕乱碼在线| 久久香蕉影院| 99啪| 久久久工口| 亚洲综合小说另类图欧美视频激情小说色五月天 | 国产美女销魂在线观看不卡| 91综合色噜噜| 三上悠亚在线毛片91| 久久久久久久六六| 东京热双插| 日韩一级成人毛片免费观看 | 九九aV| 啊啊啊啊啊在线观看网址 | 日本黄色精品| 亚洲成人在线高清| 99性爱视频| 99抽插| 99精品丰满人妻无码| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 国产一区二区在线播放量| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 中文字幕日产av人| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 久热伊人99re| 国产女上位好爽在线| 97香焦色区| 九九色综合| 黑人白女精品一区| 国产大学生高潮在线播放 | 亚洲欧美情色| 免费的黄片有限公司| 人妻精品一区二区在线| 少妇xx精品| 骚妻少妇精品性色无码四色A V| 国产蜜臀精品一区二区尤物| 久草综合京东| 91在线超高颜值国产| 亚洲人妻五月丁香婷婷| a'v在线资源| 精品久久无码午夜福利| 91偷拍欧美亚洲| www.acm成人黄色毛片| 搡老熟女老女人老熟妇免费视频| 啊啊啊不要啊啊受不了了视频在线| 东京热一区二区中文字幕| 久久9亚洲| 欧美精品三区| 粉嫩不卡一区二区性爱 | 日韩欧美三级| 自偷自拍的亚洲视频| 亚洲美女高潮喷水视频| 丁香五月久久| 久久久久久性爱免费视频| 曰韩精品九九无码| 黑人白女精品一区| 亚洲综合码| 麻豆性爱视频在线播放| 影音先锋少妇| 97人人爱人人乐| 国产精品久久久久绯色| 日韩乱伦AⅤ| 97欧美资源| 少妇被玩视频二三区| 国产一级作爱毛片| 中文一区二区三区影院| 精品视频久久区| 97色五月天完| 99精品久久久久久久婷婷蜜桃| 精品人妻一区二区三区日产| 日韩欧美偷拍美女视频| 欧美成人9797| 激情久久久| 亚欧成人综合影院| 人妻无一区二区三区| 人妻密肉在线观看| 蜜臀av在线播放一区二区三区| 精品中文字幕一区二区| 你懂的在线观看区国产| 91视频综合| 十八禁的黄污污免费网站| 91成人无码| 好湿好紧视频| 偷窥自拍亚洲| 国产热av| 成人久久久精品| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV| 久久色人体| 婷婷亚洲天堂| 五月婷婷激情网| 超碰在线成人| 五月激情综合网| 国产小u女在线观看| 国产黄片在线免费观看| 人人操,操人人| av无码av无码专区| 亚洲欧美日韩综合在线尤物| 6080YYY午夜理论片在线观看| 日韩欧洲操屄视频| 亚洲欧洲综合成人av一区| 熟啊v色欧美热| 麻豆九九九| 中 文字幕一区二区三四 五 区日 日 骚| 日本天天人人狠狠在线日美女 | 日本超碰在线国产一区| 日韩精品在线观看观看| 麻豆成人av| www.狠狠| 精品久久視頻在线| 91 手机在线播放 绯色| 快点操死我| 丰满精品人妻少妇久久字幕| 欧美 亚洲 另类 综合| 天堂九九九九九九九九九| 婷婷五月天社区| 欧美狠狠弄| 午夜福利在线合集| 亚洲色电影在线| 青青草大香蕉视频| a片在线播放| 日韩人妻播放| 国产激情av女片自拍| 五月婷视频| 内射中出日韩在线观看视频| 精品二999| 久久区| 成人AV在线电影| 亚洲一区中文精品| 熟妇操花| 人妻大相焦在线| 91爱欧美| 亚洲 暴爽 AV人人爽日日碰| 欧美日韩操逼动图| 色呦呦、国产精品| 后入国产| 色香色欲天天综合网天天来吧| 婷婷99狠狠躁天天躁| 91成人在线| 人妻天堂三区| 在线人人人人人人精品超| 亚洲天堂性爱| 一区二区三区在线日韩影院观看| 中日韩免费看男女操逼大全| 成人电影一区| 91N综合网在线| 色欲三区| 久久精品国产72国产精品福利| 91女人的网站| 欧美色图电影| 男人a天堂手机在线版| 青青草视频久久| 亚洲第一狼人丝袜美女另类| 婷婷亚洲综合| 麻豆一区二区三区在线看| 萌白酱自拍视频| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 你想操日本小逼吗| 日本欧美色| 国产在线综合福利网站| 亚州国产精品乱| 亚洲色欧| 国产这里只有精品| julia国产在线| 天天肏夜夜肏| 色欧洲| 精品国产嫩穴视频| 日本黄大片在线观看视频| 91xingse| 亚洲电影中字一区二区| 嗯嗯啊啊亚欧精品| 国产欧美精选自拍一区| 亚洲精品一区二区免费在线观看| 午夜久久一区二区无码中出| 清纯唯美亚洲| 97精品综合久久网| 亚洲欧美综合区自拍另类| 欧美久久婷婷| 日本www操操操| 91欧美性| 大香交伊人网| 人妻献身系列第54部| 免费网色网站| 五月激情视频| 精品久久久久久中文字幕视频免费| 精品无码一区二区| 久久人人爽爽人人爽人人片αV| 91n免费处女| 免费观看欧美日韩操逼视频 | 久久久成人精品| 日本最新1区2区3区| 天天操天天干一区二区 | 午夜天堂精品久久久久91| 超碰色老头| 亚洲天堂日本| 日本护士高潮| 91社区伊人| 嗯嗯,好大,好爽,好骚| 性爱av网站| 2024黄色视频| 天干天干天干天天做| 人妻天天操天天爽视频免费| 狠狠色噜噜狠狠狠狠狠色综合久久 | 怡红院一区二区熟女人妻| 久久久久国产精品久久久| 午夜综合在线| 亚洲色图欧美色图制服丝袜 | 嫩草在线视频| 超碰色综合| 熟女少妇一区二区三区| 亚洲男人的天堂AV| 国产玖玖| 五月色丁香| 手机看片1024你懂的国产| 极品综合| 中文字幕日韩专区精品系列| 日韩91网站| 亚洲乱伦图片视频| 久久永久无码人妻视频| 九九九九精品| 美女91AV| 91人人操| 国产av色网| a片亚洲一本通视频| 男人的天堂欧美| 91中文精品日韩欧美在线| 日本天天吊| 欧美性战999| caopeng97人妻| 丝袜美腿诱惑亚洲欧美视频在线观看| 九月丁香综合网| 超碰无码加勒比| 老色69| 国产激情综合五月久久| 婷婷五月影院| 国产精品熟女乱伦| 91爆操视频| 国产 丝袜 欧美中文 另类| 免费a v| jizz啪啪| 乱伦av.com| 亚洲精品成人激情在线| 五月丁香久久| 又大又白奶子| 一区二区精品更新提醒| 大香蕉之青青草原| 成人开心网在线视频| 婷婷五月天av| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 中国一级操逼视频| 91久久国产综合精品| 色婷婷影视| 国产无马av| 亚欧高清| 久久黄色性爱视频| 日本东京热加勒比久久| 深夜激情无码| 3571色综合一区二区二区| 丁香五月色| 国产精品青青草| 啊a一区在线| 亚洲欧美日韩电影网站一区 | 免费精品无码一级毛片牛牛影视| 伊人96在线| 久久午夜神马| 亚洲高清无毛一区二区| 国产人妻天天干精品| 黄页大片在线观看| 欧美最婬乱婬爆婬性视频| 欧美亚洲日韩16色| 97超碰欧美精品| 日本孕妇一区二区视频操逼免费看| Sekablack无码一区| 91在线色| 亚拍在线| 国产女人视频三四五区| 思思热久久成人| 欧美精品成人亚洲| 激情视频一二三| 999久久久| 国产综合在线视频网站| 熟女精品一区二区三区| 亚洲 综合 第一页| 欧美视频一| 午夜大香蕉| 久久久久久久久久久精| 欧美成人A天堂片在线观看| 999久久久久久久精| 96超碰网| 免费一级黄色录像影片| 欧美亚洲激情小说| 亚州色图狠狠干| 99超碰碰| 婷婷亚洲五月***久久| 亚洲熟女乱综合一区二区三区| 激情小说亚洲| 能在线播放的国产三级| 夜夜人妻爽| 老熟女乱伦一区| 91 国产丝袜在线放观看 | 青青青在线高清视频在线一二三四区| 国产午夜福利专区综合| 欧美性天天影视| 中文字幕成人乱码熟女精品国50 | 热久久精品| 欧美成人贴图| 色五月婷婷色| 外站AV在线| 久热伊人99re| 亚洲 小说 欧美 激情 另类| 久久久久国产亚洲一区欧美色图日韩| 激情综合 婷婷五月 红杏| 国产无马av| 一本大道青青| 1024日韩| 亚洲无线观看久久| 狠狠图片青青草| 午夜电影在线观看无码专区| 超碰九九| 97色冈| yw尤物av无码点击进入麻豆| 亚洲中文字幕日产无码久久| 以及麻豆国产入口在线观看免费| 97超碰这里只有精品| 亚洲清纯唯美| av在线播放国产一区| 精品久久9| 小泽玛利亚一二三| 丰满人妻一区二区三区免费| 中文字幕少妇色| 日韩乱伦影音先锋| 欧美精品三级黄片| 97久久国产亚洲精品超碰热| 中文字幕高清20页视频| 草莓精品视频在线免费观看| 98超碰欧美| 97超碰资源网| 秋霞曰韩R级| 98人妻精品一区二区色欲| 你草精品在线视频| 任你草| 无码av永久免费专区网站| 欧美亚洲首页| 日韩免费在线观看不卡| 中文字幕精品专区搜索结果91| 啪啪综合网| 97久久精品| 极品人妻少妇综合| 91伊人久久在线| 亚州情色j区| 人妻少妇久久久| 日韩亚洲中文有码视频| 人人性爱视频免费| 精品久9| 蜜屁av| 亚洲做性| 亚洲素人综合| 人妻天天爽夜夜爽2| 搡老女人老91妇女熟女| 丝袜亚洲91| 亚洲诱惑天堂| 日本黄页视频在线观看| 无毛精品| 欧美天天综合站| 欧美A片中文字幕| 欧美天堂在线| 亚洲另类春色| 女优大全 - 91n| 国产精品久久久久久久久久久久久久吹| 97超碰这里只有精品| 高清肉丝中文无码| 极品一区二区三区免费| 日本精品免费一区二区三区四区| 久久国99999| 啊啊啊啊啊啊啊啊啊在线观看| 很狠操| 日韩综合第八区国产精品| 国产一区二区久久| 欧美中字二区| 久久有码视频| 天天操夜夜操| 久久久久久亚洲精品不卡人乳 | 日韩亚洲精品一区二区| 亚洲综合中文字幕有码| 久久99人妖视频国产| 欧美日韩97在线| 欧美亚洲清纯| 97免费视频在线观看| 秋霞成人做爱| 久久97| 91色堂| 欧美色图亚洲色| 日韩激情啪啪啪| 亚欧性爱在线无码| 丁香五月天久久精品视频一区二区三区| 强奸国产精品视频| 久久草大香蕉| 美美91成人国产精品欧美精品久久久久久久| 精品无码一区二区人妻久久蜜桃 | 久久大香蕉手机高清| 久9久9精品| 天天综合网91| 男女一级A片大黄,一进一出| 熟女网站最新| 日本一区二区三区午夜观看| 日韩九区| 欧美情色亚洲| 人妻99p| 中出在线视频| 热思思免费视频| 日韩在线女优天天干| 熟女少妇视频| 偷窥自拍亚洲天堂网爆| 色综合天天| 亚洲欧美色综合| 亚洲欧洲av影音| 蜜臀精品1区2区| 色哟哟AⅤ| 91爱做| 欧美人与性动交a美精品| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 久久久久久久一级黄色打同平台| 俞拍久久国应视频| 夜夜操夜夜爽夜夜高潮| 国内精品嫩模A∨私拍小视频| 久jiu久神马影院| 蜜臀久久99精品久久久久| 又黄又爽在线观看视频| 91久久久亚洲| 青青草色插素人| 精品一二三区久久AAA片| 欧美春色| 久久久久久久九九九九九九| 极品欧美一区二区三区| 91爱做| 国产精品视频精品一二| 草久在线| 亚洲美女30b| 久久久久久精品免费看A级| 中国熟妇| 久操网在线| 婷婷五月成人| 尤物网址| 综合网少妇| 小草精彩毛片| 蜜臀久久久| 久久精品美女一区| 天天日天天搞天天干| 老鸭窝日丰县女人| 精品人妻一区二区三区-国产| 久久99手机免费视频| av资源在线播放天堂| 91久久青青草原精品| 视频二区熟女人妻| 日本 免费 一区二区三区 久久香蕉| 99精品视频在线观看免费| 国产传媒av天美传媒在线| 久久九操在线观看| 蜜臀AV一区二区三区激情综合| 久草视频在线视频在线视频在线观看| 91精品人妻一区二区三区蜜桃| 九九九久久久久| 怡红院怡春院| www鬼畜国产男人的天堂| 69久久久久久久久久久久久| 婷婷尹人大香蕉免费| 激情五月天丁香社区| 中文字幕国产| 国产欧美在线观看免费观看| 美女91| 肥臀熟女一区二区三区视频| 另类av综合久久| 麻豆AV一区二区| 日韩人妻少妇中文字幕| 亚洲精品 大香蕉| 狠狠色综合网| 亚洲中文字幕网| 天天日夜夜爽| 99re国产中文字幕| 色999亚洲人成色| 婷婷久久综合久| 91美女中出| 国产伊人自拍| 国内精品不卡无毒99999| 久久色一区| 国产精品91一样| 午夜福利久久久噜久噜久久综合| 99热综合在线| 夜夜操天天肏| 加勒比海成人视频网| 免费9 1久久| 欧美激情久久久久| 超碰一区二区| 久久三区四区| 亚洲影院无码在线| 黑人白女精品一区| 亚洲 国产 精品一区| 久久草在线综合视频| 久久精品一区二区三区不卡| 最新日本中文字幕| 亚洲无码超碰免费| 囯产操逼片| 久久久久久亚洲精品不卡人乳 | 久久性爱网站| 日本天天色| 欧美日韩精品国产91| 日韩专区久久久| 懂色Av一区二区三区| 在线a亚洲视频播放在线| 国产91精品福利在线| 色婷五月天| 国产欧美黑人丰满在线| 国产熟女一区二区| 黄视频免费| 99热这里只有精品9| 黄色不卡视频| 成人区人妻精品一| 操逼片国产| 99ri视频| 久久人体一区二区| 色视频蜜乳| 色婷婷综合网| 东京热AV男人的天堂| 丰满美女一级毛片在线播放| 天天插天天插| 伊人欧美大香蕉视频| 亚洲,日韩,欧美,成人播放 | 中文字幕一区二区三区人妻少妇在线| 97精品97久久| 99在线免费公开视频| 91在线欧色| 国产久久久久久| 亚洲婷婷五月天| 欧美偷偷网| 成人 日本A片无码8888| 老师充足的奶水小说| w w w.久久精品| 日韩情色视频| 96精品久久久久久久久久| 亚洲色欲天天人妻无码系列专区| 日韩欧美天堂| 久久久久国产一区二| 99久在线精品99re8热视频在线| 7777奇米影视久久| 久久一二三四不卡| 午夜男人av| 亚洲麻豆18发?| 亚洲欧美经典一区二区| 欧美性色欧美| 婷婷五月天影院| 久久精品三级影视| 99精品无码| 丁香五月婷婷基地| 国产综合日韩伦理| 美女97超碰| 国产传媒操逼视频| 呻吟 欧美 日本 中出| 国产亚洲日本精品在线| 老鸭窝成人| 天天看片天天爽| 国产精品 久久久精品一牛| daxiangjiao你懂的| 国产按摩一区二区三区| 四虎国产精品永久在线囯在线| 97精品97| 五月丁香啪啪| 狠狠久久手机视频精品| 欧洲精品区| 亚洲欧美大香蕉| 免费人成在线观看网站品爱网| 爱丝福利| 91亚洲黑人| 91在线视频观看国产| 久久69| 亚洲人久久久网| 91ise欧美| 日亚韩精品视频二区三| 无码人妻一区二区三区四区老鸭窝| 久久久久久久久久久久久久久乱码| 亚洲欧综合另类无码一区| 色综91| 老司机福利社视频在线观看| 中文乱码99| AV中文字幕三四五| 精品然女一区二区| 操我啊啊啊啊啊| 九月婷婷综合| 思思热免费视频观看| 日本三级A片网站com| 91情色在线| 997色在线| 97综合久第一页| 亚洲色图 图片| 青青青青草av在线观看| 日韩亚洲美女一区久久| 五月丁香婷婷色| 黑人黄片在线免费观看| 大香蕉专区| 国产亚洲性生活视频播放| 大JI巴好深好爽又大又粗视频| 国产999精品久久久| 男人的天堂久久狠| 97国产伦理| 97精品在线| 9精品久久| 激情人妻另类| 嗯嗯啊啊的视频| 超碰97久久观看| 九一综合网| 久久9精品网站| 亚洲系列欧美| 国产精品午夜福利| 亚洲高清综合网| 2020久久免费视频| av黄图片在线观看| 级做a爱无码性色永久免费| 久久久精品电影| 在线岛| 91久久久久久久久18| 色婷婷六月| 日本一二区免费| 青女在线| 美女黄页网站| 91天天综合日韩欧美| 97在线免费观看| 国产精品人妻熟女aⅴ| 亚洲第一无码播放立川理惠| 1024日韩| 久久久18禁| 九九九只有精品| 日韩熟女无码| 999岛国大片| 欧美 亚洲 大香| 久久久78| 蜜桃久久久久久| 综合情欲网| 88xx成人精品视频| 精品欧美А∨无码黑人大荫蒂| 日韩av乱伦| 欲香欲色天天天综合和网| 清纯唯美激情| 国产精品免费日韩| 少妇毛片久久| 视频在线97| 五十路六十路七十路熟婆| 五月激情在线| 日韩精品一区,二区 九九...老司机| 高清视频一区| 91小视频| 色眯眯av| 超碰在线一区二区| 久久草大香蕉| 91色伦| 日韩,欧美,中文在线| 欧美另类自拍 | 久久久一二三四区| 亚洲日韩精品在线播放| 狠狠搞 亚洲91| 蜜臀在线视频| 天天肏夜夜肏| 欧美三四五区| 日韩免费看黄片| 天天插天天操天天摸天天射天天看| 91综合色噜噜| 久草久热| 人妻丝袜一区二区三区在线| aaaa少妇高潮大片| 九七人妻在线| 国产成人免费观看在线视频| 热天堂一区二区| 欧美极品美女aaaaaa级黄片| 97久久精品亚洲中六字幕| 亚洲不卡三级手机播放| 99热色这里只有精品| 激情婷婷综合久久|