日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率 RAG 系統(tǒng)上線后最常被吐槽的是檢索不準(zhǔn)。明明知識(shí)庫(kù)里有答案用戶換一種口語(yǔ)化問(wèn)法向量檢索卻召回一堆無(wú)關(guān)段落大模型只能基于錯(cuò)誤上下文硬答于是“答非所問(wèn)”“回答不專業(yè)”就都來(lái)了。問(wèn)題往往出在 Embedding 模型的能力邊界而不是生成模型本身不聰明。面向 2026 年RAG 優(yōu)化已經(jīng)不只是調(diào)切塊長(zhǎng)度或換個(gè)大模型。越來(lái)越多團(tuán)隊(duì)開(kāi)始走同一條路線借助 Qwen3 構(gòu)造高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì) Embedding 模型做領(lǐng)域微調(diào)讓向量檢索更貼近真實(shí)業(yè)務(wù)語(yǔ)言最終讓大模型回答更專業(yè)。這篇博客會(huì)把這條鏈路拆開(kāi)講清楚RAG 為什么檢索不準(zhǔn)、Embedding 微調(diào)的基本原理、Qwen3 在數(shù)據(jù)生成和難負(fù)樣本構(gòu)造里的角色、訓(xùn)練代碼怎么寫、接入 Milvus 和 LlamaIndex 時(shí)要注意什么、上線后效果怎么評(píng)估以及生產(chǎn)落地上最容易踩的坑。1. 先理解 RAG 檢索不準(zhǔn)的根因再?zèng)Q定要不要微調(diào) Embedding1.1 檢索不準(zhǔn)往往不是“模型笨”而是“召回偏了”RAG 的完整鏈路通常分三塊知識(shí)庫(kù)切塊、文本向量化、向量檢索與排序。大多數(shù)團(tuán)隊(duì)投入精力最少、出錯(cuò)卻最多的是中間那塊 Embedding。Embedding 模型做的事情是把一段文本壓縮成一個(gè)向量讓語(yǔ)義相近的文本在向量空間里距離更近。例如“怎么申請(qǐng)工傷認(rèn)定”和“工傷認(rèn)定申請(qǐng)流程”應(yīng)該是近鄰而“工傷鑒定標(biāo)準(zhǔn)”雖然包含“工傷”兩個(gè)字卻不應(yīng)在用戶問(wèn)流程時(shí)排在前面。問(wèn)題在于通用 Embedding 模型是在互聯(lián)網(wǎng)開(kāi)放語(yǔ)料上訓(xùn)練的它擅長(zhǎng)處理“通用語(yǔ)言”但面對(duì)一個(gè)行業(yè)的簡(jiǎn)稱、系統(tǒng)名稱、產(chǎn)品術(shù)語(yǔ)、客服話術(shù)、中英混排、業(yè)務(wù)單據(jù)編號(hào)時(shí)向量空間的分布可能完全不對(duì)。觀察下面這種典型 badcase用戶 Query檢索結(jié)果是期望結(jié)果我們公司發(fā)票沖紅后稅號(hào)會(huì)變嗎發(fā)票管理辦法關(guān)于紅字發(fā)票的規(guī)定本項(xiàng)目發(fā)票沖紅的具體操作指南XX 系統(tǒng)登錄報(bào) 5001 錯(cuò)誤怎么辦系統(tǒng)使用手冊(cè)目錄XX 系統(tǒng) 5001 錯(cuò)誤碼說(shuō)明如果把這兩組 Query 和文檔片段丟給通用 Embedding 模型會(huì)發(fā)現(xiàn)相似度分?jǐn)?shù)往往沒(méi)有明顯區(qū)分度。問(wèn)題不是切塊沒(méi)切好而是模型根本不知道“5001 錯(cuò)誤碼”在這個(gè)系統(tǒng)里等價(jià)于“登錄鑒權(quán)失敗”。1.2 通用 Embedding 模型的“領(lǐng)域盲區(qū)”長(zhǎng)什么樣行業(yè)內(nèi)比較常見(jiàn)的開(kāi)源 Embedding 模型包括 BGE 系列、BGE-M3、GTE 系列、M3E 等。它們?cè)谥杏⑽耐ㄓ脵z索任務(wù)上表現(xiàn)很好但一進(jìn)垂直領(lǐng)域就會(huì)暴露幾個(gè)問(wèn)題。第一專業(yè)術(shù)語(yǔ)語(yǔ)義稀疏。比如“貨描不符”“質(zhì)保單”“T0 回款”這些詞在訓(xùn)練語(yǔ)料里出現(xiàn)頻次不高模型很容易把它們當(dāng)成普通詞語(yǔ)處理向量表征不夠穩(wěn)定。第二口語(yǔ)化和反問(wèn)句式泛化弱。RAG 系統(tǒng)的真實(shí)用戶不會(huì)按照文檔目錄說(shuō)話他們經(jīng)常輸入“這個(gè)單子咋走流程”“為什么不能提現(xiàn)”和正式文檔的語(yǔ)言風(fēng)格差異很大。第三同義詞和縮寫關(guān)聯(lián)弱。“結(jié)算單”和“Settlement Note”“結(jié)算憑證”在業(yè)務(wù)里可能指向同一類文件但通用模型不一定能建立這種等價(jià)關(guān)系。用戶搜索“qwen3 embedding 微調(diào)”時(shí)看到的很多教程本質(zhì)上都是在解決這類“領(lǐng)域盲區(qū)”。如果只是換一個(gè)更大的通用模型通常只能緩解問(wèn)題不能根治。要讓檢索真正貼近業(yè)務(wù)就要讓 Embedding 模型見(jiàn)過(guò)業(yè)務(wù)數(shù)據(jù)并針對(duì)業(yè)務(wù) Query 和文檔做過(guò)對(duì)比學(xué)習(xí)。1.3 什么時(shí)候該微調(diào)什么時(shí)候先不要?jiǎng)?Embedding微調(diào) Embedding 不是 RAG 優(yōu)化的第一步甚至不是第二步。在投入 GPU 訓(xùn)練之前可以按下面順序排查。排查項(xiàng)檢查方式如果存在問(wèn)題切塊粒度查看召回文檔是否在中間截?cái)嗾{(diào)整 chunk_size / overlap或按標(biāo)題、段落結(jié)構(gòu)切塊元數(shù)據(jù)過(guò)濾是否能用業(yè)務(wù)字段排除明顯無(wú)關(guān)文檔增加創(chuàng)建時(shí)間、部門、文檔類型等過(guò)濾條件Query 改寫用戶原問(wèn)是否太口語(yǔ)化、太短用大模型把 Query 改寫成標(biāo)準(zhǔn)檢索詞再走向量檢索Rerank 模型召回 top50 后是否仍然把錯(cuò)誤文檔排在前面加入專門的 Rerank 模型做精排Embedding 領(lǐng)域適配上述手段都做過(guò)后 badcase 仍重復(fù)出現(xiàn)再考慮微調(diào) Embedding 模型換句話說(shuō)微調(diào) Embedding 適合在“檢索鏈路已經(jīng)比較完整、但深層語(yǔ)義匹配能力不足”的階段啟動(dòng)。它的前置條件有三個(gè)一是有一個(gè)可重復(fù)復(fù)現(xiàn)的 badcase 集合二是有辦法評(píng)估召回效果不靠肉眼感覺(jué)三是有能力構(gòu)造一批覆蓋業(yè)務(wù)場(chǎng)景的訓(xùn)練數(shù)據(jù)。如果知識(shí)庫(kù)總共只有幾百個(gè)文檔檢索效果差主要因?yàn)榍袎K太粗或者沒(méi)有元數(shù)據(jù)過(guò)濾那么先優(yōu)化這些環(huán)節(jié)性價(jià)比更高。2. 微調(diào) Embedding 的原理對(duì)比學(xué)習(xí)、難負(fù)樣本和 Qwen3 的定位2.1 Embedding 模型訓(xùn)練的本質(zhì)是“拉近正例推開(kāi)負(fù)例”Embedding 模型本身不是被“教”出所有業(yè)務(wù)知識(shí)的它是在一個(gè)表示學(xué)習(xí)任務(wù)上被優(yōu)化的。微調(diào)時(shí)我們不再訓(xùn)練模型回復(fù)一句話而是訓(xùn)練它把 Query 和對(duì)應(yīng)的文檔片段映射到同一個(gè)向量空間中的相近位置。最常用的訓(xùn)練目標(biāo)是對(duì)比學(xué)習(xí)損失例如 InfoNCE。核心思想是給一個(gè) Query讓模型優(yōu)化相似度使得它和正確文檔的距離更近同時(shí)和一批錯(cuò)誤文檔的距離更遠(yuǎn)。假設(shè)一個(gè) batch 里有 N 個(gè) Query對(duì)應(yīng)的正文檔是同一個(gè) batch 里的 N 個(gè)文檔那么可以構(gòu)造 N×N 的相似度矩陣對(duì)角線是正樣本其余位置是負(fù)樣本。MultipleNegativesRankingLoss 就是這么工作的。一個(gè)簡(jiǎn)單理解score(query_i, positive_i) - 盡量高 score(query_i, negative_j) - 盡量低2.2 難負(fù)樣本比正樣本更影響微調(diào)效果很多人第一次構(gòu)造 Embedding 訓(xùn)練集會(huì)在每個(gè) Query 后面配一個(gè)正確文檔、一個(gè)隨機(jī)文檔然后開(kāi)始訓(xùn)練。等訓(xùn)練完上線發(fā)現(xiàn)效果幾乎沒(méi)變。原因很簡(jiǎn)單隨機(jī)文檔和 Query 大多完全不相關(guān)模型很容易把它們分開(kāi)訓(xùn)練信號(hào)很弱。真正需要訓(xùn)練的是“看起來(lái)相關(guān)、實(shí)際不對(duì)”的難負(fù)樣本。舉個(gè)例子Query發(fā)票沖紅后購(gòu)買方還能抵扣嗎正樣本發(fā)票沖紅操作指南里關(guān)于購(gòu)買方抵扣的相關(guān)段落難負(fù)樣本發(fā)票開(kāi)具流程里關(guān)于“紅字發(fā)票信息表”的段落難負(fù)樣本包含“發(fā)票”“沖紅”“抵扣”等多個(gè)關(guān)鍵詞向量上離 Query 很近但語(yǔ)義和用戶問(wèn)的不是一回事。只有把這種樣本作為負(fù)例壓下去模型才學(xué)會(huì)區(qū)分“操作流程”和“概念解釋”。這是為什么微調(diào) Embedding 必須有一個(gè)質(zhì)量較高的負(fù)樣本構(gòu)造環(huán)節(jié)而不能只在文件系統(tǒng)里隨機(jī)抽幾個(gè)文件當(dāng)負(fù)樣本。2.3 Qwen3 在這條鏈路里的真實(shí)角色標(biāo)題里寫“通過(guò) Qwen3 對(duì) Embedding 進(jìn)行訓(xùn)練微調(diào)”容易讓人誤以為直接把 Qwen3 結(jié)構(gòu)拿來(lái)當(dāng)向量模型訓(xùn)練。這里必須澄清一下技術(shù)定位。Qwen3 是生成式大模型它的輸出是文本不是文本向量。當(dāng)前更穩(wěn)妥、也更常見(jiàn)的做法是用 Qwen3 生成領(lǐng)域 Query把“文檔段落”轉(zhuǎn)成“用戶可能會(huì)問(wèn)的問(wèn)題”用 Qwen3 把這些 Query 和候選文檔做相關(guān)性打分找出“分?jǐn)?shù)高但實(shí)際不相關(guān)”的難負(fù)樣本用 Qwen3 改寫 Query制造更多表達(dá)方式不同、語(yǔ)義相同的正樣本用 Qwen3 檢查訓(xùn)練數(shù)據(jù)質(zhì)量去掉噪聲樣本。也就是說(shuō)Qwen3 是在“數(shù)據(jù)生產(chǎn)”和“數(shù)據(jù)清洗”環(huán)節(jié)起作用真正被微調(diào)的對(duì)象是專用 Embedding 模型比如 BGE-M3、bge-large-zh、GTE 等。如果團(tuán)隊(duì)非要用 Qwen 系列模型做 Embedding也不是不行需要自己接 pooling 層和相似度目標(biāo)對(duì)比訓(xùn)練成本和難度都會(huì)明顯上升。對(duì)于大多數(shù) RAG 項(xiàng)目更理性的選擇是用 Qwen3 生成數(shù)據(jù) 微調(diào)輕量專用 Embedding 模型這樣訓(xùn)練成本低、上線快、維護(hù)也容易。3. 用 Qwen3 構(gòu)造高質(zhì)量 Embedding 微調(diào)數(shù)據(jù)集3.1 先設(shè)計(jì)統(tǒng)一數(shù)據(jù)格式微調(diào) Embedding 的數(shù)據(jù)集一般使用 JSONL 格式每行一個(gè)訓(xùn)練樣本。常見(jiàn)結(jié)構(gòu)是帶一個(gè)正樣本和多個(gè)負(fù)樣本{ query: 發(fā)票沖紅后購(gòu)買方還能抵扣嗎, positive: 購(gòu)買方取得紅字發(fā)票信息表后可在增值稅發(fā)票綜合服務(wù)平臺(tái)上進(jìn)行相應(yīng)抵扣處理具體以當(dāng)?shù)囟悇?wù)機(jī)關(guān)要求為準(zhǔn)。, negatives: [ 發(fā)票開(kāi)具流程中銷售方需在開(kāi)票系統(tǒng)內(nèi)填開(kāi)紅字發(fā)票信息表并上傳。, 普通發(fā)票丟失后如何處理納稅人應(yīng)當(dāng)向稅務(wù)機(jī)關(guān)報(bào)告。 ] }推薦把訓(xùn)練數(shù)據(jù)寫成這種格式而不是只用 query-positive 二元組。因?yàn)橐粭l Query 配多個(gè)負(fù)樣本訓(xùn)練效率更高模型也能更快學(xué)會(huì)區(qū)分“業(yè)務(wù)概念”和“業(yè)務(wù)操作”。3.2 用 Qwen3 從文檔段落生成用戶 Query數(shù)據(jù)構(gòu)造的第一步是把知識(shí)庫(kù)文檔的每個(gè)段落變成一個(gè)或多個(gè)用戶 Query??梢哉{(diào)用 Qwen3 的 OpenAI 兼容接口也可以在本機(jī)用 vLLM 部署 Qwen3 后按相同接口調(diào)用。下面是一個(gè)用于生成 Query 的 Prompt 示例你是知識(shí)庫(kù)檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問(wèn)法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語(yǔ)化或短問(wèn)法。 3. 不要生成與這段內(nèi)容語(yǔ)義偏差過(guò)大的問(wèn)題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text}對(duì)應(yīng)的 Python 調(diào)用示例import json import openai client openai.OpenAI( base_urlhttp://your-qwen3-server:8000/v1, api_keyEMPTY ) def generate_queries(chunk_text: str) - list[str]: prompt f你是知識(shí)庫(kù)檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問(wèn)法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語(yǔ)化或短問(wèn)法。 3. 不要生成與這段內(nèi)容語(yǔ)義偏差過(guò)大的問(wèn)題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text} resp client.chat.completions.create( modelqwen3, messages[{role: user, content: prompt}], temperature0.7, max_tokens512, ) content resp.choices[0].message.content content content.replace(json, ).replace(, ).strip() return json.loads(content)調(diào)用時(shí)需要注意真實(shí)用戶 Query 和文檔原文的措辭差異越大對(duì) Embedding 微調(diào)的收益越高。如果 Qwen3 生成的問(wèn)題基本都是照抄文檔里的句子那訓(xùn)練數(shù)據(jù)對(duì)檢索沒(méi)有增量?jī)r(jià)值。3.3 構(gòu)造難負(fù)樣本從批量召回結(jié)果里篩選構(gòu)造難負(fù)樣本最實(shí)用的方法是“用當(dāng)前 Embedding 模型先跑一遍檢索然后讓 Qwen3 判斷相關(guān)性”。具體流程對(duì)每一條 Query用當(dāng)前線上 Embedding 模型從知識(shí)庫(kù)召回 top 20 個(gè)文檔片段。把這 20 個(gè)片段中相似度分?jǐn)?shù)較高、但在業(yè)務(wù)上不代表正確答案的片段挑出來(lái)。讓 Qwen3 逐條判斷“這個(gè)片段是否確實(shí)回答了 Query”給出 0 或 1 標(biāo)簽。標(biāo)簽為 0、但向量相似度靠前的片段作為難負(fù)樣本加入訓(xùn)練集。這個(gè)流程比隨機(jī)負(fù)樣本有效因?yàn)槟P汀板e(cuò)得最厲害”的地方正是它需要被糾正的地方。Prompt 示例請(qǐng)判斷下面的文檔片段能否回答用戶問(wèn)題。只能回答 0 或 1。 用戶問(wèn)題 {query} 文檔片段 {chunk_text} 能否回答批量處理時(shí)要注意并發(fā)限制和請(qǐng)求失敗重試。比如本地部署 Qwen3 時(shí)如果接口偶爾超時(shí)可以加上重試邏輯并把結(jié)果記錄到單獨(dú)的日志文件里方便后續(xù)排查數(shù)據(jù)質(zhì)量問(wèn)題。3.4 數(shù)據(jù)清洗和人工抽驗(yàn)不要拿到 Qwen3 生成結(jié)果就直接訓(xùn)練。常見(jiàn)問(wèn)題包括Query 和 positive 完全不匹配模型學(xué)不到有效信號(hào)negative 實(shí)際上也回答了 Query造成標(biāo)簽噪聲多條 Query 完全重復(fù)導(dǎo)致模型過(guò)擬合到某一種表達(dá)文檔片段過(guò)長(zhǎng)或過(guò)短超過(guò)模型 max_len 限制訓(xùn)練時(shí)被截?cái)?。建議先做一輪自動(dòng)化清洗腳本def filter_sample(sample, min_len10, max_len512): q_len len(sample[query]) p_len len(sample[positive]) if q_len min_len or p_len min_len: return False if p_len max_len * 3: return False if sample[query] in sample[positive]: return False return True然后抽出 5% 到 10% 的樣本人工判斷標(biāo)簽是否合理。如果人工抽驗(yàn)的準(zhǔn)確率低于 90%建議重新調(diào)整 Qwen3 的 Prompt而不是直接擴(kuò)大數(shù)據(jù)量。數(shù)據(jù)規(guī)模上Embedding 微調(diào)的最小有效集通常在幾千條左右。先保證 2000 到 5000 條高質(zhì)量樣本比一次生成 5 萬(wàn)條低質(zhì)量樣本更有效。4. 選擇開(kāi)源 Embedding 模型和訓(xùn)練環(huán)境4.1 可微調(diào)的 Embedding 模型選型不是所有 Embedding 模型都適合微調(diào)。使用云廠商 API 的 Embedding 模型通常不開(kāi)放權(quán)重只能通過(guò)官方接口調(diào)用無(wú)法針對(duì)業(yè)務(wù)數(shù)據(jù)做訓(xùn)練。要微調(diào)必須選擇開(kāi)源權(quán)重模型。常見(jiàn)可選模型如下模型特點(diǎn)適合場(chǎng)景注意點(diǎn)BGE-M3支持多語(yǔ)言、長(zhǎng)文本、多粒度檢索中英文混合知識(shí)庫(kù)、長(zhǎng)文檔 RAG參數(shù)較多訓(xùn)練顯存相對(duì)高bge-large-zh中文效果穩(wěn)定社區(qū)資料多中文業(yè)務(wù)知識(shí)庫(kù)需注意 query 指令前綴bge-base-zh參數(shù)少訓(xùn)練快數(shù)據(jù)量不大、端側(cè)場(chǎng)景效果上限低于 largeGTE 系列部分模型支持中英和多任務(wù)需要統(tǒng)一向量模型的場(chǎng)景需確認(rèn)授權(quán)和版本M3E中文效果不錯(cuò)部署簡(jiǎn)單中文知識(shí)庫(kù)快速驗(yàn)證遇到復(fù)雜語(yǔ)義邊界時(shí)可能要換模型推薦第一次做 Embedding 微調(diào)時(shí)選擇 BGE 系列或 BGE-M3。它們有兩個(gè)優(yōu)勢(shì)一是社區(qū)案例多排錯(cuò)資料容易找二是官方模型通常配套了推薦的指令格式訓(xùn)練和推理時(shí)不容易踩配置坑。另外要確認(rèn)模型版本。不同版本的 Embedding 模型輸出維度不同如果后續(xù)要遷移已經(jīng)建好的向量庫(kù)需要特別注意維度是否能對(duì)上。4.2 訓(xùn)練框架和依賴準(zhǔn)備Embedding 微調(diào)可以用三種方式實(shí)現(xiàn)sentence-transformers 庫(kù)適合快速跑通最小實(shí)驗(yàn)FlagEmbedding 庫(kù)BGE 官方微調(diào)工具適合深度定制和難負(fù)樣本訓(xùn)練直接用 transformers 自定義 loss適合徹底控制訓(xùn)練流程。為了快速跑通推薦先用 sentence-transformers。安裝命令pip install -U sentence-transformers pip install torch --index-url https://download.pytorch.org/whl/cu121如果要用 FlagEmbedding還需要額外安裝依賴。實(shí)際項(xiàng)目里要注意 PyTorch、CUDA、transformers 之間的版本兼容不要照抄教程里的版本號(hào)先在當(dāng)前環(huán)境驗(yàn)證一次。4.3 訓(xùn)練超參數(shù)和顯存控制Embedding 模型的參數(shù)量比 Qwen3 這類生成模型小很多訓(xùn)練門檻相對(duì)低。但“全參訓(xùn)練”和“LoRA 微調(diào)”的顯存差別仍然明顯。參數(shù)含義常見(jiàn)取值范圍設(shè)置建議learning_rate學(xué)習(xí)率2e-5 到 5e-5數(shù)據(jù)量小就偏低避免災(zāi)難性遺忘batch_size每個(gè) batch 的 Query 數(shù)量16 到 64顯存不足時(shí)優(yōu)先減小 batch_sizemax_len文本最大長(zhǎng)度256 到 1024根據(jù)知識(shí)庫(kù) chunk 長(zhǎng)度設(shè)置num_epochs訓(xùn)練輪數(shù)1 到 5優(yōu)先 2 輪過(guò)擬合很容易warmup_ratio預(yù)熱比例0.05 到 0.1穩(wěn)定訓(xùn)練初期 loss全參微調(diào)對(duì) Embedding 模型來(lái)說(shuō)通常可行但如果你只有一個(gè) 24G 顯存的 GPU又想訓(xùn)練 BGE-M3 這類大模型建議用 LoRA。sentence-transformers 已經(jīng)支持通過(guò) PEFT 給 Embedding 模型加 LoRA 適配器訓(xùn)練時(shí)先凍結(jié)主干參數(shù)只訓(xùn)練低秩矩陣顯存占用會(huì)明顯下降。5. 微調(diào)訓(xùn)練實(shí)戰(zhàn)用對(duì)比學(xué)習(xí)跑通最小案例5.1 用 sentence-transformers 訓(xùn)練 MultipleNegativesRankingLoss這里以一個(gè)最小可運(yùn)行腳本為例。假設(shè)訓(xùn)練數(shù)據(jù)文件是train.jsonl每條數(shù)據(jù)包含query、positive、negatives三個(gè)字段。import json from sentence_transformers import SentenceTransformer, models, losses, InputExample from torch.utils.data import DataLoader from sentence_transformers.datasets import SentenceLabelDataset base_model BAAI/bge-base-zh-v1.5 word_embedding_model models.Transformer(base_model, max_seq_length512) pooling_model models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_cls_tokenTrue, pooling_mode_mean_tokensFalse, pooling_mode_max_tokensFalse, ) model SentenceTransformer(modules[word_embedding_model, pooling_model]) examples [] with open(train.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts [item[query], item[positive]] item.get(negatives, []) examples.append(InputExample(textstexts)) train_dataloader DataLoader(examples, shuffleTrue, batch_size32) train_loss losses.MultipleNegativesRankingLoss(model) model.fit( train_objectives[(train_dataloader, train_loss)], epochs2, warmup_steps100, output_path./embedding_model_finetuned, save_best_modelTrue, )這段代碼的核心是MultipleNegativesRankingLoss。每個(gè) InputExample 的第一條文本會(huì)被當(dāng)成 Query第二條是正樣本后面的所有文本是負(fù)樣本。損失函數(shù)會(huì)盡量提高 Query 和正樣本的相似度同時(shí)降低它和負(fù)樣本的相似度。需要注意這里沒(méi)有給 Query 加指令前綴。如果模型是 BGE 系列官方推薦的推理方式是給 Query 加指令但訓(xùn)練時(shí)是否加指令取決于數(shù)據(jù)構(gòu)造方式。推薦做法是保持訓(xùn)練和推理一致在訓(xùn)練腳本里統(tǒng)一處理。5.2 使用 FlagEmbedding 訓(xùn)練 BGE-M3 的另一種方式如果選擇 BGE-M3FlagEmbedding 提供了更直接的訓(xùn)練接口。示例代碼from FlagEmbedding import FlagModel model FlagModel( BAAI/bge-m3, query_instruction_for_retrieval為這個(gè)句子生成表示以用于檢索相關(guān)文章, use_fp16True )FlagEmbedding 完整訓(xùn)練腳本一般包含數(shù)據(jù)加載、損失計(jì)算、評(píng)估三個(gè)模塊。由于版本差異較大建議直接參考官方倉(cāng)庫(kù)的examples/finetune/embedder目錄里面提供了帶難負(fù)樣本的訓(xùn)練入口。這里不推薦把別人的訓(xùn)練命令原樣復(fù)制到生產(chǎn)環(huán)境。必須先確認(rèn)自己的模型名、數(shù)據(jù)格式、指令前綴和輸出維度再運(yùn)行訓(xùn)練。5.3 訓(xùn)練日志怎么判斷是否正常訓(xùn)練時(shí)主要觀察兩個(gè)信號(hào)。第一loss 是否在下降。MultipleNegativesRankingLoss最開(kāi)始時(shí)通常會(huì)在 4 到 6 這個(gè)區(qū)間訓(xùn)練一段時(shí)間后降到 1 以下。如果 loss 一直不降或者出現(xiàn) NaN優(yōu)先檢查數(shù)據(jù)里是否有超長(zhǎng)文本、空文本以及學(xué)習(xí)率是否設(shè)置過(guò)高。第二離線檢索效果是否提升。loss 下降不代表檢索效果一定變好。建議在訓(xùn)練腳本里加入一個(gè)小型 eval 集每次 checkpoint 后計(jì)算 Recall10。如果 loss 下降但 Recall 不漲可能負(fù)樣本太簡(jiǎn)單或數(shù)據(jù)噪聲太多。訓(xùn)練輸出的目錄里會(huì)保存模型權(quán)重和 tokenizer。加載微調(diào)后模型時(shí)要用同一個(gè)目錄不能混用原版模型和微調(diào)權(quán)重。from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) emb model.encode(發(fā)票沖紅后還能抵扣嗎, normalize_embeddingsTrue)6. 把微調(diào)后的 Embedding 接回 RAG 檢索鏈路6.1 全量重建向量庫(kù)這一步不能省微調(diào)后的模型和舊 Embedding 模型生成的向量分布不一致兩者不能在同一個(gè)向量索引里混用。上線前必須全量重建知識(shí)庫(kù)向量不能用“只對(duì)新增文檔生成向量”的方式做增量替換否則新舊向量之間距離比較沒(méi)有意義。重建流程從知識(shí)庫(kù)導(dǎo)出所有 chunk。用微調(diào)后的 Embedding 模型批量生成向量。將向量寫入新的 Collection 或新的向量索引。線上檢索流量切到新索引。保留舊索引至少一個(gè)版本便于回滾。批量生成向量時(shí)可以控制 batch size避免 GPU 顯存溢出from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) chunks [...] # 所有知識(shí)庫(kù) chunk batch [] embeddings [] for chunk in chunks: batch.append(chunk) if len(batch) 64: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs) batch [] if batch: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs)6.2 寫入 Milvus 或本地 Faiss 索引以 Milvus 為例需要先創(chuàng)建 Collection并指定向量維度。BGE-M3 的維度是 1024bge-base-zh 是 768具體以模型輸出為準(zhǔn)。from pymilvus import ( connections, CollectionSchema, FieldSchema, DataType, Collection ) connections.connect(host127.0.0.1, port19530) fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue), FieldSchema(nametext, dtypeDataType.VARCHAR, max_length8192), FieldSchema(namevector, dtypeDataType.FLOAT_VECTOR, dim1024), ] schema CollectionSchema(fields) collection Collection(qa_knowledge_new, schema) data [ list(range(len(chunks))), chunks, embeddings, ] collection.insert(data) collection.create_index(vector, {index_type: IVF_FLAT, metric_type: IP, params: {nlist: 1024}})檢索時(shí)要用同一種向量計(jì)算方式query_vec model.encode([query], normalize_embeddingsTrue)[0] result collection.search( data[query_vec.tolist()], anns_fieldvector, param{metric_type: IP, params: {nprobe: 16}}, limit20, output_fields[text], )6.3 在 LlamaIndex 中接入自定義 Embedding 模型如果用 LlamaIndex 搭 RAG接入自定義模型非常簡(jiǎn)單from llama_index.core import Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding Settings.embed_model HuggingFaceEmbedding( model_name./embedding_model_finetuned, embed_batch_size64, )設(shè)置好后文檔索引和 Query 檢索都會(huì)使用同一個(gè)embed_model。這一步最容易踩的坑是索引文檔時(shí)用了微調(diào)后模型但 Query 檢索時(shí)誤用了默認(rèn)模型導(dǎo)致查詢向量和文檔向量不在同一空間。6.4 不要丟掉 Rerank 環(huán)節(jié)微調(diào) Embedding 能提高“正確文檔是否能進(jìn) top 20”的概率但不保證正確文檔一定排在第一位。生產(chǎn)級(jí) RAG 仍然應(yīng)該在向量召回后加一個(gè) Rerank 模型對(duì)召回結(jié)果做精排序。推薦鏈路是Query - 向量召回 top50 - Rerank 精排 top5 - LLM 生成Embedding 微調(diào)和 Rerank 不是二選一。前者負(fù)責(zé)提高召回上限后者負(fù)責(zé)提高排序精度。兩者結(jié)合效果通常比只做其中一項(xiàng)更穩(wěn)定。7. 效果評(píng)估與常見(jiàn)問(wèn)題排查7.1 構(gòu)造最小離線評(píng)估集評(píng)估集不需要很大但需要覆蓋真實(shí)用戶 Query。建議準(zhǔn)備 200 到 500 條真實(shí)或近似真實(shí)的 Query并為每條 Query 標(biāo)注 1 到 3 個(gè)正確文檔。常用指標(biāo)指標(biāo)說(shuō)明計(jì)算方式RecallK正確文檔是否出現(xiàn)在前 K 條結(jié)果里命中數(shù) / 總 Query 數(shù)MRR第一個(gè)正確結(jié)果所在排名的倒數(shù)按排名取倒數(shù)后求平均Hit Rate1第一條結(jié)果是否就是正確答案命中數(shù) / 總 Query 數(shù)評(píng)估的時(shí)候要把微調(diào)前和微調(diào)后的模型分別跑同一批評(píng)估集保留結(jié)果。不要只憑“感覺(jué)變準(zhǔn)了”就上線。7.2 微調(diào)后常見(jiàn)的失敗模式問(wèn)題現(xiàn)象可能原因排查方式處理建議loss 下降但 Recall 不漲難負(fù)樣本太少或太簡(jiǎn)單檢查訓(xùn)練數(shù)據(jù)中每條 Query 的負(fù)樣本數(shù)量增加難負(fù)樣本構(gòu)造邏輯上線后效果反而變差向量庫(kù)未全量重建確認(rèn)新舊向量是否混用全量重建并校驗(yàn)向量維度訓(xùn)練時(shí)顯存不足batch_size 或 max_len 過(guò)大查看 GPU 顯存占用降低 batch_size改用 LoRA檢索時(shí) Query 結(jié)果不對(duì)推理時(shí)和訓(xùn)練時(shí)指令前綴不一致對(duì)比訓(xùn)練和推理代碼統(tǒng)一指令前綴和預(yù)處理邏輯負(fù)樣本實(shí)際也是正確答案Qwen3 相關(guān)判斷不準(zhǔn)人工抽驗(yàn)負(fù)樣本標(biāo)簽調(diào)整 Qwen3 打分 Prompt 或加入人工復(fù)核微調(diào)后通用能力下降訓(xùn)練數(shù)據(jù)過(guò)于單一觀察泛化指標(biāo)混入一定比例通用檢索數(shù)據(jù)7.3 上線前回歸清單上線前建議按下面清單逐項(xiàng)檢查[ ] 訓(xùn)練數(shù)據(jù)和評(píng)估集是否分開(kāi)評(píng)估集里沒(méi)有出現(xiàn)訓(xùn)練數(shù)據(jù)[ ] Qwen3 生成的 Query 是否覆蓋了真實(shí)用戶高頻問(wèn)法[ ] 負(fù)樣本是否包含至少一部分“向量相似但語(yǔ)義無(wú)關(guān)”的難負(fù)樣本[ ] 訓(xùn)練腳本中 query 指令和推理腳本中 query 指令是否一致[ ] 微調(diào)后模型輸出維度是否和原始模型一致[ ] 向量庫(kù)是否全量重建舊索引是否可回滾[ ] 離線評(píng)估指標(biāo)是否記錄并對(duì)比過(guò)基線[ ] 是否保留了原 Embedding 模型和原向量索引方便快速回滾。8. 生產(chǎn)環(huán)境落地建議微調(diào)不是唯一的優(yōu)化手段8.1 建議的優(yōu)化順序在團(tuán)隊(duì)資源有限的情況下RAG 優(yōu)化順序可以按下面排列先治理知識(shí)庫(kù)切塊和元數(shù)據(jù)加入 Query 改寫解決用戶口語(yǔ)化和指代不清引入 Rerank 模型把 top50 變 top5收集真實(shí) badcase分析檢索失敗原因再用 Qwen3 構(gòu)造數(shù)據(jù)微調(diào) Embedding 模型。這套順序的核心是先用成本低、見(jiàn)效快的手段把明顯問(wèn)題解決掉再通過(guò)微調(diào)處理更深層的語(yǔ)義匹配問(wèn)題。如果一開(kāi)始就啟動(dòng) Embedding 微調(diào)很容易把切塊錯(cuò)誤、元數(shù)據(jù)缺失的問(wèn)題也歸因到模型上導(dǎo)致訓(xùn)練數(shù)據(jù)很臟最終效果也不穩(wěn)定。8.2 建立數(shù)據(jù)回流和定期重訓(xùn)機(jī)制Embedding 微調(diào)不是一次性的。業(yè)務(wù)新名詞不斷出現(xiàn)用戶提問(wèn)方式也在變化訓(xùn)練數(shù)據(jù)需要持續(xù)更新。生產(chǎn)環(huán)境可以設(shè)計(jì)一個(gè)小閉環(huán)從線上日志采集“低分但用戶點(diǎn)擊/反饋有用的 Query”把用戶反饋和 badcase 匯總到標(biāo)注隊(duì)列每?jī)芍芑蛎吭掠?Qwen3 補(bǔ)充新 Query 和新難負(fù)樣本重新訓(xùn)練 Embedding 模型并跑離線評(píng)估評(píng)估通過(guò)后全量重建向量庫(kù)并灰度上線。這里的難點(diǎn)是“自動(dòng)判斷用戶是否滿意”。如果沒(méi)有顯式反饋可以用業(yè)務(wù)指標(biāo)兜底例如搜索無(wú)結(jié)果率、同一會(huì)話的再提問(wèn)次數(shù)等。8.3 成本控制和 LoRA 選擇Embedding 模型訓(xùn)練成本通常遠(yuǎn)低于生成模型。但如果知識(shí)庫(kù)很大向量重建的推理成本會(huì)比訓(xùn)練成本更高。因此訓(xùn)練前要預(yù)估 GPU 總時(shí)長(zhǎng)訓(xùn)練后做一次“向量重建成本”評(píng)估。LoRA 微調(diào)在 Embedding 模型上的收益沒(méi)有大語(yǔ)言模型那么夸張因?yàn)?Embedding 模型的參數(shù)量本來(lái)就小。但對(duì)于 BGE-M3 這類 5 億參數(shù)以上的模型LoRA 仍然是顯存不足時(shí)的首選。選擇 LoRA 時(shí)要關(guān)注訓(xùn)練后是否能導(dǎo)出合并權(quán)重避免推理時(shí)額外依賴適配器加載邏輯。8.4 再往前走Rerank、Agentic RAG 和圖譜增強(qiáng)Embedding 微調(diào)只是 RAG 優(yōu)化的一個(gè)環(huán)節(jié)。當(dāng)檢索召回率已經(jīng)穩(wěn)定可以考慮下一步用領(lǐng)域數(shù)據(jù)微調(diào)一個(gè)小的 Rerank 模型替代通用 Rerank引入 Agentic RAG讓模型根據(jù)用戶意圖主動(dòng)選擇多路檢索在知識(shí)庫(kù)中補(bǔ)充實(shí)體關(guān)系圖譜處理“實(shí)體關(guān)系型問(wèn)題”對(duì)多輪對(duì)話場(chǎng)景增加 Query 改寫和歷史上下文壓縮。這些方向都需要先有“穩(wěn)定可評(píng)估的檢索鏈路”作為基座。Embedding 微調(diào)的真正價(jià)值是讓基座更貼近業(yè)務(wù)而不是替代其他優(yōu)化模塊。最后給新手的練習(xí)建議不要一上來(lái)就微調(diào)一個(gè)大模型先用一個(gè)小型中文知識(shí)庫(kù)構(gòu)造 2000 條數(shù)據(jù)微調(diào) bge-base-zh并在 Milvus 里對(duì)比微調(diào)前后 Recall10。這個(gè)閉環(huán)跑通后再逐步加深對(duì)難負(fù)樣本、LoRA、Rerank 和數(shù)據(jù)回流的理解會(huì)比直接堆模塊更有效。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
囯产精品久久久久久久久久梁医生 | 性欧美另类高清| 玖玖爱一区在线| 国产精品视频在线观看| 思思热在线视频精品| 亚洲91综合| 1人人看人人摸人人操| 天堂蜜桃无码视频一区二区| 99999re| av资源在线播放天堂| 欧日韩在线观看| 岛国福利在线精品播放| 天天干天天日天天射黄色片| 国产中文大片资源中文字幕| 激情婷婷丁香| 六月丁香啪啪| 五月天激情小说| 乱码人妻一区二区三区| 约操熟妇| 国产2.3.4区| 欧美性爱中文字幕无线码| 国产不卡中文字幕免费avi| 色屁屁影院www国产| 日韩精品99久久久久久中文字幕 | 9Ⅰ超碰| 中文字幕 码 自拍 视频 区| а√天堂资源官网在线资源| SUV一区二区在线看| 久久久精品电影| 久久久av爱| 午夜.DJ高清在线观看免费7 | 精品国产一区二区三区在线播出| 色网1| 午夜福利免费精品视频| 六月激情婷婷| 乱伦强奸区日韩| 极品五月天噜噜| 超碰在线欧美性爱激情| 色阁阁AV综合网| 人妻精品一区二区在线| 高清孕妇孕交 交| 欧洲综合视频| 上海一级黄片| 97鸡把在线视频| 操碰97| 视频不卡中文字幕| 国产偷仑| 中文字幕 国产 精品| 三及片网站| 日韩女优中文字幕| 色牛牛AV| 伊人操你| 99热国产精品| 欧美v日韩v亚洲v最新在线| 中文字幕丝袜人妻| 激情视频网址| 免费久久一级毛片大黄| 天天操熟妇| 色99视频| 国产欧美精选激情视频| 亚洲九九视频| 欧美青青视频| 久久a久久| 久久精品欧美一区二区三区不卡| 日韩欧视频| 九九九久千久久激情蜜桃在线看| 久久精品店| 日韩精品-原创伙伴| 中文字幕视频一区视频二区| 中文字幕狠狠玩| 欧美翘臀视频网站一区二区三区| 日日夜夜草草草| 高清在线偷拍自拍视频| 香伊人在线| 久久久久国色αv免费观看| 久久久久ab| 国产91丝袜 在线播放| 淫骚熟女一区二区三区| 男人的天堂不卡一区二区 | 91大学精品激情戏| 5月婷婷6月六月丁香| 色欲天天婬色婬香WWW夜色| 麻豆区久久久久亚| 精品一区二区麻豆| 国产精品午夜成人福利| 另类视频在线| 在线综合 亚洲 欧美中文字幕| 亚洲精品九九九九九九| 国产人妻精品一区二区三区秋霞 | 青娱乐淫乱1314| 亚洲欧美啪啪| 中文字幕日韩人妻视频一区二区三区交换夫妻| 激情五月天色色| 日本欧美韩国国产在线| 亚洲欧美首页| 国产搭汕a级片| 97欧美色综合| 在线情色电影 91大 | 国产综合久久久麻桃个| 精品少妇一区二区| 亚洲国产亚洲天堂| 老女人老91妇女老热女| 亚洲男人天堂2016| 欲射影视| 欧美色日本| 1024亚洲中文字幕久在线看片你懂的 | 97视频在线播放| 久久久久久99999国产精品| 97爱爱影院| 99国产精品人妻人伦| 久99久视频| 另类 日韩 熟女| 台湾一区国产高清在线| 国产一区二区成人av在线播放| 少妇无码999| 亚洲日本大香蕉1| 操逼操逼逼操操逼91 | 欧美97色| 国产成人亚洲精品无| 日本女人久久久| 97视频在线免费| 韩日自拍| 国产AV天美传媒一区二区三区| 精品96久久| 性爱欧美五月| 欧美综合狠| 加勒比少妇AV婷婷六月天超碰超碰| 裸体1区| 美国久久一二三四| 日韩 成人 有码| 激情综合av| 色 亚洲 91| 97超级欧美| 人人澡人人弄| asc国产精品| 欧美男人的天堂| 日夜伊人网| 亚洲欧美另类小说| 久久精品人人做人人看| 欧美日韩色综合网| 久久av成人无码免费| 中文字幕亚洲热播人妻 | 黄色视频特级毛片| 97色碰| 综合色图亚洲欧美| 国产性感骚丝袜在线| 丰满少妇人妻久久久久久| 中文字幕丝袜美腿| 欧美日韩国产人人| 欧美色另类| 男女一进一出视频久久| 东北丰满熟女国产一区| 欧美在线播放aaaa| 蜜臀久久在线视频| 欧美激情精品| 日韩欧美操逼xxx| 亚洲AV噜噜狠狠网址蜜桃动漫| 99久久精品无码一区二区| 精品一区二区人妖| 亚码激情| 欧美午夜视频| 91精品人妻一区二区三区蜜桃| 欧美人黑A片无码免视费| 天天草夜夜草高潮片| 国产AV超爽| 欧美在线官网| 中文字幕日韩情色| 91P0RNY大屁股人妻| 日韩一级成人毛片免费观看| 亚洲激情网一二三四区| 欧美成人色| 亚洲天在线| 狠狠久久手机视频精品| 亞洲久久直播| 欧美丝袜激情| 狠久久| 收看日本人日bb| 欧亚性爱啪啪| 狠狠操一区二区| 亚洲好色人妻| 午夜精品久久久久久久久久蜜桃 | 精品国产一区二区三区av在线资源| 国产免费大片| www.91视频网| 欧美性爱三区二区| 日韩伦理视频| 一本大道久| 澳门黄片一香蕉视频| 最新国产精品久久精品| 久久精9| 啊啊啊啊好多水| 日本人妻中文字幕精品| 91国产精品在线看| 插插综合网天天影视网| 五月婷婷六月丁香网址| 97亚洲国产影视| 男人天堂最新手机版在线青青草| 欧美大波激情xxxx| 97久精品| 色五月av| 九九色精品| 夜夜 中文视频rt| 高清国产精品福利网站| 国产日比| 成人资源中文字幕在线观看| 草草影院最新网址| 亚洲精品欧美专业| 日韩成人无码| 日韩一级二级| 日韩欧美女求操每天更新| 99在线无码精品秘 入口黑人| 亚洲 图片 综合91| 色综91| 国产尹人在线视频免费| 999九九精品| 少妇一级无码精品| 欧美色图亚洲色图成人在在线| 欧美亚洲首页| 亚洲激情在线| 啊啊啊啊嗯嗯在线久久久| 欧美日韩一区二区三区四区蜜桃| 在线视频五十市| 日语五十路和六十路亚洲国产精品| 五月激情综合网| 青青草一本道福利视频| 欧美刺激色黄片免费看| 大干人妻| 色爱三区| 性高潮久久久久久久久久久| 乱伦系列一区二区| 东北女人性交| 五月婷婷综合在线| 超碰午夜| 伊人网在线观看| 国产精品黑人一区二区三区| 青青草亚洲一区 | 成人蜜乳小视频网站| 日韩人体偷拍| 国产一区二区三区免费视频在性观看 | 99超碰碰| 天天流夜夜操| 国产深夜福利| 亚洲欧美爆| 人妻性爱一区二区| 欧美情色男人的天堂| 92性色国产午夜福利在线661| 日韩熟女精品无码专区一区二区| 久久av无码| 亚洲欧洲无码97久久精品| 国产强奸乱伦xd| 久久久禁| 五月色综合| 亚洲自拍97| 视频在线观看一二三区| 思思在线免费视频| 97超碰中文在线| 欧美|91色综合| 2024黄色视频| 麻豆精品三区视频| 久久综合九九| 精品日韩中文在线| 亚洲风情在线观看| 色综和网| 欧美性爱五月天| 欧美AB在线| 欧美色66| 很很干很很操| 成人av福利在线观看| 美女91色黄18| 操狠狠| 精品国产一区二区三区四区在线看| 97这里只精品| 色色色热| 日韩无码黄色片| 精品人妻一区二区三区蜜桃视频| 丝袜AV一二三区| 国产亚洲欧美每日在线| 蜜臀99久久精品久久久久久| 精品免费一区二区三区在线亚洲人成| 人妻中文字幕精品无码| 91精品网站| 夜草欧美| 色99视频| 精品成人亚洲午夜电影| 婷婷性网| 青青草中出视频 | 久久大陆| 成人夜夜爽| 国产一区免费午夜视频| 人妻精品一区二区三区| 国产精品国产| 久久超碰免费的| 天天躁日日躁AAAXX| 呦呦影院| 日本天天干天天操一区| 青青草字幕AV| 91女在线观看| 男人的天堂不卡一区二区| 成人性爱av| 久久久久久久| 果冻传媒A片一二三区| 91N欧美| 啪啪资源网| 99热在线播放| 91精品在线播放| 丝袜视频一区二区在线播放国产中文| 水野优香在线观看| 女人双腿搬开让男人桶| 亚洲国产欧美另类自拍| 一区二区首页| 婷婷六月色| blacked精品一区国产| 亚洲无码com| 人人操人人肉久久精品| 亚洲在线观看| 色偷综合| 久热久| 亚洲s在线观看| 欧美日韩91| AV污污污污| 亚瑟国产精品久久无码| 18禁在线视频| 99久久久久久亚洲精品不卡| 91亚洲欧美| 五月天婷婷社区| 亚洲九月丁香| 日本女优在线视频福利| 午夜.DJ高清在线观看免费7 | 嗯啊不要啊在线| 久久一级无码精品毛片6| 国产肏逼网站| 精品欧美老熟女一二区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 久久‘黄片视频| 岛国色情视频在线观看| 成人av影院在线观看| 夜夜草我| 欧美区亚洲区偷拍区 | 亚洲欧洲中文日韩女优乱码| 欧美极品美女aaaaaa级黄片| 东京热一区二区中文字幕| 亚洲 在线| 丰满人妻-区二区三区| 久艹免费| 搡老女人老熟女91老熟女综合网| 欧美色视| 亚洲天堂在线怕怕视频| 欧美精品久久96人妻无码| 曰韩中文人妻视频| 在线a亚洲视频播放在线| 无码不卡亚洲成?人片| 97视频在线播放| 特色a在线上| 蜜臀久久99精品久久久久久-DVD原版全| 加勒比综合88| 日本淫乱女一区二区三区视频| 91黑丝在线| 精品无码欧美三级| 国产精品亚洲高清在线| 无码操逼网| 色综合久久88色综合久久天天| 国产综合网站在线播放 | 欧美在线视频播放| 91精品国产长腿丝袜美女| 国产97综合| 欧美日韩欧美| 国产精品成久久久久午夜午夜| 黄色操人| 免费一级欧美片片线观看| 性色高清..……| 天天综合色| 亚洲乱码尤物193YW| 综合夜夜| 国产三级多多影院2022国产AA一级毛片无码 | 玖玖草久草99蜜月一区二区三区| 午夜精品久久一区二区| 狠狠操狠狠插| 人妻熟女一区二区三区视频| 2020国产精品| 91欧| 亚洲综合九九| 狠狠操狠狠燥| 免费啪啪一级视频| 久久久内射良家| 五十路六十路素人熟女| 久艹伊人精品综合在线| 100啪啪视频大全| 啊啊啊啊啊啊啊国| 日本人妻最新在线中| 五月婷色| 69一区二区三区| 五月婷婷色| 国产精品日日摸天天碰| 天天爱天天韩国日本牛牛牛牛| 日本不卡中文| 丁香五月婷婷基地| 国产精品国产精品国产| 四虎永久在线精品免费网址| 国产精品日本无码A片| 嗯嗯,啊啊,国产精品| 97九色| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧洲色色| 熟女人妻精品一区二区视频 | 超碰人妻天天干| 午夜福利在线合集| 国内精品伊人久久久久影院会| 久久久91福利姬| 天天色播亚洲综合网站| 天天夜夜rb| 五月婷婷丁香| 中文字幕天堂在线| 97bbn| 99久久久久久久久| 91综合中文字幕| WWW4虎| 国产日韩手机视频在线| 欧美综合在线91| 18禁网站在线播放| 久久久精选| 欧州色图区| 99re热有精品视频国产| 精品一区二区2| 大香蕉123| 中文字幕人成乱码熟女香港| 亚洲综人| 射丝袜高跟鞋99| 国产成年精品高清在线观看91| 日本黄色天堂| 久无码| 国产女乱淫真高清免费视频| 久久久久99999| 夜草欧美| 96AV精品| 强歼乱伦资源网| 啊v在线观看视频| 天堂在线一区二区| 国内外色色色色色成人视频| 91丨豆花丨熟女| www.人人摸在线视频| 精品国产网站| 制服乱伦| 国产AV毛片| 97在线免费看视频| 蜜臀av中文字幕| 九九精品美女高溯喷水| 久久久久九九九| 欧美色亚洲| 97久久国产精品| 欧美天堂日韩三级国产传媒| 偷窥自拍亚洲天堂网爆| 国产精品露脸在线观看| 欧美综合亚洲综合| 大但人体久久久久| 96免费视频在线| 激情网五月天| 凸凹视频在线观看| 韩三级a视频在线观看| 中国熟妇| 久9爱精品| 91精品丝袜久久久久久无码人妻| 蜜桃久久综合视频| 日韩精品一区二区三区色欲| 欧美日韩国产黄色片| 91色色网站| 国产精品午夜福利| 91欧美巨乳| 天天α片| av午夜玫瑰| 亚洲婷婷五月天| 欧美精品久久久久久久久88| 国产精品嫩草久久久久| 一区二区三区美女超清| 清纯唯美亚洲综合| 992视频一区| 97久久久久久久久久| 91天天c| 亚洲AO在线| 日韩97超碰中文字幕| 超碰免费人人| 亚洲五月婷| 丰满的三级少妇欧美久久久| 国产成人精品日本视频| 免费人成?大片在线播放| 男人高清无码一区二区| 欧美精品xxxwww| 人人 操人人 操人人| 国产极品粉嫩馒头一线天av| 亚洲一区二区三区在线激情| 大香蕉乱级| yaouchengrenav| av网站国产主播在线| 无码不卡亚洲成?人片| 日韩在线观看三级电影| 100啪啪视频大全| 久久日韩精品一区二区| 小日子操bb在线看| 精品一区二区成人| 亚洲黄网在哪免费看| 很很热性爱视频| 性色av婷婷久久一区二区点复制| 超碰在线人妻| 好淫网一二三视区| 91视频成人福利网站在线一区| 亚熟在线| 91爱看| 久久综合久色欧美综合狠狠| 激情文学亚洲| 综合第一页| 97在线观看| 夜夜操美女| 亚洲日韩美国人妻| 欧美日韩999| 精品国产自在在线99| 超碰97玖玖爱| 亚洲加勒比色图| 日韩超碰97| 亚洲成aⅴ人片不卡无码| 一区二区三区黄色片a| 久草免费在线一区二区| 日日夜夜天天| 国产青青美女玩逼视频| 国产后入式在线观看| 91综合网站| 久思思热视频在线观看| www激情| 亚洲AV资源| av线电影| 亚洲欧美日韩制服另类| 乱伦Av网| 插入综合网| 亚码人妻| 免费试看60秒| 黑丝自慰喷水网站| 欧美制服另类丝袜| 青青操视频在线| 97国产人人| 欧美人妻久久精品二区三区| 欧美78p| 青青青草伊人精品| 欧美精品久久96人妻无码| 97欧美性爱| 一本正道久久熟女| 欧美色97| 午夜福利免费精品视频| 91丝袜美腿网站| 一二区在线观看视频| 99re免费视频精品全部| 天天做天天爽| 伊人午夜福利视频| 7777奇米影视久久| 亚洲国产欧美日韩人妻日中文| 91丨精品丨国产丨丝袜| 家庭乱伦麻豆| 五月开心网| 大屁股熟女一区二区三区| 99久久无码| 99在线精品视频| 日韩特一级久久| 日韩免费三级黄片电影| 综合日本女人伊人| 欧美日韩欧美| 91Chinese在线| 日日日色色色色色| 久久黄色性爱视频| 自拍视频大全亚洲专媒视频/一区二区三区 | 91欧美| 国产精品区在线12p| 欧美极品少妇交| 九九九成人| 手机看片1025| 色97国产69香蕉| 最新中文字幕精品在线| 日韩精品三级片长长久久| a片自拍直播视频| 日夜啪电影| 国产精品久久泡妞网站| 色婷婷丁香五月| 欧美一区二区| www.超碰| 天天做天天爱| 夜夜操二区| 色97干| 偷拍 精品另类 凸凹了四区| 9久热这里只有精品| 中文字幕成人| 躁躁躁日日躁2020| oumeisetu综合| 热99这里有精品综合久久| 欧美综合站| 亚洲图片激情小说| 欧美最婬乱婬爆婬性视频 | 激情综合网激情综合| 欧美亚洲性爱一区二区| 91精品人| 九九久久99| 免费观看性欧美一级| 色婷婷久久综合超碰| blacked精品一区国产| 涩涩久久精品| 在线国产一区二区av| 97亚洲自在精品在线观看| 色婷五月| 亚洲情色综合| 久久久av爱| 26uuu性| 少妇精品久久久八区九区| www欧美性爱| 九九九九亚洲| 啊好大好舒服| 操逼逼中文字幕| 欧美视频一区二区三区| 人人喜人人妻| 天天操天天射天天日| 男人的天堂无码| 五月婷婷综合激情| 欧美区亚洲区偷拍区 | 大香蕉伊人一区在线观看| 人人操人人舒服| 97欧美久久久久久久| 久久久无码国精品无码三区三区| 日韩成人性日韩成人性爱视频在线免费观看 | 99无码| 国产多人在线观看视频| 精品美女人人干| 一本一道人妻久久一区二区三区 | 伊人激情五月天一区二区| 78m啪啪啪| 午夜精品久久久久久久99热影院| 色欲日韩欧美在线一区| 成人精品在线免费视频| 中文子幕一二三| 天美av在线观看| 岛国在线一区二区三区| 亚洲?V高清一区二区三区尤物| a人片中文字幕一区二区| 久操大香蕉手机视频在线看| 亚洲日韩美国人妻| 99色网| 日韩欧美中文字亚洲慕| 国产夜夜操| 高清国产av无码| 欧美黄色片在线播放| 欧美 亚洲 在线| 亚瑟国产精品久久无码| 黑人性欧美| 超碰97在线中文| 亚洲国产一级中文综合久久天堂在线免费观看| 亚洲一区二区性爱电影| 小视频国产| 激情小说在线视频| 清纯唯美激情| 精品一区99999| 91麻豆天美传媒HD| 又大又黄国产| 超碰免费在线| 国产超碰| 国产浮力影院第1页| 男人女人18禁片免费看网站| 东京热天堂网| 91爱剪切久久| 青青草依人大香蕉| yazhouzaixian| 97超碰人操| 成人熟女区| 求求你操操我| 超碰97玖玖爱| 日韩二三区| 肉丝网站91| 欧洲综合视频| 日本人妻一区二区| 大香蕉手机在线视频| 欧美色五月| 日韩人妻无码专区| 99久久网站| 一二视频神马久久传媒| 欧美91丝袜| 欧美亚州色的图| 久久久久78| 无码男人天堂| 国产妇女精品视频青青草| 亚洲男人天堂2016| 1204金沙人妻懂旧版免费| 啊啊啊啊二区好大| 伊人一区二区三区| 九一精品牛牛一区二区| 传媒免费一区二区三区| 老熟妇一区二区三区啪啪| 日韩欧美水蜜桃人妻| www.男人天堂| 99国产精品自在自在| 亚洲熟妇综合久久久久久| 日本中文字幕熟妇| 91超碰在线观看| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 手机看av网站在线看| 激情啪啪拍91| 超碰国产在线| 久久久久日本视| 日日干夜夜操视频h| 日本孕妇一区二区视频操逼免费看| 人妻少妇精品视频一区二区三区| 久久久久国产精品久久久| 日韩有码 一区二区三区| 国产一区二区三区视频在线看| 隔壁邻居波多野结衣中文字幕| 色嗨嗨在线| 99综合视频一体| 日本天天人人狠狠在线日美女| 久久综合精品一区二区三区| 97精品在线| 少妇天堂| 精品国产91内射久久| 日韩精品人妻一| 免费一级视频特黄色大片| 999久久久精品国产| 观看视频图片一区二区三区| 18禁久极品美女久久哦哟呀!| 亚洲不卡一| 激情综合网激情综合| αⅴ天堂| 天天做天天爱天天高潮| AV老汉| 99re在线视频这里只有精品| 欧美双插| 中文字幕一区二区三区高清| 9999免费精彩视频| 四虎免费视频| 亚洲淫乱骚妇AV| 精品视频久久区| 69一区二区三区| 奇米四色影视777久久久| 日本人妻A片成人免费看片| 丝袜制服字幕在线| 中文字幕国产| 骚逼高潮久久精品| 精品人妻一区二区三区视频| 96麻豆精品一区二区三区| 色操逼网| 嗯嗯啊啊视频在线看| 欧美中文狠| 亚洲欧洲激情卡通另类文学四射小说网站| 久久精品日韩| 嗯嗯嗯嗯啊啊啊好紧好大| 91精品免费| 中文操逼字幕| 伊人五月天| 91国产丝袜美女| 自拍偷拍 日韩欧美| 狠狠色综合网| 天天影视网色欲色香| 性爱视频免费网址| 色噜噜综合在线| 欧美淫乱视频| 99在线无码精品秘 入口黑人 | 中文字幕乱码人妻二区三区| 久久,精品一二三| 精品白丝一区| 91艹B视频| 久草毛片电影怡| 凹凸视频在线一区二区| 长长久久88视频| 91精品操美女| 黄色小视频日本txt| 韩国女主播青草在线| 亚洲一区二区在线观看91| 午夜精品久久999热蜜桃介男人用| 人人么人人操| 亚洲 图片 综合91| 久久 精品| 久久婷婷五月天| 中文字幕欧美精品亚洲日韩蜜臀| 国产精品久久久久久久毛片1| 自拍欧美| 日韩在线欧美精品一区二区| www.97在线| 欧美不在线| 久久99操天天日| 亚洲 欧美 色图| 丁香激情五月天| 91亚洲综合在线| 亚洲人成网www| 婷婷激情四射| 夜夜中出国产| 久久久久亚洲Av无码专区老牛影视| 蜜桃视频精品一区二区| 东京热天堂网| 九久9热| 天天上日日上日韩精品| 射丝袜高跟鞋99| 强奸抽插av| 伊人国产视频| 粉嫩粉嫩一区性色AV片| 91美女国产在线| 91精品丝袜在线观看| 秘书高跟黑色丝袜国产91在线| 久久久精品国产亚洲AV无码| 国产精品对白自产拍| 九月婷婷久久| 欧美综合网在线| 中英熟女操女| 黄色不卡视频| 国产精品香蕉热久久新品| 亚洲,欧美,综合网| 九九亚洲| 欧美色www亚洲国产阿娇要播| 久久久999网站| 国产精品网址| 欧美爱国产综合、| 亚洲天堂区| 强奸抽插av| 精品中文一区二区| 在线日韩视频| 大香蕉乱级| 很狠操| 五月香婷婷| 日韩日本欧美在线观看| 男人天堂 天天射| 成人av免费观看| 91久久久亚洲| 97超碰免费生活| 日日夜夜狠狠| 9国产超碰| 久9久9久9久9久9久9| 2011国产精品| 强奸乱伦AV网站| 91美女片在线| 精品一区二区三区四区女 | 欧洲性爱无码区| 涩涩久久精品| 国产伦精品一区二区三区视频女| 九九视频黄色片| 五月天精品| 欧美色图亚州激情| 激情接吻视频久久久久久| 99色在线| 十八禁视频一区二区| 欧美淫乱视频| 黄色十八禁网站| 97香蕉碰碰人妻国产欧美| 国产午夜精品理论片一二三区区| 屁股久久久久久久久| 混色激情av| 国产午夜无码片在线观看影视| 大香蕉欧美| 午夜操操操| 青青草精玖玖69精品| 久久免费精彩视频| 免费在线黄片视频| 成人线上超碰| 中国91AV| 中文一区二区| 久久久久久性爱视频| 五月天色图| 大香蕉专区| 午夜男女爽爽大片免费观看| 亚洲中文字幕一区二区| 天天超级碰碰碰| 97超碰无码网| 亚洲AV无码天美传媒一区| 亚洲成?V人片在线观看福利| 日韩欧美成人综合在线| 人人操,人人液| 亚洲欧美97| 另类老少妇| 欧美 亚洲 91| 婷婷另类小说| 成人熟女视频一区二区三区| 日日狠狠久久偷偷色综合免费| 黄色视频特级毛片| 国模艳艳啪啪一区| 影音先锋乱伦资源| 亚洲性爱成人| 超碰人人乐97| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 国产精品久久| 亚洲男人的天堂va亚洲男人社| 九9精品| 亚洲丝袜99| 97精品综合久久网| 久久只有精品一区二区三区| 亚洲日韩av一区二区三区百合| 蜜桃成人1区2区3区| 丁香六月激情| 九九久久精品| 99精品在线| 亚洲男人的天堂亚洲| 99热官网| 九色 人妻 大香蕉| 色香阁在线| 精品久久久av| 超碰激情808| 99re不伦| 欧美夜色| 色眯眯av| 日韩电影免费网站麻豆视频| 精久久久| 日日骚一区二区三区| 欧美在线电影| 国产精品乱码久久久久| 欧美亚洲综合高清在线| 久久久久97| 一级人妻性爱视频| 无码黑人精品一区二区三区三| 成人激情无码在线视频| 黄片无码在线制服| 久久艹逼视频| 粉嫩国产精品久久粉嫩| 18一区二区三区| 天天日天天舔东京热 | 天天干天天日天天射黄色| 嗯嗯啊啊操死我| 亚洲视频一二区| 国产自产22区| 奶水 人妻 哺乳 在线| 久久久蜜桃臀无码视频| 91视频伊人| 中国女人内射6XXXXX| 久久久九九网站| 久久久久13| 91撸色网 玖玖网 欧美| 99在线啪| 亚洲在饯| 为用户提供免费看黄网址在线观看| 亚洲人妻在线一区| 婷婷伊人网| 殴美,日韩国产伦精品| 青青操少妇| 懂色影视久久| 少妇一区二区三区| 欧美性生活免费网| 五月综合色| 97超碰天天爱天天爱| 亚洲丰满很很操| 亚洲综合20p| 啪啪AV导航| 丁香五月激情综合| 中文字幕久久精品一区| 日产精品久久久一区二区| 99久久久无码国产精品性啊聊| 天天色天天干天天射| 日日夜夜狠狠| 欧色性第一页| 日日摸天天爽夜夜欢| 一类无码操逼视频| 99成人| 伊人色综合欧美| 亚洲中文字幕熟女少妇一区二区| 麻豆国产视频精品观看| 色色色综合网| 亚洲黄色网址| 日韩三级伊人| 中文字幕性感少妇av| 一区二区三区日韩欧美 | 狠狠爱AV| 肏逼视频日本| 九九色图| 性爱AV天堂| 淫荡网址| 99操碰| 青娱乐手机日韩在线视频| 日本506070| 欧美做爰无码A片视频| 高潮综合网| 26uuu最新| 色五月婷婷网| 桑老女人九区| 91爆操视频| 大香网伊人久久综合网eew| 久久久96| 一本道综合色图| 欧美色图在线视频少妇| 国产女同视频在线播放| 中文字幕一区二区三区人妻少妇在线| 久久精品国产97欧美精品亚洲| 久久riav中文精品| 亚洲妇色| 亚洲国产美女久久久久| 男人天堂久久精品| 国产精品伦理| 乱伦熟女区| 五月天欧美色图| 久久91精品国产9丨久久分亭| 九X超碰| 亚洲**2021在线观看| 天美传媒一二三区永久网站| 99re6在线视频播放免费精品| 亚洲精品一区二区三区在线播放| 超碰夫妻97| 日韩美女啪啪一区| 亚洲永久AV无码精品秋霞| aaa亚无码专区| 嗯啊啊啊轻点视频 | 超碰美国| 免费人成?大片在线播放| 999九九精品| 国产一级137片内射麻豆| 欧洲Au麻豆| 色吧5亚洲| 欧美一级欧美三级在线观看| 狠狠操狠狠操操| 美女尤物福利视频| 亚洲激情片| 97亚洲性爱| 女沟厕偷窥piss小便| 久久本道| 99亚洲精品| 婷婷丁香一区二区三区| 久久首页| 无毛精品| 睡产熟女乱伦| 蜜屁av| 深夜啪啪啪视频免费| 精品九九九九九九| 91超碰人人| 日韩三级在线观看网站| 国产丰满少妇久久久精品影院| 99在线免费公开视频| 91欧美性| 成片免费播放| 欧美色性情| 日韩三级网址| 欧美一级黄片视频在线| 997色在线| 天天摸,夜夜摸| 一区AV| 久久精品国产精品| 国产小u女在线观看| 中文字幕丝袜| 高清不卡国产| 亚洲一级性爱视频免费看| 麻豆区久久久久亚| 婷婷激情啪啪| 中文字幕高清精品一区| 99热8| 国产免费一区二区在线A片视频| 黄页| 蜜桃精品视频一区| 亚洲一区二区三区AV无码| 亚洲一区二区中文字幕| 欧美久久草熟女| 国产一区在线观看无码AV| 黑白配性爱AV成| 久久一区无码| 日韩在线观看字幕精品| 1240青青草一区二区三区视频天爱| 玖玖爱综合| 婷婷五月天激情网| 极品色| 久湿久久 | 国产精品久久久久久久久AV大片| 精品人妻丰满熟妇一区二区三| 色女99一级片在线观看| 国产人妻天天干精品| 中文字幕后石码三区四区| 欧美熟女丝袜| 欧美不卡在线美女| 狠狠色噜噜狠狠狠狠狠色综合久久 | 亚洲av总站| 不卡免费av在线播放| 中国熟女老妇仑乱一区二区三区| 日韩黄色小说| 97激情97激情| 色啪网| 黑人操一区二区| 亚洲欧洲激情卡通另类文学四射小说网站| 中文字幕超碰CAO| 欧美视频在线第3页| 色色福利| 三级日本一区二区三区| 天美久久久久| 亚洲限制级| 97视频观看| 激情综合久久| 国产操逼逼网| 国产强奸AV在线| 91欧美综合| 97国产精选| AV99热18这里只有精品| 神马福利久草| 天天爽人人综合免费7799| 亚欧成人综合影院| 网站A V在线| 日韩有码专区| 四虎影视国产精品| 亚洲宗合网| 欧美色图下一页| 99re这里只有精品3| 亚洲午夜免费狠狠干| 久久精品色欧美aⅴ一区二区| 午夜激情成人在线观看| 人妻少妇久久中文字幕一区二区 麻豆| 亚洲校园激情| 男人天堂网手机版婷婷| 超碰98综合网| 日韩ab网| 亚洲一二三四区机械| 青青操青娱乐| 天天弄天天操| 日韩精品一区二区三区色欲| 国产精品久久久久久久黄无码| 国产精品视频自拍在线| 国产肏逼网站| 97在线观看| 97天天综合| 亚洲国产97| 91熟女在线| 日韩小电影| av天堂电影网| 试看60秒 爽| 超碰免费97| 肉动漫无遮挡h在线观看| 欧美999| 午夜性生活av免费在线看| 久久精品一区二区| 久久激情婷婷| 亚洲精品久久久久毛片A片拉屎 | 99久久久无码国产精品性啊聊| 日日骚中文字幕| 91色拍| 狠狠久久手机视频精品| 亚州熟女乱伦| 欧美一区二区福利在线| 色综合天天| 日本一级二级三级网站| 国产精品亚洲一区二区三区四区| 影音先锋中文字幕日本好一区二区| 国产超碰人人爽人人做| 国产精品青草综合久久| 长长久久88视频| 婷婷国产精品九区| 操一区| 国产欧美日产一区二区三区 - 国产欧美日 | 五月天婷婷成人网| 丰满欧美少妇| 国产婷婷一区| 天天射夜夜| 97爱爱官网| 男人在线天堂| 久综合国内精品自在自线| 色伊人91| 性爱综合网| 91啪9色| 国产精品天干天干综合网麻豆| 丰满人妻一区二区中文| 欧美小说区视频区| 搡老女人老熟女91| 可以在线观看的黄色网址| 久久久夜夜嗨免费视频| 97天天爽| 男人网站婷婷| 97国产|免费| 呦呦影院| 自拍偷拍2025在线观看| 麻豆60秒| 天天内射| 成人一二三区| 久久久久久久伊人精品| 国产精品青草综合久久| 九一综合精品视品av|