日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

自研大模型與雙層記憶:智能客服技術(shù)底座重構(gòu)實(shí)踐

自研大模型與雙層記憶:智能客服技術(shù)底座重構(gòu)實(shí)踐 做智能客服這幾年我最大的感受就是用戶根本不在乎你底層是規(guī)則引擎還是大模型他們?cè)诤醯氖恰巴患聯(lián)Q個(gè)說(shuō)法你還能不能聽(tīng)懂”“上次剛說(shuō)過(guò)的情況這次還要不要再重復(fù)一遍”。這也是我們點(diǎn)控云團(tuán)隊(duì)下決心把整個(gè)客服技術(shù)底座推翻重來(lái)的原因。傳統(tǒng)的意圖識(shí)別加檢索問(wèn)答在固定場(chǎng)景下夠用但一旦對(duì)話拐個(gè)彎或者用戶帶著歷史訴求回來(lái)追問(wèn)系統(tǒng)就徹底失憶。所以從去年開(kāi)始我們圍繞自研大模型和雙層記憶重構(gòu)了整套智能客服架構(gòu)今天就把這套技術(shù)底座的完整復(fù)盤(pán)寫(xiě)出來(lái)包括為什么選這個(gè)方案、記憶層怎么設(shè)計(jì)、落地時(shí)踩了哪些坑希望給正在做同類系統(tǒng)的團(tuán)隊(duì)一些參考。1. 整體設(shè)計(jì)思路為什么必須自研大模型加雙層記憶1.1 傳統(tǒng)智能客服到底差在哪先說(shuō)傳統(tǒng)方案的三個(gè)硬傷。第一是規(guī)則引擎和按鍵菜單的交互方式太僵化用戶說(shuō)“我要退貨”和“我不想要了怎么弄”得配置完全不同的兩條規(guī)則漏一條就漏一片。第二是檢索式問(wèn)答只能做單輪匹配用戶說(shuō)“那運(yùn)費(fèi)呢”系統(tǒng)根本不知道“那”指的是剛才那筆退貨訂單的運(yùn)費(fèi)。第三也是最致命的就是完全沒(méi)有跨會(huì)話的記憶能力——用戶兩周前剛提交過(guò)售后工單這次再來(lái)追問(wèn)進(jìn)度客服機(jī)器人面對(duì)這個(gè)熟悉的老客戶表現(xiàn)得跟第一次見(jiàn)面一樣。這些問(wèn)題的根源在于傳統(tǒng)架構(gòu)把一次對(duì)話當(dāng)成一個(gè)孤立事件來(lái)處理既沒(méi)有語(yǔ)義理解能力也沒(méi)有狀態(tài)保持能力。我們統(tǒng)計(jì)過(guò)自己平臺(tái)上的客服對(duì)話數(shù)據(jù)大約三成以上的用戶咨詢是涉及歷史信息的比如查訂單、跟蹤進(jìn)度、追問(wèn)處理方案。這部分需求用規(guī)則和檢索根本覆蓋不了必須從底層換思路。1.2 為什么選擇自研大模型而非直接調(diào)API這里可能有人會(huì)問(wèn)現(xiàn)在開(kāi)源大模型那么多直接接API不就行了嗎為什么要自研我們當(dāng)時(shí)的判斷有三個(gè)方面。第一個(gè)是數(shù)據(jù)安全與合規(guī)問(wèn)題客服場(chǎng)景里全是用戶手機(jī)號(hào)、訂單詳情、售后記錄這些數(shù)據(jù)出域去調(diào)第三方API無(wú)論從合規(guī)角度還是從品牌聲譽(yù)風(fēng)險(xiǎn)角度都不可接受私有化部署是硬要求。第二個(gè)是定制化問(wèn)題業(yè)務(wù)方希望模型在售前導(dǎo)購(gòu)、售后處理、投訴安撫這些細(xì)分場(chǎng)景上有穩(wěn)定表現(xiàn)通用大模型做不到這種深度適配必須自己做領(lǐng)域微調(diào)。第三個(gè)是長(zhǎng)期成本問(wèn)題按調(diào)用量計(jì)費(fèi)的API在峰值期費(fèi)用非常不可控而自研模型在充分優(yōu)化后單次推理的邊際成本是可以壓到很低的。也補(bǔ)充一句我們并不是說(shuō)自研就一定比其他方式高級(jí)。如果團(tuán)隊(duì)剛起步、數(shù)據(jù)量不大、對(duì)延遲和數(shù)據(jù)出境沒(méi)有嚴(yán)格要求直接調(diào)用成熟API快速驗(yàn)證需求完全合理。但如果你做的是企業(yè)級(jí)客服底座并且打算長(zhǎng)期在這個(gè)方向深耕那自研大模型配合領(lǐng)域微調(diào)的路線遲早要走。1.3 雙層記憶到底是什么解決什么問(wèn)題記憶是智能客服從“能用”走向“好用”的分水嶺。我們最終落地的方案是把記憶分成短期記憶和長(zhǎng)期記憶兩層各司其職。短期記憶負(fù)責(zé)當(dāng)前會(huì)話之內(nèi)的上下文保持比如用戶剛才提過(guò)訂單號(hào)、剛才確認(rèn)過(guò)退貨方案在下一輪回答的時(shí)候都要用得上。實(shí)現(xiàn)上主要是會(huì)話級(jí)的狀態(tài)管理包括原始對(duì)話內(nèi)容、關(guān)鍵信息槽位、當(dāng)前意圖棧。長(zhǎng)期記憶則負(fù)責(zé)跨會(huì)話的用戶畫(huà)像與業(yè)務(wù)信息沉淀比如這個(gè)用戶的會(huì)員等級(jí)、歷史偏好、之前的投訴記錄、上次沒(méi)解決完的問(wèn)題。有了這一層系統(tǒng)才能做到老客戶一開(kāi)口就知道他是誰(shuí)、他過(guò)去發(fā)生過(guò)什么、他大概率需要什么。我用一個(gè)生活化的類比來(lái)幫助理解短期記憶就像飯店服務(wù)員手里那張點(diǎn)菜單客人這桌點(diǎn)了什么、有什么忌口都在上面但這桌客人吃完走了這張菜單也就作廢了。長(zhǎng)期記憶則像餐廳的客戶檔案本哪個(gè)熟客口味偏咸、哪桌客人上次投訴過(guò)上菜慢翻一翻檔案就心里有數(shù)。一個(gè)合格的智能客服既不能丟掉眼前的點(diǎn)菜單也不能把客戶檔案本當(dāng)成廢紙扔了。2. 自研大模型的選型、微調(diào)與部署實(shí)踐2.1 模型基座選擇與中文能力評(píng)估自研大模型的起點(diǎn)是選基座。我們?cè)谶x型時(shí)主要看四個(gè)維度中文語(yǔ)義理解能力、上下文長(zhǎng)度、推理資源消耗、社區(qū)生態(tài)成熟度。當(dāng)時(shí)測(cè)試對(duì)比了好幾款主流開(kāi)源基座從7B到13B到更大的規(guī)模都跑了一遍。測(cè)試方法也很樸素就是拿真實(shí)脫敏客服語(yǔ)料構(gòu)造了一批意圖分類和多輪對(duì)話樣本看模型在相同參數(shù)下的準(zhǔn)確率和響應(yīng)質(zhì)量。最終我們選擇的是基于13B量級(jí)的基座繼續(xù)走。原因很直接7B模型部署成本低、速度快但在處理復(fù)雜意圖和多輪指代消解的時(shí)候明顯吃力13B模型的理解能力上了一個(gè)臺(tái)階配合量化部署后單卡也能跑起來(lái)綜合性價(jià)比最合適。如果你們的業(yè)務(wù)涉及很多垂直術(shù)語(yǔ)建議基座選型時(shí)就專門(mén)測(cè)一下領(lǐng)域文本的困惑度和抽取準(zhǔn)確率別只看通用榜單的成績(jī)。這里也提醒一點(diǎn)很多人選基座只盯著參數(shù)量忽略了tokenizer詞表對(duì)中文的支持程度。有些模型英文很強(qiáng)但中文詞表覆蓋差會(huì)導(dǎo)致中文場(chǎng)景下token切得很碎推理開(kāi)銷增大且語(yǔ)義受損。我們當(dāng)時(shí)的測(cè)試標(biāo)準(zhǔn)里專門(mén)有一項(xiàng)用相同長(zhǎng)度的一批中文句子對(duì)比token消耗量差距能到百分之二三十這個(gè)必須提前摸清楚。2.2 領(lǐng)域微調(diào)的數(shù)據(jù)準(zhǔn)備與訓(xùn)練配置選好基座之后就是微調(diào)??头I(lǐng)域微調(diào)的數(shù)據(jù)主要來(lái)自三類歷史優(yōu)質(zhì)會(huì)話記錄、業(yè)務(wù)方整理的標(biāo)準(zhǔn)問(wèn)答對(duì)、人工標(biāo)注的意圖和情緒標(biāo)簽。我們把這些數(shù)據(jù)整理成指令微調(diào)格式每個(gè)樣本包含角色信息、當(dāng)前問(wèn)題、上下文和標(biāo)準(zhǔn)回答。數(shù)據(jù)清洗這一步最花時(shí)間。原始客服會(huì)話里有很多口語(yǔ)化表達(dá)、錯(cuò)別字、敏感信息還有一半以上的對(duì)話是無(wú)效寒暄。我們寫(xiě)了一套預(yù)處理流水線先做敏感信息脫敏再做相似會(huì)話去重最后靠人工質(zhì)檢保證數(shù)據(jù)質(zhì)量。說(shuō)實(shí)話微調(diào)的效果好不好七分看數(shù)據(jù)三分看參數(shù)寧可把數(shù)據(jù)準(zhǔn)備好再訓(xùn)練也不要急著跑實(shí)驗(yàn)。訓(xùn)練配置上我們用的經(jīng)驗(yàn)值是學(xué)習(xí)率設(shè)置在2e-5到5e-5之間用余弦衰減訓(xùn)練輪數(shù)不要貪多3到5個(gè)epoch就足夠了太多反而會(huì)過(guò)擬合到訓(xùn)練集上導(dǎo)致在真實(shí)對(duì)話里泛化能力下降。LoRA這類參數(shù)高效微調(diào)技術(shù)我們也測(cè)過(guò)它確實(shí)能大幅降低顯存門(mén)檻但初期微調(diào)還是建議先做全量微調(diào)等業(yè)務(wù)穩(wěn)定了再用LoRA做增量更新。2.3 推理部署與性能優(yōu)化方案微調(diào)完成后的部署環(huán)節(jié)核心是把成本和延遲控制在可接受范圍。我們用vLLM作為推理服務(wù)框架它有幾個(gè)特性對(duì)客服場(chǎng)景特別有價(jià)值其中最有用的就是Prefix Caching——對(duì)所有用戶都共享系統(tǒng)提示詞、知識(shí)庫(kù)公共前綴這些重復(fù)內(nèi)容做緩存實(shí)際測(cè)試中這部分內(nèi)容占比非常高開(kāi)啟后首token延遲明顯下降GPU利用率也上來(lái)了。量化方案我們選了INT8起步因?yàn)榭头?chǎng)景對(duì)回答質(zhì)量要求很高INT4在部分復(fù)雜回答上會(huì)出現(xiàn)可感知的質(zhì)量下降。如果你們后續(xù)模型規(guī)模繼續(xù)增大可以用AWQ或GPTQ做更激進(jìn)的量化但上線前一定拿真實(shí)對(duì)話樣本做AB對(duì)比測(cè)試不能只看Perplexity指標(biāo)。部署拓?fù)浞矫嫖覀冏鲞^(guò)兩套方案單機(jī)多卡部署一套大模型多機(jī)多卡部署多套模型副本。實(shí)際跑下來(lái)對(duì)于日均幾十萬(wàn)次對(duì)話的規(guī)模三臺(tái)雙卡機(jī)器做成推理集群前面架一層負(fù)載均衡和請(qǐng)求排隊(duì)已經(jīng)完全夠用。模型副本之間沒(méi)有狀態(tài)天然支持水平擴(kuò)容。這里建議流量入口處一定要做超時(shí)控制和降級(jí)開(kāi)關(guān)萬(wàn)一模型推理出現(xiàn)抖動(dòng)或者隊(duì)列積壓可以直接降級(jí)到檢索式問(wèn)答兜底保證用戶至少能拿到基礎(chǔ)回復(fù)而不是轉(zhuǎn)圈圈或報(bào)錯(cuò)。3. 雙層記憶機(jī)制的設(shè)計(jì)與工程實(shí)現(xiàn)3.1 短期記憶會(huì)話上下文的分層管理短期記憶這塊沒(méi)有用特別復(fù)雜的技術(shù)核心解決的問(wèn)題是“什么該留、什么該丟”。原始的對(duì)話內(nèi)容如果全部塞進(jìn)大模型上下文一方面token消耗大另一方面超過(guò)窗口長(zhǎng)度后模型會(huì)對(duì)早期信息失焦。我們的做法是把短期記憶拆成三級(jí)原始對(duì)話buffer、結(jié)構(gòu)化信息槽位、會(huì)話摘要。原始對(duì)話buffer保留最近幾輪完整的用戶輸入和系統(tǒng)輸出用于處理指代和省略。結(jié)構(gòu)化信息槽位則實(shí)時(shí)抽取并維護(hù)當(dāng)前會(huì)話中的關(guān)鍵實(shí)體比如訂單號(hào)、退款金額、商品型號(hào)——這幾個(gè)字段是業(yè)務(wù)查詢的高頻維度抽到就放進(jìn)槽位后續(xù)輪次直接讀取不依賴模型重新理解。會(huì)話摘要是當(dāng)輪次過(guò)多時(shí)由模型自動(dòng)壓縮出來(lái)的把早期對(duì)話濃縮成幾十字的摘要釋放上下文空間。做一個(gè)簡(jiǎn)短的計(jì)算示例如果每輪平均消耗400個(gè)token20輪就是8000個(gè)token在8K窗口的模型上已經(jīng)快頂?shù)缴舷蘖?。引入三?jí)管理后原始buffer只保留最近8輪約3200個(gè)token加上壓縮后的摘要和槽位信息整個(gè)上下文控制在5000個(gè)token左右既能保住關(guān)鍵歷史信息又給當(dāng)前輪次留出充足的推理空間。3.2 長(zhǎng)期記憶用戶畫(huà)像與業(yè)務(wù)知識(shí)如何沉淀為可檢索記憶長(zhǎng)期記憶層的建設(shè)是這個(gè)項(xiàng)目里工程量最大的部分。簡(jiǎn)單說(shuō)它的職責(zé)是把一個(gè)用戶在所有歷史會(huì)話中產(chǎn)生的高價(jià)值信息沉淀成結(jié)構(gòu)化檔案和向量化記憶兩種形態(tài)。結(jié)構(gòu)化檔案主要存那些字段明確、穩(wěn)定變化的數(shù)據(jù)比如用戶ID、會(huì)員等級(jí)、常用收貨地址、歷史訂單數(shù)、最近一次投訴類別。這類數(shù)據(jù)的寫(xiě)入邏輯很簡(jiǎn)單對(duì)接業(yè)務(wù)系統(tǒng)就能同步。真正需要花心思的是非結(jié)構(gòu)化信息的沉淀比如用戶上次反饋“對(duì)物流速度非常不滿”、用戶偏好“客服回復(fù)盡量簡(jiǎn)潔直接”這些信息藏在對(duì)話文本里需要抽取和向量化之后存到向量數(shù)據(jù)庫(kù)中。信息抽取我們參考了OneKE這類知識(shí)抽取框架的思路先識(shí)別實(shí)體再抽取實(shí)體間的關(guān)系最后落成三元組結(jié)構(gòu)。比如用戶說(shuō)“我去年買(mǎi)的那個(gè)吹風(fēng)機(jī)壞了”系統(tǒng)會(huì)抽取出“用戶-購(gòu)買(mǎi)-吹風(fēng)機(jī)”“吹風(fēng)機(jī)-購(gòu)買(mǎi)時(shí)間-去年”“吹風(fēng)機(jī)-狀態(tài)-損壞”這幾組事實(shí)。然后再將整段用戶描述和抽取結(jié)果同時(shí)向量化寫(xiě)入向量庫(kù)查詢的時(shí)候用用戶當(dāng)前的輸入做相似度檢索把最相關(guān)的歷史記憶召回。長(zhǎng)期記憶還有一個(gè)關(guān)鍵設(shè)計(jì)是寫(xiě)入策略和遺忘策略。寫(xiě)入策略分兩種一種是會(huì)話結(jié)束后異步批量寫(xiě)入把本次對(duì)話里的高價(jià)值信息更新到用戶檔案另一種是當(dāng)用戶明確表達(dá)某些長(zhǎng)期偏好時(shí)觸發(fā)即時(shí)寫(xiě)入比如“以后發(fā)貨前請(qǐng)先電話確認(rèn)”。遺忘策略則對(duì)應(yīng)數(shù)據(jù)合規(guī)要求用戶注銷或要求刪除時(shí)要能把對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)和向量條目一并清除這個(gè)功能在設(shè)計(jì)階段就預(yù)留了接口千萬(wàn)不能等上線后再補(bǔ)。3.3 兩層記憶如何協(xié)同工作短期記憶和長(zhǎng)期記憶不是兩個(gè)獨(dú)立模塊它們需要在一個(gè)完整的請(qǐng)求鏈路里配合。我以真實(shí)場(chǎng)景走一遍全流程大家感受一下協(xié)同方式。假設(shè)一個(gè)用戶之前買(mǎi)過(guò)產(chǎn)品并投訴過(guò)物流慢今天再次進(jìn)線說(shuō)“上次那個(gè)東西怎么還沒(méi)到”。請(qǐng)求進(jìn)來(lái)后系統(tǒng)先用用戶ID從長(zhǎng)期記憶層拉取畫(huà)像和歷史檔案發(fā)現(xiàn)這個(gè)用戶存在“物流慢投訴”記錄。然后短期記憶層初始化把本次會(huì)話的上下文結(jié)構(gòu)建好。模型在生成回答時(shí)系統(tǒng)提示詞里會(huì)注入兩份信息長(zhǎng)期記憶里的用戶畫(huà)像摘要、短期記憶里的當(dāng)前會(huì)話上下文。于是模型結(jié)合“老投訴客戶”和“當(dāng)前訂單查詢”兩層信息生成的回復(fù)會(huì)主動(dòng)帶上道歉語(yǔ)氣和物流補(bǔ)償方案而不是干巴巴丟一個(gè)物流單號(hào)。會(huì)話結(jié)束后系統(tǒng)再異步把本次交互中新增的有效信息回寫(xiě)進(jìn)長(zhǎng)期記憶比如用戶當(dāng)前的訂單狀態(tài)更新。這樣一個(gè)完整的記憶閉環(huán)就跑起來(lái)了。協(xié)同的關(guān)鍵在于長(zhǎng)期記憶負(fù)責(zé)“讓系統(tǒng)知道你是誰(shuí)”短期記憶負(fù)責(zé)“讓系統(tǒng)記得我們剛剛聊到哪”兩者缺一不可。4. 智能客服業(yè)務(wù)鏈路的落地實(shí)操4.1 核心流程梳理從意圖識(shí)別到工單閉環(huán)有了模型底座和記憶層整個(gè)智能客服的業(yè)務(wù)鏈路還需要重新編排。我們最終線上運(yùn)行的流程分五個(gè)環(huán)節(jié)請(qǐng)求接入、意圖識(shí)別、策略分發(fā)、推理生成、服務(wù)閉環(huán)。請(qǐng)求接入層先做渠道歸一不管是網(wǎng)頁(yè)、小程序還是APP都統(tǒng)一轉(zhuǎn)成內(nèi)部消息協(xié)議。意圖識(shí)別是整個(gè)流程的閘門(mén)我們直接復(fù)用自研大模型來(lái)做而不是單獨(dú)訓(xùn)練一個(gè)意圖分類小模型——因?yàn)榇竽P驮诶斫饽:磉_(dá)和生僻說(shuō)法上明顯更強(qiáng)。模型先判斷這個(gè)用戶進(jìn)來(lái)是咨詢、是投訴、是查詢還是閑聊再結(jié)合長(zhǎng)期記憶里的用戶檔案決定走哪條處理路徑。策略分發(fā)這個(gè)環(huán)節(jié)是規(guī)則與大模型的結(jié)合點(diǎn)。比如檢測(cè)到用戶情緒是憤怒且歷史有投訴記錄就走優(yōu)先轉(zhuǎn)人工流程如果只是普通售前咨詢則進(jìn)入純模型對(duì)話如果涉及訂單等結(jié)構(gòu)化查詢先通過(guò)槽位信息調(diào)業(yè)務(wù)API拿最新數(shù)據(jù)再讓模型基于實(shí)時(shí)數(shù)據(jù)生成回答。最后服務(wù)閉環(huán)負(fù)責(zé)把會(huì)話結(jié)果沉淀回業(yè)務(wù)系統(tǒng)包括生成服務(wù)摘要、更新工單狀態(tài)、觸發(fā)滿意度回訪。4.2 提示詞工程與知識(shí)庫(kù)問(wèn)答的落地細(xì)節(jié)純靠模型記憶解決不了企業(yè)私有知識(shí)的問(wèn)題所以RAG檢索增強(qiáng)生成是智能客服落地逃不掉的一環(huán)。我們?cè)谥R(shí)庫(kù)建設(shè)上踩過(guò)不少坑這里分享兩個(gè)關(guān)鍵經(jīng)驗(yàn)。第一個(gè)是知識(shí)庫(kù)分塊策略。早期我們按固定長(zhǎng)度切分知識(shí)文檔結(jié)果經(jīng)常把一塊完整內(nèi)容從中間切斷導(dǎo)致檢索召回的是半截話模型回答自然就歪了。后來(lái)改成熟知的做法先按篇章結(jié)構(gòu)切分再對(duì)每個(gè)段落做語(yǔ)義完整性校驗(yàn)如果段落過(guò)長(zhǎng)再做二次切分并保留標(biāo)題上下文。文檔標(biāo)題和層級(jí)信息在向量化時(shí)需要拼進(jìn)塊內(nèi)容里這樣檢索匹配度提升非常明顯。第二個(gè)是提示詞里知識(shí)引用的格式。我們要求模型在使用檢索到的知識(shí)時(shí)輸出內(nèi)容必須帶有來(lái)源編號(hào)同時(shí)我們自己寫(xiě)了一個(gè)知識(shí)引用一致性校驗(yàn)?zāi)K在模型回答后檢查回答內(nèi)容與引用知識(shí)之間是否存在明顯矛盾。這個(gè)模塊用規(guī)則加模型打分混合實(shí)現(xiàn)規(guī)則負(fù)責(zé)抓硬傷模型打分處理語(yǔ)義層面的偏差雖然增加了一點(diǎn)推理延遲但換來(lái)的準(zhǔn)確率提升非常值。4.3 與業(yè)務(wù)系統(tǒng)的對(duì)接方式客服系統(tǒng)不可能脫離訂單、售后、物流體系獨(dú)立存在。我們做對(duì)接時(shí)采用了一個(gè)輕量級(jí)的工具調(diào)用層設(shè)計(jì)每個(gè)業(yè)務(wù)系統(tǒng)能力封裝成獨(dú)立的Function通過(guò)統(tǒng)一的協(xié)議暴露給大模型。模型根據(jù)當(dāng)前對(duì)話場(chǎng)景決定是否調(diào)用以及傳遞哪些參數(shù)。比如用戶問(wèn)“幫我改一下收貨地址”模型識(shí)別到這是個(gè)地址修改意圖就調(diào)用地址修改接口必要參數(shù)從短期記憶槽位里取缺失參數(shù)生成反問(wèn)句向用戶追問(wèn)。接口返回值不會(huì)直接拼進(jìn)回答里而是經(jīng)過(guò)一層格式化加工。系統(tǒng)提示詞中定義了統(tǒng)一的數(shù)據(jù)展示規(guī)范比如日期統(tǒng)一成“X月X日”、金額保留兩位小數(shù)、地址做脫敏展示。這一步看著不起眼但線上回答的專業(yè)感全靠這些細(xì)節(jié)撐起來(lái)。另外所有通過(guò)工具調(diào)用支撐業(yè)務(wù)操作都需要二次確認(rèn)再補(bǔ)一個(gè)用戶撤回機(jī)制萬(wàn)一模型理解錯(cuò)誤執(zhí)行了錯(cuò)誤的修改操作用戶能自己撤銷避免糾紛。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 模型幻覺(jué)怎么控制大模型客服最怕一本正經(jīng)胡說(shuō)八道尤其涉及訂單狀態(tài)、退款金額這種具體數(shù)據(jù)。我們的治理思路是“結(jié)構(gòu)化數(shù)據(jù)禁止模型編造文本潤(rùn)色才放給模型發(fā)揮”。所有跟業(yè)務(wù)強(qiáng)相關(guān)的數(shù)據(jù)一律通過(guò)工具調(diào)用從業(yè)務(wù)系統(tǒng)獲取真實(shí)數(shù)據(jù)然后要求模型只做信息的重組和表達(dá)不允許修改任何關(guān)鍵數(shù)值。在提示詞里我們加了一條硬性約束“如果你無(wú)法從提供的資料或上下文中找到答案必須明確表示不知道并提供轉(zhuǎn)人工選項(xiàng)。”這套約束加上之后虛構(gòu)回答的比例下降非常明顯。但如果你們的場(chǎng)景必須讓模型做數(shù)值推斷可以另外接入一套規(guī)則校驗(yàn)對(duì)金額、日期、單號(hào)等敏感字段做格式和合法性檢查不合法就觸發(fā)重寫(xiě)或轉(zhuǎn)人工。5.2 上下文截?cái)鄬?dǎo)致答非所問(wèn)上線初期我們遇到過(guò)一類典型的bad case用戶聊到十幾輪后突然問(wèn)“那第二個(gè)方案呢”模型完全不知道“第二個(gè)方案”指的是什么。定位后發(fā)現(xiàn)是原始對(duì)話buffer只保留最近8輪而“第二個(gè)方案”是在第10輪提到的已經(jīng)被提出去了。會(huì)話摘要也沒(méi)有記錄這個(gè)信息因?yàn)檎旧硎敲?輪生成一次跨度太大丟了很多中間細(xì)節(jié)。這個(gè)問(wèn)題的根治方案是給短期記憶增加關(guān)鍵信息追蹤?,F(xiàn)在我們的對(duì)話buffer里除了原始輪次還會(huì)實(shí)時(shí)維護(hù)一個(gè)“方案列表”類型的槽位每當(dāng)模型給出方案性內(nèi)容時(shí)自動(dòng)編號(hào)存入槽位后續(xù)用戶提到“第二個(gè)”或“剛才說(shuō)的那個(gè)”就能直接命中。記憶設(shè)計(jì)不能只看輪次窗口還要考慮業(yè)務(wù)語(yǔ)義信息的連續(xù)性。5.3 檢索召回率低怎么辦知識(shí)庫(kù)問(wèn)答召回不準(zhǔn)這個(gè)事我們從三個(gè)方向同時(shí)優(yōu)化。首先在向量模型選型上直接從通用向量模型換成了在中文語(yǔ)料上表現(xiàn)更好的bge-m3換完直觀感覺(jué)是召回質(zhì)量提升了一個(gè)檔次。其次在查詢側(cè)做了改寫(xiě)用戶的原始問(wèn)題比較口語(yǔ)化先用大模型把問(wèn)題改寫(xiě)為更規(guī)范的知識(shí)檢索語(yǔ)句再去query向量庫(kù)實(shí)測(cè)top5準(zhǔn)確率提升約十幾個(gè)百分點(diǎn)。最后是混合檢索利用數(shù)據(jù)庫(kù)里的BM25全文索引和向量檢索做加權(quán)融合尤其針對(duì)那些包含精確型號(hào)、編號(hào)的查詢關(guān)鍵詞命中的價(jià)值甚至超過(guò)語(yǔ)義匹配。5.4 高并發(fā)下的性能瓶頸大模型推理是高并發(fā)場(chǎng)景下的最大瓶頸。我們的優(yōu)化手段分三層。第一層是推理引擎層前面提到的vLLM連續(xù)批處理和Prefix Caching在這里發(fā)揮主要作用能把GPU利用率提上去。第二層是業(yè)務(wù)層給不同渠道的請(qǐng)求設(shè)置不同的優(yōu)先級(jí)隊(duì)列比如投訴渠道優(yōu)先處理普通閑聊排隊(duì)防止低價(jià)值請(qǐng)求把推理資源占滿。第三層是容量規(guī)劃我們做了一個(gè)非常樸素但有效的壓測(cè)方法把歷史真實(shí)流量錄制下來(lái)按不同倍速回放找到系統(tǒng)在每秒多少個(gè)并發(fā)請(qǐng)求下才出現(xiàn)超時(shí)率飆升然后用這個(gè)數(shù)值的60%作為日常容量水位線留足冗余應(yīng)對(duì)突發(fā)流量。5.5 成本控制實(shí)用技巧最后說(shuō)說(shuō)大家都很關(guān)心的token成本。長(zhǎng)期跑下來(lái)最大的消耗點(diǎn)不在推理本身而在于冗余的上下文。我們持續(xù)在做上下文瘦身短期記憶字段能精確到槽位就用槽位不要堆積大段歷史文本系統(tǒng)提示詞也定期迭代去掉效果不明顯的長(zhǎng)篇描述模型回答部分開(kāi)啟流式輸出后用戶可以提前終止還能省掉后續(xù)token生成的開(kāi)銷。另一個(gè)容易被忽略的省錢(qián)點(diǎn)是日志存儲(chǔ)完整對(duì)話記錄必須保留但向量化副本不需要存全量只保留抽取出來(lái)的記憶條目能省下不少向量庫(kù)的存儲(chǔ)費(fèi)用。根據(jù)我們實(shí)際跑下來(lái)的數(shù)據(jù)這套自研大模型加雙層記憶的架構(gòu)上線后多輪對(duì)話的任務(wù)完成率比之前提升了接近一倍轉(zhuǎn)人工率降了四成左右用戶滿意度也明顯回升。當(dāng)然技術(shù)底座只是把地基夯實(shí)了真正的服務(wù)體驗(yàn)還要靠業(yè)務(wù)策略持續(xù)迭代。用幾張圖把架構(gòu)畫(huà)出來(lái)給團(tuán)隊(duì)看容易讓每一個(gè)模塊在線上穩(wěn)定跑起來(lái)、遇到問(wèn)題能快速定位才是真功夫。至少對(duì)我們來(lái)說(shuō)這個(gè)方向走對(duì)了后續(xù)還會(huì)沿著“更精準(zhǔn)的記憶寫(xiě)入”和“更自然的引導(dǎo)式對(duì)話”繼續(xù)打磨。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
yw尤物av无码点击进入麻豆| 麻豆天美在线喷水AV| 天天摸夜夜摸| 久欲AV| 免费视频观看60秒| 亚洲中文字幕精品一区| 日本一区二区三区四区免费观看| 色九九九九久| 91操人| 国产一区二区精品久久久不卡蜜臀| 鸥美中出| 第四色奇米影视777| 久操网址| 午夜免费视频1000| 欧亚久久偷拍视频| 国产熟女一区二区| 国产女同视频在线播放| 国产少妇肉丝在线观看| 婷婷五月天无码 | 超碰精品国产无码| 99热这里只有精品地址| 5252色欧美在线| 在线 欧美 亚洲| 先锋女优在线观看视频| 亚洲乱伦图片视频| 青青草日本无码| 久男人久久| 精品一级毛片在线观看| 国产1769在线| 欧美少妇一区二区三区| 黄站在线免费观看| 偷拍 欧美 日韩| 亚洲一卡2卡3卡4卡乱码网站| 麻豆天美国美国产AV| 人妻免费观看| 精品性爱| 人妻少妇视频在线播放| 美女丝袜激情小说| 国产成年女人免费视频播放a| 激情五月综合| 在线色资源| 97日亚洲欧美| 亚洲男人天堂2019| 夜夜精品视频一区二区| 日日日日做夜夜夜夜无码| 久久亚洲av成人无码国产| 国产日韩精品一区二区三区| 78精品| 欧美视频一区二区在线| 好好的日:com久久九九| 久久日韩肥臀| 怡红院一区二区熟女人妻| 蜜臀99999| 91丝袜视频在线观看| 男女激情黄色网址| 97日视频| 人人操人人插人人摸人人干| 青青草原狼av| 天天综合网在线观看| 另类小色呦| 欧美精品人妻视频| 欧美第二页| 五月香婷婷| 日韩八十路老熟女| 久久亚洲精品成人av| 啊啊啊啊啊好大好舒服想要| 我要去看2个日本美女.com曹逼| 亚欧精品久久久久久久久久久| 亚洲成人帖图| av在线不卡一区二区三区| 大香蕉免| 日韩三级在线观看网站| 久久中出在线| 91AV入口| 亚洲精品天天影视综合网 | 手机在线人成免费视频| 亚洲男人天堂2013| 奇米狠999| 97 国产一区| 青青青国产手线观看视频2| 色蜜AV| 夜夜嗨一区二区三区直播内容| 欧美国产日韩高清在线| 天综合网欧美| 最新亚洲人成网站在线影院| 久草毛片电影怡| 精品久久久久久中文字幕视频免费| 丁香五月综合| 97干色| 理论久久婷婷网 8| 青草精品视频一日本久久久久网站| 天堂中文资源在线bt| 在线情色电影 91大 | 亚洲天堂电影精品一区| 综合欧美亚洲| 97视频7| 人妻偷拍一区二区三区| 欧美在线55555| 大香网站| 久久9久| 亚洲欧美色综合| 久久久久久久久久va| 91偷拍欧美亚洲| 精品免费成人久久| 东京热亚洲一区二区| 男人的天堂久久| 超碰av人人人| 久久久四区| 色综合色| 91福利网在线观看| 亚州再线| 中国一区二区亚洲人妻| 欧美激情精品| 国产传媒美日韩av| 99久久精品无码一区二区| 九九九久| 亚洲天堂女优在线| 黄页视频网站野外| 无码二级三级| 美女91在线观看| 唐山老熟妇露脸啪啪叫| 免费观看一区| 好屌色综合| 女人被添高潮免费视频| 人妻激情视频| 欧美狠狠弄| 欧美综合娱乐久久| 中文字幕乱妇免费视频| yazhousetuoumei| 少妇一区二区三区高速| 久久久久久人| 操一区| 粉嫩不卡一区二区性爱| 欧美18老人禁| 日本五区不卡| 青青操在线亚洲视频观看欧美在线 | 国产熟妇 码视频户外直播| 操操操操网黑人| 岛国黄色大片网站| 疯操AV| 97色插| 国产成年女人免费视频播放a| 色香综合天天影视综合| 老鸭窝亚洲毛片| 这里只有精品视频在线观看麻豆| 超碰吊日色| 亚洲精品国产AV天美传媒| 午夜久久无码1000合集| 色综合一区二区三区| 偷拍综合亚洲| 蜜桃色色网站视频三区| 一本一道vs波多野结衣| 97碰久久| 欧美在线亚洲| 国产亚洲日本| 91久久精品国产| 欧美日韩不卡a片| 超碰色老头| 中亚黄色三级大片| 蜜色网色哟哟| 亚洲成人碰碰| 一级A啪啪啪啪| 欧美一级在线观看成人| 天天干18禁| 九九av| 日韩精品人妻系列无码天堂| 99热最新| 国产精品视频白浆免费| 日本狂喷奶水在线播放212| 96超碰网| 国产成人啪一区二区| 欧美精品丝袜久久久中文字幕| 五月婷婷久久综合| 囯产乱伦一区二区三女 | 男女性感激情网站| 91丨人妻丨国产丨丝袜| 午夜男人的天堂| 天天综合麻豆视频| 东京成人一区| 蜜臀久久久国产| 超碰人人乐97| 色五月婷婷五月天| 国产激情在线观看| 天天操天天干一区二区| 久久透逼视频| 天天草天天日| 欧美综合天天| 国产精品播放| 久久久555| yazhouzaixian| 美女丝袜激情小说| 久久九七| 免费看污网址| 日韩精品99久久久久久中文字幕| 亚洲另类久操网| 超碰99在线观看| 操逼视频免费日韩无码| 国产精品麻豆视频网站| 人人操人人摸人人看人人插| 60秒不遮不挡| 丝袜综合网| 欧美日综合| 国产自啪精品视频网站黑丝| 人澡逼| 91男人天堂网| 91美女視頻| 亚州久久9| 亚洲精品欧洲精品| 国产丰满熟夫69mpp| 人妻美腿丝袜制服诱惑综合天堂-| 婷婷尹人大香蕉免费| 黄片直播三级黄片两女一男| 国产精品久久久久av| 国产伦乱91| 精品中文字幕一区二区l - 百度| 狠狠色噜噜狠狠狠狠狠色综合久久| 日韩黄片视频试看| 日本一级婬片试看三分钟| 日本成人A片免费看| 熟女五十路一区二区三| 色伊人91| 国产女人成人精品视频| 97最新在线播放视频| 日韩少妇一区二区三区| 久久九九网| 欧美乱色| 国产农村妇女精品1区二区| 青青草亚洲一区| 超碰97网址| 欧美97在线观看| 天天操人人操骚逼网站| 婷婷精品国产欧美精品亚洲人人爽| 九九人妻| 亚洲欧美在线丝袜| 精品视频一区二区| 青娱乐欧美激情一区二区| 亚洲国产精品9999在线观看| av日韩在线观看电影| 激情av| 欧美色五月| 久久国产99精品72福利| 日日天天久久啊啊aaa| 亚洲国产精品乱码在线观看| 91n免费处女| 亚洲欧美激情小说| 中文字幕一区二区视频在线观看| 91影库| 日本熟妇人妻中出视频| 欧美强奸乱能| 五月丁香六月| 久久久久久中文版| 久射吧| 超碰在线一区| 国产精品蜜乳AV| 婷婷色综合| 97欧美精品综合| 97精品综合久久网| 99rre在线精品99re8| 男人的天堂2018| 欧亚性爱在线视频| 久久久免费的精品| 人人乐大香蕉| 中出后入| 91高清欧美| 日韩av性爱在线播放| 日韩精品人妻一| 五月天婷婷色色| 一品道视频一区二区三区| 成人精品一区二区三区| 人人妻人人玩人人澡人人爽| 国产欧美精选激情视频| 人妻少妇精品一区二区三区| 欧美在线中M| 91人妻人人澡人人爽人人精品| 欧洲欧美视频一区二区| 欧美日韩国产色图在线| 97超碰色屌| 91黄射| 黄色电影在线播放综合网站| 啊好大好舒服| 使劲用力艹少妇视频一区二区| 怡红院成人视频| 亚洲成人日韩小说| 国产男女无套97| 秘书高跟黑色丝袜国产91在线| 97资源久久| 国产a级午夜毛片| 天天享受天天看| 亚洲深夜福利| A 天堂在线观看视频| 亚洲乱色视频一区、二区在线| 久操av在线| 久久久久九九九九| 一区二区三区激情在线观看| 特级大荫道BBwBBwBBW| 日韩无码服务区| 中文字幕日韩电影人妻| 九九九九88| 欧美色图欧美| 国产又大又硬又长又粗| 久日91在线| 97在线观看| 色婷婷激情| 97欧美色| 天堂中文日本在线观看| 久久草视频污视频| 国产在线观看91精品一区| 怡红院视频在线| 欧美综合综合| 久久婷五月| 日本天堂在线播放| 国产精品999aaa| 大香蕉av在线| 97精品一区| 国产无码高清操逼视频| 丁香五月综合| 97在线视频免费看| 欧亚在线视频| 中文字幕av一区二区三区人妻少妇 | 99精品视频在线观看| 色综合1991| av午夜影院在线播放| 欧亚久久偷拍视频| 亚洲一区二区三区中文字幕| 天天弄天天操| 超碰在线一区| 美女啊啊啊啊pc| 丰满人妻一区二区三区蜜桃视频| 男人的天堂2010| 少妇三p| 超碰av在线| 日韩天天本| 国产极品精品美女视频| 97超碰久久色| 欧美强奸乱能| 日本熟妇色熟妇在线视频播放| 探花视频免费观看国产专区| 日韩精彩免费| 亚洲欧美日韩制服另类| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 亚洲综合网91| 国产丝袜视频| 欧美色欧美| 日日夜夜天天| 91久久久亚洲| 久久国99999| 亚洲精品尤物yw在线影院| 婷婷五月天无码| 午夜无遮挡男女啪啪视频| 综合天天网| 福利社区午夜一区二区| 俺也射| 色婷婷亚洲婷婷| 欧美—性—交—色| 六月丁丁香| 国产精品久久久 | 激情综合网激情综合| 夜夜高潮夜夜爽高清视频一| 天天综合91| 91撸色网 玖玖网 欧美| 国产午夜福利电影免费在线观看| 欧美久久婷婷| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 欧美在线干| 欧美一级色| 国产精品9999| 插入综合网| 免费αV在线视频| 亚熟hd视频在线| 欧美激情中文字幕另类小说| 大香蕉日韩| 一区二区偷拍拍视频| 久操97| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚 | 亚洲91网。| 一,爱啪啪,在线免费视频| 四虎884| 小草三级久久观看| 亚洲成人无码影院| 亚洲精品欧洲色| 久偷拍| 日本在线视频导航| 天堂涩涩| 亚洲图片视频小说| 国产人妻精品久久久一区二区三区 | 亚洲天堂东京热| yw尤物av无码点击进入麻豆| 亚爽爽爽爽爽爽爽爽| 蜜臀AV网站| 人妻精品一区二区三区| 四虎视频在线观看| 欧美十八禁在线看| 免费国产电影一区二区| 久久精品国产97欧美精品亚洲 | 亚洲欧洲小说图片视频| 2017人人操,人人摸| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 动漫片子网站3黄| 性色av网站| 五月丁香激情四射| 一区二区三区四区在线不卡| 国产白领连续中出在线观看| 国产男女无套视频免费观看| 精品欧美不卡在线播放| 久久久涩| 超碰在97| 欧美三级免费伊人| 国产女人高潮视频| 少妇高潮对白在线观看| 啊啊啊想要| 熟妇无码视频三区| 日韩中文字幕2020| 久无码| 99热只有这里有精品| 涩综合导航| 日本Suv精品一区二区| 天天日天天操VV| 成人在线视频二区| 97操碰| 中文字幕免费看大片| 黑人精品XXX一区一二区| 性感美女91影视| 爽爽爽免费视频| 91麻豆天美国产欧美| 最新日产中文在线麻豆| 亚洲伊人a线观看视频| 亚洲丝袜诱惑| 91精品导航| 91青青在线视频| 亚洲永久永久永久永久一级一级一级精品| 啊…啊…操我用力操我 | 精品国产乱码久久| 97久久久久| 中文字幕第7页| 91视频综合在线| 97色论| 伊人97色天使| 中文字幕91综合| 久久午夜伦| 亚洲图片欧美在线视频| 欧美精品久久久久久久久88| 日本色色色视频| 欧美亚洲色图另类国产| 翔田千里一区二区三区奶水| 欧美亚洲综合高清在线| 人妻丝袜一区二区三区在线| 五月天婷婷社区| 久久久久久久久久久精| www.acm成人黄色毛片| 久久久久久中文版| 天堂伊人久久| 国产大片精久久久久久| 日韩伦理视频| 校园春色欧美色图| 97玖玖超碰| 中美日韩毛片| 一牛影视久久久一区二区三区| 理论久久婷婷网 8| 久久人人妻| 精品久久在线区一区| 欧美成人9797| 天天摸夜夜摸| 高潮嗯啊性感美女久久久| 东京成人一区| 加勒比海成人视频网| 亚洲综合九| 加勒比人妻综合| 大屁股国产在线视频| 超碰97在线中文| 在线五区| 国产精品久久久久9999小说| 丰满人妻一区二区三区免费| 久久系列| a片久久久久久久久久久久| 在线播放成人高清免费视频| 日韩av免费一级电影| 在线岛| 婷婷影院入口| 三级片网站在线播放| 狠狠爱综合网| 熟妇视频一区二区三区在线观看| 九九久久99| 欧美大片天天看| 91 国产丝袜在线播放-百度| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 射久久| a片自拍直播视频| 亚洲激情在线观看一区| 成人性爱美曰韩| 色五月婷婷在线| 久久熟女人| 一区二区三区四区久久视1| 无码操逼天堂| 中文区中文字幕免费看| 明星性猛交ⅹxxx乱大交| 久久久久久亚洲中文| 国模不卡| 欧美日韩成人| 蜜桃久久久久久久| 亚洲自拍青操视频| 亚洲综合首页| av天堂精品久久| 国产免费永久精品无码| 小草精彩毛片| 超碰这里有精品| 国产97亚洲| 特级特黄一级毛片免费| 国产精品国产拍高清AV| 久艹伊人精品综合在线| 人人摸人人舔一区二区| 极品白嫩美少妇在地板上位骑射淫水泛滥| 亚洲自拍天堂| 大奶啊啊好爽| 精品无码久久久久| 91高潮| 欧美亚洲尤物久久| 亚洲成人av色网| 91久久久老司机| 久久国产精品m码| 天天懆天天日| 日韩高潮一区| 亚州九九九精品视频| 四虎免费在线观看| 狠狠色噜噜狠狠狠狠狠色综合久久| 丝袜大香蕉| 超碰天天操你比| 亚洲在饯| 天天做日日爱夜夜爽| 日韩伦理视频| 精品国产乱码久久久影院| 啊啊啊啊啊啊啊啊在线观看| 国产三级多多影院2022国产AA一级毛片无码 | 91成人在线免费视频| 日本免费不卡二区| 久久久久久无码人妻中文字幕| 欧美性xxxxx狂欢| 日韩中文字幕二区| 中文字幕AV片| 凹凸视频在线一区二区| 日韩无码专区| 亚洲天堂资源| 欧美成熟性爱精品| 亚洲成人av色网| 久久久精品视频欧州站| 日韩精品一区二区高清| 激激五月| 天天欧美| 日本日逼视频网| 欧美天天综合站| 日本精品999| www.91久久| 久久视频,这里只有精品| 欧美亚洲国产91在线| 99精品视频在线观看| 欧亚日韩综合精品国产| 浓厚中出中文字幕在线| 色av中文字| 97视频播放| 黄色高清无码无码破解免费暗网| 熟妇艹鸡八| 操逼操逼操| 五月丁香成人网| 亚洲se电影| 操操逼操操逼操操逼逼| 妇女视频网站| 影音先锋每日最新资源在线观看 | 成人熟女区| a片在线播放| 国产精品经典一卡久久久 | 夜夜躁狠狠躁日日躁av| 免费a在线播放v| 久久久久密臀视频| 1人人看人人摸人人操| 天天干天天日天天射黄色大片| 亚洲熟女诱惑| 激情丁香五月| www国产精品| 红杏大香蕉| 男人的天堂久久| 深田咏美亚洲精品福利社| 精品中文一区二区| 高清无码 国产精品| 9999九九九久久久| 国产AV毛片| 亚洲综合九| 中文字幕丝袜国产第一页不卡| 日欧美色| 国产亚洲性生活视频播放| 久久亚洲不卡一区二区三区| 久久成年片色大黄全免费网站| 亚洲天堂色图| 99久久国产精品免费高潮| 97人人中文网| 翔田千里无码中出中文字幕| 伊人精品视频| 欧美亚洲尤物久久| 久久精品男人的天堂| 中国东北熟女老太婆内谢| 日韩不卡网操逼中文字幕日韩| 最新三级网址| 职场同事知名国产国产精品久久欧美日韩 | 日韩国产不卡在线视频| 999 久久久| 欧美丝袜制服久久| 青青操日韩| 狂操嫩妻视频一区二区三区| 欧美v日韩v亚洲v最新在线| 色婷婷在线视频精品导航| 欧美不卡在线一区二区| 夜夜操中文字幕| 日韩激情啪啪| 国产97视频| 婷婷五月天久久精品视频一区二区三区 | 八戒无码国产午夜福利| 国产和美国毛片| 日韩无码专区| 久久精品一区二区一8| 99热导航| 亚洲偷拍自拍在线视频| 超碰97网站| 黄色不卡视频| 2018色综合天天操| 午夜操一操| 亚洲AO在线| 国产精品久久久久久久毛片1| 精品国产乱码久久久影院| 亚码激情| 91人妻做a观看视频| 精品在线78| 人妻激情另类| 两性色网| 色汉综合| 黄色十八禁| 国产67194| 麻豆综合一区av| 夜夜嗨一区二区三区三州加勒比| 欧美亚洲激情小说| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 99色悠悠| 欧美日韩操操操| 精品人妻久久久| 国产AV天美| 丁香九月激情啪| 国产91影院| 国内一区二区三区| 67194无码不卡| 精品区国产区一区二区三区| 天天日天天操天天射河南省| 啊嗯嗯啊好大好爽| 麻豆黄色五月天| 国产精品探花在线| 五月天我淫我色av| 天天久久久久久| 97色色国产视频| 色综合色色| 园内精品自拍视频在线播放| 亚洲 欧美 色图| 黄色十八禁| 中文字幕91综合| 性做久久久久久免费观看软件| a片在线播放| 91精品91久久久久77777| 少妇同性| 久久精品国产精品亚洲艾通辽熟妇| 人人做,人人操,人人摸| 婷婷性网| 蜜臀久久久国产| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 麻豆天美91| 龙兴卡官方查询| 欧美少妇一区二区三区| 国产精品无码在线| 色激情综合网站| 玖玖大干人妻| av操操不卡| 另类图片五月天| 欧美中出1| 成人八戒网站| 在线A日本| 中文字幕五月婷婷免费| 三男一女不戴套的A片| 色欧洲| 97ai亚洲| 亚洲综人| 俞拍自拍| 综合91网| 青苹果影院男人的天堂| 精品少妇后入一区二区三区四区人妻巨乳| 亚洲制服欧美另类内射| 中文字幕一区二区三区高清| 国产精品一区二区手机看片| 91综合中文字幕| 色色97爱| 日韩成人小视频| 熟女熟妇伦久久影院毛片一区二区 | 中文子幕一二三| 亚洲第91页| 99re95| 国产精品久久久蜜臀| 欧美嗯啊……在线观看视频免费| 五月婷婷丁香六月| 五月丁香影院| 日产狠狠干| 九九这里只有精品| 天天干天天狼在线视频| 能在线播放的国产三级| 最新岛国大片| 九九综合久久中文字幕| 秋霞成人做爱| 一区二区三区黄色片a| 国产野战露脸在线播放| 欧亚性爱在线视频| 成人a大片在线观看| 性影在线视频| 囯产操逼片| 精品性爱一区二区| 精品-91人妻子系列| 凹凸视频特色日本特黄| 玖玖婷婷五月天| 激情综合五月| 激情专区综合| 99久久久| 超碰 97国产熟女| 极品白嫩福利在线| 麻豆婷婷成人一二三| 9999亚洲电影| 九九超碰综合网| 亚洲熟女人妻中文字幕一区二区| 亚洲福利影院一区久久| 国产第12页| 91强热人妻| 日本99视频| 99自拍B亚洲| 91天天c| 人妻少妇无码| 亚洲色图综合| 在线欧美69V免费观看视频| 久久99人妖视频国产| 丁香五月综合| 亚州精品丝袜-不卡成人免费| 国产精品久久久久久久免牛肉蒲团| 一二三卡欧美日韩人妻免费精品| 日韩啪啪视频| 亚洲欧洲综合成人av一区| 视频分类 国内精品| 2020中文字幕| 乱久久久| 精品国产乱子伦一区二区三区,精品一| 国产精品人妻无码久久久老鸭窝| 国产女人与拘做受视频免费| 国产精品一区二区黄片| 亚洲精品丝袜| 久久久九九| 国产老太乱伦一区| 国产69精品久久久久99尤物| 亚洲欧美精品一区天堂久久 | 亚洲自拍97| 噜噜噜在线视频| 天天日天天爽| 大香蕉综合久久| 欧洲精品二区| 日韩操逼HD| 婷婷综合| 久久99精品国产| 一区二区不卡视| 色婷婷激一区二区三区| 精品少妇后入一区二区三区四区人妻巨乳 | 国产精品久久久久久久久AV大片| 久久大香蕉手机高清视频| 97国产伦理| 好色综合| 极品色www影院| 爱啪精品一区| 超碰97COm中文| 人人看欧美性爱| 少妇高潮99p| 99色在线| 八戒无码国产午夜福利| 久久,精品一二三| 劲爆欧美人妖三区91| 黄片www视频免费| 新版天堂中文资源8在线| 成人色女网| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 青青草国产欧美非洲黑人| 色情乱伦AV| 78久久久| 97超碰久久| 在线国产探花| 欧美日韩亚洲电影| 日韩免费福利在线观看| 亚洲黑丝在线| 黄页网站成人免费| 国产精品自拍xxxx| 国产午夜福利视频在线| 91欧美综合| 亚洲AV无码久久久国产精品| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 五月婷婷无码| 欧洲一区二区三区四区在线观看| 影音先锋日本乱伦| 亚洲 91 在线| 欧美激情高清性猛交| 亚洲黄网在哪免费看| 牛牛久久国产精品视频一二三| 欧美色宗合| 天天综合精品| 青青草色AV| 麻豆国产96在线| 欧美在线中M| 天天操夜夜操狠很操| 国精品一区二区三| 一区二区中文| renqi久久久久久久久久久久| 玖玖无码超碰| 日日碰狠狠添天天爽超| 熟妇国产免费一区| 日韩精品碰碰| 蜜桃色院一区久久| 国产亚洲精品精AV.| 91 丝袜在线| av网站在线看| 成人精品电影| 国产美女高潮| 久久发布国产伦子伦精品| 日本综合色图| 久久久艹艹艹| 天天看天天日| 日韩三级网址| 啪啪性爱免费视频| av情色影音| 美国日韩黄片| 99re8超碰| 一级AV性爱| a人欧美综合天堂麻豆| 国产最火爆久久国产网站网站 | 国产一区在线观看无码AV| 日日橹狠狠爱欧美超碰| 翔田千里无码中出中文字幕| a人欧美综合天堂麻豆| 老司机深夜18禁污污网站| 口爆欧美91| 小视频国产| 久久m| av无码精品久久久久| 中文无线日韩一区| 国产在线视视频有精品| 啊啊啊啊嗯嗯在线久久久| 婷婷五月天影院| 中文字幕黄色一起草| 丁香六月综合激情| 亚洲天天操| 夜夜操91744565| 日本1区2区不卡视频| 国产精品suv一区| 欧美一级国产一级| 91碰碰| 午夜大香蕉| 白丝AV| 亚洲色9| 久久毛卡| 青青草原香蕉日本Ap| 丁香五月天视频| 国产成年女黄特黄| 一区二区蜜臀| 伊人女女资源在线观看| 日韩欧美中文字幕搭讪巨乳美人妻视频| 婷婷亚洲综合| 日本中文熟女视频| 男人的亚洲天堂| 欧美日韩第一页| 欧美一二三| 伊人国产视频| 欧美一区二区三区日韩| 亚洲在线91| 亚州乱码中文字幕综合久久久| 手机在线A片| 激情综合 婷婷五月 红杏| 九九玖玖精品| 黄片com.| 亚洲色交| 欧美色日本| 日本污ww视频网站| 国产精品午夜AV完会免费| 亚洲综合图色在线| 色丁香久久| 成人国产视频在线观看| 欧美一区二区三区黄色影视| 97色碰| 欧美偷拍区| 蜜区区视频79 | 国产精品无码久久久久2025| 插插综合网天天影视网| 99re3这里只有精品| 欧美丝袜制服久久| 亚洲在线欧美| 97丝袜亚洲在线播放| 天天操天天插| 久久男人精品| 96麻豆精品一区二区三区| 亚洲欧洲色情高清| 99热亚洲| 操逼国产免费| 黄骗免费网站| 久久久久婷婷精品av电影| 又大又黄国产| 久久99人妖视频国产| 91在线免费精品视频| 美女网站黄页| 毛片17S| 免費黃色視頻觀看一| 日韩有码 一区二区三区| 33044男人的天堂深夜备| 一区二区三区四区姦女| 日韩无码专区| 日韩无码a片| 国产熟女精品一区二区| 日韩毛片9| 久久神马影院| 精品国产乱码久久久久A| 日韩 欧美 另类 人妻| 最新国产精品| 好湿好紧视频| 天天看高清麻豆| 98一区二区精品| 欧亚性爱视频免费看| 操操操五月天婷婷丁香影院| 91白嫩| 九九九九一级| 超碰97玖玖爱| 极品色社| 色五月婷婷中文字幕| 中日韩久久久| 无遮挡一级毛片视频免费的| 欧美在线啊啊| 久久大香蕉97| 长久操视频| 又摸又舔在线观看网站| 欧美性天天影视| 午夜男人一级A片7777| 18禁精品网站在线看| 国产粉嫩蜜臀av一区二区三区| 黑人性欧美| 精品二区三四区五电影 | 丁香色五月 97干| AA特级绝黄| 26UUU欧美激情一区二区| 91免费看一区二区三区| 四虎影视精品| 青青草在线视频播放器| 夜色97| 亚拍在线| 啊啊啊好舒服视频在线观看| 97超碰色屌| 97干com| 欧美黑人猛交春色影视大全| 五月丁香综合激情| 性爱av网站| 在线观看国产黄色| 91强热人妻| 日韩色| 强奸国产在线| 最好看的中文字幕在线2018| 亚洲日韩视频二区| 欧美 精品国产制服第一页| 久久久久久9| 97欧美日韩| 啊v在线观看视频| 啊啊啊啊好疼| 中文字幕AV中出| 欧美性高潮在线| 天天欧美97| 日韩欧美久久婷婷网站| 国产精品一二三| 欧美综合亚洲| av橘色网站| 国产美女高潮视频| 超碰97伊人| 91亚洲欧美激情| 好吊色青靑草| 97干97色| 久久精品一区二区一8| 一起草三级AV电影在线观看 | 国产久久一区二区三区野外在线| 久草精品热视| 蜜桃久久久久久久| 亚洲AV资源| 亚洲色图加勒比| 中国黑人三级片网站上区| 97 超碰 人人做 人人爱| 诱惑人妻欧美一区在线播放| 久久久性爱视频| 97爱b| 久久视频,这里只有精品| 色偷偷人人玩人人舔人人操人人摸人人爽| 老司机午夜精品福利视频一区二区| 呦女网站| 久久99干一本高清| 超碰在线91| 97超碰超碰| av一区二区三区不卡| 91深夜夜| 国产剧情AV不卡在线观看| 天天插天天操| AV中文在线可看| 蜜臀亚洲中文| 丝袜av一区二区三区| 啊啊啊在线看| juliaann欧美丝袜办公室| dy888午夜老子影视达达兔| 精品日韩人妻精品一二三区| 精品人妻一区二区视频| 欧美性爱一级操| 婷婷五月天激情网| 久久久久一本一区二区青青蜜月| 日日做夜狠狠爱欧美黑人| 国产日韩中文字幕欧美| 久久超碰日韩精品| 欧美自拍偷拍综合图片| 欧美视频一区二区在线| 日本狠狠干| 亚洲AO在线| 国产一| 天天综合欧美| 人妻少妇被猛烈进入中| 五月丁香婷婷综合网| 97操97色| 欧美在线中M| 夜夜爽夜夜操| 中国一级特黄大片护士| 日韩中文字幕二区| 日本人妻一区二区| 亚洲的天堂网| 99re这里只有| 无码精品久久| 91麻豆va国产精品| 午夜福利久久久噜久噜久久综合 | 婷婷深爱五月| 伊人久久亚洲中文字幕| 超碰97首页| 久久超碰97| 成年女人黄网站| 狠狠干狠狠干| 美女AV一区二区| 99热婷婷一区二区三| 天天狠操| 人人操av| 夜草欧美| 性91| 一区二区影院| 亚洲 图片 综合91| 日本黄页视频在线观看| 麻豆久久一区二区三区| 在线观看亚洲专区| 99re6国产精品99re在线| 人妻无码一区二区三区久久99| 亚洲学生妹高清av| 成人福利视频网| 欧美性,亚州色| 91 偷| 国产AV毛片| 日韩伦理视频| 四虎精品永久在线观看| 岛国在线免费视频| 亚洲天堂综合AV| 国产人人干| 桃花色综合影院| 久热这里| 国产吹潮女在线观看| 欧美高清无码免费视频高清版| 成人综合久久精品色婷婷| 狠狠躁天天躁日日躁| 91熟女视频| 99日韩| 天美一区在线| 天堂69亚洲精品中文字| 五月丁香综合网| 国产AV人人夜夜澡人人爽麻豆| 无码高清操逼| 综合五月天| 91n.欧美| 免费精品中文字幕| 大香蕉 222| 啊啊啊啊操死我| 亚洲AV无码乱码在线观看性色| 清清草影| 视频一区二区三区精品| 久久国产三区| 亚洲男人天堂网站| 尤物一级在线免费观看| 欧美少妇高潮久久91| 网站A V在线| 国产欧美精品日韩区二区麻豆天美| 久久久久深夜无码| 韩日性爱av| 99热aaa| 最新日本中文字幕| 亚洲精品 大香蕉| 91国产丝袜白虎| 天天色播亚洲综合网站| 噜噜噜亚洲精品| 亚洲欧洲综合成人av一区| 粉嫩国产精品久久久| 欧美激情一区| 亚洲av夫妻操穴网| 久久久久久九九九九九| 日本黄 R色 成 人网站| 国产蜜臀在线| 97国产高清视频在线观看| 人妻内射一区二区在线视频| 在线岛国新天堂8| 中文字幕乱碼在线| 国产自制av蜜乳| 泰国AV在线观看| 久久只有精品| 日本 成 人 小说 电影 一区二区| 日韩性色| 激情深爱五月天| 精品69网| 97精品国产97久久久久久| 午夜精品久久久久久久久久久久久 | 密臀成人视频久久久| 在线国产一区二区av| 亚州国产成人精品女人久久| 婷婷丁香五月天综合东京热| 亚州国产成人精品女人久久 | 欧美日韩999| 99re视频在线播放青草| 依人大香蕉| 啪啪啪亚欧美视频| 超碰人人乐97| 久久精品国产亚洲5555| 97干色天堂| 日本一区视频在线观看| 久操在97| 美女一区二区国产精品| 伊人在线大香蕉视频久久| 国产精品自产拍在线观看社区| 亚洲精品九九九九九九| 久久综合五月天| 久久超碰网| 偷拍亚洲高清图片| 国内毛片无遮挡国产| 欧美亚洲涩涩| 图片区小说区| 蜜臀AV一区二区三区| 中文字幕一区av| 人妻少妇久久中文字幕一区二区 麻豆 | 亚洲Av诱惑| 中文字幕日韩人妻视频一区二区三区 | 久久男女激情视频网站| 亚洲美腿丝袜香蕉影视欧美成人| 色五月首页| 蜜臀久久99精品久久久久| 亚射在线| 亚洲蜜乳av| 亚欧美无遮挡| 大香蕉97久久| 国产美女自拍AV| 天欧美在线|