日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

自建AI模型網(wǎng)關(guān):從轉(zhuǎn)發(fā)工具到成本治理層的實(shí)戰(zhàn)改造

自建AI模型網(wǎng)關(guān):從轉(zhuǎn)發(fā)工具到成本治理層的實(shí)戰(zhàn)改造 自建AI模型網(wǎng)關(guān)這件事我得從一次并不風(fēng)光的對(duì)賬說(shuō)起。上個(gè)月財(cái)務(wù)把模型API賬單甩到我桌上我看了一眼整個(gè)上半月的費(fèi)用比去年季度總額還高。我們的網(wǎng)關(guān)明明上線了把所有模型調(diào)用都統(tǒng)一走了網(wǎng)關(guān)還做了轉(zhuǎn)發(fā)、鑒權(quán)、日志理論上一切盡在掌控怎么就燒出去這么多錢后來(lái)我把這幾周的調(diào)用記錄翻了個(gè)底朝天才慢慢意識(shí)到一個(gè)很扎心的事實(shí)你把流量收攏到自己的AI模型網(wǎng)關(guān)只是把事情“看清楚”了并沒有把成本“管住”。這個(gè)網(wǎng)關(guān)如果只做轉(zhuǎn)發(fā)本質(zhì)上就是一條更粗的管道模型貴不貴、調(diào)用合不合理、重復(fù)請(qǐng)求多不多這些真正的成本問題一個(gè)都沒碰。這篇文章就把我這次自建AI模型網(wǎng)關(guān)踩過的坑以及后來(lái)從“轉(zhuǎn)發(fā)工具”硬改成“成本治理層”的過程完整記錄下來(lái)希望能幫到正在自建或準(zhǔn)備自建網(wǎng)關(guān)的團(tuán)隊(duì)。1. 自建AI模型網(wǎng)關(guān)我當(dāng)初為什么這么干1.1 沒有網(wǎng)關(guān)之前業(yè)務(wù)側(cè)的模型調(diào)用亂成什么樣我們團(tuán)隊(duì)最初面臨的局面估計(jì)很多公司都一樣多個(gè)業(yè)務(wù)線都在做AI功能有智能客服、文本摘要、搜索排序還有幾個(gè)內(nèi)部效率工具。每一條業(yè)務(wù)線都自己申請(qǐng)模型API的Key自己連供應(yīng)商OpenAI、國(guó)內(nèi)大模型廠商等等。代碼里到處都是散裝的模型調(diào)用你根本不知道今天有多少個(gè)Key在線上跑。這種狀態(tài)帶來(lái)的問題不是一天兩天了。首先是Key管理混亂權(quán)限收不住有人離職了Key還在線上用換也不是不換也不是。其次是模型選擇完全靠自覺有的業(yè)務(wù)明明只是做一個(gè)文本分類順手就把旗艦?zāi)P团渖狭擞械臉I(yè)務(wù)為了省事把幾千行歷史聊天記錄一并塞進(jìn)上下文根本不看token消耗。再就是失敗重試策略不統(tǒng)一有一次一個(gè)下游供應(yīng)商抖動(dòng)有個(gè)業(yè)務(wù)的重試邏輯一口氣打了20遍費(fèi)用嘩嘩地漲。出了問題還特別難排查到底哪個(gè)業(yè)務(wù)、哪個(gè)場(chǎng)景、哪個(gè)用戶在調(diào)用完全沒有一個(gè)統(tǒng)一入口能看清楚。我當(dāng)時(shí)就提了一個(gè)方案自建一個(gè)AI模型網(wǎng)關(guān)把模型調(diào)用的入口統(tǒng)一收斂到一個(gè)服務(wù)上。核心目標(biāo)有三個(gè)統(tǒng)一接入、統(tǒng)一鑒權(quán)、統(tǒng)一日志。說(shuō)得更直白一點(diǎn)我先不看成本優(yōu)化先把所有流量集中到一個(gè)口子上讓團(tuán)隊(duì)能知道每天有多少人在調(diào)用、調(diào)用的是什么模型、有沒有報(bào)錯(cuò)。這個(gè)目標(biāo)在當(dāng)時(shí)看來(lái)非常合理大家也都覺得早該這么干了。1.2 初版網(wǎng)關(guān)設(shè)計(jì)把“轉(zhuǎn)發(fā)”做好我就以為萬(wàn)事大吉初版網(wǎng)關(guān)設(shè)計(jì)得很簡(jiǎn)單我當(dāng)時(shí)的想法是只要能讓業(yè)務(wù)方把代碼從直連模型API改成請(qǐng)求網(wǎng)關(guān)就算成功。技術(shù)選型上我用了一個(gè)輕量的中間層服務(wù)Python FastAPI加Redis接收所有模型請(qǐng)求校驗(yàn)API Key然后把請(qǐng)求原樣轉(zhuǎn)發(fā)給對(duì)應(yīng)的模型供應(yīng)商拿到響應(yīng)后再原樣透?jìng)鹘o調(diào)用方。核心代碼攤開看其實(shí)就是一個(gè)轉(zhuǎn)發(fā)層。from fastapi import FastAPI, Header, HTTPException import httpx app FastAPI() UPSTREAM_MAP { openai: https://api.openai.com/v1/chat/completions, qwen: https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation, } app.post(/v1/chat/completions) async def chat_completions(request: dict, x_api_key: str Header(...), x_upstream: str Header(openai)): # 鑒權(quán)校驗(yàn)這個(gè) Key 是否有權(quán)限調(diào)用 if not check_key(x_api_key): raise HTTPException(status_code401, detailinvalid key) # 轉(zhuǎn)發(fā)把請(qǐng)求體原樣打給上游 upstream_url UPSTREAM_MAP.get(x_upstream) if not upstream_url: raise HTTPException(status_code400, detailunknown upstream) async with httpx.AsyncClient(timeout60) as client: resp await client.post(upstream_url, jsonrequest, headers{ Authorization: fBearer {get_upstream_key(x_upstream)} }) return resp.json()當(dāng)時(shí)我還挺滿意因?yàn)檫@個(gè)服務(wù)上線很快兩天就接完了主要業(yè)務(wù)。上線第一周所有請(qǐng)求都正常流轉(zhuǎn)日志也統(tǒng)一了業(yè)務(wù)方反饋接入成本很低只要把base_url換掉就行。我一度以為這個(gè)項(xiàng)目已經(jīng)成了接下來(lái)只需要修修補(bǔ)補(bǔ)。1.3 上線兩周代價(jià)立刻出現(xiàn)了結(jié)果就是文章開頭那一幕月底對(duì)賬的時(shí)候賬單不僅沒降反而比上個(gè)月還高。我第一反應(yīng)是網(wǎng)關(guān)有Bug或者是有人惡意刷接口趕緊拉日志出來(lái)查。查完我才明白網(wǎng)關(guān)確實(shí)把所有調(diào)用收攏了但它本質(zhì)上只是把費(fèi)用從多個(gè)供應(yīng)商賬單收攏到了一個(gè)出口。業(yè)務(wù)方以前怎么調(diào)用現(xiàn)在還是怎么調(diào)用以前用貴模型拍腦袋現(xiàn)在依然用貴模型拍腦袋以前重復(fù)請(qǐng)求反復(fù)打現(xiàn)在依然重復(fù)請(qǐng)求反復(fù)打。換句話說(shuō)網(wǎng)關(guān)幫我把問題的可見度提高了卻沒幫我解決任何一個(gè)成本問題。你看到每一筆token在消耗但你阻止不了它們。這種感覺很難受就像裝了個(gè)水表發(fā)現(xiàn)家里漏水很嚴(yán)重但你手上沒有扳手關(guān)不掉閥門。那段時(shí)間我反復(fù)跟團(tuán)隊(duì)說(shuō)一句話“轉(zhuǎn)發(fā)”解決的是技術(shù)通道問題而“成本浪費(fèi)”是治理問題通道通了不代表成本會(huì)被管住。后來(lái)我把這次經(jīng)歷做了一次復(fù)盤核心結(jié)論是一個(gè)只負(fù)責(zé)轉(zhuǎn)發(fā)的AI模型網(wǎng)關(guān)充其量是個(gè)API代理層它沒有路由、沒有緩存、沒有配額、沒有計(jì)量就談不上成本治理。我決定開始改造。2. 只做轉(zhuǎn)發(fā)成本浪費(fèi)到底出在哪2.1 貴模型被當(dāng)成默認(rèn)選項(xiàng)殺雞一直在用牛刀成本浪費(fèi)的第一個(gè)大頭是模型選型嚴(yán)重不合理。我拉了一周的調(diào)用日志統(tǒng)計(jì)各模型的使用占比發(fā)現(xiàn)幾個(gè)旗艦?zāi)P驼剂丝傉{(diào)用量的六成以上。但實(shí)際上很多業(yè)務(wù)場(chǎng)景根本不需要那么強(qiáng)的模型比如文本標(biāo)簽分類、關(guān)鍵詞抽取、意圖識(shí)別、格式改寫這類任務(wù)用中等規(guī)格的模型完全能打。這里算一筆簡(jiǎn)單的賬假設(shè)某旗艦?zāi)P洼斎雰r(jià)格是15元/百萬(wàn)token輸出價(jià)格是60元/百萬(wàn)token一個(gè)便宜模型輸入3元/百萬(wàn)token輸出15元/百萬(wàn)token。一個(gè)文本分類場(chǎng)景每天調(diào)用10萬(wàn)次每次平均輸入2000 token、輸出200 token。旗艦?zāi)P鸵惶斓某杀敬蠹s是10萬(wàn)乘以2000除以100萬(wàn)乘以15再加上200除以100萬(wàn)乘以60算下來(lái)是4200元。便宜模型一天的成本是10萬(wàn)乘以2000除以100萬(wàn)乘以3再加上200除以100萬(wàn)乘以15只有900元。一天就差3300元一個(gè)月就近10萬(wàn)元。而這只是一個(gè)場(chǎng)景。這種浪費(fèi)的根源在于業(yè)務(wù)方?jīng)]有成本和模型能力匹配的意識(shí)。對(duì)他們來(lái)說(shuō)我在代碼里寫死了旗艦?zāi)P湍芡瓿扇蝿?wù)就行不會(huì)有人關(guān)心token單價(jià)。網(wǎng)關(guān)如果不提供路由能力它就永遠(yuǎn)只能眼睜睜看著這些請(qǐng)求打向最貴的模型。2.2 重復(fù)請(qǐng)求反復(fù)計(jì)費(fèi)同一個(gè)Prompt燒了好幾遍第二個(gè)大頭是重復(fù)請(qǐng)求。我發(fā)現(xiàn)有些接口一天之內(nèi)傳進(jìn)來(lái)的Prompt幾乎完全一樣比如“判斷用戶這句話是否屬于投訴”“給這篇文檔生成一段摘要”這類任務(wù)的輸入高度相似但因?yàn)闆]有緩存每一次都實(shí)打?qū)嵈蚪o了模型API每一分錢都在重復(fù)計(jì)費(fèi)。舉一個(gè)真實(shí)案例我查日志的時(shí)候看到一個(gè)接口一天內(nèi)完全相同的Prompt跑了八千多次。單次調(diào)用成本按2分錢算一天就白燒160元。你可能覺得160元不算多但同樣的情況在十幾個(gè)接口里都存在有些更夸張一天重復(fù)調(diào)用上萬(wàn)次。積少成多一個(gè)月下來(lái)就是幾萬(wàn)塊。這里面的問題在于很多內(nèi)部工具和自動(dòng)化流程的調(diào)用模式是高度可預(yù)測(cè)的。同一個(gè)模板、同一份輸入隔幾分鐘跑一次結(jié)果幾乎不會(huì)變。對(duì)這類請(qǐng)求網(wǎng)關(guān)如果只是轉(zhuǎn)發(fā)它就是一臺(tái)沒有感情的“燒錢機(jī)器”但如果有一個(gè)精確緩存命中后直接返回歷史結(jié)果這部分成本就能直接歸零。2.3 重試與并發(fā)放大了損失模型一抖動(dòng)費(fèi)用翻倍第三個(gè)大頭是重試和并發(fā)帶來(lái)的費(fèi)用放大器。當(dāng)時(shí)網(wǎng)關(guān)里配了一個(gè)很粗暴的邏輯只要上游返回超時(shí)或5xx就自動(dòng)重試3次。這個(gè)策略在單次請(qǐng)求上看起來(lái)沒什么問題但一旦遇到模型供應(yīng)商大規(guī)模抖動(dòng)所有業(yè)務(wù)同時(shí)開始重試問題就非??植懒?。舉個(gè)例子某次上游模型連續(xù)報(bào)警有20個(gè)業(yè)務(wù)同時(shí)處于失敗狀態(tài)每個(gè)業(yè)務(wù)都按約定重試3次瞬時(shí)流量直接擴(kuò)大了4倍。結(jié)果就是模型供應(yīng)商更慢、更多請(qǐng)求超時(shí)然后又有一些重試被觸發(fā)。賬單自然也跟著水漲船高。那個(gè)時(shí)候我才意識(shí)到重試策略不是越簡(jiǎn)單越好而是必須配合退避算法和熔斷機(jī)制。真正應(yīng)該做的是快速失敗、有限重試、及時(shí)切走流量。除了重試還有并發(fā)問題。沒有限流的網(wǎng)關(guān)面對(duì)突發(fā)流量會(huì)全量轉(zhuǎn)發(fā)給上游結(jié)果上游被壓垮失敗的請(qǐng)求又開始重試整個(gè)鏈路進(jìn)入惡性循環(huán)。如果限了流至少能保證一部分請(qǐng)求正常完成另一部分快速返回“稍后再試”而不是把費(fèi)用白白燒在失敗請(qǐng)求上。2.4 沒有配額與預(yù)算熔斷接口在裸奔最后一個(gè)大頭也是最容易被忽視的沒有配額和預(yù)算控制。我一直到賬單爆炸之后才意識(shí)到網(wǎng)關(guān)對(duì)調(diào)用方是完全信任的只要Key有效你想調(diào)多少次就調(diào)多少次想調(diào)多貴的模型就調(diào)多貴的模型。這就導(dǎo)致了一些典型的失控場(chǎng)景。測(cè)試人員對(duì)一個(gè)內(nèi)部接口做壓測(cè)一個(gè)小時(shí)打出幾十萬(wàn)次調(diào)用某個(gè)定時(shí)任務(wù)因?yàn)閿?shù)據(jù)問題陷入死循環(huán)一晚上把所有數(shù)據(jù)重新跑了一遍某個(gè)業(yè)務(wù)上線了新的實(shí)驗(yàn)策略忘了關(guān)開關(guān)把流量全部切到旗艦?zāi)P蜕吓芰艘徽?。這些場(chǎng)景沒有任何一道閘門能攔住。我一直覺得成本治理的關(guān)鍵不只是看每一次調(diào)用而是要把每次調(diào)用的“額度”算清楚。就像公司預(yù)算一樣每個(gè)業(yè)務(wù)線每個(gè)月有多少模型調(diào)用額度用完了是降級(jí)還是停止必須提前定好規(guī)則。否則等賬單出來(lái)再查就已經(jīng)太晚了。3. 從“轉(zhuǎn)發(fā)”到“經(jīng)營(yíng)成本”網(wǎng)關(guān)必須做什么3.1 模型路由按任務(wù)、按場(chǎng)景、按成本分級(jí)既然只轉(zhuǎn)發(fā)不行那網(wǎng)關(guān)第一步要做的就是模型路由。核心原則很簡(jiǎn)單能用便宜模型解決的絕不調(diào)用貴模型能用小模型解決的場(chǎng)景絕不上旗艦?zāi)P?。把“業(yè)務(wù)要什么任務(wù)”和“哪個(gè)模型適合這個(gè)任務(wù)”對(duì)應(yīng)起來(lái)。路由的維度可以根據(jù)實(shí)際情況來(lái)定。我后來(lái)在網(wǎng)關(guān)里至少會(huì)考慮這幾個(gè)維度。第一是業(yè)務(wù)場(chǎng)景調(diào)用方請(qǐng)求時(shí)要傳一個(gè)scene字段比如text_classify、summary、code_gen、chat_demo網(wǎng)關(guān)根據(jù)場(chǎng)景直接決定默認(rèn)模型。第二是上下文長(zhǎng)度傳入的Prompt或者歷史消息非常長(zhǎng)時(shí)自動(dòng)切到支持更大上下文且單價(jià)更合適的模型如果輸入很短就走延遲低、價(jià)格便宜的模型。第三是用戶等級(jí)免費(fèi)用戶和付費(fèi)用戶可以走不同檔次的模型這不只是為了省錢也是產(chǎn)品策略的一部分。第四是失敗切換上游模型不可用時(shí)自動(dòng)路由到備選模型而不是直接報(bào)錯(cuò)。我踩過的一個(gè)坑是路由規(guī)則一開始不要太激進(jìn)。先做觀測(cè)記錄每個(gè)場(chǎng)景真實(shí)調(diào)用量、token消耗、模型效果運(yùn)行一兩周之后再根據(jù)數(shù)據(jù)調(diào)整路由策略。沒有數(shù)據(jù)支撐的路由規(guī)則很容易拍腦袋拍完就出問題。3.2 緩存精確緩存先落地語(yǔ)義緩存按需開緩存是解決重復(fù)請(qǐng)求最直接的手段。我把緩存分成兩檔來(lái)設(shè)計(jì)。第一檔是精確緩存也就是請(qǐng)求體完全一樣時(shí)直接返回歷史結(jié)果。這個(gè)實(shí)現(xiàn)最簡(jiǎn)單也最容易看到效果。我在網(wǎng)關(guān)里對(duì)model、messages、關(guān)鍵參數(shù)做一個(gè)哈希Redis里存一份命中就直接返回完全不再打上游。第二檔是語(yǔ)義緩存字面不完全一樣但語(yǔ)義相同的請(qǐng)求比如“幫我總結(jié)一下這個(gè)文檔”和“請(qǐng)把這篇文檔做個(gè)摘要”可以通過embedding相似度來(lái)命中。語(yǔ)義緩存很誘人因?yàn)樗芨采w更多請(qǐng)求但風(fēng)險(xiǎn)也高。一是embedding計(jì)算本身有成本和延遲二是相似度閾值調(diào)不好容易誤命中返回一個(gè)不完全匹配的舊答案業(yè)務(wù)方會(huì)投訴質(zhì)量。所以我的建議是語(yǔ)義緩存只對(duì)特定高頻、結(jié)果相對(duì)穩(wěn)定的場(chǎng)景開啟并且做灰度驗(yàn)證。還有一個(gè)原則要記住流式輸出、個(gè)性化回答、涉及隱私或合規(guī)要求的請(qǐng)求不適合做緩存。流式輸出要緩存必須等完整結(jié)果生成完首token延遲會(huì)變高個(gè)性化回答幾乎不會(huì)有重復(fù)隱私內(nèi)容留在緩存里本身就是隱患。3.3 限流、重試與降級(jí)把失敗成本控住轉(zhuǎn)發(fā)模式下的重試是災(zāi)難放大器所以網(wǎng)關(guān)必須具備三個(gè)能力限流、重試策略、熔斷降級(jí)。限流用令牌桶就夠了不用搞太復(fù)雜。每個(gè)業(yè)務(wù)、每個(gè)場(chǎng)景設(shè)置一個(gè)QPS上限超過部分直接排隊(duì)或快速失敗避免突發(fā)流量打爆上游也避免費(fèi)用失控。重試策略一定要改不能無(wú)限重試默認(rèn)最多一次并且要做指數(shù)退避第一次失敗等0.5秒第二次失敗等1秒中間加隨機(jī)抖動(dòng)防止所有請(qǐng)求同時(shí)重試。熔斷和降級(jí)是配套的。當(dāng)某個(gè)上游模型連續(xù)失敗率達(dá)到一定閾值比如30秒內(nèi)錯(cuò)誤率超過50%就把這個(gè)上游標(biāo)記為熔斷狀態(tài)后續(xù)請(qǐng)求自動(dòng)切換到備用模型。降級(jí)則是在配額用盡時(shí)使用某個(gè)業(yè)務(wù)的預(yù)算花完了可以降級(jí)到更便宜的模型繼續(xù)提供服務(wù)而不是直接拒絕用戶。這樣用戶感知不到服務(wù)中斷成本也不會(huì)失控。3.4 成本計(jì)量與標(biāo)簽體系讓每筆token都有歸屬前面說(shuō)的路由、緩存、配額都依賴一件事情你必須知道錢花在了哪里。所以我后來(lái)在網(wǎng)關(guān)里加了全面的成本計(jì)量每個(gè)請(qǐng)求處理前后都記錄一條日志包含時(shí)間戳、業(yè)務(wù)線、場(chǎng)景、用戶ID、模型名、prompt_tokens、completion_tokens、總token、費(fèi)用估算、緩存是否命中、命中了哪條路由規(guī)則等等。這些數(shù)據(jù)落到一張明細(xì)表里每天定時(shí)聚合成成本報(bào)表。只有有了標(biāo)簽體系你才能回答“哪個(gè)業(yè)務(wù)最燒錢”“哪個(gè)模型最浪費(fèi)”“哪個(gè)用戶一天就把配額燒光了”這些問題。沒有計(jì)量的治理都是空話這句話我后來(lái)反復(fù)跟團(tuán)隊(duì)講。網(wǎng)關(guān)不是裝完路由和緩存就完事了它得像一個(gè)經(jīng)營(yíng)儀表盤每天都讓你看見成本的流向。4. 關(guān)鍵方案落地路由、緩存、配額怎么實(shí)現(xiàn)4.1 整體架構(gòu)調(diào)整從純轉(zhuǎn)發(fā)到多級(jí)調(diào)度改造后的網(wǎng)關(guān)不再是一個(gè)簡(jiǎn)單的轉(zhuǎn)發(fā)層而是變成了一個(gè)多級(jí)調(diào)度器。每個(gè)請(qǐng)求進(jìn)入網(wǎng)關(guān)后的處理流程大致是第一步鑒權(quán)解析API Key和請(qǐng)求頭第二步記錄原始請(qǐng)求元數(shù)據(jù)第三步路由模塊根據(jù)場(chǎng)景、上下文長(zhǎng)度、用戶等級(jí)選擇模型第四步查緩存命中就直接返回第五步做配額檢查判斷這筆請(qǐng)求是否允許繼續(xù)消耗預(yù)算第六步調(diào)用上游帶超時(shí)、重試和熔斷邏輯第七步記錄計(jì)量數(shù)據(jù)寫成本日志。這個(gè)流程看著環(huán)節(jié)多但每一步都是輕量操作實(shí)際增加的時(shí)間在幾十毫秒以內(nèi)還是能接受的。更重要的是這個(gè)架構(gòu)讓網(wǎng)關(guān)從“搬運(yùn)工”變成了“調(diào)度中心”成本控制能力一下子就有了。4.2 模型路由實(shí)現(xiàn)示例請(qǐng)求級(jí)模型選擇路由模塊我建議用配置驅(qū)動(dòng)不要硬編碼在代碼里。可以在配置中心放一份路由規(guī)則運(yùn)營(yíng)人員直接調(diào)整不需要重新發(fā)布服務(wù)。下面這個(gè)示例簡(jiǎn)化了配置格式核心是講清楚思路。# 路由規(guī)則可以在配置中心運(yùn)行期更新 ROUTING_RULES [ {scene: text_classify, model: fast-model, max_input_chars: 4000}, {scene: extract, model: mid-model, max_input_chars: 8000}, {scene: code_gen, model: flagship-model, max_input_chars: 16000}, ] DEFAULT_MODEL fast-model LONG_CONTEXT_MODEL long-context-model def route_by_scene(scene: str, input_text: str) - str: normalized_scene (scene or default).strip().lower() for rule in ROUTING_RULES: if rule[scene] normalized_scene: if len(input_text) rule[max_input_chars]: return rule[model] # 輸入過長(zhǎng)專門切到支持長(zhǎng)上下文的模型 return LONG_CONTEXT_MODEL return DEFAULT_MODEL這里的關(guān)鍵點(diǎn)是業(yè)務(wù)方在接入網(wǎng)關(guān)時(shí)必須在請(qǐng)求頭或請(qǐng)求體里帶上scene字段。如果有些老接口不方便改也可以先通過URL路徑映射比如/v1/chat/completions/summary這樣的路徑直接對(duì)應(yīng)summary場(chǎng)景??傊酚傻囊罁?jù)越清晰后續(xù)調(diào)整越容易。4.3 緩存落地示例用Redis做精確緩存精確緩存是最容易上手的我用Redis的字符串結(jié)構(gòu)就夠了。核心思路是把“模型名、消息列表、關(guān)鍵參數(shù)”三個(gè)要素序列化后做SHA256哈希作為Redis Key緩存值就是模型返回的結(jié)果。import hashlib import json import redis r redis.Redis(hostlocalhost, port6379, db0) def _cache_key(model: str, messages: list, params: dict) - str: raw json.dumps({model: model, messages: messages, params: params}, sort_keysTrue) return model_cache: hashlib.sha256(raw.encode()).hexdigest() def get_cached_response(model: str, messages: list, params: dict): key _cache_key(model, messages, params) cached r.get(key) if cached: return json.loads(cached) return None def set_cached_response(model: str, messages: list, params: dict, response: dict, ttl: int 3600): key _cache_key(model, messages, params) r.setex(key, ttl, json.dumps(response))使用的時(shí)候在處理請(qǐng)求前先查緩存查到就直接返回查不到再調(diào)模型API拿到結(jié)果后寫緩存。TTL我一般不會(huì)設(shè)太長(zhǎng)一小時(shí)到一天根據(jù)場(chǎng)景調(diào)。這里有個(gè)小技巧對(duì)于明顯包含時(shí)間戳、隨機(jī)數(shù)的請(qǐng)求緩存命中率會(huì)很低??梢栽谏删彺鍷ey前先做一層歸一化把時(shí)間戳、隨機(jī)數(shù)、無(wú)關(guān)緊要的空格等字段剔除再生成Key。這個(gè)操作能明顯提高命中率。4.4 配額與預(yù)算控制示例先估算費(fèi)用再?zèng)Q定放不放行配額控制的思路是基于預(yù)算上限做前置判斷。每次請(qǐng)求進(jìn)來(lái)之前先根據(jù)模型和token數(shù)估算本次費(fèi)用然后用Redis中的計(jì)數(shù)器看當(dāng)前業(yè)務(wù)當(dāng)天已經(jīng)消耗了多少如果加上本次費(fèi)用會(huì)超過每日限額就走降級(jí)模型或者直接拒絕。下面是一段精簡(jiǎn)的示例代碼。import time QUOTA_KEY quota:cost:{biz}:{day} def check_and_consume_quota(biz: str, estimated_cost: float, daily_limit: float) - bool: day time.strftime(%Y-%m-%d) key QUOTA_KEY.format(bizbiz, dayday) used float(r.get(key) or 0.0) if used estimated_cost daily_limit: return False r.incrbyfloat(key, estimated_cost) return True如果配額不足網(wǎng)關(guān)可以根據(jù)策略決定是返回429讓業(yè)務(wù)方感知還是自動(dòng)降級(jí)到便宜模型。我建議在初期先做“拒絕”模式把問題暴露出來(lái)等業(yè)務(wù)穩(wěn)定了再切“降級(jí)”模式避免用戶在無(wú)感知的情況下拿到質(zhì)量下降的答案。成本明細(xì)表的結(jié)構(gòu)也很重要我用的是MySQL核心字段包括調(diào)用時(shí)間、業(yè)務(wù)線、場(chǎng)景、用戶ID、模型、prompt_tokens、completion_tokens、total_tokens、估算費(fèi)用、緩存是否命中、路由命中的規(guī)則名、原始響應(yīng)JSON。有了這張表就可以寫各種聚合SQL來(lái)做成本分析。CREATE TABLE model_call_bill ( id BIGINT AUTO_INCREMENT PRIMARY KEY, call_time DATETIME NOT NULL, biz VARCHAR(64) NOT NULL, scene VARCHAR(64) NOT NULL, user_id VARCHAR(128), model VARCHAR(64) NOT NULL, prompt_tokens INT DEFAULT 0, completion_tokens INT DEFAULT 0, total_tokens INT DEFAULT 0, cost_cny DECIMAL(10, 4) DEFAULT 0, cache_hit TINYINT DEFAULT 0, route_rule VARCHAR(128), raw_response JSON, KEY idx_biz_time (biz, call_time), KEY idx_model_time (model, call_time) );SELECT biz, model, SUM(total_tokens) AS total_tokens, SUM(cost_cny) AS total_cost FROM model_call_bill WHERE call_time NOW() - INTERVAL 7 DAY GROUP BY biz, model ORDER BY total_cost DESC LIMIT 20;5. 踩坑記錄與問題排查速查5.1 緩存命中率為什么上不去緩存落地之后我遇到的第一個(gè)問題是命中率遠(yuǎn)遠(yuǎn)低于預(yù)期。查了一圈才發(fā)現(xiàn)很多業(yè)務(wù)在Prompt里帶了時(shí)間戳或者隨機(jī)字符串比如“今天是2025年6月1日請(qǐng)分析以下內(nèi)容”每次請(qǐng)求內(nèi)容都不一樣精確緩存當(dāng)然永遠(yuǎn)不命中。解決方法是做請(qǐng)求歸一化。在生成緩存Key之前先把明顯不影響結(jié)果的噪聲字段去掉比如時(shí)間戳、隨機(jī)ID、無(wú)意義的空格和換行。如果還是命中率低就要看業(yè)務(wù)場(chǎng)景是否真的適合緩存。有些場(chǎng)景每次輸入都完全不同硬上語(yǔ)義緩存也沒用沒必要為了緩存而緩存。語(yǔ)義緩存我也試了踩了不少坑。相似度閾值設(shè)高了命中很少形同虛設(shè)閾值設(shè)低了隔三差五返回一個(gè)語(yǔ)義上差不多但實(shí)際內(nèi)容有偏差的舊結(jié)果業(yè)務(wù)方立刻投訴質(zhì)量。最后我學(xué)到的經(jīng)驗(yàn)是語(yǔ)義緩存只對(duì)低風(fēng)險(xiǎn)、模板化的場(chǎng)景開比如“產(chǎn)品功能介紹”“內(nèi)部知識(shí)問答”這類結(jié)果和措辭不完全一樣沒關(guān)系但不會(huì)出大錯(cuò)的場(chǎng)景。對(duì)生成代碼、醫(yī)療診斷、法律文本這類高風(fēng)險(xiǎn)場(chǎng)景我堅(jiān)決不開。5.2 路由規(guī)則上線后效果回退了路由規(guī)則剛上線的時(shí)候其中一個(gè)文本摘要場(chǎng)景被我強(qiáng)制切到了便宜模型。省是真的省了一個(gè)月少了將近八成的token費(fèi)用但業(yè)務(wù)方很快反饋摘要質(zhì)量偶發(fā)下降有些長(zhǎng)文檔的提煉不夠準(zhǔn)。說(shuō)白了便宜模型不是不行而是在某些邊界場(chǎng)景下穩(wěn)定性不如旗艦?zāi)P?。這件事給我的教訓(xùn)是路由規(guī)則的調(diào)整必須灰度。不能一把梭把整個(gè)場(chǎng)景切過去而是先放5%的流量對(duì)比效果和成本再逐步加大比例。同時(shí)要給每個(gè)場(chǎng)景配一個(gè)白名單某幾個(gè)核心客戶或者高價(jià)值用戶始終走旗艦?zāi)P推渌俗弑阋四P?。另外還要設(shè)置一鍵回退開關(guān)一旦質(zhì)量指標(biāo)惡化馬上切回原模型不要讓業(yè)務(wù)方在那里干著急。5.3 token計(jì)量口徑不一致對(duì)不上賬成本統(tǒng)計(jì)做完之后我發(fā)現(xiàn)網(wǎng)關(guān)里算出來(lái)的費(fèi)用和模型供應(yīng)商賬單對(duì)不上差得還挺多。排查下來(lái)原因很多不同模型對(duì)token的定義不一樣有的按字符有的按token有的對(duì)緩存命中token打折有的把系統(tǒng)提示詞算在輸入里有的不算。如果我們自己在網(wǎng)關(guān)里估算token用字符數(shù)除以4這種粗略方式誤差會(huì)非常大。這個(gè)問題的解法是所有成本計(jì)量都以模型返回的usage字段為準(zhǔn)不要自己猜。網(wǎng)關(guān)在拿到上游響應(yīng)后把usage里的prompt_tokens、completion_tokens、total_tokens原封不動(dòng)落庫(kù)再套用官方計(jì)費(fèi)表計(jì)算費(fèi)用。同時(shí)保留原始usage JSON方便以后對(duì)賬時(shí)追溯。如果供應(yīng)商支持流式返回記得在流結(jié)束時(shí)匯總各分段usage避免漏算。5.4 排查成本上漲的通用流程現(xiàn)在我的日常工作中排查成本問題已經(jīng)形成一套固定流程。第一步看成本趨勢(shì)圖找到漲幅最大的那天和業(yè)務(wù)線第二步按標(biāo)簽下鉆看TOP模型、TOP場(chǎng)景、TOP用戶一眼定位錢燒在哪里第三步翻對(duì)應(yīng)的請(qǐng)求日志看有沒有異常重復(fù)、異常重試、異常大token輸入第四步對(duì)照路由規(guī)則和緩存配置驗(yàn)證是不是規(guī)則沒生效或者被繞過了第五步修復(fù)問題后觀察24小時(shí)確認(rèn)成本曲線回落。下面整理了一個(gè)速查表是我自己排查時(shí)常用的對(duì)照邏輯異?,F(xiàn)象可能的線索處理建議某個(gè)場(chǎng)景token突然暴漲上下文無(wú)限累積對(duì)歷史消息做截?cái)嗷蛘拗茊未握?qǐng)求最大token數(shù)失敗重試次數(shù)多上游模型抖動(dòng)或限流開啟熔斷重試次數(shù)降為1次增加指數(shù)退避同一Prompt被無(wú)限次調(diào)用緩存沒生效或Key設(shè)計(jì)不合理檢查歸一化邏輯確認(rèn)緩存Key覆蓋所有影響參數(shù)單個(gè)Key費(fèi)用異常Key被盜用或測(cè)試腳本失控重置Key設(shè)置配額和每日上限網(wǎng)關(guān)成本統(tǒng)計(jì)和供應(yīng)商賬單對(duì)不上用量口徑不一致以官方usage為準(zhǔn)保留原始響應(yīng)JSON6. 說(shuō)點(diǎn)心里話這次改造做下來(lái)我最后悔的是第一版網(wǎng)關(guān)太執(zhí)著于“轉(zhuǎn)發(fā)”這個(gè)動(dòng)作把網(wǎng)關(guān)當(dāng)成了一個(gè)網(wǎng)絡(luò)管道只要數(shù)據(jù)能流過去就覺得任務(wù)完成了。但AI模型網(wǎng)關(guān)真正值錢的地方根本不在“轉(zhuǎn)發(fā)”而是在“在不影響業(yè)務(wù)效果的前提下用最便宜的方式把任務(wù)做完”。如果你現(xiàn)在正準(zhǔn)備自建模型網(wǎng)關(guān)我建議第一個(gè)版本就把四件事帶上計(jì)量標(biāo)簽、模型路由、精確緩存、配額熔斷。不要像我一樣先把轉(zhuǎn)發(fā)上線再被賬單打醒然后返工。另外也給還在猶豫是否要自建的團(tuán)隊(duì)提個(gè)醒自建網(wǎng)關(guān)本身有維護(hù)成本要跟著上游API的變更新增適配邏輯還要持續(xù)迭代路由策略。如果你們團(tuán)隊(duì)只有一兩個(gè)AI應(yīng)用直接使用開源的LLM網(wǎng)關(guān)可能更劃算先借用現(xiàn)成方案把成本觀測(cè)做起來(lái)搞清楚自己的調(diào)用畫像之后再評(píng)估要不要自研。自研不是不行但要清楚它解決的是“成本治理”問題不是“轉(zhuǎn)發(fā)通道”問題。我這次也就是栽在這個(gè)認(rèn)知偏差上希望你們能比我少走一段彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品乱码久久久久久久久| 大香蕉操久久| 欧美婷婷五月天| 性爱1区| 97操操| 婷婷性爱| yazhousetuoumei| 日日黄色三级网站| 91视频女生| 大香蕉淫人| 啊啊啊啊啊好多水| 人人操人人操人人人操| 欧美日韩岛国大片在线观看| 志村玲子视频一区二区| 欧美日韩大香蕉| 91AV入口| 色牛牛AV| 免费农村成人少妇人妻Aa一区二区视频 | 熟妇乱伦一区二区| 亚洲色图尤物视频| 操逼操操操91| 成人女人国产| 亚洲区限制级 99| 97在线观看免费视频l| 日韩av不卡在线观看| 久操婷婷| 97碰碰日本乱偷人妻中文的| 极品肉射| 艹少妇网站| 亚洲五月丁香花狠狠干一区二区三区| 欧亚第一综合网| 国产精品久久久九九九| 天美91| 亚洲国产av中文字幕久久| 欧美十八禁网站| 蜜桃久久综合视频| 欧美后入式| 亚洲激情视频| 最新日韩黄片| 日韩在线人妻网站| 人妻激情视频| A级毛片在线看免费| 欧美网站免费| 玖玖爱一区在线| 亚洲深夜福利| 国产h片在线观看视频| 欧美黑人XXXⅩ高潮交| 人妻在线大香蕉| 欧美丝袜中文字幕07在线| 一道α片欧美| 极品五月天噜噜| 99精品人人爽| 翔田千里AⅤHD无码| 五月丁香综合激情| 欧美性天天影院| 国产成人久久精品蜜臀| 激情综合婷婷| 亚洲AV在线资源| 思思热一热婷婷热一热| 亚洲欧美首页| 97视频在线观看免费高清| 在线观看一级α片刺激高潮视频| 无码9区| 一二视频神马久久传媒| 中文字幕精品一区欧美| 久妇网| 亚洲影视第一页| 久久成人国产精品| 91亚州日韩高清| 亚洲,欧美,综合网| 综合久久六月久久婷婷| 亚洲色图 图片| 国产9 9在线 | 亚洲| 天美精品av| 噜噜噜噜天天狠狠| 98色网| 欧美肥臀在线| 久久性爱大全| 啊啊啊啊,啊啊好多水| 国产免a费看黄片在线| 呦呦影院| 91夜夜蜜桃臀1区2区3区| 欧洲亚洲少妇| 看看小穴| 国产精品亚洲色婷婷久久久| 国产性刺激| 亚洲中文字幕在现观看| 日韩人妻操B| 玖玖久久久| 亚洲一区二区三区欧美日韩| 免费男人的天堂| 精品中文字幕一区二区l - 百度| 亚洲资源网| 亚洲欧美综合区自拍另类| 国产亚洲欧洲在线观看| 亚洲一区二区 麻豆传媒| 国产兽交视频在线播放| 欧美性爱一区| 人妻中文字幕精品无码| 超碰1997| 久久精视频美日韩在线视频| 亚洲91射| 国产玖玖| 日韩三级在线观看网站| 四虎视频在线观看| 青娱乐久久艹| 青青青在线高清视频在线一二三四区 | 亚洲综合在线视频| 亚洲精品欧洲色| 日日干日日| 久久久久久久精| 思思久热在线精品66| 五月天婷婷综合网| 亚洲精品一区二区日本| 亚洲自拍一区夜夜操| 国产精品无码av嫩草| 欧美日韩亚洲国产中文永久天天看| AA特级绝黄| 青青草大香蕉视频| 亚洲天堂女优在线 | 丁香五月色情| 免费家庭乱伦视频| 欧美日韩另类字幕中文| 欧美精品999| 麻豆天美一区二区| 九月AV| 亚洲精品无码久久AV| 色综合超碰超| 欧美色视| 久久有码| 五月婷婷无码| 黑人白女精品一区| 自拍第一页| 丁香五月av| 精品人妻免费观看| 中文熟女五十乱码在线| 色蜜AV| 人妻无一区二区三区| 国产av热热色| 中文字幕日韩综合| 少妇高潮特黄A片| 啊啊啊免费| 91久久久视| 久久高清欧美国产| 欧洲精品一区二区三区| 2020国产精品| 亚洲国产成人福利在线观看| 欧美色视| 99蜜月精品久久| 无码欧美有限公司| 日日干夜夜干| 亚洲AV噜噜狠狠网址蜜桃动漫| rion磁力链接| 狠狠干2020| 蜜臀AV一区二区三区激情综合| 大香蕉免费乱伦视频| 国产女大学生AV| 加勒比伊人影院| 女人的久久久| 午夜欧美女人操逼| 日韩ab网| 最新AVzaixian| 强奸乱伦麻豆| 成人av影院在线观看| 女人香蕉久久毛毛片精品| 免费久久9999| 精品视频123区小说区| 黑人无码一区二区| 91c色| 东京热男人的天堂网| 久久噜| 熟妇视频一区二区三区在线观看| 红杏大香蕉| 少妇高潮对白在线观看| 看免费的黄片| 久久人妻| 国产精品第一页国产大屁股视频免费区 | 偷拍视频青青草在线视频| 1024手机看片欧美日韩| 蜜奶av| 69超碰综合| 人妻99p| 岛国视频一二三区| 欧美精品一区二区少妇免费A片| 精品黄色电影| 青青色在线观看| 亚洲一区二区中文字幕| 91亚洲狠狠色| 天天天操天天天爱| 亚洲日韩乱码中文无码蜜桃臀网站 | 91天美传媒在线观看| 精品一区二区三区蜜桃臀赵总 | 久久精品视频一区三区小泽玛利亚| 欧美|91色综合| 91日本在线观看| 色久桃花影院在线观看| 男女做爰猛烈动高潮A片免费应用| 天啪| 91春色| 欧美日韩在线小说 | 国产精品一区二区三区,亚洲综合| AAAA欧美日韩| 无遮挡男女激烈动态图| 亚洲最新Av| 懂色av一区二区三区天美传媒| 97超碰9| 少妇天堂| 男人的天堂va| 久久超碰网| 天天插网| 天天影视色香欲综合网小说| 久久精品人妻一区| 青娱乐福利99| 亚洲精品白浆高清久久久久久| 曰韩中文人妻视频| 日韩成年人性爱视频| 91亚洲色图| 超碰免费人妻在线| 日韩成人高清一区二区| 四虎午夜影院| 欧美αv.com| 超碰在线观看av不卡| 午夜超爽| 久热超碰| 日本一区二区电影网站| 欧美黑人与女人91~| 青青草视频久久久久| 97超碰天天爱天天爱| 青青操少妇| 欧美亚洲涩涩| 久久久久深夜无码| 天天综合网在线观看| 天天综合亚洲综合| 亚洲av无码国产精品字幕| 人妻无一区二区三区| 老司机深夜18禁污污网站| 性暴力欧美猛交在线直播| 久久综合亚洲色1080p| 国产AV毛片| 激情综合婷婷| 亚洲综合在线高清| 精品乱码在线观看| 超碰97COm中文| av黄图片在线观看| 人妻少妇被猛烈进入中| 色五月首页| 老色69| 亚洲色图欧美另类在线| 噜噜噜噜天天狠狠| 91精品国产91综合久久蜜臀| 国产日韩欧美亚洲精品95| 国产又色又爽又舒服的三级视频| 91色碰| 亚洲限制级| 性欧美第一页| 五月天我淫我色av| 国产精品无码AV网站| 色婷婷丁香五月天| 97超碰亚洲| 美女天天干| 三级日韩一区二区三区| 天天躁日日躁AAA片李宗瑞| 成人夜夜爽| 97超碰久久色| 国产成人在线观看网址| 成人三级片无码| 九九精品美女高溯喷水| 丝袜天堂网| 色牛aV| 看一级特黄a大一片| 99色在线| 果冻传媒A片一二三区| 国产97在线 | 亚洲| 国产精品嫩草久久久久| 人妻丝袜无 码视频专区| 98精品国产乱码久久久久久| 青娱乐91| 日本一本道A级黄色毛片试看60分钟| 97中文天堂| 99后入| 综合久久少妇中文字幕| 99re国产中文字幕| 日韩精品作爱导航| 国产强奸无码乱伦| 99精品久久| 美日韩一二三区| 亚洲国产精品无码AV久久| 92午夜免费福利视频| 91在线色| 欧美组图日韩亚洲中文字幕| 天天摸,夜夜摸| 欧美色图人妻| 亚洲色图尤物视频| 天天摸天天插天天日| 蜜臀无码一区二区| 91久久九九精品国产综合| www五月| 欧美亚洲宗合色性图| 蜜臀视频网站| 玖玖婷婷五月天| 91激情综合| 亚洲黄色视频在线观看视频| 中文字幕日韩国产传媒欧美精品| 亚洲激情欧美色图 | 国产又粗又又黄又猛| 亚洲网污污污污| 日韩在线观看三级电影| www色色色com| 久9综合在线| 国产精品嫩草久久久久| 五月丁香综合| 密臀在线视频| www.av在线观看| 宅男91视频在线播放| 性91| 婷婷色色网| 综合天天。| 国产欧美日韩一区二区三区| 91精品国产综合久久久蜜臀| 伊人久久AV诱惑悠悠| 高清国产av无码| 国产91专区| 欧美激情另类一区二区| 肥臀熟女福利视频一区二区| 2019天天干| 婷婷色综合| 九九九久| 99re国产中文字幕| 久久国产精品m码| 岛国片在线观看视频亚洲| 日韩中文9| 中文字幕一区二区在线日韩精品| 欧洲与亚洲欧美精品中文字幕| 人人人摸人人| 欧美97在线观看| 黑人精品XXX一区一二区| 伊人影院在线理论播放| 欧美男人天堂| 国产精品。| 国产黄色在线播放观看| 天天色怡春院| 亚洲AV操| 97资源站国产精品| 3571色综合一区二区二区| 99re久久| 人夜夜精品网站香蕉嫩草| 亚欧美色| 天天操夜夜操| 国产成人91一区二区三区| 中文字日本乱码| 在线播放成人高清免费视频| 日韩午夜国产| www.91久久| 亚洲色阁| 91色综合激情| 亚洲日韩美国人妻| 亚洲性图91| 囯产乱伦一区二区三女 | 青娱乐福利99| 亚洲天天影视综合网| 亚洲天堂中文字| 噜噜噜亚洲精品| 狠狠色噜噜狠狠狠狠狠色综合久久| 五月天人妻综合| 99在线精品观看99| 国产传媒日韩| 国产熟妇一区二区| 美女极品一区二区三区| 欧美线天码中字| 高清在线偷拍自拍视频| 亚洲动态色图| 日本999精品视频| 亚洲中文日韩欧美大香蕉视频| 蜜桃臀一区二区aV| 亚洲老熟妇xxx| 国产偷人伦激情在线观看| 久久男人网| 中出20p| 丁香久久| se吧提供91精品国产91久久久久久 | 久久五月综合| 91啦人妻| 天堂综合| 亚洲天堂男人在线| 亚洲精品乱码线路中文字幕| 色噜噜人妻av中文字幕| 蜜桃中文字日产乱幕4区| 国产自产一区视频在线| 欧美色图91| 这里是精品| 国产亚洲禁久一区二区 | 亚洲第一狼人丝袜美女另类| 精品人妻一区二区三区四区| 亚洲精品天天影视综合网 | 七月婷婷综合| 亚洲drav色图| 国产精品交换一区二区| 欧 美 自 拍 偷 拍| 黑丝制服中文字幕| 欧美A√综合网| 二色av| 婷婷在线视频在线观看| 欧美另类天堂| 97干在线看| 爱av免费| 亚洲中文字幕精品一区| 久久久久久中文| 久久综合日韩亚洲欧美| 色九月婷婷| 无码精品久久| 玖玖爱影院| 国产av热热色| 人妻在线臀日韩| 国产精品久久久久av| 热思思免费视频| 可乐操亚洲蜜911| 伊人玖玖网| 伊人影院在线理论播放 | 亚洲九区| 国产精品久久久久久片| 一本精品日本在线视频精品| 女性91网站| 少妇人妻在线| 韩日自拍| 亚洲国产精品久久久久婷婷老年| 密臀AV在线| 九九精品美女高溯喷水| 狠狠色婷婷| 黄片www.| 99久久e免费热视| 夜夜草我| 女人综合网| 九九九不卡| 午夜精品人妻二区三区| 国产精品视频播放| 精品射1999| 97人人草| 开心激情婷婷| 欧洲熟妇xxXx欧美老妇裸体| 国产理论视频在线播放| 操逼日批| 人人操人人摸人人看人人插| 欧美夜夜草视频| 丰满少妇一区二区三区免费看| 精久久久| 国产AV天美| 久久久久久久久久久97| 亚洲精品视频二区| 五月开心网| 久久九色| 99热这里| 欧美操逼一二三区| 九九热精品| 熟女人妻一区二区三区| 女同性恋久久| 国产一区二区av综合| 亚洲国产奇米影视久久| 国产高清精品一区二区三区毛片| 免费观看国产小粉嫩喷水精品午| 乱伦一二三区| 无码直播久久久| 成人性爱免费播放| 免费av在线播放二区| 国产欧美在线观看免费观看| 中文字幕人妻资源在线| 欧美岛国精品在线观看| 成人av福利在线观看| 亚洲欧美国产中文视频| 国产亚洲性生活视频播放| 综合激情二| 99国产精品视频尤物| 五月婷网站| 欧美丝袜制服久久| 日本午夜久久电影| 日本超碰在线国产一区| 久jiu久神马影院| 亚洲国产一区二区三区在线| 亚州成人a∨| 久久神马影院| 噜噜噜亚洲精品| 国产精品毛片| 综合五月天| 日本一级特级毛片视频| 亚洲男人久久综合天堂| 国产高清无码一区三区二区| 亚洲国产高清福利视频| 无码色| 丝袜内射| 九七毛片九九毛片| 亚洲综合色图欧美| 欧美极品美女aaaaaa级黄片| 成人一级性爱| 亚洲乱熟女一区二区三区大香蕉| 国产欧美第五页| 啊啊啊啊在线观看网址| 日韩综合97P| 亚洲精品熟妇1区2区3区。| 日韩精品人妻一区二区| 飘花国产午夜精品不卡| 无码抄逼网| 狠狠狠一区二区三区| 秋霞男人网| 插B在线观看| 亚洲欧美情色| 久操com| 一区二区 韩日AV| 女人一区| 9久9久| 思思热国产高清| 欧美日韩国产中文精品字幕自在自线| 99热这里| 亚洲精品 欧美精品| 狠狠躁伊人中文字幕| 八戒无码国产午夜福利| 日韩性爱高清免费视频| 日本一区二区三区精品| 国产第二页| 麻豆尤物视频网| 国产品精品自在在线午夜免费| 国产精品久久久久久久AV大片| 亚洲黄色影视| 欧美情色贴图| 女人久久久| 国产一区二区三区导航| 九九九网页| 区自美91| 国产极品粉嫩馒头一线天av| 五月丁香婷婷综合网| 91色爽欧美| 日韩天天综合| 五月丁香六月综合缴清无码| 9九九九九视频在线观看| 日本东京热大香蕉a片| 97网色| av午夜影院在线播放| 日韩素人无码一区二区三区三州| 土豪酒店各种姿势玩弄极品幼稚| 高潮精品| 婷婷五月天成人| 蜜桃一区二区三区| 日本韩高清无砖码22o| 国产日韩在线播放av| 翘臀vidoes| 欧美线天码中字| 操逼逼一区视频| 欧美在线官网| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 福利社区午夜一区二区| 91 丝袜在线| 99久久99久久免费精品蜜臀| 久操不卡视频| 欧美91久久久久| 日本熟女免费視颖| 婷婷色香| 国产精品久久| 99综合网| 2020中文字幕在线观看| 久久亚洲婷婷| 天天影视综合色| 国产精品一二三在线看| 91爰爱欧美| 东北少妇高潮zzzz| 亚洲有薄码区日本系列中文字幕| 欧美 亚洲| 欧美日综合| 中文字幕免费看| 中文字幕成人理论在线| 97视频新免费| AV不卡在线| 60秒免费小视频| 国产成年女人免费视频播放a| 青青操97| 中文操逼字幕| 久久一留热品黄| 亚洲国产精品成人久久蜜臀| 中文字幕 码 自拍 视频 区| 国产精品3| 日韩国产成人自拍视频| 99热日| 操逼视频亚洲| 天天操女人| 国产成人99久久亚洲综合| 久久a久久| 国产老太乱伦一区| 91女网站| 欧美日韩插逼视频| 精品无人区麻豆乱码久久久| 乱伦一二三区| 国产25页| 黄色一区二区秘书性感| 久久精品91| 日韩成人大片一区二区| 91狠狠狠| 天天爽天天操| 精品人妻一区二区三区在| 九九天堂| 日本人妻伦在线中文字幕| 99色婷婷中文字幕乱色| 国产A v无码专区| 亚洲偷91色| 免费黄色片子| 92一区二区| 97综合在线观看| 日本一区二区三区午夜观看| 啊啊啊久久久视频| 99久在线精品99re8热| 日本欧美不卡| 97久久精品亚洲中六字幕| 午夜视频好爽啊| 久久久91福利姬| 五月天婷婷综合网| 国产午夜精品理论片a大结局| 天天做天天爱天天爽AV| 亚洲天堂7777| 亚洲精品91| 嗯嗯啊啊操死我| 综合久久久久久久综合网| yazhououmeizongya| 亚州精人品大香蕉| 国产精品久久久久久久免牛肉蒲团| 亚洲欧洲日韩国产自在线| 欧美自拍网| 热天堂一区二区| 国产性久久久| 少妇激情AV| 性色avv| 在线欧美69V免费观看视频| 国产女人9999| 偷拍 亚洲| 亚洲囯产精品女人久久久| 婷婷五月天色网| 日本裸体久久色噜噜| 手机在线播放国产福利| 国产9l 大屁股| 久久精品72| 国产精品久久久鸭无码的功能| av中亚| 天欧美在线| 亚洲一区二区三区久久 亚洲一区二区| WWW啪啪的com| 精品国产AV一区天美传媒| 躁躁日曰躁2020| 欧美日韩性爱精品| 国产精品 久久久精品一牛| 天天日天天干天天摸天天操| 久久的网站啊啊啊啊啊| 99热只有这里有精品| 免费观看成人www精品视频| 国产91丝袜在线播放蜜月| 欧美性爱97超碰| 搡老人老9丨女老熟人| 精品91日日夜夜超清资源| 久久久久久久久久久久欧美日| 伊人亚洲国产一成人久久精品,久久| 素人一区二区三区日韩| 天天爱天天操| 久操| 91久久伊人婷婷青青草| 激情99| A片 AV一级在线播放观看免费| TS人妖另类精品视频系列| 午夜操操操| 高跟伊人julia ann| 国产欧美精品日韩区二区麻豆天美| 少妇xx精品| 亚洲在线网站| 亚洲在线91| 久久风骚城市| 大乔未久88一区| 中文字幕制服欧美久久一区| 色色色综合| 欧洲一级性爱视频在线观看| 人人贴人人摸| 日本操逼视频免费| 国产精品不卡少妇白| 91网站18+| 亚州中文字幕超碰97| 91女在线观看| 久久极品伊人| 婷婷伊人綜合中文字幕| 一区二区三区四区免费视频| 影音先锋视频在线| 亚洲欧洲无码bt精品合集| 蜜臀中文字幕| 麻豆精品.欧美精品.日韩精品.| 天天综合网合集91| 97超视频在线观看| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 成人久久无码www| 91蜜臀在线久久久久| 色播综合| 熟女视频久久| 静品嫩模一区二区| 人人操我人人干| 日韩啊V| 九九九九国产| 欧美性暴力| 久久久久白虎| 人妻熟女一区二区三区视频| 丝袜加勒比| 97国产精品久久久久| 色爽——AV| 欧美在线中M| 99热 按摩 日韩| 久久久久ab| 久草在| 极品后入免费视频| 啊啊啊啊啊好大好舒服想要| 午夜欧美神马久久久久| 久久中日麻豆| 91久久堂| 青青三级视频| 久操影视| 国产吹潮女在线观看| 久久久久久九九九九九九| 屁股久久久久久久久| 亚州Av天美传媒| 深夜激情| 偷拍视频青青草在线视频| 婷婷精品久久av影视| 亚洲人精品久久久| 久久久999国产| 94色色电影网| 亚洲久久久久| 日韩欧美大片免费高清啪啪| AV一区观看| 18禁中文字幕| 91成人精品在线播放| 人人考人人摸人人干| 激情综合亚洲| 婷婷香蕉欧美在线一区二区三区| 久久久工口| 久久蜜桃综合网| 日韩av不卡在线看| 免费观看的黄色的网站| 欧美精品1区2区3区| 国产激情在线观看| 天天综合精品| 厕所偷拍在线| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 久久久久久亚洲精品中文字幕人妻| 黑丝少妇麻豆| 国产精品九9| 精品人妻一区二区三区视频| av草草在线电影| 91欧美综合| 亚欧无码线免费观看视频| 欧亚性爱在线视频| 欧美性爱另类综合| 欧州色图区| 美女主播色欲91抠b在线播放| 97爱啪| 色色九区| 91AV入口| 亚洲熟女中文字幕在线| 女同在线视频一区| a片亚洲一本通视频| 日韩精品人妻中文字幕不卡乱码| 国产极品馒头逼| 国产毛片在线| 色五月激情网| 国产一级久久久| www.acm成人黄色毛片| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 丁香五月天啪啪| AND人妻系列| 伊人aaa| 91欧美综合| 国产一级内射无挡观看| 亚洲综合五月天| 日韩欧美丝袜诱惑| 天天色综合影视网| 亚洲国产91精品一区二区久久| 久久久精品成人国产| 国产欧美一区二区| 少妇人妻在线| 四虎国产精品永久在线囯在线 | 日韩特一级久久| 91网站18| 一起草精品人妻| 国产精品熟女AV中文字幕在线播放| 天天天天做夜夜夜夜做| 国产精品第一页国产大屁股视频免费区| 操逼999| 精品九九九九| 亚洲综合一区二区| 绯色AV粉色AV蜜臀AV| 中文字幕丝袜| 日本丝袜人妻内射| 五月丁香大香蕉| 超碰久在线天天做| 84YTCOM性无码| 99视频内射三四| 欧美 亚洲 另类 综合| 一区二区三区不卡视频| 国产精品无码AV网站| 婷婷激情一区二区三区俺也去| 亚洲天堂资源| 成人小说视频在线精品欧美| 看日韩美女二区三区免费操逼视频| 91 国产丝袜在线播放-百度| 日韩无码人妻| 99色热| 国产精品午夜精品| 精品九九国产无码| 国产SV一线| 天天cao在线| 亚洲AV无码国产精品久久久久| 亚洲欧洲色情高清| 国产精品999aaa| 99欧美| 久久激情视频| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 久都青青视频| 欧美日韩久久精品爱爱| 中文字幕性感少妇av| 久久精品高清无码一区| 亚洲图片激情综合另类| 国产有码一区| 国产免费黄色一级大片| 亚洲精品视频二区| 亚州性色| 激情综合五月丁香| 啊啊啊男女| 亚欧国产无码精品在线| 无毛精品| 浪人综合网| 男人的天堂在线 | 天天色综合图片| 欧美BT 亚洲色图| 91色婷婷综合久久中文字幕二区| 99re在线视频| 日韩国产成人自拍视频| 一区二区三区色综合| 亚洲精品三区在线观看| 伊人伊人LD| 黄色片,com| 好舒服视频| 亚洲免费在线探花| 国产久久一区二区三区野外在线| 亚洲日韩人妻中文字幕一区| 久久久久久久久久久人妻| 久久久久久网址| 日本一区二区电影网站| 97免费在线观看| 欧美 中文字幕 一区| 日本阿v天堂在线观看| 日本不卡高清免v欧美日韩在线观看| 亚洲色图一区二区三区| 国产91美女高潮| 欧美高清色| 亚洲日产专区| 男插女青青影院| 久久久穴999| 超97在线精品视频| 天天操天天日青青草超碰av| 国产乱码精品一区二区三区四川| 国产av色网| 国内毛片免费h片在线| 99热一区二区三区四区| 久久男人的天堂国产| 手机看片91人妻| 美女淫穴| 美国人人操人人操| 久草毛片| 99视频只有精品| 91天天综合日韩欧美| 99国产精品人妻人伦| 久久精品国产亚洲AV清纯| 粉嫩少妇自慰在线| 操逼啊啊啊91| 91N综合网| 国产女人高潮视频| 91情色| 天天天天天超碰| 日韩人妻 中文字幕| 国产农村妇女毛片精品久久| 亚州伊人色综台| 91大神精品长腿在线观看网站| 嗯嗯嗯好爽| 一级片视频啪啪| 欧美精品三区| 久久亚洲婷婷| 激情黄色片在线观看| 久久草视频污视频| 9l视频自拍9l九色成人| 操国产高清| 一二三四视频在线社区中文字幕| 欧美一区二区三区日韩| 9久精品| 老女人老91妇女老热女| www激情| 在线毛片片免费观看| 欧美 亚洲 综合 制服 另类| 五月综合视频| 国产探花日韩援交| 97伊人超碰| 大香蕉免| 福利色色| 成人毛片免费| 丝袜天堂网| 偷拍欧美激情| 亚洲精品天堂久久A∨51成人漫| 亚洲色图A| 九九英色视频| 色综合婷婷| 午夜男女爽爽爽影院视频| 日本精品九九九| 北京专精特新企业招聘信息| 国产毛片在线| 亚洲另类春色| 久久一区二区加油站| 韩国女主播青草福利视频| 曰本人妻人人澡人人夹| 激情文学88| 九九九九九九九| 九久9热| www超碰| 秋霞成人一级在线观看| 91综合网站| 国产女人9999| 香蕉一区二区三区在线视频| 国产激情av女片自拍| 91色人妻| 精品传媒在线一区| 欧美熟妇亚洲版| 国产欧美伊人| 久久久久成人亚洲国产| 午夜男女爽爽爽影院视频| 欧美色交| 伊人aaa| 97视频观看| 丁香五月电影| 中文字幕交换人妻| A级国产欧美激情在线| 少妇高潮一区二区三区在线| 色网1| 99自拍B亚洲 | 久久中日麻豆| 国产欧美第五页| 成视频在线观看免费看| 三级特黄60分钟播放| 国产精品懂色tv影视免费观看| 亚洲日韩狠狠撸视频| 亚洲中文字幕日产无码久久| av天堂影视中文在字幕在线中文| 韩国成人精品久久久免费看| 手机在线免费看的av| 久久久久久久97| 91高清欧美| 亚洲青青草| 欧美91精彩| 欧美狠狠弄| 久久a久久| 综合熟女| 精品久久99| 最新啪啪视频| 国产精品呦一区二区三区| 操人人| 中文字幕国产在线天堂| 蜜臀99久久国产| 超碰社区97| 欧美在线第五页| 欧美超碰人妻97| 蜜臀亚洲综合一二三四区| 青青草在线视频欧美| 爽爽爽免费视频| 久久一二区四| 熟妇视频一区二区三区在线观看| 视频二区美腿丝袜制服人妻欧美| 99视频内射三四| 午夜男人一级A片7777| 99热只有这里有精品| 欧美强奸乱| 欧美熟女操屄| 亚洲暴力强奸AV| 啪一啪免费视频| 精品亚洲黄色片 国产精品导航一区二区| 天天干干天天干干| 国产传媒午夜理伦精品| A级国产欧美激情在线| 17c嫩草51久久91嫩草| 起碰97| 91香蕉国产尤物视频| 欧美色图第一页| 中文字幕在线免费观看| 天天干人人乐| 亚洲综合草草| 亚洲色图伊人网| 亚洲日韩东京热一区| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 色噜噜综合在线| 天天射网| 日本一二区免费| 99九九久久| 日韩精品99久久久久久中文字幕 | 日韩钢筋无码高清啾啾啾| 9超碰免费| 亚拍在线| 中出在线视频| 欧美激情内射| 天天爽天天操啊啊啊| 张柏芝国产一区在线观看| 乱性AV| 国产99精品一区二区三区免费| 亚洲成人日韩小说| 日韩不卡a级视频专区| 日韩性爱播放| 96精品在线| 97青青操视频| 免费看污网址| 久久精品高清无码一区| 久艹免费| 中文视频在线观看| 成人av性爱电影在线观看| 370p日韩欧美亚洲精品| 亚洲欧美一区二区三区一猛片| 色婷婷狠狠18禁| 国产不卡精品91| 东北老女人的激情视频| 亚洲欧美综合网站| 女人18精品一区二区三区| 亚洲资源站| 黄色视频60分钟| 91成人精品在线播放| 亚洲精品丝袜-不卡成人免费……| 成人精品电影| 欧美大色交| 熟女熟妇一区二区三四区| 日韩免费中文字幕视频| 成人aⅴ一区二区三区| 99在线精品观看99| 精品一区96| 啊啊啊啊啊啊啊啊啊在线观看| 殴美色网| 亚洲熟女乱色一区二区三区 | 台湾佬中文娱乐网久久久久久久久久com| 老司机香蕉| 天天做天天爱夜夜爽毛片试看| 欧美强奸乱能| 亚州色交| 60秒免费小视频| 97资源站日韩| 囯戸精品高潮呻吟旡码| 免费看一级a性色生活片久久无| 97资源超碰| 啊啊啊好疼| 玖草在线视频| 免费强奸av| 久久啊哟| 日韩国产九九精品一区二区三区毛片| 91n处女在线观看| 欧洲亚洲国产综合在线| 久久草在线综合视频| 欧美日韩222| 伊人宅男大香蕉 | 美女淫穴| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 日韩精品第3页| 少妇无码999| 嗯啊抽插大香蕉网页| 欧州色图区| 欧美熟女逼久久久久久| a片自拍直播视频| a级理论午夜日本| 午夜情侣自拍网站| 9999九九九久久久| 亚洲男人电影天堂| 日本国产成人亚洲精品无码| 亚洲中文字幕有码视频一区二区三区| 精品丰满熟妇人妻一区| 欧美成人A√在线一区二区| 99色视频| 亚洲丝袜99| 人人爱人人乐人人操| 久久XX| 夜夜爽爽夜夜精品视频| 黄色免费一级在线毛片| 开心五月婷婷激情| 国产久久久久影院老熟女| 放黄片放3级黄片没穿衣服| 中文字幕在线日亚州9| laoshunv91| 青青操网| 久久精精区一区二区一蜜桃一区二区| 亚州欧美综合| 中文人妻av高清一区| 亚洲欧美一区二区三区在钱蜜桃 | 日韩精品中文字幕人妻| 婷婷97| 天天操福利视频综合网站| 在线观看成人性爱免费小视频| 天堂日本亚洲欧美| 欧美色另类| 柠檬AV导航| 91欧美性| 91影库| 禁十八久久| 色牛aV| 偷拍欧美综合| 日本新免费二区三区| 乱抡国产91| 中文字幕一区二区三区人妻少妇在线| 亚洲极品| 成人性爱美曰韩| 久日综合网| 精品久久久高清无码| 天天天乱色综合全| 国产成人在线观看网址| 另类综合另类| 欧美天天影院| 日本福利二区视频| 色网亚洲人| 免费操逼视频下载| 制服诱惑亚洲一区二区三区在线观看| 日韩欧美亚欧在线视频| 伊人大香蕉在线| 日韩电影在线观看网址| 国产伊人自拍| 麻豆三极片| 狼天天狼天天大香蕉| 福利视频合集| xxx亚洲午夜天堂| 日本欧美中文字幕| 亚洲熟妇乱女区二区三区| 特色a在线上| 五月天激情网站| 97免费在线观看| 97亚洲性爱| 亚洲国产综合视频| 亚州成人a∨| 国产精品久久久吖| 97超碰热线| 色欲无码人妻日韩欧美精品| 精品久久大胆人体| 久草网站免费在线观看| 久久99精品国产| 色久桃花影院在线观看| 九九九九九九九九九九精品视频| 强奸乱伦亚洲第一页| 天天日美女的B| 久久精品国产亚洲AV无码电影| 亚洲色棕合| 久久精品高清AV| 欧美亚洲色的图| 思思热在线视频精品| 色97干| 欧洲免费一区二| 久超碰在| A一级色女| 视频分类 国内精品| 久久熟女精品不卡一区| 色五月婷婷在线| 嗯嗯不要视频| 最新一二三区视频| 色综合国产在线观看| 九九九九九九成人| 日韩乱中文| 后入式999| 亚洲色色色|