日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

LLM推理服務(wù)尾延遲治理:從超時(shí)、重試到排隊(duì)控制的實(shí)戰(zhàn)指南

LLM推理服務(wù)尾延遲治理:從超時(shí)、重試到排隊(duì)控制的實(shí)戰(zhàn)指南 這次聊一個(gè)生產(chǎn)環(huán)境會(huì)很快暴露的問題LLM 推理服務(wù)的平均延遲很好看P99 卻會(huì)突然起飛緊接著就是接口超時(shí)、用戶重試、服務(wù)雪崩。很多團(tuán)隊(duì)把 LLM 接口接進(jìn)業(yè)務(wù)后第一個(gè)關(guān)注的是“平均響應(yīng)多快”真正上線后才會(huì)被上一課平均延遲不高但總有一部分請(qǐng)求比平均慢好幾倍。這些慢請(qǐng)求就是尾延遲。它不一定是模型變笨了更多時(shí)候是排隊(duì)、批處理、調(diào)度、共享資源共同作用后的結(jié)果。從分布式系統(tǒng)角度看尾延遲是經(jīng)典問題。LLM 推理場(chǎng)景又給它加了幾個(gè)放大器解碼階段必須逐 token 生成單個(gè)長(zhǎng)請(qǐng)求會(huì)占住推理資源動(dòng)態(tài)批次里的長(zhǎng)短請(qǐng)求還會(huì)互相干擾。所以“換更強(qiáng)的顯卡”不一定能解決問題真正的修法往往在模型執(zhí)行層、調(diào)度層和客戶端這一整條鏈路上。這篇文章給出一個(gè)可以照著落地的“簡(jiǎn)單修復(fù)”思路先量化尾延遲再在客戶端與網(wǎng)關(guān)之間做三層控制——按業(yè)務(wù) SLO 設(shè)置超時(shí)、對(duì)關(guān)鍵請(qǐng)求引入 hedge requests競(jìng)速請(qǐng)求先到先得、在服務(wù)入口控制排隊(duì)深度并做容量隔離。如果這些還不夠再往推理框架的執(zhí)行層推進(jìn)。全程會(huì)給出可改的代碼和驗(yàn)證流程不涉及改模型權(quán)重也不需要重訓(xùn)模型。1. 這篇要解決的問題與核心結(jié)論速覽先給結(jié)論后面再拆步驟。維度說明討論對(duì)象LLM 推理服務(wù)的尾延遲重點(diǎn)看 p95 / p99 表現(xiàn)典型癥狀平均延遲正常少量請(qǐng)求高達(dá)均值數(shù)倍超時(shí)集中在高負(fù)載時(shí)段簡(jiǎn)單修復(fù)客戶端/網(wǎng)關(guān)超時(shí) hedge requests 服務(wù)端排隊(duì)與容量控制進(jìn)階修復(fù)動(dòng)態(tài)批處理、chunked prefill、prefill/decode 分離、推測(cè)解碼等執(zhí)行層優(yōu)化涉及環(huán)節(jié)客戶端 SDK、網(wǎng)關(guān)、推理服務(wù)、GPU 資源、可觀測(cè)指標(biāo)依賴環(huán)境Python 3.9、異步 HTTP 客戶端、推理服務(wù)日志或指標(biāo)系統(tǒng)驗(yàn)證方式壓測(cè)前后對(duì)比 p50 / p95 / p99、成功率、超時(shí)率和排隊(duì)長(zhǎng)度適合讀者負(fù)責(zé) LLM 接口穩(wěn)定性、推理服務(wù)性能優(yōu)化、分布式系統(tǒng)設(shè)計(jì)的研發(fā)這里把“簡(jiǎn)單”二字說清楚它不是“調(diào)一個(gè)參數(shù)就徹底解決所有人尾延遲”的魔法而是先處理成本最低、見效最快的那幾層。做分布式系統(tǒng)的人都熟悉一句話不能讓一個(gè)慢副本或一個(gè)慢請(qǐng)求拖垮整體 SLA。LLM 服務(wù)也一樣。2. LLM 尾延遲是怎么產(chǎn)生的要理解修復(fù)方案得先看清 LLM 推理和普通 HTTP 服務(wù)的差別。普通服務(wù)處理一個(gè)請(qǐng)求通常是一個(gè)有限的計(jì)算過程讀取參數(shù)、查詢數(shù)據(jù)、返回結(jié)果。耗時(shí)大概率是穩(wěn)定的尾延遲主要來自排隊(duì)和機(jī)器抖動(dòng)。LLM 推理請(qǐng)求不是這樣。一個(gè)生成請(qǐng)求內(nèi)部有兩個(gè)明顯階段Prefill 階段處理完整 prompt計(jì)算量很大但可以并行計(jì)算。Decode 階段逐個(gè)生成 token當(dāng)前 token 依賴前一個(gè) token天然串行。Decode 階段對(duì)顯存帶寬很敏感而且生成多少個(gè) token 完全不確定。同樣是“寫一段總結(jié)”有的請(qǐng)求生成 100 個(gè) token有的生成 1000 個(gè) token。輸出長(zhǎng)度方差一大請(qǐng)求的占用時(shí)間方差就大尾延遲自然出現(xiàn)。再疊加一個(gè)因素推理服務(wù)為了提升吞吐通常會(huì)把多個(gè)請(qǐng)求動(dòng)態(tài)打包到同一個(gè) GPU 上執(zhí)行。一個(gè) batch 里如果混入一個(gè)超長(zhǎng)請(qǐng)求它占用的 compute 和 KV cache 就會(huì)拖住其他請(qǐng)求。即使框架做了 continuous batching讓短請(qǐng)求可以提前退出長(zhǎng)請(qǐng)求仍然會(huì)在某一段時(shí)間內(nèi)獨(dú)占或擠壓資源。所以 LLM 服務(wù)的尾延遲至少由四段組成請(qǐng)求在隊(duì)列里的等待時(shí)間。Prefill 階段的計(jì)算時(shí)間。Decode 階段的逐 token 生成時(shí)間。網(wǎng)絡(luò)傳輸、反序列化、框架調(diào)度等額外開銷。只看總延遲很難定位問題。后面所有修復(fù)手段都要先能拆出這幾段。3. 從六個(gè)來源排查尾延遲3.1 排隊(duì)效應(yīng)和隊(duì)頭阻塞推理服務(wù)通常有一個(gè)線程池或任務(wù)隊(duì)列。服務(wù)一忙新請(qǐng)求先排隊(duì)。隊(duì)列越深等待越久。如果隊(duì)首是一個(gè)超長(zhǎng)請(qǐng)求后面的短請(qǐng)求全部被壓住就會(huì)出現(xiàn)“前面那個(gè)任務(wù)不走后面全堵住”的隊(duì)頭阻塞。排查時(shí)不要只看 GPU 是否打滿。隊(duì)列長(zhǎng)度高但 GPU 利用率不飽和往往說明瓶頸在調(diào)度而不是算力。3.2 動(dòng)態(tài)批次里的長(zhǎng)短請(qǐng)求互相干擾現(xiàn)在主流推理框架都支持動(dòng)態(tài)批處理但長(zhǎng)度差異的影響仍然存在。長(zhǎng)請(qǐng)求的 decode 會(huì)持續(xù)占用顯存帶寬和計(jì)算資源。一個(gè) 2048 token 的請(qǐng)求和一個(gè) 64 token 的請(qǐng)求混在同一個(gè) batch 中框架要等前者逐步完成資源空轉(zhuǎn)在短請(qǐng)求上會(huì)很明顯。3.3 Prefill 和 Decode 混跑很多推理框架默認(rèn)把 prefill 和 decode 放在同一批里執(zhí)行。prefill 是計(jì)算密集型decode 是訪存密集型。兩者混在一起會(huì)產(chǎn)生資源互踩prefill 搶計(jì)算decode 搶顯存帶寬。如果調(diào)度策略不好個(gè)別請(qǐng)求的首 token 延遲就會(huì)被 prefill 頂上去。3.4 請(qǐng)求長(zhǎng)度本身就是長(zhǎng)尾分布用戶輸入長(zhǎng)度極不均勻。有人發(fā)一句話有人粘貼一整篇文檔。Prompt 越長(zhǎng)prefill 時(shí)間越長(zhǎng)輸出 max_tokens 設(shè)置越大單請(qǐng)求占住資源的時(shí)間越長(zhǎng)。這個(gè)變量很容易被忽略但它常常是 p99 突然飆高的原因。3.5 硬件異構(gòu)和資源爭(zhēng)搶多副本部署時(shí)不同機(jī)器的 GPU 型號(hào)、驅(qū)動(dòng)、鄰居負(fù)載不一定相同。共享節(jié)點(diǎn)上如果還有別的任務(wù)在搶 CPU 或內(nèi)存帶寬某些副本就是會(huì)比別人慢??蛻舳嗣看温酚傻铰北镜母怕孰m然不高但 p99 恰恰就是這部分請(qǐng)求。3.6 框架調(diào)度和日志鏈路開銷Python 推理服務(wù)在高并發(fā)下會(huì)有 GIL 爭(zhēng)搶、鎖競(jìng)爭(zhēng)、序列化開銷。日志如果同步寫磁盤也可能成為延遲黑洞。這類問題不是模型造成的但會(huì)直接體現(xiàn)在總延遲上。4. 修復(fù)前先做好觀測(cè)指標(biāo)和日志要能拆階段沒有指標(biāo)就動(dòng)優(yōu)化等于閉眼開車。建議在接入任何修復(fù)手段之前先為每個(gè)推理請(qǐng)求記錄結(jié)構(gòu)化日志至少包含這些字段字段含義request_id請(qǐng)求唯一 ID用于鏈路追蹤start_ts請(qǐng)求到達(dá)網(wǎng)關(guān)/服務(wù)的時(shí)間queue_start_ts進(jìn)入推理隊(duì)列的時(shí)間prefill_start_tsprefill 開始時(shí)間first_token_ts首 token 返回時(shí)間finish_ts請(qǐng)求完成時(shí)間prompt_tokens輸入 token 數(shù)completion_tokens輸出 token 數(shù)status成功、超時(shí)、失敗、被限流有了這些字段至少能算三個(gè)關(guān)鍵指標(biāo)TTFTtime to first token從請(qǐng)求發(fā)出到第一個(gè) token 返回的時(shí)間主要反映排隊(duì)和 prefill。TPOTtime per output token/ decode 速度反映 decode 階段是否穩(wěn)定。端到端總延遲影響用戶整體體驗(yàn)。采集示例如下import time import uuid def make_record(): return { request_id: str(uuid.uuid4()), start_ts: time.perf_counter(), } def mark(record, key): record[key] time.perf_counter() def save_record(record): # 生產(chǎn)環(huán)境建議寫入 Prometheus / ClickHouse / Loki不要同步寫本地磁盤 print(record)日志字段先不追求全但 request_id 和 finish_ts 必須有。沒有 request_id后面所有耗時(shí)分析都無法串聯(lián)。GPU 資源觀察可以在壓測(cè)時(shí)開一個(gè)終端watch -n 1 nvidia-smi如果部署在 Kubernetes 里可以看節(jié)點(diǎn)維度的資源占用kubectl top node kubectl top pod -l appllm-server這里的重點(diǎn)是“先量化再修復(fù)”。你接下來做的每一個(gè)改動(dòng)都要回到 p50、p95、p99 上去驗(yàn)證。5. 簡(jiǎn)單修復(fù)一給客戶端和網(wǎng)關(guān)加上超時(shí)第一個(gè)修復(fù)不需要?jiǎng)油评矸?wù)先把用戶側(cè)的等待上限卡住。很多服務(wù)被拖垮是因?yàn)榭蛻舳藳]有超時(shí)請(qǐng)求一直掛在遠(yuǎn)端不放。一個(gè)請(qǐng)求在服務(wù)端排隊(duì) 30 秒客戶端也等 30 秒這一個(gè)慢請(qǐng)求就會(huì)占住一個(gè)連接、一個(gè)線程池任務(wù)、一個(gè)協(xié)程。并發(fā)一高整個(gè)服務(wù)連接池被占滿所有請(qǐng)求都開始排隊(duì)。所以第一步是按業(yè)務(wù) SLO 設(shè)置請(qǐng)求超時(shí)。如果業(yè)務(wù)要求 5 秒內(nèi)返回就不要等服務(wù)端自己把任務(wù)跑完。超過預(yù)算就立即降級(jí)或返回超時(shí)錯(cuò)誤。下面是一個(gè)異步客戶端超時(shí)示例import httpx async def call_llm( client: httpx.AsyncClient, payload: dict, timeout_seconds: float 5.0, ): try: response await client.post( http://127.0.0.1:8000/v1/completions, jsonpayload, timeouttimeout_seconds, ) return response.status_code, response.json() except httpx.ReadTimeout: # 超時(shí)后走降級(jí)邏輯返回緩存、降級(jí)文案或標(biāo)記失敗 return 504, {error: llm request timed out}這里有一個(gè)常見誤區(qū)客戶端超時(shí)只是不讓調(diào)用方繼續(xù)等待不代表服務(wù)端請(qǐng)求被取消。很多推理框架并不會(huì)因?yàn)榭蛻舳藬嚅_連接就主動(dòng)停止生成任務(wù)仍然在 GPU 上跑資源照樣被占住。所以超時(shí)要配合服務(wù)端取消能力。網(wǎng)關(guān)如果支持把客戶端的取消信號(hào)傳遞到推理服務(wù)就用不支持的話超時(shí)只解決“調(diào)用方體驗(yàn)”不解決“服務(wù)端負(fù)載”。必要時(shí)還需要在推理服務(wù)側(cè)加請(qǐng)求級(jí)取消或最大排隊(duì)時(shí)間避免請(qǐng)求進(jìn)來后無限等待。建議超時(shí)設(shè)置要有梯度讀緩存或降級(jí)接口給較小超時(shí)。LLM 生成接口按歷史 p95 再加一點(diǎn)余量。不要給所有接口同一個(gè)超時(shí)時(shí)間。超時(shí)本身不能降尾延遲但它能把尾延遲對(duì)業(yè)務(wù)的影響限制在可控范圍內(nèi)。6. 簡(jiǎn)單修復(fù)二Hedged Requests讓請(qǐng)求競(jìng)速如果你已經(jīng)排除了排隊(duì)問題但個(gè)別請(qǐng)求就是會(huì)因?yàn)闄C(jī)器抖動(dòng)、網(wǎng)絡(luò)抖動(dòng)而特別慢可以考慮第二個(gè)手段hedged requests。這個(gè)思路來自大規(guī)模分布式系統(tǒng)中的經(jīng)典實(shí)踐不要只發(fā)一個(gè)請(qǐng)求死等而是在等待超過某個(gè)閾值后向另一個(gè)副本發(fā)起同樣的請(qǐng)求哪個(gè)先返回就用哪個(gè)。放到 LLM 場(chǎng)景使用方式不是每次請(qǐng)求都雙發(fā)那樣成本會(huì)翻倍。更合理的是先向首選副本發(fā)請(qǐng)求。請(qǐng)求超過一個(gè)閾值后仍未返回默認(rèn)選擇從歷史 p95 或 SLO 預(yù)算推導(dǎo)出該閾值。再向另一副本發(fā)起同樣請(qǐng)求。先返回的成功結(jié)果勝出取消其他未完成請(qǐng)求。代碼示意如下import asyncio import httpx async def call_one(url: str, payload: dict) - dict: async with httpx.AsyncClient(timeout10.0) as client: response await client.post(url, jsonpayload) response.raise_for_status() return response.json() async def call_with_hedge( url_a: str, url_b: str, payload: dict, start_hedge_after: float 0.3, ): task_a asyncio.create_task(call_one(url_a, payload)) # 先給首選副本一點(diǎn)時(shí)間 done, _ await asyncio.wait({task_a}, timeoutstart_hedge_after) if task_a in done: # 首選副本已返回 return task_a.result() # 未返回則向備用副本發(fā)起第二個(gè)請(qǐng)求 task_b asyncio.create_task(call_one(url_b, payload)) done, pending await asyncio.wait( {task_a, task_b}, return_whenasyncio.FIRST_COMPLETED, ) for task in pending: task.cancel() for task in done: try: return task.result() except Exception: continue raise RuntimeError(all hedge requests failed)這段代碼是演示用生產(chǎn)環(huán)境還要處理幾個(gè)細(xì)節(jié)兩個(gè)請(qǐng)求最好打到不同副本否則無法解決副本級(jí)故障。LLM 請(qǐng)求不是天然冪等的同一個(gè)請(qǐng)求重復(fù)執(zhí)行會(huì)增加 token 消耗。建議只對(duì)“只讀類、關(guān)鍵鏈路、用戶可容忍一定成本”的請(qǐng)求開 hedge。如果數(shù)據(jù)有合規(guī)邊界不要把數(shù)據(jù)發(fā)到不同域名的外部服務(wù)。合理做法是在同一套內(nèi)部集群的不同副本之間做競(jìng)速避免擴(kuò)大數(shù)據(jù)暴露范圍。必須設(shè)置整體預(yù)算。不能讓 hedge 請(qǐng)求無限等下去要在 SLO 內(nèi)截?cái)唷_@個(gè)方案的優(yōu)點(diǎn)是邏輯簡(jiǎn)單不需要改推理服務(wù)內(nèi)部實(shí)現(xiàn)缺點(diǎn)是會(huì)帶來額外的 token 成本和算力消耗。所以它適合作為“兜底手段”而不是默認(rèn)策略。7. 簡(jiǎn)單修復(fù)三服務(wù)端排隊(duì)深度與優(yōu)先級(jí)隔離客戶端超時(shí)和 hedge requests 只是在入口做攔截服務(wù)端自身的排隊(duì)策略如果沒控制好請(qǐng)求還是會(huì)大量堆積。一個(gè)典型的壞現(xiàn)象是推理服務(wù)已經(jīng)處理不過來了網(wǎng)關(guān)仍然把請(qǐng)求全部塞進(jìn)來。任務(wù)隊(duì)列無界增長(zhǎng)每個(gè)請(qǐng)求都等到超時(shí)才走最后服務(wù)徹底不可用。正確做法是“有界隊(duì)列 快速失敗”。當(dāng)服務(wù)處于過載狀態(tài)時(shí)不再讓新請(qǐng)求進(jìn)入隊(duì)列而是直接返回 429 或 503讓上游去重試或降級(jí)。對(duì) LLM 推理這種高成本服務(wù)來說快速失敗比重試等待更健康。一個(gè)簡(jiǎn)單的容量門控可以用信號(hào)量實(shí)現(xiàn)import asyncio class CapacityGate: def __init__(self, max_inflight: int, max_waiting: int): self._semaphore asyncio.Semaphore(max_inflight) self._max_waiting max_waiting self._waiting 0 async def acquire(self, wait_timeout: float 1.0): if self._waiting self._max_waiting: raise OverloadedError(queue is full, please retry later) self._waiting 1 try: await asyncio.wait_for(self._semaphore.acquire(), timeoutwait_timeout) except asyncio.TimeoutError: raise OverloadedError(wait queue timeout) from None finally: self._waiting - 1 def release(self): self._semaphore.release()在業(yè)務(wù)服務(wù)里可以這樣使用gate CapacityGate(max_inflight16, max_waiting64) async def run_inference(payload): await gate.acquire() try: # 這里調(diào)用真正的 LLM 推理服務(wù) return await inference_client.generate(payload) finally: gate.release()這個(gè)方案的實(shí)質(zhì)是寧可讓請(qǐng)求快速失敗也不要讓請(qǐng)求在隊(duì)列里堆積成山。配合客戶端超時(shí)效果會(huì)非常明顯因?yàn)榉?wù)端不再消耗資源處理那些注定要超時(shí)的請(qǐng)求。除了容量控制還要考慮多租戶場(chǎng)景下的優(yōu)先級(jí)隔離。線上實(shí)時(shí)請(qǐng)求和離線批量任務(wù)如果共用同一個(gè)服務(wù)應(yīng)該分隊(duì)列或分實(shí)例。批量任務(wù)可以容忍慢線上請(qǐng)求不能。常見做法是線上實(shí)時(shí)請(qǐng)求高優(yōu)先級(jí)隊(duì)列小 batch嚴(yán)格 SLO。離線批任務(wù)低優(yōu)先級(jí)大 batch可以排隊(duì)等待。如果兩者必須混跑至少要做優(yōu)先級(jí)搶占或權(quán)重調(diào)度。這里的核心是“隔離”。不隔離的后果是離線任務(wù)一跑線上 P99 立刻變差。8. 再進(jìn)一步執(zhí)行層優(yōu)化前幾層修復(fù)做完客戶端不會(huì)無限等服務(wù)端隊(duì)列也不會(huì)無界增長(zhǎng)。但如果 GPU 執(zhí)行本身低效那么 p99 可能還是偏高只是用戶感知到的超時(shí)變少了。執(zhí)行層的問題通常要從推理框架入手。以下方向都需要根據(jù)實(shí)際負(fù)載驗(yàn)證而不是一概而論8.1 動(dòng)態(tài)批處理與 continuous batching讓推理框架在 batch 內(nèi)動(dòng)態(tài)加入新請(qǐng)求、動(dòng)態(tài)退出已完成請(qǐng)求而不是等整個(gè) batch 結(jié)束。這個(gè)能力能明顯提高吞吐但如果框架調(diào)度粒度粗長(zhǎng)請(qǐng)求仍然會(huì)拖慢同 batch 的其他請(qǐng)求。主流框架一般都實(shí)現(xiàn)了類似機(jī)制具體開關(guān)和參數(shù)以你所用的框架版本為準(zhǔn)。8.2 Chunked Prefill把 prefill 階段拆成小 chunk避免一個(gè)超長(zhǎng) prompt 的 prefill 長(zhǎng)時(shí)間阻塞其他請(qǐng)求的 decode。適合 prompt 長(zhǎng)度差異大的場(chǎng)景。啟用后首 token 延遲會(huì)改善但調(diào)度開銷可能上升需要壓測(cè)確認(rèn)。8.3 Prefill 與 Decode 分離部署把 prefill 階段和 decode 階段安排到不同實(shí)例上因?yàn)閮烧哂?jì)算特征不同分離后可以各自調(diào)優(yōu)。架構(gòu)更復(fù)雜適合大流量、長(zhǎng)上下文場(chǎng)景。如果只是一個(gè)內(nèi)部小服務(wù)沒有必要一開始就上。8.4 推測(cè)解碼用小模型/草稿模型推測(cè)多個(gè) token再由大模型驗(yàn)證能減少 decode 步數(shù)對(duì)延遲和吞吐都有幫助。但依賴模型類型、batch 大小和硬件是否有效需要實(shí)測(cè)。8.5 KV Cache 和顯存管理KV cache 會(huì)隨并發(fā)和上下文長(zhǎng)度快速增長(zhǎng)。顯存碎片、KV cache 淘汰策略、長(zhǎng)請(qǐng)求顯存占用過高都會(huì)影響調(diào)度。如果經(jīng)常出現(xiàn)顯存不足或反復(fù)重新調(diào)度優(yōu)先檢查 KV cache 管理。這些執(zhí)行層優(yōu)化沒有一個(gè)能保證在所有場(chǎng)景下都有效。正確流程是先做前面三層簡(jiǎn)單修復(fù)再通過壓測(cè)看瓶頸是否還在 GPU 執(zhí)行階段。如果 GPU 平均利用率已經(jīng)很高p99 仍然高才值得繼續(xù)深入執(zhí)行層。9. 驗(yàn)證閉環(huán)壓測(cè)與指標(biāo)對(duì)比做任何修復(fù)都要用同一套壓測(cè)腳本、同一份數(shù)據(jù)、同一批并發(fā)模型去對(duì)比修復(fù)前后。否則很容易把環(huán)境差異誤判成優(yōu)化效果。下面是一個(gè)簡(jiǎn)單的異步壓測(cè)腳本框架用來采集各個(gè)請(qǐng)求的延遲import asyncio import aiohttp import time ENDPOINT http://127.0.0.1:8000/v1/completions PAYLOAD { prompt: 用三句話總結(jié)這篇文章, max_tokens: 128, temperature: 0.7, } CONCURRENCY 50 TOTAL_REQUESTS 500 def percentile(sorted_data, p): if not sorted_data: return 0.0 k (len(sorted_data) - 1) * (p / 100.0) f int(k) c min(f 1, len(sorted_data) - 1) return sorted_data[f] (sorted_data[c] - sorted_data[f]) * (k - f) async def single_request(session): start time.perf_counter() async with session.post(ENDPOINT, jsonPAYLOAD) as response: status response.status return status, time.perf_counter() - start async def worker(session, results): status, elapsed await single_request(session) results.append((status, elapsed)) async def main(): results [] sem asyncio.Semaphore(CONCURRENCY) async def limited(): async with sem: await worker(session, results) async with aiohttp.ClientSession() as session: tasks [asyncio.create_task(limited()) for _ in range(TOTAL_REQUESTS)] await asyncio.gather(*tasks) latency [r[1] for r in results if r[0] 200] latency.sort() success_ratio len(latency) / len(results) print(fsuccess_ratio: {success_ratio:.2%}) if latency: print(fp50: {percentile(latency, 50) * 1000:.1f} ms) print(fp95: {percentile(latency, 95) * 1000:.1f} ms) print(fp99: {percentile(latency, 99) * 1000:.1f} ms) asyncio.run(main())這個(gè)腳本只是框架壓測(cè)時(shí)要注意幾點(diǎn)壓測(cè)時(shí)間不能太短至少持續(xù)數(shù)分鐘讓排隊(duì)效應(yīng)穩(wěn)定下來。數(shù)據(jù)集要覆蓋不同 prompt 長(zhǎng)度和 max_tokens不能全是短請(qǐng)求。對(duì)比修復(fù)前后保留同一份歷史請(qǐng)求分布。除了延遲還要統(tǒng)計(jì)成功率、超時(shí)率、token 吞吐和 GPU 利用率。判斷成功的標(biāo)準(zhǔn)要提前定好。例如p50 基本不變或略有上升但 p95 / p99 明顯下降。超時(shí)率下降且沒有拖垮吞吐。成功請(qǐng)求的總 token 數(shù)沒有因?yàn)橹卦嚩蠓黾?。看到這組指標(biāo)后再?zèng)Q定是否需要繼續(xù)做執(zhí)行層優(yōu)化還是當(dāng)前修復(fù)已經(jīng)夠用。10. 常見問題與排查方法下面是生產(chǎn)環(huán)境常見的尾延遲問題排查表可以對(duì)照檢查。問題現(xiàn)象可能原因排查方式解決方案p99 高但 GPU 平均利用率不高排隊(duì)不均或隊(duì)頭阻塞看隊(duì)列長(zhǎng)度、單請(qǐng)求耗時(shí)分布增加并發(fā)控制拆分長(zhǎng)短請(qǐng)求所有請(qǐng)求在同一時(shí)刻集中超時(shí)服務(wù)端過載或隊(duì)列被打滿看隊(duì)列深度和服務(wù)端日志返回限流狀態(tài)快速失敗限制并發(fā)客戶端超時(shí)后服務(wù)端仍在生成斷開連接后任務(wù)沒有被取消檢查框架是否支持 cancel在服務(wù)端實(shí)現(xiàn)請(qǐng)求取消或最大執(zhí)行時(shí)長(zhǎng)開啟重試后 token 消耗暴漲沒有限制重試預(yù)算統(tǒng)計(jì)重試率、重試導(dǎo)致的 token只對(duì)關(guān)鍵請(qǐng)求重試加退避和限量hedge requests 后延遲下降但不明顯兩個(gè)請(qǐng)求打到了同一副本或同一網(wǎng)絡(luò)路徑檢查路由策略確保請(qǐng)求發(fā)往不同副本使用內(nèi)部多副本p95 正常p99 異常高少數(shù)副本變慢或長(zhǎng)文本請(qǐng)求按副本、按 prompt 長(zhǎng)度分組統(tǒng)計(jì)解決副本冷熱不均限制超長(zhǎng)請(qǐng)求優(yōu)先級(jí)一個(gè)長(zhǎng)請(qǐng)求拖慢一批短請(qǐng)求batch 內(nèi)請(qǐng)求長(zhǎng)度差異大對(duì)比長(zhǎng)短請(qǐng)求的 TPOT啟用 chunked prefill 或拆分長(zhǎng)短請(qǐng)求隊(duì)列壓測(cè)結(jié)果波動(dòng)很大環(huán)境噪聲或壓測(cè)時(shí)間太短加長(zhǎng)壓測(cè)時(shí)長(zhǎng)固定請(qǐng)求分布多次壓測(cè)取穩(wěn)定結(jié)果這里強(qiáng)調(diào)一點(diǎn)不要一遇到 p99 高就立刻懷疑推理框架有問題。先看請(qǐng)求長(zhǎng)度分布和隊(duì)列。很多尾延遲的根源其實(shí)早就在進(jìn)入 GPU 之前就埋下了。11. 最佳實(shí)踐與落地順序結(jié)合上面的內(nèi)容推薦按下面的順序落地修復(fù)方案。11.1 先補(bǔ)觀測(cè)把所有請(qǐng)求加上 request_id記錄各階段時(shí)間戳。沒有觀測(cè)數(shù)據(jù)后續(xù)每一步優(yōu)化都沒有依據(jù)。11.2 客戶端超時(shí)先于一切所有調(diào)用 LLM 接口的地方都必須設(shè)置超時(shí)并明確超時(shí)后的降級(jí)行為。這是成本最低、收益最直接的一步。11.3 控制服務(wù)端入站流量通過有界隊(duì)列、信號(hào)量和最大并發(fā)數(shù)避免服務(wù)端進(jìn)入無界排隊(duì)狀態(tài)。高負(fù)載時(shí)寧可快速失敗也不要無限堆積。11.4 關(guān)鍵請(qǐng)求再用競(jìng)速方案默認(rèn)不雙發(fā)。只有當(dāng)歷史數(shù)據(jù)顯示某些請(qǐng)求會(huì)明顯慢于預(yù)期且業(yè)務(wù)允許更高的 token 消耗時(shí)才對(duì)這部分請(qǐng)求啟用 hedge requests。11.5 壓測(cè)對(duì)比不要憑感覺調(diào)參每做一步修改都跑同一套壓測(cè)流程對(duì)比 p50、p95、p99、成功率、超時(shí)率和 token 成本。用數(shù)據(jù)決定是否需要進(jìn)入執(zhí)行層優(yōu)化。11.6 涉及數(shù)據(jù)使用的合規(guī)提醒修復(fù)過程中涉及請(qǐng)求轉(zhuǎn)發(fā)、多副本調(diào)用時(shí)要確保數(shù)據(jù)只流向有授權(quán)的內(nèi)部服務(wù)。不要為了降低延遲把包含敏感信息的數(shù)據(jù)發(fā)送到未確認(rèn)合規(guī)的外部接口。人臉、聲音、隱私文本等數(shù)據(jù)都要先確認(rèn)授權(quán)邊界再進(jìn)入多副本鏈路。11.7 線上發(fā)布前做小流量驗(yàn)證不要一次性全量發(fā)布修復(fù)策略。先讓 5% 到 10% 流量走新邏輯觀察成功率、延遲和成本確認(rèn)穩(wěn)定后再擴(kuò)大。從長(zhǎng)期看尾延遲治理不是一次性項(xiàng)目。請(qǐng)求分布會(huì)變、流量模型會(huì)變、模型版本會(huì)換治理方案也需要持續(xù)調(diào)整。最穩(wěn)妥的起點(diǎn)永遠(yuǎn)是那三件成本最低的事情超時(shí)、有界隊(duì)列、先到先得的競(jìng)速兜底。它們不解決所有問題但能幫你把“不可控的慢”變成“可感知、可攔截、可降級(jí)的慢”這一步做完整個(gè)系統(tǒng)就已經(jīng)穩(wěn)了一大半。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操逼无毒无码免费视频| 欧美性爱中文字幕无线码| 国产精品午夜成人福利| 亚洲欧美综合| 很很很很操| 中文久久爆乳| 中文字幕美女91| 精品无av| 亚洲精品国产精品乱码不卡| 丁香五月大香蕉| 日韩一级性爱无码| 亚洲女人毛茸茸91| 中文字幕 人妻不满 在线视频| 大香网伊人久久综合网eew| 精品无码久久久久久国产浪潮| 97操操| 日韩成人免费电影| 国产高清无码一区三区二区| 少妇久久久| 嗯……啊…嗯嗯…啊…好舒服| 亚洲天堂7777| 男生通女生屁股| 999在线电影香蕉| 久久精彩视频| 97久操| 青青伊人这里只有精品| 91欧洲国产成人久久精品网站| 日本天堂在线播放| 伊人丝袜美腿高跟在线观看高清| 亚洲精品 大香蕉| 最新中文字幕在线亚洲| 亚洲操人| 一本色道久久综合熟妇| 国产日本久久免费精品| 日本超碰在线国产一区| 久久久久久久9最新免费视频观看| 91麻豆天美国产欧美高潮| 欧美黑人精品一区二区| 欧美天天综合站| 日本日日色视频| 五月丁香六月综合缴清无码 | 天天激色| 九热中文字幕| 蜜臀久久99精品久久久电影| 欧美日韩中文视频播放| 五月婷亚洲精品天堂| 欧美日韩色| 影音先锋国产精品| 成人一二| 少妇一级婬片免费放一级a性色.| 色天使亚洲综合在线观看| 无码av永久免费专区网站| 99爱爱| 亚洲欧美自拍偷拍| 久久精品一区二区三区四区五区| 超碰97国产欧美| 国精品一区二区三| 亚洲色9| 精品久久久久9999| 1区2区3区中文字幕日韩| 成人av动漫在线观看| 天天干天天操天天干天天操| 91超级碰| 78久久久| 精品丰满熟妇人妻一区| 欧美高清在线| 性爱久久| 粘花网06av视频| 外国免费性情大片| ji熟女.com| 天天干18禁| 欧美人与动性人交a| 91久| 天天干天天日天天射黄色| 日韩性爱视频在线免费观看 | 少妇色综合| 乱伦1色页| 人妖欧美一区二区| 九九九九精品一区| 嗯~啊~快点 死我视频| 国产一区自拍欧美日韩| 亚洲 欧美 色图| 综合干干干av久久久综合网 | 99re在线视频| 五月丁香六月婷| 国产传媒午夜理伦精品| 久偷拍欧美日韩三区| 国产男女无套视频免费观看| 91欧美性| 操美女人妻| 国产a片操逼| 日本一线产区和二线产区伦理片| 婷婷丁香一区二区三区| 麻豆天美传媒在线视频天堂| 蜜桃久久久久久| 欧美熟妇人体| 97色妞| 五月综合婷婷久久网站| 亚洲码在线中文在线观看| 国产第11页| 高树玛利亚无码流出| 日韩人妻中文视频| 91网18| 嗯啊不要在线观看嗯啊| 日韩精品一区二区三区色欲| 日本黄色大片一级视频免费麻豆| 性色亚洲| 欧洲久久一二线| AV色五月天| 日产中文字幕2020| 日本最新免费韩国1区2区视频播放| 久久人妻视频网| 免费黄色A片| 国产在线能看的你懂的| 91视频综合| 欧美色97| 啊操爽品善一区二区三区| 亚洲熟妇自偷自拍另欧美| 国产日本久久免费精品| 1204av韩国| 韩国久久97| 成人免费在线网站| 懂色AV网| 日本欧美m v精品网站加| A片 AV一级在线播放观看免费| 亚洲91色| av爱爱爱| 亚洲春色一区二区三区| 永久免费av无码网站国产app| 97超碰中文在线| 夜夜嗨老熟女AV一区二区三区| 日韩午夜国产| 久久精品一区| 综合熟女| 亚州色站 日韩电影| 性欧美天天| 七久久久| 久久久久久久久九九久孕交| 超碰激情808| 人妻乱仑一区二区三区| 亚洲精品一二区| 久久9 9 9精品| 97色五月天完| 色色色热| 五月天精品| 色婷婷电影网| 色婷婷丁香五月| 国产欧美日本亚洲精品| A片大香蕉在线| 成人无码在线超碰网| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 一块操欧美性爱| 国产欧美岛国精品一区| av天堂5| 成人AV超碰免费在线| 日本免费一级AAA大片器| 国产一级不卡在线观看| 大香蕉123| 亚州春色| 人妻少妇久久中文字幕一区二区 麻豆 | 男人久久精品| 97视频在线播放| 91视频精品| 国产高清免费不卡av| 懂色AV蜜臀无码精品APP| 91一起操| 久久亚洲日韩国产欧| 国产sv美女内射| 激情小说图片亚洲首页| 色五月首页| 蜜桃视频一区二区三区在线观看| 国产久久日| 亚洲欧美首页| 国产1769在线| 日韩精品电影| 久久久久久久久久va| 亚洲色图尤物视频| 国产av白丝| 一区二区三区在线日韩影院观看| 成人国产二区三区在线,男女精品。| 亚洲综合第一页| 色婷婷六月丁香七月婷婷| 五月天激情四射| 日韩影片中文字幕一区二区三区| 九九热精品| 欧美制服网站美腿丝袜| 久草色在线观看| 手机看片91人妻| 人妻丰满熟妇一区二区三| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 超碰社区97| 一级二级三级黑人无码| 综合婷婷| 日韩欧视频| 国产探花精品在线| 国产成自自拍在线观看| 粉嫩av在线| 欧美色婷婷| 伊人9| 在线观看黄色电话| 日韩干B| 在线A日本| 日日夜夜青青草母狗| 欧美日韩1234| 成人婷婷丁香| 婷婷爽人人婷婷爽视频| 婷婷五月综合在线| 日韩无码服务区| 玖玖爱免费观看视频| 青青草字幕AV| 成人性爱电影网| 精品欧美日韩在线观看| 成人性爱av.com| 亚洲成人妻日韩在线| 中文字幕日韩专区精品系列 | 97爱综合| 1024亚洲中文字幕久在线看片你懂的| 日韩一级二级三级在线不卡观看完整| 色色色网站| 黑人综合色| 人人看人人摸人人色| 加勒比av官网在线| 免费精品人妻一区二区三| 91美女丝袜诱惑视频| 综合色欧美| 成人欧美一区二区三区黑人一| 亚州色阁| 99色在线| 性夜影院爽黄A爽免费动漫| 不卡超碰护士AV在线免费播放| 久久午夜色播影院免费高清| 91少妇香蕉久久精品| 国产精品无码久久久久2028| 97操综合| 日韩欧美视频青青| 亚洲国产奇米影视久久| 日本欧美m v精品网站加| 久久精9| 94色色电影网| 91人妻视频在线| 日本精品中文字幕视频| 久久国产精品熟女人妻| 国产AV高清AV无码| 久久男人的天堂| 亚洲AO在线| 国产精品毛片?v一区二区三区 | 明星性猛交ⅹxxx乱大交| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 日本熟妇一区二区三区| 欧美精品精品一区二区| 东北女人操比视频| 天天色悠悠激情| 日本熟女免费視颖| 亚洲国产精品9999在线观看| 国产传媒一区日韩| 久草视频观看视频在线| 亚洲日韩资源| 91在线美女| 国产二区三区免费视频| 很很很很操| 骚熟女吞| 国产一区麻豆免费观看| 亚洲欧美自拍偷拍| 狠狠超| 亚洲色香| 97爱免费插| 色婷婷六月丁香七月婷婷| 色偷偷综合91久久噜噜| 久久久久久午夜男人的天堂| 黄色电影观看久久9| 精品欧美乱码久| 噜噜噜久久亚洲精品色情| 强奸乱亚洲| 国产兽交视频在线播放| 91n处女在线观看| 五月丁香激情综合网| 十八禁啪啦拍视频无遮挡| 91人人| 真实高潮91| 国产一级αv免费看片| 免费强奸av| 欧美姓爱综合网| 久啪| 一块操欧美| 成人毛片免费| 欧美性性性| 97热视频在线观看| 双插在线| 午夜精品一区二区三区三上悠亚| 伊人女女资源在线观看| 亚洲一区中文字幕一区| 综合自拍| 日韩欧美国产高清视频| 日本三级一区二区 在线| 中文乱码字字幕在线第5页| 中文三一区| 91色综合色| 夜夜爽妓女| 夜夜爽爽爽| 国产精品久久久久久久久AV大片 | 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 欧美熟妇乱码在线一区| 日韩人妻少妇 一区二区三区| 国产黄片精品在线| 久久啊啊啊| 91天堂丝袜美腿| 丝袜天堂网| 国产精品在线网站| 久久超碰97中文字幕| 91黑丝少妇| 乱精品一区字幕二区| 日韩啪啪网| 国产精品三级视频网站| 天天色播亚洲综合网站| 99久久9| 多乙久久久久久| 亚洲成人无码影院| 乱伦系列一区二区| 99热伊人| 青青草白白色| 蜜桃视频精品一区二区三区| 岛国小电影| 97爱爱影院| 亚洲国产综合久久天堂| 国产成人主播| 久久久久密臀一区二区| 久久久99999久网站| 亚洲欧美在线综合| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 国产97在线 | 亚洲| 夜色综合| 日韩A优精品在线观看| 日韩美女操b| 91干熟女| 丁香婷婷啪啪| 欧美九九爱| 欲色影视综合吧| 午夜精品99久久久久传媒| 亚洲精品久久久久久久久豆丁网| 操逼内射干逼白丝91| 欧美制服网站美腿丝袜| 97精品综合久久网| 丰满丝袜少妇AV| 伊人午夜福利视频| 亚洲丝袜综合| 久久久久人妻二区精品叶可怜| 久久久精品91八戒| 日韩成人免费电影| 91扒丝袜综合在线| 欧美综合制服在线| 亚洲资源站| 性爱AV天堂| 最新国产亚洲精品精品国产亚洲综合| 成人综合视频久久| 操死我了嗯嗯嗯| 日本高清一本二本免费不卡| 免费国产视频| 日韩 欧美 视频 在线 一区| 中文字幕老熟妇黄色视频| 97久久精品国产| 插B在线观看| 欧美日韩国产成人高清| 久综合网| 精品少妇人妻| 精人妻无码一区二区三区伊人直播 | 天天久久久久久| 人妻少妇久久中文字幕一区二区 麻豆| 天天爽天天操啊啊啊| 激情无码日韩| 久久国产精品91| 老鸭窝成人| 国产精品露脸在线观看| 丰满岳乱妇一区二区三区| 色五月婷婷中文字幕| 婷婷四五区| 豆1无夜无码| 天天舔天天日天天射| 亚洲激情欧美色图 | 久久久成人精品| 一区二区无码视频| 蜜乳Av成人片网站| 久久綜合很很很| 欧美日韩亚洲高清不卡一区二区三区| 思思热免费在线视频| 91久久婷婷| 中文字幕乱碼在线| 亚洲精品自拍| 丰满欧美少妇| 女同性恋中文字幕| 日韩探花精品在线视频| 日韩精品人妻中文字有码在线| 九久精品| 久久6热精品99视频| 97碰久久| 神马久久69| 日本免费二区三区| 精品久久人妻成人网| 亚洲欧美日韩中文久久自慰| 最新av中文字幕高清| 欧美超碰9798| 欧美精品成人一区二区在线观看 | 国产综合色精品在线观看| 免费一级视频特黄色大片| 久久免费99精品久久久久久| 熟妇亚洲一区二区三区| 天天上日日上日韩精品| 91艹逼精品| 影音先锋日本乱伦| 一本一首道人妻少妇免费久久| 亚洲欧美碰碰| 久久久com| 亚洲色图欧美色图另类图片| 日韩av熟女一区二区三区成人| 超碰成人人人爽人人爽| 欧美黄色图片| 天天操夜夜嗨| 日本免费二区三区| 91丨熟女丨丰满熟女| 无码九九九九| 欧美色五月| 97在线视频网站| 天综合网| 日本国产亚洲一区在线观看| 欧美国产有色电影| 亚洲成av人片色午夜乱码| 丝袜美腿丝袜| www四虎| 午夜超爽| 成人夜夜| 成人片在线播放| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 9九九国产| 狠操91,com| 美骚妇av高清在线| 欧美亚州手机在线| 色五月网址| 97视频在线播放| 欧美 亚洲 综合 制服 另类| 91黑丝在线播放| 久久精品高清无码一区| 亚洲图片欧洲图片aⅴ| 天天干1区2区在线| 综合亚洲情色| 综合色欧美| 亚洲诱惑| 欧美综合 站| www.四虎在线| 91亚洲人电影| 亚洲宅男天堂| 99亚洲精品| 欧美日韩国产中文精品字幕自在自线| 免费看A片毛毛片在线播| 国产精品久久久无码AV网站| 日韩无码服务区| 中文字幕一区av| 天天激情干| 东北女人| 天天狠操| 国产美女自拍视频| 天天看特黄的免费网站| 无码高清操逼网址| 多乙久久久久久| 插欧洲美女欧美精品| 久久婷婷色| 蜜乳AV色欲AVAV无码| 日韩人妻 中文字幕| 久9热| 热久日综合| 日韩熟女操逼| 黑人中出21连凳花野真衣| 天天干电影| 亚洲有码 视频一区| 天天躁日日躁AAA片李宗瑞| 99国产精品人妻人伦| 91精品91久久久久77777俄罗斯老妇姓x| 无码精品久久久天天影视| 国产操逼网站亚洲一级黄色| 天天拍天天操| 成人午夜视频免费播放| 无码 黑人一区二区三区| 人妻美腿丝袜制服诱惑综合天堂-| 香伊人在线| 国桃视频产巨乳精品一区二区在线| 日韩乱码Av| 国产福利第一视频| 国产精品不卡一区二区三区av| www. 男人天堂成人在线| 人人澡人人爽人人精品| 国产精品大香蕉| 色操逼网| 色哟哟综合| 凹凸视频在线一区二区| 精品人妻一区二区三区四区| 蜜臀中文字幕| 亚洲男人综合网| 五月天色图| 日本高清有码网址视频| 99精品视频在线观看免费| 91精品微拍福利| 秋霞Av理论一级在线| 激情欧美97| 国产馆| 色欧美在线| 亚洲国产奇米影视久久| 国产一区免费午夜视频| 99人妻| 日本大香蕉综合网| 9999久久久| 少妇久久久久久久| www.亚洲成人一区| 国产Aα| 五月综合婷婷久久网站| 亚洲各类熟们中文字幕| 色综合网1| 久久美女福利是上海美女| 深田咏美亚洲精品福利社 | 一二三四日本视频高清| 欧美性天天影视| 97香焦色区| 蜜臀人妻少妇久久在线观看| 亚欧美综合网。| 9ⅰ久久久天天| 亚洲男人天堂网站| 97无码视频在线播放| 91影库| 91精品啪在线观看国产城中村| 在线观看精品国产免费| www.色婷婷.com| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 午夜视频久久久久一区| 五月天久久婷婷亚洲 | 爱射综合| 天天日天天干天天色| 第45页一区二区| 老鸭窝日丰县女人| juliaann丝袜| 亚洲欧美不卡线| 超碰精品国产无码| 伊人97色天使| 成人天天爽| 蜜臀久久在线视频| 久久亚州精品成人Av无| 麻豆 亚洲 97| 久久久免费一级黄片| 青青伊人久久| 婷婷五月天成人网| 日韩av在线播放不卡| 9999久久久| 日韩无码极品| 97超碰磁| 91操操| 日韩性爱一级片| 丰满搜索结果 -第18页- 久久高清无码 | 色九九综合| 91亚洲不卡一区| 国产丝袜美女在线一区| 嗯嗯啊在线视频| 沈阳熟女高潮对白视频| 人妻少妇精品久久久| 久操网视频| 91色亚洲| 激情图片亚洲色图| 性爱乱伦网址| 一区二区不卡视| 蜜乳av一区二区三区四区不卡| 婷婷深爱五月| 欧美A片中文字幕| 啊啊啊啊免费视频| 欧美五区| 狠狠操夜夜操蜜桃视频三区| 91在线超高颜值国产| 智利AV在线网| 国产乱人妻精品入口| 97色色色| 探花精品视频| 草莓精品视频在线免费观看| 成人亚欧免费视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 99自拍B亚洲 | 日本在线视频导航| 青青草依人大香蕉| 色综合超碰超| 色综和网| 国产25页| 日韩在线97| 免费网站观看www在线观| 五月天婷精品激情| 强奸乱伦Av网| 亚洲欧美自拍偷拍| 无码WWW免费视频网站| 九月婷婷| 九月婷婷久久| 激情五月婷婷| 国产按摩一区二区三区| 久久综合99| 6080YYY午夜理论片在线观看| 97视频免费播放| 黄骗免费网站| 亚洲成人在线高清| 粉嫩av久久一区二区三区| 性久久久| 加勒比在线视频一区二区三区| 秋霞一级鲁丝片A片| 欧美操人视频| 亚洲欧美色图小说| 亚洲一级特黄大片在线播放91| 美女裸体麻豆天美蜜桃91| 欧美少妇大量自拍视频在线观看| 色狠狠综合噜一二三区| 日韩9999| 91精品国产一区三一| 性久久| 天天躁日日躁成人字幕aⅴ| 欧美 日韩 亚洲 春色| 人人天天干干| 97自拍一区| 好涩综合| 精品国产人成在线| 精品国产乱码久久久久久影片| 求求你操操我| 最新制服中文第一页| 欧美成人四级在线播放| 色哟哟AV| 久久久久久9| 强奸乱伦大香蕉网| 亚洲欧美另类少妇精品| 啪啪自拍九九综合| 免费操逼视频下载| 欧美狠狠操| 碰碰97| 欧洲色| 91色夜| 久久久精品视频免费观看| 五月天婷婷综合| 性九九九九九九| 高清无码一区二区三区| 2020视频1区2区3区| 大香蕉欧美| 97超碰中文在线| 四虎影库国产精品免费| 尤物视频新赏网鲜网色诱网| 无码日韩人妻av一| 国产精品久久久久久久久久久久久久久久 | 国产精品农村妇女| 无码国产精品久久久久| 久久99草| 国产高清无码一区二区三区四区皇冠| 欧美后入视频| 看日韩操逼| 亚洲久久东京热一二三四五区视频| 国产精品久久妻无码网站| 大香蕉综合网| 能在线播放的国产三级| 特污免视频| 男人的天堂2018.| 99九九精品| 超碰碰97资源站| 在线播放成人网站| 国产精品网址| 夜夜狼人妻| 18禁免费视频| 日本人妻天堂网站在线播放| 97人人操人人摸| 欧美人妖内射| 中文字幕av乱伦| 国产传媒午夜理伦精品| 十八禁视频网站| 欧美手机在线综合| 夜夜操2028| 色操逼网| 久久97精品久久久久久久不卡| 日韩有码一区三区| 狠狠中文字幕| 欧美亚洲| 91精品操美女| 黄色成品网站| 熟女视频久久| 干婷婷综合网| 麻豆天美久久91| 成年无码动漫av片无尽在线| 激情另类激情| http://qxhbdz.com| 你想操日本小逼吗| 亚洲在线91| 少妇久久久免费| 欧美一区二区传媒| 亚洲另类久操网| 国产精品久久久久综合| 久久riav中文精品| 国产精品久久久久无码A√| 97爱爱官网| 97超碰中文| 女人的天堂大香蕉网| 久久精品免费| 天美传媒国产原创中文字幕亚洲欧美另类| 最新中文字幕精品在线| 欧美特大AA级黄片| 日韩强奸av| 天天看精品动漫视频一区| 可免费观看的av毛片中日美韩| 日韩综合97P| 天天插天天操天天摸天天射天天看| 91九九九馒头| 亚洲欧美伦综合| 国产精品九九| 蜜桃精品视频一区二区三区| 91精品成人| 超碰中文字幕人妻草一区| 青春草A| 九九亚洲精品| 青青草久久在线| 久草成人影片| 99精品久久久久久久婷婷蜜桃| 日日日日做夜夜夜夜无码| 欧美黄片免费在线观看视频| 综合在线导航一区| 五月丁香久久| 国产精品经典一卡久久久 | 亚洲无码精品AV久久久| 国产精品视频91久久| 不卡中文字幕aⅴ在线| 日韩性爱播放| 超碰97日韩| 综合91网| 亚洲中文字幕乱码无码一区二区 | 污电影在线观看| 欧美一区二区亚洲天堂| 色色婷婷丁香| 天天综合91入口| 啊啊啊慢点| 被男人吃奶很爽的毛片| 欧美,日韩,亚洲视频| 伊人久久婷婷| 超碰美女97| 亚洲自拍一区夜夜操| 91国产丝袜美女| 在线免费观看高清无码视频| 操逼操逼逼操操逼91 | 9色在线| 蜜桃视频啊啊啊啊| 亚洲一二三四区| 国产精品探花在线| 狠插 制服 自拍| 加勒比中文av| 欧美99热| 亚洲人精品久久久| 18禁超污无遮挡无码免费网| 大香蕉99热| 操淫穴亚洲五月丁香 | 性久久| 欧美精品另类人妖xxxx| 97这里有精品| 蜜乳av首页| 午夜视频久久久久一区| 又黄又爽在线观看视频| 91丰满| 日韩一级二级| 五十路熟女人妻一区二区三区四区五| 天天干天天操天天干天天操| 中文字幕在线观看AV| 男人综合网| 国产欧美日韩女同性恋ww喷水精品 | 青青草色AV| 女人 A一级| 精品一国2| 国产无马视频| 亚洲天天自拍| 色蜜AV| 99久久无码| 久久九七| 国产白领连续中出在线观看| 欧美成人色| AV天堂国产| 五月丁香狠狠爱| 乱欲视频| 人妻乱仑一区二区三区| 日本五区不卡| 韩日男人的天堂| 午夜精品久久久久久久99蜜桃一| 加勒比久久av| 亚洲18禁| 丁香色五月 97干| 色天天野狼综合社区| 久久久久久久久久久人妻| 国产熟女完整版中字| 加勒比海色香蕉婷婷| 超碰97在线中文| 俺去俺来也在线www| 妇女性内射冈站HDWWWCOM| 青青草影视蜜久久| 99热导航| 日韩精品三区四区| 99操99| 中文字幕一区电影在线观看| 97超碰精品| 青草精品视频一日本久久久久网站| 亚洲天堂自拍| 亚洲色欲一区二区三区| 99色视频| 色牛牛AV| 国产亚洲精品玖玖玖在线观看| 厕所偷拍在线| 乱伦系列一区二区| 操逼逼中文字幕| 亚洲精品一区二区精品| 国产91 丝袜在线播放00-百度| 欧洲大香蕉| 精品十三区| 成人日韩中文字幕| 欧美少妇第一页| 蜜奶av| 91殴美大片| 91爰爱欧美| 美女91色黄18| 国产精品久久久久久9999| 最新精品久久蜜桃| 男人 天堂 日 亚洲| 东京热精品97综合网| 亚洲天堂综合AV| 欧美最婬乱婬爆婬性视频| www四虎| 亚洲天堂人人妻| 国产乱弄免费在线视频。| 久久草视频污视频| 亚洲在线观看| 国产精品一区二区a| 天天爱天天操| 嫩草美女久久| 伊人99热| 久久久久久91香蕉国产| 久草毛片| 天堂俺去俺来也www久久婷婷| 操逼1区| 免费农村成人少妇人妻Aa一区二区视频 | 久草婷婷| 欧美国产精品久久九九| 久草电影网| 久久久久久久九九九九| 欧美真人抽搐一进一出gif | 91精品国产综合久久久蜜臀酒店| 狠狠干2020| 爱爱动态60秒| 亚洲美女自拍偷拍视频| 91人妻超碰| 久久久久密臀视频| 91综合站| 日韩午夜啪啪视频| 嗯嗯,好大,好爽,好骚| 人人妻人人爽一区二区三区| 少妇一区二区三区高速| 男人的天堂不卡一区二区| 久久超碰免费的| 欧美一二三| ?亚洲伊人伊成久久人综合网| 中文字幕丝袜人妻| 尤物视频网 刘玥| 国内偷自视频区视频综合| renqi久久久久久久久久久久| AV男人天堂网| 五月天玖玖资源站| 久久视频,这里只有精品| 久艾草在线精品视频在线观看| 久久久久13| 2019天天干| 99色视频| 啊啊啊爽爽| 91狠婷| 国产精品人妻免费精品| 人妻夜夜爽天天爽麻豆三区网站| 婷婷性网| 午夜精品一区二区三区三上悠亚| 青青操日韩| 日韩97超碰中文字幕| 91伊人| 色女综合| 国产亚洲美日韩Aⅴ中文字幕无码成人| 75大香蕉| 激情久久av一区av二区av| 中文无线日韩一区| 全免费a敌肛交毛片免费| av在线免费一区二区| 国产东北女人在线视频| #NAME?| 久久精品中文字幕无码l| 中文日韩欧美熟| 欧美性爱五月天| 2017av无码免费无线播| 国产乱婷婷精品二区三区| 男女做爰猛烈动高潮A片免费应用| www.天天干| 人妻9117c| 久久禁| 爱爱动态120秒| 一类av片在线看| 热久久无毒不卡| 97在线国产精品| 欧美日韩国产高清在线一二三区 | 一级性爱网| 强奸熟女一区二区三区 | 天美精品一区二区三区四区在线观看| 欧美大香蕉同搞| 搡老女人老91妇女老熟女| 国产亚洲日本| 久久久99久9| 亚洲色啪| 国产精品自在线发布| 啊啊啊在线观看| 日日爽熟女| 粉嫩小泬久久久一区二区| 在线黄页看毛片| 欧美麻豆成人同性GⅤ在线| 欧美精品三级黄片| 精人妻一区二区三区| 91九九九吃| 东北女人操比视频| 欧洲一区二区三区免费| 综合久久中文字幕综合日韩精品| 欧美激情另类一区二区| 91AV入口| 欧美亚洲一级在线观看| 欧差乱伦二三| 国产内射爽爽大片| 97在线观看| 大学生美女口爆| av激情亚洲五月天| 搡老熟女免费视频| 亚洲欧美色图小说| 青娱乐国产剧情av一区| 久久久久国产精品久久久| 91综合熟女| 在线97视频| www亚洲免费| 亚洲欧洲精品视频发布| 日本人妻中文字幕精品| 亚洲成aⅴ人片不卡无码| 无码人妻精品酒店| 日韩无码一级黄色av片| 亚洲精品性爱片| 久久久无码av精| 婷婷尹人大香蕉免费| 防屏蔽在线视频| 动漫片子网站3黄| 国产又黄又粗又猛大片| 色狠狠一区二区三区香蕉| 天天欧美97| 2025年A片视频精品| 啪啪免费| 99re6久热只有精品6在线直播 | αⅴ天堂| 免费久久一级毛片大黄| 日韩强奸av| 欧美极度丰满熟妇hd| 日本伦理一区二区| 综合熟妇一区二区三区| 亚洲精品久久久久毛片A片拉屎 | 人妻无码后入| 久久综合av| 伊人国产成人av网站| 女人精品内射国产99| 国产宅男宅女在线观看| 去干网最新版| 第45页一区二区| av九九| 91c色| 国产在线精品电影观看| 欧美小说区视频区| 一中国女人毛片水真多| 浓厚中出中文字幕在线| 99热在线播放| 天天综合站| 口爆吞精在线观看| 精久久久91| 日韩三级伊人| 97在线国产精品| 曰韩中文人妻视频| 久久九九99| 99re黄| 日韩偷拍色图| 日本福利二区视频| 色婷婷综合久久久久中文一区二区| 亚洲 中文 女同| 啊啊啊在线观看| 欧美高清无码免费视频高清版| 91动漫操逼视频| 97欧美色综合| 国产超碰人人爽人人做| 精品中文一区二区| 波多野结衣先锋影音| 97免费视频在线观看视频| 日韩一性一交一A片俄罗斯| 99热日| 激情久久久| 超碰97中文| 欧美 综合| 亚洲图片在线| 97一区二区三区视频| 午夜精品人妻二区三区| 亚洲国产精品99久久久| 北京美女一区二区| 乱欲一区二区| 无码粉嫩白虎一线天b区| 69精品人人人人| 青娱乐999| 欧美十八禁视频| 欧美一级黄片免费播放| 亚洲色五月| 最新日本中文字幕| 性欧美| 99久久久久久亚洲精品不卡| 亚洲最大无码中文字幕网站| 欧美热图99| 97国伦国色| 热久久91婷婷| 丰满人妻一区二区三区四区| 欧美+日产+中文| 欧美色图自拍| av大香蕉| 爱我干综合| 国产精品久久久鸭无码的功能| 超碰在线综合97| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 男人的天堂2018| 久久鲁干| 天天摸天天操视频| 91久久久久久久久久久| 麻豆精品一区二区三区四区免费观看| 99精品热| 婷婷五月av| 日本不卡高清视频| 2017天天插| 欧美色图在线视频少妇| 91九九九小逼| 国产精品视频播放| 国产伦精品免编号公布| 激情五月天婷婷| 欧美疯狂做爰xxxx| 开心五月天激情网| 亚洲制服欧美另类内射| 中文久久爆乳| 波多野结衣先锋影音| 国产高清无码一区三区二区| 国产美女裸体秘 永久无遮挡| 激情婷婷综合久久| 少妇厨房愉情理伦片bd在线观看| 国产精品视屏| 日本熟女不卡视频| 九九视频黄色片| 日本97久久| 97免费视频在线| 超碰在线人人射| 国产精品 久久久精品一牛| 亚洲精品乱码线路中文字幕 | 亚洲极品| 久久伊人影院| 国产肏逼网站| 日韩精品在线视频在线观看| 国产精品久久久久综合| 丁香五月色| 人妻天天爽夜夜爽精品2| 伊人久大| 人人操,人人插| 无色无码| 2019天天操天天爽天天拍| 久久精品中文字幕女同| 久久久久九九九九| 人人扣人人操| 欧美国产视频| 青青五月天| 日韩有码一区三区| 青青草视频这里只有精品| 成人综合网 欧美| 天天拍天| 精品人妻视频入口| 伊人麻豆传媒| 91精品国产91综合久久蜜臀| 色综合国产在线观看| www.久久| 免费草草草草草视频| www熟女乱伦com| 蜜臀av一区二区三区免费观看| 久久精品一区二区三区蜜桃臀| 亚洲综合另类| 国产成人亚洲精品自产在线| 日韩欧视频| 日本一区二区三区四区免费观看| 大香蕉久操| 99999亚洲另类| 久久男女激情视频网站| 成人天天看站长推荐| 欧美色www亚洲国产阿娇要播| 久热9| 久久久久久久久久精| 国产女人和拘做爰视频| 欧美99| 国内毛片四区| 欧美日韩午夜精品一区二区三区 | 久久久久久久久国产| 97亚洲中文| 丁香五月激情综合| 大香蕉久久| 91 丝袜在线| 欧洲特黄毛片免费看欧洲毛片| 欧美97在线观看| 国产一级操B视频| 91综合国产精品| 亚洲制服欧美另类内射| 欧美日韩中文字幕不卡| 亚洲天堂,男人| 后入人妻无码| 国产午夜视频| 超碰人人色| 中文字幕精品一区欧美| 97色色色综合网站| 国产树林里野战在线看| 人妻夜夜爽天天爽三区麻豆AV网站| 艳美熟妇先锋一二三区| 欧美gv在线观看| 欧美色图校园春色| 亚洲网自拍| 国产亚洲精品一区二区三区| 日韩中文9| AA丁香综合激情| 欧美精品一区二区少妇免费A片| 老鸭窝在线视频播放| 六月婷婷激情| 99久久99九九99九九九| 欧美操逼一二三区| 日韩乱伦影音先锋| 在线观看黄色电话| 美女AV一区二区| 大香蕉伊人网WWWn0n| 99精品久久久久久久婷婷| 美女啊啊啊啊啊啊| 新怡红院| 国产日韩中文字幕欧美| 午夜毛片高清免费不卡| 天天综合网~69| 欧美性猛交美女自慰91| 噜噜吧,噜噜色,噜噜| 夜夜操狠狠操| 精品久久久久久中文| 五月婷婷丁香六月丁香| 超碰到97情色| 狠狠躁天天躁日日躁97| 男人精品天堂一区| 精吧天堂| 1204金沙人妻懂旧版免费| 亚洲码和欧洲精品激情系列| 天天享受天天看| 麻豆AV96熟妇人妻| 色哟哟1区2区| 午夜福利在线合集| 日日骚av| 蜜臀久久久99久久久久 | 无码99| 后入美女国产| 青青青操| 亚洲国产丝袜在线观看| 91色伦| 国产91亚洲精品一区二区三区|