日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

算法與infra協(xié)同實(shí)戰(zhàn):從模型部署到推理性能優(yōu)化的完整指南

算法與infra協(xié)同實(shí)戰(zhàn):從模型部署到推理性能優(yōu)化的完整指南 模型在本地調(diào)得再漂亮上了線才發(fā)現(xiàn)GPU利用率不到30%接口P99延遲飄到幾百毫秒算法同學(xué)說“我代碼沒問題”infra同學(xué)說“我資源也沒問題”兩邊對(duì)著一個(gè)黑盒互相甩鍋——這種場(chǎng)面我在不止一個(gè)團(tuán)隊(duì)里見過。算法和infra的協(xié)同聽起來是個(gè)工程管理話題實(shí)際操作起來全是技術(shù)細(xì)節(jié)推理框架怎么選、batch size怎么定、數(shù)據(jù)管道怎么設(shè)計(jì)、profile的結(jié)果怎么解讀。這篇東西不聊虛的把我自己在一線做“算法-infra協(xié)同”的踩坑經(jīng)驗(yàn)、設(shè)計(jì)思路和排查方法整成一份可復(fù)用的參考給正在被模型部署和性能調(diào)優(yōu)折磨的算法工程師、以及被各種“優(yōu)化需求”打擾的infra工程師都做個(gè)參照。我前幾年主導(dǎo)過一個(gè)推薦模型的推理服務(wù)優(yōu)化項(xiàng)目從最開始的兩邊互相看不懂到后面沉淀出一套配合模式中間的過程很能說明問題。下面按我自己的實(shí)踐路徑把整個(gè)協(xié)同過程拆開講。1. 為什么“算法-infra協(xié)同”成了必須面對(duì)的問題1.1 算法模型跑通只是第一步上線才是真正的門檻很多算法團(tuán)隊(duì)習(xí)慣的交付狀態(tài)是模型在離線評(píng)測(cè)集上指標(biāo)達(dá)標(biāo)然后在Jupyter Notebook里跑通一個(gè)推理demo就認(rèn)為“算法已經(jīng)完成”。但實(shí)際情況是從Notebook到生產(chǎn)服務(wù)之間有一道巨大的鴻溝這道鴻溝幾乎全是infra的領(lǐng)域。拿我自己踩過的坑來說。有一次我們訓(xùn)練好的CTR模型離線AUC比舊模型高了三個(gè)千分點(diǎn)算法同學(xué)很開心覺得這個(gè)版本穩(wěn)了。但一到線上壓測(cè)就傻眼了單機(jī)QPS只有預(yù)期的四分之一P99延遲超過500毫秒線上流量稍微一抖服務(wù)直接超時(shí)雪崩。那時(shí)候算法和infra互相都覺得是對(duì)方的問題。算法覺得“模型邏輯就這么簡(jiǎn)單無非就是個(gè)矩陣乘法加激活函數(shù)怎么可能這么慢”infra覺得“機(jī)器配置給夠了是你模型代碼寫得爛”。后來profile一查問題根本不在模型計(jì)算本身特征拼接時(shí)反復(fù)做內(nèi)存拷貝、Python側(cè)循環(huán)處理請(qǐng)求、每個(gè)請(qǐng)求都重新加載一次詞表這些代碼層面的問題全被忽略了。模型本身可能只占整個(gè)推理鏈路的20%時(shí)間剩下80%都被數(shù)據(jù)處理、框架調(diào)度、IO等待吃掉了。這件事給我的教訓(xùn)是算法模型的“正確性”和系統(tǒng)的“可用性”是兩回事。算法同學(xué)的交付物不應(yīng)該只是模型權(quán)重還應(yīng)該包含對(duì)推理鏈路的整體理解以及和infra一起把系統(tǒng)調(diào)優(yōu)到可用的狀態(tài)的意愿。1.2 協(xié)同斷點(diǎn)到底卡在哪里要說算法和infra的協(xié)同難難就難在兩邊的心智模型不一樣。我觀察下來斷點(diǎn)主要集中在這幾個(gè)地方。第一個(gè)斷點(diǎn)是語(yǔ)言不通。算法同學(xué)張口閉口是“AUC”、“l(fā)oss收斂”、“Embedding維度”infra同學(xué)關(guān)心的是“QPS”、“P99時(shí)延”、“CPU水位”、“內(nèi)存占用”。兩邊都在說性能但說的根本不是一回事。算法眼里的“性能”是模型效果指標(biāo)infra眼里的“性能”是系統(tǒng)資源指標(biāo)中間缺一個(gè)翻譯層。第二個(gè)斷點(diǎn)是交付物邊界不清。算法覺得“我把模型文件發(fā)給你就行了”infra覺得“你給我的模型我跑不起來”。模型用什么框架導(dǎo)出、有沒有帶預(yù)處理邏輯、依賴的Python包版本、詞表文件在哪、特征維度是多少這些信息如果不掉清楚infra同學(xué)就得靠猜。猜的代價(jià)就是反復(fù)試錯(cuò)時(shí)間全耗在溝通上。第三個(gè)斷點(diǎn)是資源評(píng)估全靠拍腦袋。算法說“給我4張A100”問他要4張卡的理由他說“可能不夠多要點(diǎn)保險(xiǎn)”。infra那邊資源池本來就不寬裕一看這種申請(qǐng)直接打回。其實(shí)完全可以做精細(xì)化評(píng)估跑一下profile看顯存峰值和計(jì)算密度再用公式估算一下吞吐需求有理有據(jù)地填申請(qǐng)單。第四個(gè)斷點(diǎn)是性能問題定位的方式不對(duì)。我見過有團(tuán)隊(duì)遇到線上延遲高第一反應(yīng)是“加機(jī)器”結(jié)果加了兩倍的機(jī)器延遲一點(diǎn)沒降因?yàn)槠款i在CPU上的數(shù)據(jù)預(yù)處理不在GPU推理。按加機(jī)器來擴(kuò)容完全擴(kuò)錯(cuò)了方向。這些斷點(diǎn)單獨(dú)看都是小事但疊在一起就會(huì)形成巨大的協(xié)作成本。我后來總結(jié)了一個(gè)觀點(diǎn)算法和infra的協(xié)同本質(zhì)上是要找到一種方式把彼此的領(lǐng)域知識(shí)翻譯成對(duì)方能理解的語(yǔ)言比如用可量化的指標(biāo)、標(biāo)準(zhǔn)的交付格式、清晰的流程節(jié)點(diǎn)把這些知識(shí)編碼下來。2. 我在協(xié)同項(xiàng)目里的整體設(shè)計(jì)思路2.1 從“交付模型”轉(zhuǎn)向“交付服務(wù)”這個(gè)轉(zhuǎn)變是我做協(xié)同優(yōu)化時(shí)第一個(gè)確立的原則。如果算法團(tuán)隊(duì)的交付物只是模型文件那infra團(tuán)隊(duì)的職責(zé)就成了“把模型跑起來”至于跑得好不好、快不快全是infra的事算法自然就不關(guān)心推理性能。這樣分工從根上就有問題因?yàn)橥评硇阅艿暮艽笠徊糠秩Q于模型結(jié)構(gòu)、算子實(shí)現(xiàn)和特征處理方式這些都在算法團(tuán)隊(duì)的控制范圍內(nèi)。正確的做法是把交付邊界往后推算法團(tuán)隊(duì)交付的不只是模型文件還包括一套推理服務(wù)的可運(yùn)行版本。這套版本要有明確的性能指標(biāo)要求比如目標(biāo)QPS、目標(biāo)延遲、吞吐上限并且要附帶模型對(duì)資源需求的估算說明比如建議的batch size范圍、顯存占用預(yù)估、CPU內(nèi)存需求。infra團(tuán)隊(duì)基于這套交付物做容量規(guī)劃和部署調(diào)優(yōu)雙方的責(zé)任邊界從“模型文件”移動(dòng)到了“性能指標(biāo)”。你說這不是算法團(tuán)隊(duì)得多干不少活嗎確實(shí)多了但這種“多”是必要的。因?yàn)橹挥袑懩P偷膱F(tuán)隊(duì)才最清楚模型的計(jì)算圖、內(nèi)存占用和算子特性這些信息轉(zhuǎn)述給infra要么失真要么說不全。把性能要求寫進(jìn)交付規(guī)范雙方對(duì)話就有了共同基準(zhǔn)。2.2 接口規(guī)范化讓算法和infra解耦的關(guān)鍵第二個(gè)原則是接口規(guī)范化。我之前出現(xiàn)過不少讓人崩潰的協(xié)作問題算法同學(xué)說“這個(gè)實(shí)現(xiàn)依賴Python 3.8的一個(gè)特性”infra同學(xué)部署的生產(chǎn)環(huán)境是Python 3.7直接跑不起來或者模型輸入的特征順序算法和工程端理解的不一樣上線之后預(yù)測(cè)結(jié)果全亂了。后來我們做了一個(gè)標(biāo)準(zhǔn)化的模型服務(wù)接口規(guī)范把模型推理的輸入輸出格式固定下來特征按有序字典傳入模型版本用語(yǔ)義化版本號(hào)管理配置信息如batch size、并發(fā)數(shù)、超時(shí)時(shí)間全部外置到配置文件里。這樣算法迭代模型時(shí)不需要改動(dòng)服務(wù)框架infra升級(jí)基礎(chǔ)設(shè)施時(shí)也不需要跟算法確認(rèn)每個(gè)細(xì)節(jié)。模型文件、特征配置、服務(wù)框架、資源規(guī)格四層各管各的通過標(biāo)準(zhǔn)化接口銜接。這個(gè)設(shè)計(jì)很像軟件工程里的依賴倒置原則高層的算法邏輯不要依賴底層的具體基礎(chǔ)設(shè)施底層基礎(chǔ)設(shè)施也不要反哺高層的模型代碼兩邊只依賴抽象接口。實(shí)踐下來這個(gè)解耦帶來的好處是兩邊可以并行推進(jìn)不再互相阻塞。2.3 用性能基線和透明數(shù)據(jù)建立信任第三個(gè)原則是用數(shù)據(jù)說話建立性能基線。在協(xié)同項(xiàng)目里最怕的不是性能差而是性能數(shù)據(jù)不透明。算法說“我這個(gè)模型很快”沒有任何數(shù)據(jù)支撐infra說“服務(wù)器有瓶頸”也說不清瓶頸在哪。最后只能靠嗓門大。我們的做法是建立一套標(biāo)準(zhǔn)的性能評(píng)測(cè)流程每次模型迭代上線前都要在固定的評(píng)測(cè)環(huán)境下跑一次壓測(cè)記錄吞吐量、P99時(shí)延、GPU利用率、顯存占用、CPU開銷等核心指標(biāo)把這些指標(biāo)記錄到一份自動(dòng)生成的評(píng)測(cè)報(bào)告里和上一版本做對(duì)比。誰(shuí)快誰(shuí)慢、快在哪慢在哪一目了然不再有“我覺得”“我感覺”的空間。這套評(píng)測(cè)流程跑起來之后我明顯感覺到兩邊溝通順暢多了。infra說“你的服務(wù)GPU利用率低”直接拿出監(jiān)控截圖和nvidia-smi數(shù)據(jù)算法說“這個(gè)算子慢”直接拿出profiling報(bào)告指出熱點(diǎn)。數(shù)據(jù)代替了猜測(cè)協(xié)作自然就高效了。3. 推理服務(wù)協(xié)同優(yōu)化的實(shí)操全過程3.1 環(huán)境準(zhǔn)備階段選對(duì)工具鏈后面能省一半的麻煩這個(gè)項(xiàng)目的目標(biāo)是讓一個(gè)推薦模型的在線推理服務(wù)達(dá)到線上要求支撐2000 QPS的流量P99延遲不超過100毫秒。模型用的是DeepFM架構(gòu)特征規(guī)模大約5000萬(wàn)維稀疏特征加200維稠密特征服務(wù)于用戶點(diǎn)擊率預(yù)估場(chǎng)景。環(huán)境選型上我們做了一輪比較。模型原本是用PyTorch訓(xùn)練的原計(jì)劃直接用PyTorch做推理服務(wù)但壓測(cè)發(fā)現(xiàn)Python側(cè)的開銷太高GIL讓多線程并發(fā)受限后來?yè)Q成了ONNX Runtime加TensorRT的后端方案。ONNX Runtime負(fù)責(zé)從PyTorch導(dǎo)出的模型做轉(zhuǎn)換和執(zhí)行TensorRT在NVIDIA GPU上做算子融合和精度校準(zhǔn)。實(shí)測(cè)下來單卡的推理吞吐比純PyTorch提升了接近3倍P99時(shí)延也降了一個(gè)數(shù)量級(jí)。工具鏈方面profile用的是PyTorch自帶的torch.profiler配合NVIDIA的Nsight Systems資源監(jiān)控用的Prometheus加Grafana部署走的是Docker加Kubernetes。這套組合的好處是覆蓋了從模型算子級(jí)別到系統(tǒng)資源級(jí)別的全鏈路觀測(cè)兩邊拿到的數(shù)據(jù)是同一套不會(huì)再出現(xiàn)“我這邊看到CPU滿了你那邊說進(jìn)程很閑”這種數(shù)據(jù)對(duì)不上的情況。3.2 從單卡推理到服務(wù)化部署這一步隱藏了最多的坑模型導(dǎo)出之后第一版直接拿ONNX Runtime的Python接口做了個(gè)Wrap然后用Flask啟動(dòng)了一個(gè)HTTP服務(wù)。簡(jiǎn)單測(cè)了一下能跑通但很快就暴露了問題Python接口的調(diào)用開銷很大每次請(qǐng)求進(jìn)來都要做Python和C之間的數(shù)據(jù)交換而且不支持真正的多進(jìn)程并行推理CPU并發(fā)利用不起來。后來改成了ONNX Runtime的C部署方案配合TensorRT的engine來做推理。這一步改動(dòng)帶來的性能提升非常直接因?yàn)槭〉袅薖ython解釋器這層開銷每次推理調(diào)用的延遲直接砍掉了三分之一。同時(shí)我們用內(nèi)存映射的方式預(yù)加載了模型的Embedding參數(shù)避免了每個(gè)請(qǐng)求都從磁盤讀取參數(shù)導(dǎo)致的IO抖動(dòng)。服務(wù)端的并發(fā)模型也做了一輪重構(gòu)。最初是每個(gè)請(qǐng)求一個(gè)小線程線程切換開銷大后來改成了線程池加有界隊(duì)列的模式根據(jù)目標(biāo)QPS動(dòng)態(tài)調(diào)整worker數(shù)量配合OMP_NUM_THREADS環(huán)境變量控制底層并行度。這么改完單實(shí)例的QPS從原來的不到400提升到了接近1500CPU和GPU的使用率也均衡了很多。這里有個(gè)數(shù)據(jù)值得記錄一下同樣的模型和機(jī)器純Python部署的P99時(shí)延是180ms換成C后端之后降到了58ms再配合TensorRT的FP16精度優(yōu)化進(jìn)一步降到了35ms。這三步優(yōu)化每一步單獨(dú)拿出來看都不算大工程但疊加起來就是數(shù)量級(jí)的差別。3.3 壓測(cè)過程和瓶頸分析把一切問題擺到明面上壓測(cè)工具用的是wrk加自研的流量回放腳本。wrk負(fù)責(zé)模擬高并發(fā)HTTP請(qǐng)求流量回放腳本則從線上Nginx日志抽取真實(shí)請(qǐng)求樣本按時(shí)間戳順序重放到測(cè)試服務(wù)上盡量還原線上請(qǐng)求的特征包括請(qǐng)求大小分布、特征稀疏度、以及峰值時(shí)刻的流量形態(tài)。壓測(cè)分為三輪。第一輪是小流量驗(yàn)證用100 QPS跑10分鐘確認(rèn)功能正確、內(nèi)存沒有泄漏、日志沒有報(bào)錯(cuò)。第二輪是加壓測(cè)試從500 QPS起步每2分鐘增加250 QPS觀察各項(xiàng)指標(biāo)的變化趨勢(shì)找到服務(wù)崩潰的臨界點(diǎn)。第三輪是持續(xù)穩(wěn)定性測(cè)試用目標(biāo)負(fù)載的80%1600 QPS連續(xù)跑8小時(shí)確認(rèn)長(zhǎng)時(shí)間運(yùn)行下沒有內(nèi)存膨脹、句柄泄漏等問題。瓶頸分析階段我們抓到了好幾個(gè)經(jīng)典問題。第一個(gè)是第一個(gè)版本在1000 QPS左右時(shí)P99延遲突然從60ms跳升到400ms查下來發(fā)現(xiàn)是Python側(cè)的特征預(yù)處理線程變成了瓶頸CPU打滿GPU反而在空轉(zhuǎn)。解決辦法是預(yù)處理部分全部向C側(cè)下沉用ONNX Runtime的custom operator實(shí)現(xiàn)特征拼接把CPU和GPU的工作重新配平。第二個(gè)是壓測(cè)跑到中段出現(xiàn)周期性延遲尖峰后來發(fā)現(xiàn)是日志寫的太頻繁磁盤IO被打滿改成異步日志之后尖峰消失。第三個(gè)是Embedding查表在GPU上表現(xiàn)為顯存訪問不連續(xù)用class-wise的存儲(chǔ)布局優(yōu)化之后這塊耗時(shí)又降了一些。這些瓶頸沒有一個(gè)能被直覺直接發(fā)現(xiàn)全靠profile數(shù)據(jù)才能定位。所以我強(qiáng)烈建議優(yōu)化性能的時(shí)候一定要先把“當(dāng)前時(shí)間花在哪兒”搞清楚再談怎么優(yōu)化千萬(wàn)不要憑感覺。4. 協(xié)同過程中必踩的坑與解決方案實(shí)錄4.1 “GPU利用率上不去”到底是誰(shuí)的鍋這是我在協(xié)同項(xiàng)目里被問過最多的問題也是算法和infra最容易吵架的導(dǎo)火索。很多團(tuán)隊(duì)拿“GPU利用率”作為模型服務(wù)效率的核心指標(biāo)但GPU利用率低的原因遠(yuǎn)比想象的復(fù)雜不一定是模型的錯(cuò)。我見過的GPU利用率低的典型原因有這么幾類數(shù)據(jù)加載和預(yù)處理太慢GPU在等數(shù)據(jù)利用率自然上不去batch size設(shè)得太小GPU的并行能力沒有充分釋放CPU側(cè)的Python邏輯占了太多時(shí)間GPU一直在空轉(zhuǎn)模型本身有串行依賴計(jì)算圖并行度不夠。每一類對(duì)應(yīng)的解法完全不同。定位方法說起來很簡(jiǎn)單打開Nsight Systems或者nvidia-smi的監(jiān)控看GPU到底是“計(jì)算密集”還是“空閑等待”。如果是等待就去看CPU側(cè)在忙什么如果是計(jì)算密集但利用率依舊低那就去看模型的計(jì)算圖是不是存在大量的串行節(jié)點(diǎn)。有一次我們排查一個(gè)BERT的服務(wù)發(fā)現(xiàn)GPU利用率一直只有20%多profile一看問題在CPU側(cè)的分詞器上——每次請(qǐng)求都要重新做一次分詞一個(gè)毫秒級(jí)的操作在并發(fā)量大的時(shí)候被放大成了巨大的等待。改成預(yù)分詞加緩存之后GPU利用率直接翻倍。這類問題暴露出來以后我最大的感觸是千萬(wàn)不要把“GPU利用率低”當(dāng)作某個(gè)人的責(zé)任問題它更接近一個(gè)系統(tǒng)問題。GPU利用率是結(jié)果指標(biāo)不是原因指標(biāo)單純盯著它沒什么用還是要一級(jí)一級(jí)往下拆。4.2 模型精度復(fù)現(xiàn)不了的隱形元兇模型從PyTorch導(dǎo)出到ONNX再到TensorRT之后經(jīng)常有算法同學(xué)跑回來反饋“線上預(yù)測(cè)結(jié)果和離線對(duì)不上?!币婚_始我們以為是模型導(dǎo)出過程出了錯(cuò)后來才發(fā)現(xiàn)最隱蔽的問題來自“數(shù)值精度”和“算子實(shí)現(xiàn)差異”。PyTorch在GPU訓(xùn)練時(shí)默認(rèn)用FP32推理轉(zhuǎn)成TensorRT的FP16后部分算子比如LayerNorm、Softmax的數(shù)值精度會(huì)有微小差異在大多數(shù)場(chǎng)景下不影響排序但有些邊界樣本的預(yù)測(cè)值會(huì)變化幾個(gè)百分點(diǎn)。算法同學(xué)如果拿著離線全精度的輸出和線上半精度的輸出逐條比對(duì)就會(huì)看到差異。解決的辦法是分類處理對(duì)精度有嚴(yán)格要求的任務(wù)比如風(fēng)控、金融場(chǎng)景保持FP32推理用算子融合和優(yōu)化內(nèi)存訪問來提速對(duì)排序、推薦這類對(duì)絕對(duì)概率值不敏感、只看相對(duì)順序的任務(wù)可以用FP16甚至INT8配合校準(zhǔn)集把精度損失控制在一個(gè)很小的范圍內(nèi)。還有個(gè)容易被忽略的點(diǎn)是框架版本差異PyTorch 1.x和2.x導(dǎo)出的ONNX算子集不一樣TensorRT版本不同也可能導(dǎo)致同樣的模型在部署時(shí)行為不同。所以必須把“訓(xùn)練框架版本、導(dǎo)出工具版本、推理框架版本”這三項(xiàng)固定下來做成一個(gè)部署配置的“鐵三角”任何一項(xiàng)升級(jí)都要重新回歸。4.3 資源申請(qǐng)被駁回其實(shí)是可以避免的“申請(qǐng)4張A100被infra駁回了說我浪費(fèi)資源怎么辦”這種問題我隔三差五就能遇到。實(shí)際情況是不少算法同學(xué)根本不估算自己到底需要多少資源申請(qǐng)的時(shí)候全靠感覺往大了填。infra那邊資源池是共享的肯定優(yōu)先批給那些能說清楚需求的團(tuán)隊(duì)。資源估算其實(shí)沒那么難。第一步在目標(biāo)機(jī)器上跑一次真實(shí)的訓(xùn)練或推理任務(wù)記錄峰值顯存和平均顯存這就是“單實(shí)例基線”。第二步根據(jù)訓(xùn)練數(shù)據(jù)量和目標(biāo)訓(xùn)練周期估算需要的總算力公式大概是總算力需求FLOPs 單樣本前向計(jì)算量 × 訓(xùn)練樣本數(shù) × epoch數(shù)。第三步結(jié)合單卡算力算出需要的顯卡數(shù)量和訓(xùn)練天數(shù)再留出20%到30%的冗余應(yīng)對(duì)波動(dòng)。拿這個(gè)思路去和infra溝通交流起來完全不同。你說“我需要4張卡跑完需要3天實(shí)測(cè)單卡峰值顯存是38GB考慮數(shù)據(jù)加載波動(dòng)留了10%的buffer需要40GB以上的卡”這種申請(qǐng)沒有理由被駁回。說到底資源申請(qǐng)不只是填個(gè)數(shù)字它本身就是一種工程能力是算法和infra之間建立信任的重要一環(huán)。5. 把協(xié)同能力沉淀成團(tuán)隊(duì)資產(chǎn)5.1 給算法同學(xué)的建議不要把“跑通了”當(dāng)作交付完成我自己也是算法出身太知道“跑通”和“交付”之間的差距了。模型在Notebook里跑通了只是證明你的思路在二三十個(gè)樣本上可行真正讓模型產(chǎn)生價(jià)值的是它能穩(wěn)定地服務(wù)線上流量還能在流量翻倍時(shí)不崩在資源減半時(shí)依然可控。這些要求都不是算法同學(xué)的“分內(nèi)事”但如果完全不關(guān)心你的模型就永遠(yuǎn)活不過上線那一天。所以至少要做到交付模型時(shí)附帶一份“模型說明卡”內(nèi)容包括模型結(jié)構(gòu)、輸入輸出的字段和類型、依賴的框架及版本、詞表在線獲取方式、推薦的batch size范圍、估計(jì)的顯存占用、冷啟動(dòng)時(shí)間、對(duì)CPU和內(nèi)存的依賴。這份卡片不要求多規(guī)范但至少能讓infra同學(xué)不用靠猜來部署你的模型。另外學(xué)會(huì)讀profile是算法同學(xué)性價(jià)比最高的技能投資。一個(gè)模型服務(wù)慢90%的情況下用profile都能找到原因。我見過太多人拿著性能問題去找infra連自己程序的火焰圖都沒看過一眼。不要只會(huì)跑訓(xùn)練要學(xué)會(huì)看推理的計(jì)算熱點(diǎn)。掌握這一項(xiàng)技能你在協(xié)同中的話語(yǔ)權(quán)會(huì)高很多。5.2 給基礎(chǔ)設(shè)施同學(xué)的建議把“不行”變成“怎么才行”infra同學(xué)在這類協(xié)同里也有一個(gè)常見的立場(chǎng)問題因?yàn)殚L(zhǎng)期被各種不靠譜的資源申請(qǐng)和不規(guī)范的服務(wù)代碼折磨容易變成一個(gè)“什么都說不行”的狀態(tài)。這樣短期看是保護(hù)了資源池長(zhǎng)期看會(huì)壓制業(yè)務(wù)的迭代速度最后被業(yè)務(wù)方集體吐槽“基礎(chǔ)設(shè)施跟不上業(yè)務(wù)”。我的建議是infra團(tuán)隊(duì)的重點(diǎn)不應(yīng)該放在審批和拒絕上而是應(yīng)該放在提供“自助能力”上。比如做一個(gè)標(biāo)準(zhǔn)的模型部署平臺(tái)算法同學(xué)上傳模型文件、選定推理框架和后端配置平臺(tái)自動(dòng)生成Docker鏡像、分配測(cè)試環(huán)境、跑一輪標(biāo)準(zhǔn)壓測(cè)、輸出性能報(bào)告?;A(chǔ)設(shè)施把通用的能力沉淀成工具和流程就能把“每個(gè)項(xiàng)目都要人肉介入支持一次”的重復(fù)勞動(dòng)省掉。這需要在思想上做一個(gè)轉(zhuǎn)變infra的kpi不是“管住了多少資源”而是“業(yè)務(wù)能多快地把模型部署上線并且用盡量少的資源跑起來”。如果基礎(chǔ)設(shè)置的同學(xué)能往這個(gè)方向做算法和infra的摩擦?xí)『芏唷?.3 把復(fù)盤和知識(shí)沉淀變成日常動(dòng)作項(xiàng)目結(jié)束之后我們做了一次總結(jié)把整個(gè)協(xié)同過程中的經(jīng)驗(yàn)和工具沉淀成了幾樣?xùn)|西一份模型交付標(biāo)準(zhǔn)文檔、一個(gè)自動(dòng)化壓測(cè)腳本、一套性能基準(zhǔn)數(shù)據(jù)表、一段線上問題排查的SOP。這些資產(chǎn)的價(jià)值在后面的幾次迭代里被充分證明了——新模型上線的時(shí)間從一開始的三天壓縮到了半天性能問題的定位時(shí)間也從按小時(shí)計(jì)縮短到了按分鐘計(jì)。復(fù)盤形式上我們沒有搞那種全員參加的PPT大會(huì)就是內(nèi)部拉了一個(gè)文檔把從模型開發(fā)到部署調(diào)優(yōu)到線上穩(wěn)定的過程中所有關(guān)鍵決策、踩坑記錄、數(shù)據(jù)截圖、最終結(jié)論全部寫進(jìn)去想到什么記什么。每周項(xiàng)目例會(huì)上花15分鐘過一遍。三個(gè)月后回頭翻這份文檔里面很多記錄在當(dāng)下看來已經(jīng)成了團(tuán)隊(duì)共識(shí)但如果沒有當(dāng)時(shí)的記錄這些共識(shí)根本建立不起來。還有一點(diǎn)很關(guān)鍵知識(shí)沉淀要落到代碼和腳本里不能只活在文檔里。比如“壓測(cè)時(shí)必須監(jiān)控GPU利用率”這個(gè)原則寫在文檔里可能過幾周就沒人看了但如果寫進(jìn)壓測(cè)腳本里每次壓測(cè)結(jié)束自動(dòng)出一份指標(biāo)報(bào)告這個(gè)原則就變成了流程的一部分天然被強(qiáng)制執(zhí)行。制度化永遠(yuǎn)是比自覺更可靠的保障。6. 一個(gè)更長(zhǎng)期的視角算法與基礎(chǔ)設(shè)施雙輪驅(qū)動(dòng)的演進(jìn)路徑6.1 模型迭代和基礎(chǔ)設(shè)施演進(jìn)要配套走我們剛開始做這個(gè)協(xié)同項(xiàng)目的時(shí)候總覺得模型迭代是最重要的infra只是“陪跑”。但做到后面才發(fā)現(xiàn)兩者其實(shí)是在互相牽引的。模型側(cè)有個(gè)新想法比如從單模態(tài)走向多模態(tài)或者模型結(jié)構(gòu)要從2D卷積換成3D卷積這對(duì)基礎(chǔ)設(shè)施提出的要求是完全不同的反過來基礎(chǔ)設(shè)施這邊推理框架升級(jí)支持了新的算子和精度模式也會(huì)反過來影響模型側(cè)怎么做結(jié)構(gòu)設(shè)計(jì)和調(diào)優(yōu)。所以現(xiàn)在我們?cè)谧黾夹g(shù)規(guī)劃時(shí)會(huì)把算法和infra放在同一個(gè)盤子里看。每次新模型立項(xiàng)的時(shí)候算法團(tuán)隊(duì)要寫清楚預(yù)期的推理需求和資源消耗infra團(tuán)隊(duì)根據(jù)這個(gè)需求反饋基礎(chǔ)設(shè)施的改造計(jì)劃兩邊一起排期而不是等算法做完了再丟給infra“看看能不能跑”。這種平行推進(jìn)的節(jié)奏看起來很慢實(shí)際算總時(shí)間反而更快因?yàn)樗鼫p少了大量返工和等待。6.2 “算法-infra協(xié)同”的三種模式根據(jù)團(tuán)隊(duì)的大小和業(yè)務(wù)復(fù)雜度我觀察到的協(xié)同模式大概有三類你可以看看自己團(tuán)隊(duì)現(xiàn)在卡在哪一類。第一種是“工程師一肩挑”小團(tuán)隊(duì)里算法同學(xué)順便把自己寫的服務(wù)部署上線了這種模式最靈活但對(duì)個(gè)人能力要求極高而且隨著業(yè)務(wù)變大很難維持。第二種是“接口人協(xié)作”算法和infra各派一個(gè)人負(fù)責(zé)對(duì)接互相轉(zhuǎn)述需求這種模式對(duì)接口人的能力依賴極大接口人一換人就可能崩。第三種是“流程化協(xié)同”通過標(biāo)準(zhǔn)的交付物、性能指標(biāo)、部署流程來協(xié)作人和人之間對(duì)具體細(xì)節(jié)的依賴降到最低這也是我在這篇文章里主要推薦的做法。三種模式之間不是互斥的團(tuán)隊(duì)小的時(shí)候可以用第一種起家逐漸過渡到第二種最后在業(yè)務(wù)量上來之后用第三種方式做長(zhǎng)治久安的保障。關(guān)鍵是心里要有個(gè)譜現(xiàn)在的協(xié)同方式在小規(guī)模下夠用但它不會(huì)自動(dòng)適配更大體量的團(tuán)隊(duì)和更復(fù)雜的業(yè)務(wù)。6.3 數(shù)據(jù)驅(qū)動(dòng)的協(xié)同能力評(píng)估最后一個(gè)想聊的心得是協(xié)同本身也要量化不能被“最近好像合作好多了”這種模糊感覺帶過去。我們每個(gè)月會(huì)看幾個(gè)關(guān)鍵數(shù)字平均模型上線周期、壓測(cè)通過率、資源超用率、線上重大性能事件次數(shù)。這組數(shù)字能直觀反映算法和infra之間的配合是否在變好而不是憑某幾次印象做判斷。我第一次提出這個(gè)想法時(shí)有同事開玩笑說“連協(xié)同都要上指標(biāo)了是不是卷過頭了”。但實(shí)際跑下來效果還挺好。因?yàn)橐坏?shù)字看得到就總有人會(huì)想辦法改進(jìn)數(shù)字。比如那陣子壓測(cè)通過率只有60%大家分析一圈發(fā)現(xiàn)是模型交付的“模型說明卡”寫得不完整infra拿到模型以后各種猜浪費(fèi)了不少時(shí)間。后來把說明卡模板和交付工具打通壓測(cè)通過率很快升了上來。如果沒有數(shù)據(jù)這種問題可能永遠(yuǎn)藏在“溝通不太順”的模糊說法里誰(shuí)也看不到具體的短板在哪里。所以我的建議是如果你的團(tuán)隊(duì)也經(jīng)常因?yàn)樗惴ê蚷nfra的邊界吵架、推諉先別急著開“加強(qiáng)溝通”的會(huì)不如一起定一套可量化的協(xié)同指標(biāo)把問題擺到明面上。數(shù)據(jù)到位了協(xié)作自然會(huì)改善。我個(gè)人在帶著團(tuán)隊(duì)跑完這個(gè)項(xiàng)目之后最大的感受就是算法和infra的協(xié)同說到底是兩個(gè)知識(shí)體系之間的翻譯工作。算法同學(xué)需要理解一點(diǎn)系統(tǒng)原理和工程約束infra同學(xué)也要懂一點(diǎn)模型推理的基本邏輯中間用標(biāo)準(zhǔn)化的接口、可量化的指標(biāo)和數(shù)據(jù)化的復(fù)盤來搭橋。不要指望靠幾次團(tuán)建或幾輪溝通就能根治協(xié)作問題真正管用的還是把這些協(xié)同點(diǎn)固化到流程和技術(shù)里讓流程替人去記憶、去執(zhí)行。這一步做到了團(tuán)隊(duì)的能力才算真正沉淀下來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品偷拍13p欧美dodk视频| 亚洲黄色影视| 天天干夜夜一操| 亞洲久久直播| 国产成人资源| 欧美天天综合站| 男人的天堂日本东京热| 免费亚洲国产精品久久一区| 97色欧洲| 国产乱伦视频污| 囯戸精品高潮呻吟旡码| 粉嫩在线一区二区懂色| 日韩97超碰中文字幕| 色色色欧美| 丰满人妻一区二区三区四区| 67914亚洲精品| 日韩欧亚太美不卡| 黄久久| 综合久久9| 天天日天天操天天射河南省| 国产一级作爱毛片| 91在线美女| 1区2区3区中文字幕日韩| 国产欧洲精品亚洲午夜拍精品| 热久久这里只有精品| 97超碰国产精品| 亚洲美女30b| 五月天婷婷小说| 欧美精品另类人妖xxxx| 国产第二页| 欧美手机在线综合| 精品欧美老熟女一二区| 在线视频日韩欧美国产| 性欧美体内射精| 国产av热热色| 精品人妻一区二区免费蜜桃视频| 欧美色综合| 熟妇的味道HD中文字幕| 五月天激情网图片| 91天美传媒在线观看| 日韩三级av片| 午夜超爽| 美日韩男女操屄视频| 人人艹亚洲| 在线播放成人网站| 久久久九九| 91久久青青草原精品| 美女国产一区二区久久| 日韩钢筋无码高清啾啾啾| 97国产|免费| 国产一级高跟丝袜| 久操99| 碰人碰碰人人开房人肉| 国产精品久久久无码aV去| 一起草视频在线| 国产福利视频精品视频| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 亚洲日韩电影| 欧美精品1区2区3区| 哈哈操电影AV| 男人的天堂网页| 人人干人人操人人..com| 色婷婷婷五月天激情四射| 91成人无码| 国产高清精品一区二区三区毛片| 粉嫩在线一区二区懂色| 搞中出视频在线观看| 欧美亚洲今日在线| 日韩免费人妻色情网站| 怡红院久久老司机| 亚洲成人性爱在线观看| 性爱Av免费| 91 手机在线播放 绯色| 丝袜美腿丝袜| 欧美 亚洲 偷拍自拍| 粉嫩小泬久久久一区二区| 久久夜夜| 九九人人操| av草草在线电影| 成人性爱AV在线免费观看| 东京热激情视频一二三区| 美女黄页网站| 国内精品999| 91狠狠综| 久久久久久亚洲Av无码精| 色婷婷综合网| 玖草在线视频| 欧美.亚洲.另类.丝袜.制服.诱惑| 欧美日韩国第一区| 日本一区二区中文字幕久久| 日韩av色图综合| 又粗又长又爽在线观看| 亚欧美综合网。| 无码外流操逼视频| 中文字幕在线2| 久久综合亚洲色1080p| 亚洲精品国产精品乱码不99| 久操av在线| 国产 热久久久久国产精品| 96久久久精品| 热99这里只有精品| 91在线观看,天天综合| 亚洲精品无码少妇久久| 欧美激情精品久久久久久| 自拍鲍鱼一区在线高清观看免费| 久久久久久久国产| 日本国产高清色www视频在线| 久久久99久9| 日韩97在线| 欧美嗯啊……在线观看视频免费| 99热欧美| 免费A片三p视频| 美女啊啊啊啊pc| 天天看天天日| 欧美九一精品久久久熟妇| 黄色在线网站| 久久亚洲日韩熟女精品| 亚洲天堂区| 日日爱99| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 欧美激情 亚洲色图| 免费看欧美美女黄色大片| 97综合久第一页| 97人人模人人爽人人| 欧美狠狠狠| 久久五月份| 狠狠色噜噜狠狠狠狠2018| h色99999| 屌逼麻豆| 91久久免费视频互動交流| 久噜噜| 国产乱伦一二三区| 日韩超碰97| 日韩精品人妻中文字幕有码午| 99999亚洲| 国产精品乱人伊人网| 久久久久人妻二区精品叶可怜| 97亚洲综合电影| 亚洲无码国产探花在线观看| 亚欧美色图| 久久久久亚洲Av无码专区老牛影视 | renqi久久久久久久久久久久| 欧日韩在线观看| 国产精品香蕉热久久新品| 97亚洲中文| 麻豆福利视频导航| 日韩探花精品在线视频| 亚洲精品一二牛牛| 久久激情四射婷婷丁香五月天| 久草视频在线视频在线视频在线观看| 日本九九久久99播| 五月丁香色情| 草草影院最新网址| 91国模| 麻豆激情综合| 国产乱码久久| 久久香蕉国产线看观看猫咪av| 日韩女模中文造逼| 久久老女人| 老司机午夜福利视频一区二区| 美女啊啊啊啊啊| 亚洲国成人情色好看电影| 欧美中出1| 99e久久国产精品| 啊啊啊男女| 天天综合影院91| 六月婷婷综合| 成年人黄色小视频网站| 国产91福利小视频在线观看| 又黄又硬又粗又长国产视频| 日日摸日日碰| 高清不卡国产| 偷拍 亚洲| 91三级理论片播放器| 久久久97| 春色91| 欧美久久婷婷| 很很干很很操| 国内三级自拍小视频在线观看| 欧美色图99| 欧美精品双插| 江都AV在线| 欧美日韩91| 亚洲啪啪视频一区二区| 日韩激情电影中文字幕| 好色美女九七第一页| SS久久| 91女在线观看| 少妇 综合| 色色色网站| 美国aaaaa一级黄片| 久久久久久久伊人精品| 欧美一区二区三区互相| 无遮挡男女激烈动态图| 国产激情视频一区区三区| 欧美激情内射| 欧美综合天堂| 2020中文字幕在线| 操少妞在线视频| 99热超碰| 淮穴色AV| www.婷婷| 色婷婷小说| 欧美国产日韩高清在线| 欧美视频在线视频免费va| 久久精品国产亚洲AV嘿嘿| 免费观看性欧美一级| 国产综合色精品在线观看| 亚欧美综合网| 精品一区二区久久| 久男人久久| 久久宗合亚洲| 狠操91,com| 日日摸日日碰| 2019亚洲男人天堂| 密臀成人视频久久久| 亚洲天天影视色综合| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 老司机深夜18禁污污网站| 好爽视频在线观看| 亚洲爽图| yaouchengrenav| 伊人加勒比| 五月天亚洲色图| 玖玖超碰熟| 日韩一级二级三级免费看完整版国语版 | 狠狠色伊人亚洲综合网站色| 亚洲春色欧美激情自拍| 涩涩涩综合| 无码精品久久久天天影视| 内射夫妻三片| 日本三级一区二区 在线| 东京热男人的天堂精品| 天堂种子在线www网资源| 亚洲超碰在线| 欧美色三级片91| 天天综合网91入口| 久久久久网站-538在线视频-欧美永久乱码 | 亚洲超碰在线| 日韩黄色成人性爱| 亚洲情色电影网| 蜜臀av中字字幕网站| 99re不伦| 精品国产久久乱码| 久9爱精品| 日韩99999| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 青青草国产欧美非洲黑人| 亚洲综合999| 欧美亚洲国产91在线| 色色色色日本| 亚洲成人在线播放| 亚洲网自拍| 青青草视频久久久久| 97香蕉人人乳| 大干人妻| 囯产精品久久久久久久久久二区三区| 欧美日韩国产精品久久色婷婷| 蜜桃色院一区久久 | 久久精品国产72国产精品福利| 玖玖爱在线视频免费观看| 在线色导航| 婷婷五月天AV| 欧美青青视频| 久久啊啊| 国产精品网址| 996热| 久久久久日本视| 久久久久久久久久黄色网| 97在线欧| 人人操,人人插| 九九综合久久| 91N五十路| 九九九九免费视频| 亚洲情色视频| 亚洲av影音先锋| 夜夜嗨一区二区| 亚洲 欧美 小说| 超碰色大香蕉| 欧美日韩亚洲一区二区在线观看| 国产欧美精选激情视频| 亚洲天堂综合AV| 亚洲色香| 国产精品乱码久久| 国产日韩欧美亚洲精品95 | 粉嫩AV一区二区夜夜| 亚洲男人综合| 丁香五月色情| 亚洲在线观看| 无码一区二区精品视频久久久春药| 国产成久久综合片| 色五月婷婷五月天| 人人九九精| 国产精品天堂| 熟女被操视频网址| 97久久精品不卡| 极品欧美一区二区三区| 精品久久久中文字幕不| 日本 情色 1区| 日韩性爱毛片操骚逼| 69人妻精品一区二区绯色| 激情四射五月天| 熟妇乱伦一区二区| 天美精品av| 舔舔啊| 国产精品亚洲一级av第二区| 青青草在线成人视频| 亚洲成人帖图| 天天日天天干天天操| 日韩另类| 干美女人妻| 国产欧美日韩一区二区三区| 综合 青草 伊久久 影院 综合| 超碰97在线 欧美 国产| 97色综合中文网| 免费视频a级毛片免费视频| 91AV天堂| 亚洲精品人妻在线| 亚洲性猛交| 美国日韩黄片| 亚洲 中文 女同| yazhououmeizongya| 18禁网站在线播放| 亚洲熟妇综合久久久久久| 不卡中文字幕aⅴ在线| 狼天天狼天天大香蕉| 日本久久久久久久久久| 激情综合五月婷婷| 麻豆精品.欧美精品.日韩精品.| 午夜爽爽爽| 欧美性爱五月天| 91女色| 久久av一级av少妇av高潮| 成人日本精品九区| 最新av中文字幕高清| 久热久一区二区三区| 久久线上视频免费看| 精品国产肉丝袜在线拍国语| 久久亚洲一区二区色婷婷| 天天肏夜夜肏| 欧美激情内射| 大香蕉伊人色偷偷在线| 99爱久久视频频| 天天澡天天爽日日AV| 人妻精品综合中文字幕在线 | 亚码激情| 亚洲欧洲自拍| 97超碰69| 69视频福利导航| 翔田千里A片一区二区| 后入 亚洲 美女 射| 91这里只有精品| 国产极品999| 久久午夜色播影院免费高清| 人妻夜夜爽天天爽麻豆三区网站| 久久精品夜色国产亚洲AV| 99在线免费公开视频| 青青草视频导航官网| 日本一级婬片试看三分钟| 九九亚洲色在线观看| 国产又色又爽又舒服的三级视频| 久久久久久9999| 精品久久久久久AV无码| 91麻豆一二三区| 国产强奸超碰AV| 精品人妻一区二区三区蜜桃视频| 美女极品一区二区三区| 亚洲欧洲日韩中文字幕一区| 亚洲欧洲小说图片视频| 在线播放成人高清免费视频| 日韩图区| 亚洲AV无码黄色强奸| 麻豆色约约| 天天综合91在线| 一级性爱视频免费在线| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 无码伊人久久大杳蕉中文无码| 久久视网78| 国产成人亚洲精品无码古代早漏男| 六月丁香五月婷婷| 国产极品精品美女视频| 丝袜美腿91| 亚洲天堂另类美腿| 风流老熟女一区二区三区l| 欧洲色综合| 亚洲精品久久久久久久久豆丁网| 妇女乱色二区| 亚洲、日韩、综合、另类| 中文字幕中文字幕一区二区| 日韩久射综合| 一区二区蜜臀| 嗯嗯嗯好爽| 99亚洲精品| 蜜桃久久一区二区三区| 国产v片在线免费观看| 亚洲乱熟女一区二区| 在线啊啊啊啊| 在线v中文字幕一区二区三区| 成人天天爽| 私色综合网| 久久夜黄色无码A级大片| 少妇精品久久| 91碰碰| 一区黄二区黄| 五月丁香社区婷婷日韩欧美精品影院 | 亚洲综合一| 熟女乱3伦999| 后入人妻无码| 91熟女综合| 色色婷| 亚洲色系另类精品国产| 精品九九九九九九| 天天综合站| 大香蕉欧美伊| 亚洲色偷偷色噜噜狠狠99网| 欧美日韩国内不卡| 凹凸视频在线一区二区| 亚洲丝袜99| 亚洲色图大香| 久久精品国产亚洲AV成人直播| 67914在线兔费成人视频| 精品国产污一区二区三区| 少妇熟女一区二区三区| A一级色女| 色综合中文字幕不卡| 熟女乱伦二区| 日韩在线观看字幕精品| 欧美αv.com| 九九综合九九综合| 久久久久久久九九九九| 蜜臀av中文字幕| 国产SV一线| 欧洲无码一区二区| 久热大香蕉| 日本一区二区成人在线| 91影库| 91操熟女| 玖玖久久久| 青青伊人加勒比海| 五十路二区在线| 一本正道久久熟女| 啊嗯好大视频在线观看| 欧美一区91大爱| 久久久久成人亚洲国产| 乱伦Av网| 中出91视频| 伊人aaa| 啊啊啊啊啊好大好舒服想要| 91在线美女| 黑操B| 欧美毛片在线网| 91久久久久久久久18| 久久东京伊人一本到鬼色| 无码不卡八戒| 20cm女自慰在线日韩欧美| 亚洲综合影院| 黑人娇小av在线播放| 亚洲综合九九| 97天堂| 蜜臀久久99精品久久久| 91久久久久久久久18| 亚洲精品97久久| 97在线观| 97久久久| 私人尤物在线精品不卡| 久久伊人最新网址视频| 香港澳门日本三级网站| 亚洲密乳AV| 草草电影院| A级在线视频| 亚洲色香| 激情图片亚洲色图| 中文字幕综合人妻| 大屁股熟女一区二区三区| 蜜桃臀一区二区三区久久| 久久久久久久综合,国产| 久久一二三四五六七八九区区| 狠狠穞A片一區二區三區| 九九香蕉网| 亚洲激情网一二三四区| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 一本大道不卡一二三区| 97在线视频观看网站| 久久东京伊人一本到鬼色| 操逼视频亚洲| 婷婷丁香六月| 91啪9色| 伊人青青一区成人视频在线观看区| 国产精品探花视频| 无码高清专| 日韩超碰97| 成人精品在线免费视频| 无码丰满熟妇一区二区浪潮AV| 国产又粗又长视频| 嗯嗯嗯嗯啊啊啊好紧好大| 国产福利一区二| 美女操逼A A| 男女激情黄色网址| 亚洲一区二区三区欧美日韩| 日韩精品中文字幕二区| 99视频只有精品| 美腿色图| 亚洲无限观看| 久久久啊啊啊| 日本爽爽爽爽爽爽免费视频| 国产精品一区二区校花| 五月天社区| 日韩女优在线| 亚洲色图美腿丝袜| 97福利视频| 婷婷亚洲中文字幕在线| 国产熟妇一区二区| 久久久久久十| 国产精品爆乳懂色蜜乳| 黄片不用下载在线观看| 色性荡荡荡荡视频| 伦理日韩国产久久| 精品人妻中文字幕高清| 亚洲欧美自拍偷拍| 天美精品av| 一直超碰| 自拍六区| 国产一级不卡在线观看| 夂久色| 北京美女一区二区| 激情一区二区| 美中日韩无码| 91在线超高颜值国产| 乱欲一区二区| 一区久久久二区| 亚洲人精品久久久| AV在线性爱| 1024日韩| 色在线69堂| 欧美色图综合| 国产精品久久久久久久久AV大片| 中文字幕精品一区二区精| 99自拍视频在线| 秋霞一区二区三区四区五区六区七区| 欧美色图中文字幕| av2014 日韩在线中文字幕| 韩日色费| 天天操狠狠日夜夜干超碰撸com视频在线观看| 国产吞精a级片激情电影| 欧美高清18A片| 欧美另类综合久久| 欧美性暴力猛交XXXX| 久久精品国产亚洲av水密被窝| 亚欧美综合网| 午夜视频好爽啊| 免费黄色视频网址| 国产丸一视频| 草草电影院| 久久五月视频| 长久操视频| 一区二区乱码福利| 欧日韩不卡视.频| 97精品视频在线播放| 黄色激情电影在线观看| 国产夫妻一区二区| 91少妇人妻| 狼人久草| 大色网久久| 探花熟女,姿勢到位,體驗感也到位| a在线视频免费观看| 欧美亚洲丝袜美女电影| 91色色网站| 伊人色综合网| 天美传媒麻豆一区二区三区国产精| 色图综合| 蜜臀久久99精品久久久久久无删减| juliaann丝袜| a级成人毛片免费视频高清| 国产亚洲欧洲在线观看| 欧美片第一页| 天天日日舔舔| 国产v亚洲v日韩v欧美v片另类| 亚洲无码超碰免费| 97视频观看| 亚洲高潮影院| 99精品在线| 9997se| 操逼网免费无码视频| 亚洲偷91色| 久久久无码av精| 97激情97激情| 精品久久久久久AV无码| 综合网久久| 亚洲成人在线高清| 麻豆 欧美 日韩| 96久久久久久久| 丁香五月av| 色妺妺AⅤ| 91熟女熟妇视频网站| 超清中文乱码字幕| 美女诱惑爱爱| 91久久九九精品国产综合| 亚洲精品欧洲精品| 美女干逼2| 欧美极品美女aaaaaa级黄片| 一二三啪啪专区| 中文久久久| 久久发布国产伦子伦精品| 色色毛片| 久草在| 日本色色色色色视频| 欧美青青视频| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 青娱乐导航AV| 美女操逼A A| 九九九九九九亚洲| 欧美亚洲第一页| 亚洲日韩久久精品一区| 亚洲激情在线一区二区| 久久综合97| 欧美亚综合色图| 国产黄色视频久久| AV色五月天| 九九伊人网| 日韩91网站| 久久久久久久久久久久久久久乱码| 九九九九久久久| 亚洲天天综合| 啊啊啊好湿久久| 一类无码操逼视频| 国产97av| 亚洲一区二区三区麻豆传媒| 欧美不卡二区| 激情在线青青操| 欧美性区| 久久欧美性爱视频| 日韩一级二级三级免费看完整版| 五月天开心网| 伊人一区二区在线播放| 亚欧美色图| 熟妇高潮一区二区免费视频| 国产h片在线观看视频| 乱人乱色一区二区三区免费| 嗯嗯嗯啊啊啊操的我好爽| 亚洲精品xxx| 成人九九| 国产男女无套97| 东京热毛片调教| 99色悠悠| 天天日B夜夜干B时时操B| 久久六六| 操老熟女AV| 九九久久久九九| 97任你吞精| 欧美岛国精品在线观看| 校园春色美腿丝袜 | 五月婷婷啪啪| 飘花国产午夜精品不卡| 校园激情狠狠四射| 色哟哟av网址| 毛片17S| 乱色视频中文字幕| 一本色道久久天天射天天干| 久久久青青草| 青青草狠狠撸| 伊人丝袜美腿高跟在线观看高清| 国产日韩欧美中文在线播放| 人妻在线中出视频| 曰韩av中文字幕专区| 亚洲精品成人动漫在线| 色姑娘综合网| 精品视频一区二区| 亚州综合图片| 性欧美体内射精| 夜色五月天| 成年人性爱日韩| 国产在线观看一区二区三区| 无套后入双马尾| k频道色撸撸| 国产精品视频播放| 综合国产97| www.色婷婷| 国产中文字幕曰本毛片| 日韩强奸av| 亚洲丝袜综合| 天天干人人乐| 中日韩久久久免费看| 97视频新免费| 日操粉逼逼| 人妻性爱一区二区| 99re免费| 日本色日夜干| 国产精品丝袜在线| 亚洲日韩资源| 亚洲高清在线se| 亚洲鸥美色图| 国产十八禁视频| 亚洲综合影视| 欧美三级一级| 久久色激情一区二区三区| 天天干天天做| 丁香六月婷婷| 五月天社区| 婷色五月| 91超级碰碰| 美女被艹尤物视频| 网页导航五月天免费一二三区| 97天堂| 91精品国产一区三一| 国产精品97视频| 抽插一区二区视频| 亚州黄站| 超碰人妻97| 久久这里只| 蜜臀99久| 亚洲欧洲日韩中文字幕一区| 欧美偷拍| 国产白嫩精品久久| 人人色人人射人人妻| 久久精品免费| 97色论| 久久久久久久久久久久黄色| 美女91在线观看| 欧美亚州综合图片| 国产欧洲精品亚洲午夜拍精品| 日韩情色视频| 久久久不能久久久久| 伊人成人情色综合| 素颜老阿姨乱情色| 欧美大色交| 亚洲在钱| 激情综合 婷婷五月 红杏| 777超碰| 日韩大香蕉| 放黄片放3级黄片没穿衣服| 2017av无码免费无线播| 国产一级137片内射麻豆| 日韩黄片视频试看| 波多野42部无码喷潮在线观看 | 国产美女自拍视频| 91亚州| 日韩欧美性爱电影在线观看| 欧美成年人性爱视频免费观看| 精品人妻一区二区三区视频在线| 精品视频久久区| 日韩中文字幕精品一二三事国产精品| 伊人国产视频| 免费97视频| 97色欧洲| 91国产操逼视频| 免费啪啪av| 九九九不卡| 麻豆精品.欧美精品.日韩精品.| 女人天堂网| 亚洲色电影在线| aaa亚无码专区| 久操网址| 人人操av| 中文字幕乱碼在线| 国产成人精品一区| 亚洲97资源| 男插女青青影院| 口爆吞精在线观看| 丁香五月影院| 男插女青青影院| 欧美骚少妇| 天天噜| 天天色天天干天天爱| 97精品综合久久| 夫妻四区五区六区| 美女骚尻视频| 91色拍| 亚洲色图殴美色图激情乱伦| 狠狠中文字幕| 久久婷婷欧美| 亚洲精品欧洲色| 中国一级特黄大片护士| 九月婷婷久久| 你草精品在线视频| 色九久| 色就色综合| 久久婷婷伊人| 97日视频| 欧美97超碰| 欧美黄色大片在线观看| 婷婷五月影院| 美女淫穴| 嗯阿好爽好紧| 大香蕉2017| 狠狠色噜噜狠狠狠狠2018| 99精品在线播放| 日韩传媒在线| 一区二区三区看视频| 欧美国产精品| 亚洲精品久| 日韩专区久久久| 日日干天天干夜夜爽| 久久久人妻| 亚洲国产丝袜在线观看| 日韩在线国产字幕| 久草视频分类在线| 久久久久密臀视频| 国产高清自拍| 精品国产精品一区二区| 97超碰免费生活| 沈阳熟女高潮对白视频| 五月激情啪啪| 欧美激色| 艹精品| 高清不卡视频| 91亚洲影视| 国产免费永久精品无码| 九九九影院| 亚洲国产美女久久久久| 91精品综合久久久久久五月丁香| 夜夜操天天肏| 中文字幕天天天天天| 欧美成人精品一区| 人妻 中文 日韩| 国产AV天美| 国产精品第一页国产大屁股视频免费区 | 免费精品福利在线观看| 亚洲自拍欧美国产首页网曝| 超碰97中文| 九月婷婷久久| 欧洲色综合| 国产精品宅男免费| 精品999日本| 成人影院永久免费观看网址| 久久熟女人| 亚洲Av诱惑| 日韩一级片| 插插综合网天天影视网| 中国乱伦一区二区| 天天综合网1| 黄色大片免费在线| 日韩精品人妻中文字幕有码午| 国产AV线| 国产高清在线观看欧美| 天天天天天超碰| 強姦亂倫a| 999久久久九| 91精品人| 精品久久青青草| 夜夜欢天天干| 五月丁香色综合| 麻豆av一区二区| 99久视频| 日本亚洲嫩草影院啪啪| 99无码| 大香蕉淫人| 丁香五月社区| 国产精品操| 男人的天堂在线有码| 欧成人精品一区二区三区| 可以看的av| 97超碰色色| Av色五月| 日韩欧美福利视频看看| 97久久超碰国产网站| 中文字幕久久亚州无码| 制度丝袜99| 黑人干亚洲| 在线v中文字幕一区二区三区| 欧美性,色九九| 影音先锋乱伦资源| 亚洲综合一| 日韩成人性爱AV| 大但人体久久久久| 九九热精品视频在线观看| 超碰97综合| 人妻天天操天天爽视频免费| 精品美女久久久久| 超碰天天操你比| 日逼国产| 欧美日本视频一区| 国产亚洲精品自在线亚洲情侣| 亚码人妻| 国产小黄片在线免费观看| 情色大香蕉| 东京热男人的天堂网| 国产性爱强奸乱伦大全| 伊蕉97蜜桃97狠狠综合干| 色欲蜜臀AV| 天天影视91看看| 蜜色网色哟哟| 人人玩人人添人人澡免费| 久久同城AV| 无码操逼网| 98超碰欧美| 97色插| 男人天堂无码| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 精品十三区| 欧美极品性爱天天射| 亚洲国产精品久久久久婷婷老年| 中国大陆国产高清AⅤ毛片| 亚洲 欧美 日本 国内 首页| 私色综合网| 激情 欧美 亚洲 小说| 国产午夜福利合集| 人人干黄色| 欧美78| 无码国产精品午夜不卡(| 91春色| 中文字幕精品久久久久人妻红杏ⅰ| 日韩高清黄片| 啊啊啊水好多| 五月天春色激情网| 久久精品毛片免费不卡| 好爽要喷了| 亭亭丁香激情| 国产真实野战在线视频| 久久亚洲一区女同性恋中文字幕 | 九一性生活免费视频| 激情AV| 一个国产在线综合网站| 国产吹潮女在线观看| 天无日色综合| 亚洲精品乱码久久久久久蜜桃麻豆| 精品二区三四区五电影 | 玖玖爱在线视频免费观看| 日韩熟女视频二区| 麻豆区99999| 葡萄牙性视频一二区| 亚洲中文电影| 成年女人一区| 国产精品久久久久久片| 女人精品内射国产99| 色欲久久99精品久久| 欧美久久久15P| 欧美99| 岛国视频免费在线观看| 试看60秒 爽| 99热8| 男人天堂久久日韩| 丁香五月天堂| ..日韩av毛片精品久久久| 国产白丝av| 精品久久久久成人码免| 久久中出在线| 九色 人妻 大香蕉| 欧美日韩第一页| 成人av影院在线观看| 天美精品原创av片国产| 色九色久| 91爱看| 日本天堂网| www久| 久久欲| 97欧美精品| 九九九只有精品| 91美乳| 久久久久骚| 久久这里只精品99re66图| 香伊人在线| 久久精品人妻一区| 抽插亚洲无码| 超碰无码五月97| 色情亚洲日本成人| 欧美激情总合网| 色色99| 97超碰9| 91熟女视频网| 国产精品乱码久久久久久| 成人色女网| 天天操女人| 在线观看一卡二卡| 亚洲国产日韩欧美熟妇在线| 精品人妻一区二区视频| 亚洲欧洲自拍图片专区满春格| 日本三级韩国三级美三级91| 一道本东京热加勒比一区二区三区| av凤凰久久久| 黄页视频网站野外| 亚洲一区二区三区不卡国产欧美| 久久久青青草| 91中出在线| 日本亚欧爱爱| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 激情综合网五月婷婷五月天| 无码天天操| 久久精品国产AV一区二区三区| 99少妇| 欧美天天影院| 久肏视频字幕| 偷拍片久久| 色女免费在线观看视频网址| 日韩不卡网操逼中文字幕日韩| 农村妇女一级二级三级视频| 香蕉综合网| 亚洲激情久久| 丁香五月成人| 五月丁香在线| 欧美色三级片91| 无码99| 久久97资源 网| 性色中出| 成人综合视频久久| 99xav| 成人热久久精品| 人妻天天爽夜夜爽精品2| 夜夜高潮夜夜爽| 激情文学 国产一二三aV| 久久99手机免费视频| 熟女欧美日韩综合婷婷| www.高清无码诱惑一区.com | 夜夜黄| 亚洲丝袜二区在线| 国语精品av| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | ,国产乱人伦精品一区二区三区| 欧亚免费视频| 久久无码电影| 91性高潮久久久久久久久| 五月综合色| 色女网日韩| 九九亚洲精品| 人妻熟女一区二区| 欧美日本不卡在线| 超碰95| 久久亚洲欧美中文字幕国语| 日韩 欧美 视频 在线 一区| 在线精品福利免费播放| 五月婷婷六月天| 素人美腿视频网站| 人妻一区久久二区三区色播| 久久99草| 亚洲国产福利视频| 无码人妻一区二区三区免费九色| 欧美亚州综合网图片| 久久啊啊啊| 在线亚洲 欧美 日本专区| 国产女人与拘做受视频免费| 无码操逼网| 天天插天天射| 红桃视频高潮| AV男人天堂网| 激情欧美97| 97超碰久久| 日本操大逼| 激情综合亚洲| 大香蕉伊人在线成人AV在线观看| 91丝袜美女| 久久99999| 久久久78| 成人国产视频在线观看| 中韩中文字幕在线观看| 日韩色| 高潮的A片激情扒开一区| 国产农村一一级特黄毛片| 六月婷激情福利天堂69| 校园春色亚洲无码| 亚洲黄色电影| 免费观看网黄| 大香蕉九九| 97色97好| 91中出视频| 涩综合导航| 欧美日韩香蕉| 亚洲情色五月天 | 熟妇人妻一区二区三区| 男人天堂 天天射| 蜜桃久久一区二区| 久久精品国产亚洲AV无码做| 熟妇在线视频一区二区| 偷拍综合亚洲| 97精| 中文字幕精品一区欧美| 亚洲国男人的天堂| 九九九九欧美| 亚洲欧美电影| 国产97视频免费观看| 亚洲 中文 女同| 大但人体久久久久| 韩国三级一线观看久| www久久99| 啊啊好多水| 在线不欧美| 国产真实野战在线视频| 久久超碰久| 超碰是碰在线观看| 蜜乳AV免费观看| 九九内射在线| 精品一区二区久久| 久久久国产av美女私房| 99色| 亚洲成人在线资源| 免费?级毛片无码?∨蜜芽试看| 老司机老司机午夜影院| 蜜臀精品1区2区| 亚州色图欧美色图| 国产不卡免费在线视频| 天堂av2019| 精国久久一区二区三区98| V A在线| 激情五月天丁香| 九九免费影片| 日韩美女啪啪一区| 手机不卡视频不卡在线一二三区| 成人综合久久精品色婷婷| 亚洲中文字幕日产无码久久| 999热这里只有精品| 欧美亚洲日本视频久久久| 啊啊啊好舒服好爽啊啊啊视频| 欧美线天码中字| 亚洲激情在线观看一区| 成人影 天天操 亚洲| 美女好片色日本| 99re国产精品视频| 一个人在线看的黄色电影网站| 老熟妇一区二区三区啪啪| 夜草网站| 97人肏| 中文字幕一区二区三区人妻不卡 | 操逼逼一区视频| 懂色综合久久久| 亚洲高清综合网| 亚洲操人| 欧美日韩亚洲少妇寂寞影院正在播放| 97超碰超碰| 日本久久精品| 疯操AV| 婷婷中文网| 亚州欧美综合| 欧美综合娱乐久久| 九九九影院| 成人无遮挡毛片免费看| 精品美女在线视频| J?P?NESEHD熟女熟妇伦| 成人精品电影| 国内外内射高清视频| 日本天天吊| 国产白丝av| 日韩成人色图| 好爽免费视频| 97色伦欧美| 啊啊啊免费| 久久婷婷一区二| 亚洲情欲| 色色色色色色色色色色色色色色综合| 新视频sss国产| 欧美国产精品| 九九自拍伦理| 久久精品毛片免费不卡| 超碰天天操| 亚洲精品第一| 日韩有码回春沙龙第一页| 亚洲欧美国产日本一区二区三区| 97精品97| 欧美极品性爱天天射| 亚洲伊人久久精品影院| 久精品无码av一区二免费国产在线观看 | 十八禁视频一区二区| 91欧美偷拍| 韩国一级婬片A片无码天美| 97一区二压| 日韩不卡毛片Av免费高清| av日韩中文字幕| 开心激情婷婷| 亚洲欧美高清| 国产91精品久久久久久久网曝门| 91丝袜在线播放| 色呦呦、国产精品|