日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

NVIDIA開源srt-slurm:SLURM集群上的GPU推理服務(wù)編排

NVIDIA開源srt-slurm:SLURM集群上的GPU推理服務(wù)編排 NVIDIA 開源 srt-slurm把 GPU 推理服務(wù)的編排做到 SLURM 里先說一個(gè)判斷推理部署真正的瓶頸往往不是顯卡性能不夠而是 GPU 集群里“誰能用、怎么用、出了問題誰來管”這件事太亂了。單機(jī)跑大模型還好一旦上了多節(jié)點(diǎn)、多團(tuán)隊(duì)、多模型的集群環(huán)境手動(dòng)分配 GPU、手動(dòng)啟動(dòng)推理服務(wù)、手動(dòng)盯著進(jìn)程是否掛掉會(huì)迅速耗盡你的時(shí)間和耐心。NVIDIA 開源的 srt-slurm表面上是個(gè)調(diào)度工具本質(zhì)上是在把“靠人盯集群”變成“靠編排管服務(wù)”。我寫這篇文章是想把一個(gè)容易被忽略的視角說清楚很多團(tuán)隊(duì)已經(jīng)有 SLURM 集群也裝了 NVIDIA 驅(qū)動(dòng)推理服務(wù)也能跑起來但距離“像 K8s 那樣交付一個(gè)推理服務(wù)”還差一層編排能力。srt-slurm 正是補(bǔ)這層的東西。讀完全文你會(huì)理解它解決什么真實(shí)問題、適合什么場(chǎng)景也能拿到一套基于 SLURM 和 NVIDIA 推理服務(wù)的可落地配置思路。1. 推理部署和“編排”之間差的那一步先回到一個(gè)典型場(chǎng)景你有一個(gè) 8 卡的 GPU 服務(wù)器上面裝了 SLURM幾個(gè)算法工程師都在往里提交訓(xùn)練任務(wù)。突然有一天業(yè)務(wù)方說要部署一個(gè)線上推理服務(wù)要求 7x24 小時(shí)可用還要支持多個(gè)模型切換。這時(shí)候你會(huì)發(fā)現(xiàn)SLURM 默認(rèn)的工作模式是“作業(yè)”而不是“服務(wù)”。訓(xùn)練任務(wù)跑完就退出資源立刻釋放推理服務(wù)要長期運(yùn)行必須一直占著 GPU。如果用它跑一個(gè)srun --gresgpu:1 python run_infer.py一旦進(jìn)程被 OOM 殺死、節(jié)點(diǎn)重啟、或者 SLURM 回收了作業(yè)服務(wù)就沒了沒人知道你線上已經(jīng)中斷了一個(gè)小時(shí)。更麻煩的是服務(wù)發(fā)現(xiàn)和流量調(diào)度。一個(gè)分布式推理服務(wù)通常有多個(gè)副本前端需要一個(gè)入口把這些副本的地址聚合起來。SLURM 只負(fù)責(zé)把作業(yè)調(diào)度到節(jié)點(diǎn)上它不知道你的服務(wù)監(jiān)聽哪個(gè)端口、是不是還活著、要不要擴(kuò)容。這些原本屬于 Kubernetes 的能力在傳統(tǒng) HPC 集群里是缺失的。所以srt-slurm 的出現(xiàn)本質(zhì)上是在 SLURM 的“資源調(diào)度層”和推理服務(wù)的“業(yè)務(wù)交付層”之間加了一個(gè)翻譯器和調(diào)度大腦。它把“向 SLURM 提交作業(yè)”這件事抽象成“聲明一個(gè)推理服務(wù)”然后由這個(gè)編排層去處理在哪個(gè)分區(qū)分配 GPU啟動(dòng)哪個(gè)推理引擎vLLM、TensorRT-LLM、NVIDIA NIM 等服務(wù)啟動(dòng)后把地址注冊(cè)到哪里健康檢查失敗后自動(dòng)重啟作業(yè)結(jié)束后清理殘留進(jìn)程。這樣的設(shè)計(jì)非常適合已經(jīng)圍繞 SLURM 建立了資源管理體系的團(tuán)隊(duì)。你不需要推倒重來切換到 Kubernetes而是在現(xiàn)有集群上獲得接近云原生的服務(wù)化體驗(yàn)。2. 認(rèn)識(shí) srt-slurm它是什么解決什么問題從現(xiàn)有公開信息看srt-slurm 是一個(gè)圍繞“SLURM 編排 推理服務(wù)部署”定位的開源項(xiàng)目。具體縮寫的全稱目前公開材料不多理解它的時(shí)候不必糾結(jié)字面意思直接看它做的事更有價(jià)值讓 GPU 推理服務(wù)在 SLURM 集群上以聲明式、可編排的方式運(yùn)行。它的核心價(jià)值可以拆成三層。第一層是資源抽象。你把“我想跑一個(gè) Qwen2.5-7B 的推理服務(wù)需要 1 張 A100”這樣一句話寫成配置而不是自己去記哪臺(tái)機(jī)器有空閑、該提交什么 srun 命令。編排層會(huì)解析配置生成對(duì)應(yīng)的 SLURM 作業(yè)提交到正確的分區(qū)。第二層是服務(wù)生命周期管理。推理服務(wù)和普通批處理任務(wù)的差異在于它要長期存活。因此 srt-slurm 需要支持健康檢查、日志回灌、進(jìn)程守護(hù)、失敗重啟。服務(wù)啟動(dòng)后它會(huì)探測(cè)推理服務(wù)的 HTTP 端口確認(rèn)模型加載完成、API 可以響應(yīng)才認(rèn)為“部署成功”。第三層是入口與服務(wù)發(fā)現(xiàn)。當(dāng)一個(gè)推理服務(wù)跑起來之后外部怎么找到它這里面通常需要一個(gè)注冊(cè)機(jī)制把節(jié)點(diǎn) IP 端口 服務(wù)名寫入某個(gè)存儲(chǔ)中例如共享文件、Redis 或 Nacos。前端網(wǎng)關(guān)再從注冊(cè)中心拉取可用地址做轉(zhuǎn)發(fā)。拿它和 Kubernetes 對(duì)比會(huì)更好理解。Kubernetes 天生把“部署、服務(wù)、伸縮、自愈”放在一起SLURM 擅長的是排隊(duì)調(diào)度和 GPU 資源分配但對(duì)服務(wù)化能力支持較弱。srt-slurm 更像是給 SLURM 裝上了一個(gè)“在線服務(wù)模式”讓 HPC 管理員不需要改變底層作業(yè)調(diào)度習(xí)慣也能交付穩(wěn)定的推理服務(wù)。當(dāng)然并不是所有場(chǎng)景都適合它。如果你的團(tuán)隊(duì)對(duì) Kubernetes 已經(jīng)很熟且業(yè)務(wù)完全云原生化繼續(xù)用 KServe 這類方案可能更完整如果你的集群規(guī)模很小、只有一塊 GPU用手動(dòng)啟動(dòng)腳本也夠用。srt-slurm 最有價(jià)值的地方是那些“已經(jīng)有 SLURM、有多卡、有多個(gè)用戶、但缺少服務(wù)化工具”的中間地帶。3. 核心基礎(chǔ)SLURM 作業(yè)調(diào)度與 GPU 服務(wù)化的差異想用好 srt-slurm先要理解 SLURM 的基本模型以及推理服務(wù)為什么不能完全照搬訓(xùn)練作業(yè)的管理方式。SLURM 里有幾個(gè)最常見的概念分區(qū)partition把節(jié)點(diǎn)按用途分組比如gpu分區(qū)、cpu分區(qū)節(jié)點(diǎn)node是實(shí)際執(zhí)行作業(yè)的計(jì)算資源作業(yè)job是你提交的調(diào)度單元按狀態(tài)分為排隊(duì)PD、運(yùn)行R、結(jié)束CD、失敗F等。作業(yè)可以交互式運(yùn)行也可以批處理運(yùn)行。訓(xùn)練任務(wù)通常是一次性的我跑 1000 個(gè) epoch跑完就結(jié)束SLURM 自然回收資源。推理服務(wù)卻要求一直活著只要用戶不主動(dòng)下線它就要持續(xù)監(jiān)聽端口、接收請(qǐng)求。于是這里出現(xiàn)了幾個(gè)關(guān)鍵差異。第一個(gè)差異是資源占用模式。訓(xùn)練任務(wù)用完即釋放推理服務(wù)必須長期持有 GPU。在 SLURM 里長期作業(yè)一直占用節(jié)點(diǎn)會(huì)讓排隊(duì)時(shí)間變長所以需要給推理服務(wù)設(shè)立獨(dú)立的 QoS 或分區(qū)避免它和訓(xùn)練任務(wù)互相擠占。第二個(gè)差異是啟動(dòng)判定標(biāo)準(zhǔn)。訓(xùn)練任務(wù)啟動(dòng)后就開始計(jì)算談不上“服務(wù) ready”。推理服務(wù)則不同模型權(quán)重加載就要幾十秒到幾分鐘顯存分配完成后 HTTP 端口才會(huì)監(jiān)聽。編排層必須有能力判斷“這個(gè)服務(wù)是否真正可用”而不是只看進(jìn)程有沒有起來。第三個(gè)差異是故障恢復(fù)。訓(xùn)練任務(wù)掛了可以重新排隊(duì)用戶能等推理服務(wù)掛了線上的請(qǐng)求直接失敗。所以 srt-slurm 這類編排層必須做自動(dòng)重啟、健康檢查和異常通知甚至要考慮把服務(wù)調(diào)度到其他健康節(jié)點(diǎn)上。下面用一個(gè)表格把這兩類作業(yè)的差異列清楚對(duì)比維度傳統(tǒng) SLURM 作業(yè)推理服務(wù)化作業(yè)生命周期短暫跑完即退長期駐留持續(xù)對(duì)外提供服務(wù)資源占用任務(wù)結(jié)束自動(dòng)釋放長期持有 GPU需要獨(dú)立配額管理成功標(biāo)準(zhǔn)進(jìn)程正常退出、產(chǎn)生產(chǎn)物HTTP 端口可訪問、模型可響應(yīng)重啟策略失敗后手動(dòng)重新提交失敗自動(dòng)拉起或重新調(diào)度訪問方式用戶通過文件和日志獲取結(jié)果通過 API 或網(wǎng)關(guān)訪問服務(wù)監(jiān)控需求任務(wù)日志、資源利用率端口健康、請(qǐng)求延遲、并發(fā)量、GPU 顯存從這個(gè)表可以看出srt-slurm 要做的就是把第二列的能力補(bǔ)齊。它本身并不是取代 SLURM而是讓 SLURM 從“批處理調(diào)度器”升級(jí)成“混合負(fù)載調(diào)度器”。4. 環(huán)境準(zhǔn)備與前置條件srt-slurm 的具體部署方式以官方倉庫 README 為準(zhǔn)但整體環(huán)境依賴通常包含以下幾個(gè)部分。這里我給出的是通用檢查思路你只要按這套清單核對(duì)基本不會(huì)走偏。4.1 基礎(chǔ)組件清單需要準(zhǔn)備的核心組件如下SLURM 集群包括slurmctld控制節(jié)點(diǎn)和slurmd計(jì)算節(jié)點(diǎn)版本建議使用當(dāng)前主流的大版本避免過老版本缺少關(guān)鍵特性。NVIDIA GPU 節(jié)點(diǎn)包含 NVIDIA 驅(qū)動(dòng)、CUDA 運(yùn)行環(huán)境以及 NVIDIA Container Toolkit。推理引擎vLLM、TensorRT-LLM、NVIDIA NIM 或其他兼容 OpenAI API 的推理服務(wù)。模型文件放在所有計(jì)算節(jié)點(diǎn)都能訪問的位置一般是共享存儲(chǔ)。服務(wù)發(fā)現(xiàn)組件可能是共享文件、Redis、etcd 等取決于 srt-slurm 的實(shí)現(xiàn)。4.2 檢查 SLURM 集群狀態(tài)在管理節(jié)點(diǎn)上執(zhí)行sinfo squeue預(yù)期的輸出應(yīng)該能看到節(jié)點(diǎn)處于idle或mix狀態(tài)并且有可用的 GPU partition。如果節(jié)點(diǎn)狀態(tài)是down或drain需要先恢復(fù)節(jié)點(diǎn)。scontrol show nodes scontrol show partition這些命令可以幫助你確認(rèn)節(jié)點(diǎn) GPU 配置和分區(qū)名稱。后面的編排配置里要寫對(duì) partition否則作業(yè)會(huì)一直排隊(duì)。4.3 檢查 GPU 與容器運(yùn)行時(shí)在被調(diào)度的 GPU 節(jié)點(diǎn)上執(zhí)行nvidia-smi nvidia-smi -L確認(rèn)驅(qū)動(dòng)已正確加載。如果要在容器里跑推理還需要安裝 NVIDIA Container Toolkit。Ubuntu 系統(tǒng)下典型的安裝步驟是curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker如果你的環(huán)境無法訪問外網(wǎng)需要把上面的軟件源替換成內(nèi)部鏡像源。安裝完成后用這條命令驗(yàn)證容器能否識(shí)別 GPUdocker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi如果能看到類似nvidia-smi的輸出說明容器里的 GPU 透傳沒有問題。這一步非常關(guān)鍵因?yàn)?srt-slurm 在計(jì)算節(jié)點(diǎn)上很可能是通過容器拉起推理服務(wù)的。5. 從“手動(dòng)啟動(dòng)推理服務(wù)”到“編排提交”我們先看一個(gè)最原始的推理服務(wù)啟動(dòng)方式再逐步過渡到編排模型這樣你才能理解 srt-slurm 到底幫你省了什么。5.1 手動(dòng)啟動(dòng)推理服務(wù)在 GPU 節(jié)點(diǎn)上手動(dòng)執(zhí)行python3 -m vllm.entrypoints.openai.api_server \ --model /models/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000這樣服務(wù)確實(shí)能跑但你有幾個(gè)問題沒法解決如果機(jī)器重啟服務(wù)不會(huì)自動(dòng)拉起如果服務(wù)崩潰沒人幫你重啟端口被占用時(shí)只能手動(dòng)改配置多副本時(shí)沒有入口聚合前端只能寫死 IP。5.2 用 SLURM 作業(yè)提交推理服務(wù)把上面的命令寫進(jìn) SLURM 作業(yè)腳本可以在一定程度上解決“誰在跑”的問題#!/bin/bash #SBATCH --job-namemanual-infer #SBATCH --partitiongpu #SBATCH --gresgpu:1 #SBATCH --cpus-per-task8 #SBATCH --time01:00:00 #SBATCH --outputslurm-%j.out python3 -m vllm.entrypoints.openai.api_server \ --model /models/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000然后用sbatch提交sbatch start_infer.sh squeue這是“作業(yè)方式”的推理服務(wù)。它能保證服務(wù)在不出錯(cuò)的情況下長期運(yùn)行但離完善的“編排”仍然很遠(yuǎn)。你仍然要手動(dòng)查作業(yè)日志手動(dòng)處理端口沖突還要在服務(wù)崩潰后重新提交作業(yè)。5.3 用 srt-slurm 聲明推理服務(wù)到了 srt-slurm 這一層你不再直接寫 SLURM 腳本而是寫一份服務(wù)聲明由工具轉(zhuǎn)換成作業(yè)并持續(xù)維護(hù)。下面是一個(gè)演示性質(zhì)的思路# 示例命令具體參數(shù)以官方 README 為準(zhǔn) srt-slurm submit \ --name qwen-infer \ --model /models/Qwen2.5-7B-Instruct \ --engine vllm \ --partition gpu \ --gpu 1 \ --port 18000 \ --health-path /health提交后編排層會(huì)做幾件事自動(dòng)計(jì)算合適的 SLURM 參數(shù)、向集群提交作業(yè)、輪詢服務(wù)端口、確認(rèn)/health返回 200然后把服務(wù)的訪問地址注冊(cè)到服務(wù)發(fā)現(xiàn)中心。整個(gè)過程你提供的只是“服務(wù)意圖”而不是“機(jī)器命令”。6. 完整示例與代碼實(shí)現(xiàn)下面給出一套完整的、可以在真實(shí) SLURM 集群上落地的推理服務(wù)編排示例。這個(gè)示例不完全等同于 srt-slurm 的內(nèi)部實(shí)現(xiàn)但它包含了所有關(guān)鍵環(huán)節(jié)你理解之后再看官方文檔會(huì)非???。6.1 模型目錄準(zhǔn)備假設(shè)模型已經(jīng)放在共享存儲(chǔ)/models/Qwen2.5-7B-Instruct。如果 srt-slurm 會(huì)派發(fā)作業(yè)到不同節(jié)點(diǎn)那么所有計(jì)算節(jié)點(diǎn)必須都能訪問這個(gè)路徑。路徑掛載不一致是推理服務(wù)啟動(dòng)失敗最常見的原因之一。6.2 編寫服務(wù)聲明文件假設(shè)編排工具支持 YAML 聲明服務(wù)定義可能長這樣# 文件路徑services/qwen-infer.yaml name: qwen-infer engine: vllm model: /models/Qwen2.5-7B-Instruct partition: gpu gpu: 1 cpus: 8 timeout: 7200 port: 18000 replicas: 2 healthcheck: path: /health interval: 10 timeout: 5 retries: 3字段含義如下name服務(wù)名稱在集群內(nèi)唯一。engine推理框架例如vllm、tensorrt-llm或nim。model模型路徑。partitionSLURM 分區(qū)。gpu每個(gè)副本申請(qǐng)的 GPU 卡數(shù)。replicas服務(wù)副本數(shù)用于高可用。port服務(wù)對(duì)外暴露的端口。healthcheck健康檢查規(guī)則用于判斷服務(wù)是否 ready。再次提醒具體字段名以官方實(shí)現(xiàn)為準(zhǔn)這里的意義在于讓你理解“聲明式”長什么樣。6.3 提交服務(wù)假設(shè) CLI 工具名為srt-slurmsrt-slurm apply -f services/qwen-infer.yaml srt-slurm list srt-slurm status qwen-infer預(yù)期行為是list能看到服務(wù)處于running或deploying狀態(tài)status能顯示每個(gè)副本所在的 SLURM 作業(yè) ID 和節(jié)點(diǎn)地址。6.4 在 SLURM 節(jié)點(diǎn)上實(shí)際運(yùn)行的作業(yè)腳本如果不依賴編排工具直接用 SLURM 腳本模擬單副本推理服務(wù)腳本如下#!/bin/bash #SBATCH --job-nameqwen-infer-1 #SBATCH --partitiongpu #SBATCH --gresgpu:1 #SBATCH --cpus-per-task8 #SBATCH --time02:00:00 #SBATCH --output/var/log/slurm/qwen-infer-%j.out #SBATCH --error/var/log/slurm/qwen-infer-%j.err echo JOB_START_TIME$(date) nvidia-smi python3 -m vllm.entrypoints.openai.api_server \ --model /models/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 18000 \ --served-model-name qwen2.5-7b-instruct echo JOB_END_TIME$(date)提交sbatch scripts/start_infer.sh6.5 服務(wù)調(diào)用驗(yàn)證等到作業(yè)運(yùn)行后先看服務(wù)是否監(jiān)聽端口squeue scontrol show job JOB_ID ss -lntp | grep 18000在能訪問該節(jié)點(diǎn)的機(jī)器上執(zhí)行curl http://NODE_IP:18000/v1/models如果返回模型列表說明推理服務(wù)已經(jīng)就緒。再發(fā)一個(gè)對(duì)話請(qǐng)求curl http://NODE_IP:18000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5-7b-instruct, messages: [{role: user, content: 用一句話解釋為什么推理服務(wù)需要編排}], max_tokens: 128 }正常響應(yīng)中應(yīng)該包含choices字段并且?guī)С錾傻奈谋尽?.6 服務(wù)發(fā)現(xiàn)與網(wǎng)關(guān)接入在生產(chǎn)環(huán)境前端不可能寫死節(jié)點(diǎn) IP。更合理的做法是把每個(gè)副本的地址寫入 Redisredis-cli HSET srt:services:qwen-infer node-0 10.0.1.20:18000 redis-cli HSET srt:services:qwen-infer node-1 10.0.1.21:18000然后 API 網(wǎng)關(guān)或者 Nginx 從 Redis 拉取地址列表做負(fù)載均衡。這一步可以很輕量不一定需要引入完整的注冊(cè)中心。7. 運(yùn)行結(jié)果與效果驗(yàn)證跑通這套流程后你應(yīng)該按順序驗(yàn)證幾件事。7.1 作業(yè)狀態(tài)sinfo看到節(jié)點(diǎn)被分配squeue看到作業(yè)從PD變成Rsqueue -u $USER狀態(tài)為R表示作業(yè)正在運(yùn)行PD表示還在排隊(duì)。如果一直停在PD說明資源不足或你寫的分區(qū)名稱不對(duì)。7.2 服務(wù)端口在作業(yè)所在節(jié)點(diǎn)上確認(rèn)端口監(jiān)聽ss -lntp | grep 18000 curl http://127.0.0.1:18000/health如果配置了/health探針應(yīng)該返回 200。7.3 日志驗(yàn)證日志是排查問題的第一手信息tail -n 50 /var/log/slurm/qwen-infer-JOB_ID.err常見的日志內(nèi)容包括模型加載過程、tokenizer 配置、顯存分配以及最終的Application startup complete??吹竭@個(gè)信息說明服務(wù)已經(jīng)就緒。7.4 失敗后的第一步排查如果服務(wù)處于異常狀態(tài)第一步先把“異?!倍x清楚作業(yè)有沒有啟動(dòng)看squeue容器或進(jìn)程有沒有崩潰看作業(yè)日志GPU 是否可見在節(jié)點(diǎn)上跑nvidia-smi端口是否被占用看ss -lntp模型路徑是否可讀在節(jié)點(diǎn)上執(zhí)行l(wèi)s /models/Qwen2.5-7B-Instruct。大多數(shù)問題都出在這五個(gè)環(huán)節(jié)里。如果一個(gè)一個(gè)排查完還找不到原因再去翻 srt-slurm 控制端的日志。8. 常見問題與排查思路問題現(xiàn)象可能原因排查方式解決方案作業(yè)一直停在 PD 狀態(tài)分區(qū)無空閑 GPU或資源配額不足sinfo查看節(jié)點(diǎn)狀態(tài)squeue查看排隊(duì)情況等待資源釋放調(diào)整分區(qū)降低申請(qǐng)卡數(shù)服務(wù)啟動(dòng)后 HTTP 接口無法訪問服務(wù)監(jiān)聽地址不是0.0.0.0端口沒有暴露ss -lntp查看監(jiān)聽地址curl 127.0.0.1 測(cè)試設(shè)置--host 0.0.0.0檢查防火墻和安全組容器內(nèi)執(zhí)行 nvidia-smi 報(bào)錯(cuò)NVIDIA Container Toolkit 未安裝或未配置nvidia-container-cli info安裝 Toolkit確認(rèn) docker runtime 已配置模型加載非常慢冷啟動(dòng)加載權(quán)重共享存儲(chǔ)吞吐不足查看作業(yè)日志中的加載耗時(shí)預(yù)熱模型使用本地緩存增大存儲(chǔ)帶寬服務(wù)啟動(dòng)后立刻報(bào) OOM模型參數(shù)量超出單卡顯存查看dmesg和作業(yè)日志切換量化版本設(shè)置--tensor-parallel-size健康檢查失敗服務(wù)仍在加載模型探活超時(shí)時(shí)間過短curl 手動(dòng)訪問 /health查看服務(wù)日志延長健康檢查超時(shí)增加重試次數(shù)端口沖突多個(gè)服務(wù)申請(qǐng)了同一端口ss -lntp看端口占用情況讓編排層分配動(dòng)態(tài)端口建立端口分配表節(jié)點(diǎn)重啟后服務(wù)沒有恢復(fù)編排層未配置自動(dòng)重啟scontrol show job查看作業(yè)狀態(tài)配置自動(dòng)重啟策略結(jié)合 systemd 守護(hù)每個(gè)問題都不要只盯著表象。比如端口沖突根因可能是編排層沒有做端口分配也可能是你手動(dòng)啟動(dòng)了一個(gè)殘留進(jìn)程。先把“現(xiàn)在誰在監(jiān)聽這個(gè)端口”查清楚再?zèng)Q定殺掉哪個(gè)進(jìn)程。9. 最佳實(shí)踐與工程建議推理服務(wù)編排上了生產(chǎn)環(huán)境不能只看“能跑通”。下面這些實(shí)踐是我在同類系統(tǒng)里反復(fù)驗(yàn)證過值得投入的環(huán)節(jié)。9.1 服務(wù)定義盡量聲明式把服務(wù)名稱、模型路徑、GPU 數(shù)量、分區(qū)、端口寫成配置而不是散落在 shell 歷史記錄里。這樣團(tuán)隊(duì)其他成員能直接看到集群里有哪些服務(wù)、用的什么模型、占了多少資源。9.2 固定端口和動(dòng)態(tài)端口要有規(guī)則小規(guī)模集群可以約定端口段比如18000-19000歸推理服務(wù)使用規(guī)模再大一點(diǎn)最好由編排層統(tǒng)一分配。否則時(shí)間一長端口沖突會(huì)變成每日問題。9.3 所有推理服務(wù)必須暴露健康檢查接口vLLM 默認(rèn)提供/health端點(diǎn)TensorRT-LLM 和 NVIDIA NIM 也有對(duì)應(yīng)的探活方式。這是編排層判斷服務(wù)是否需要重啟的唯一可靠依據(jù)。沒有健康檢查自動(dòng)拉起就無從談起。9.4 日志不能只留在節(jié)點(diǎn)本地SLURM 作業(yè)日志默認(rèn)寫在計(jì)算節(jié)點(diǎn)節(jié)點(diǎn)一旦故障日志就丟了。建議將所有推理服務(wù)的日志發(fā)送到集中采集系統(tǒng)例如 Elasticsearch、Loki 或云日志服務(wù)。這樣在排障時(shí)不需要先定位節(jié)點(diǎn)再翻文件。9.5 網(wǎng)絡(luò)暴露必須做認(rèn)證如果你通過 srt-slurm 暴露推理 API不要把端口直接開放到公網(wǎng)。建議前置一層認(rèn)證網(wǎng)關(guān)例如使用 API Key、OIDC 認(rèn)證或者至少做 IP 白名單。無認(rèn)證的推理服務(wù)在公網(wǎng)上會(huì)很快被掃描和惡意調(diào)用這個(gè)風(fēng)險(xiǎn)不是危言聳聽。9.6 給推理服務(wù)設(shè)置獨(dú)立的 QoS 或分區(qū)訓(xùn)練作業(yè)通常是高吞吐、短時(shí)間、可排隊(duì)推理服務(wù)是長期占用、低延遲、不能排隊(duì)。兩類負(fù)載混在一個(gè)分區(qū)里會(huì)導(dǎo)致推理服務(wù)被訓(xùn)練作業(yè)擠到后面延遲不穩(wěn)定。最好單獨(dú)設(shè)置一個(gè)infer分區(qū)配合 SLURM QoS 限制最長運(yùn)行時(shí)間或最大并發(fā)數(shù)。9.7 預(yù)留模型預(yù)熱策略大模型冷啟動(dòng)時(shí)間較長。如果服務(wù)頻繁重建調(diào)用方會(huì)一直看到超時(shí)。一種做法是把服務(wù)常駐并定期探活另一種是啟動(dòng)腳本里先向模型發(fā)送一個(gè)最小請(qǐng)求完成預(yù)熱再注冊(cè)到服務(wù)發(fā)現(xiàn)中心。后者在自動(dòng)擴(kuò)容場(chǎng)景下非常有用。9.8 用 Prometheus 監(jiān)控 GPU 和延遲NVIDIA 提供了dcgm-exporter可以采集 GPU 利用率、顯存、溫度等指標(biāo)。推理服務(wù)層面可以暴露請(qǐng)求延遲、QPS、token 吞吐。把這些接入 Prometheus Alertmanager一旦 GPU 利用率異常或 P95 延遲升高就能第一時(shí)間收到告警。10. 總結(jié)與后續(xù)學(xué)習(xí)方向srt-slurm 這類項(xiàng)目的價(jià)值不是提供一個(gè)又一個(gè)炫酷命令而是把 GPU 推理服務(wù)的運(yùn)行方式從“腳本 人工盯”變成“聲明 編排自動(dòng)維護(hù)”。它適合那些已經(jīng)有 SLURM 集群、想在不動(dòng)底層調(diào)度系統(tǒng)的情況下獲得服務(wù)化能力的團(tuán)隊(duì)。如果你正在搭大模型推理平臺(tái)可以重點(diǎn)關(guān)注它如何處理作業(yè)聲明、健康檢查、服務(wù)發(fā)現(xiàn)和自動(dòng)重啟四個(gè)環(huán)節(jié)。下一步的實(shí)踐建議很直接先準(zhǔn)備一個(gè)兩節(jié)點(diǎn)的 SLURM 測(cè)試環(huán)境裝好 NVIDIA Container Toolkit用 vLLM 跑通一個(gè)最小推理服務(wù)再對(duì)照 srt-slurm 官方倉庫的 README把這里描述的通用概念映射到具體命令上。不用一上來就追求多副本和高可用能把“提交一個(gè)服務(wù)、自動(dòng)拉起、API 可通、失敗能重啟”這條鏈路跑通就已經(jīng)離生產(chǎn)環(huán)境很近了。把這篇文章收藏下來動(dòng)手實(shí)驗(yàn)時(shí)遇到“作業(yè)排隊(duì)、服務(wù)端口不通、容器不識(shí) GPU、健康檢查失敗”四類問題回來對(duì)照第 8 節(jié)的排查表基本能省下不少找資料的功夫。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
免费看日本操逼视频| 青青草日逼视频| baisiav| 久热久| 国产女人视频三四五区| 乱论91| 97精品国产97久久久| 8050无码八戒| 日日噜噜夜夜久久亚洲一区二区| 91视频精品| 丝袜熟女一区二区三区| 肥臀熟女福利视频一区二区| 老熟女综合网| 日本在线一二| 撸无码不卡免费视频| 无码WWW免费视频网站| 精品久久視頻在线| a片亚洲一本通视频| 国产强奸乱伦第1页| 国产久久久久久久久一区二区| 青草视频在线看看看看看看看看看| 亚洲97p| 97视频在线免费观看| 日韩成人网址| 精品美女少妇一区二区| 1禁看欧美黄片免费看| 四虎AV影视国产精品亚洲精品| 国产乱子伦久久精品综合一区二区三| 天天插天天射| 青青在线视频日韩欧美| Julia在线播放亚洲久久| 日韩成人人妻网站| 中文字幕国产| 欲女人妻性色av| 伊人久久大香线蕉无码| 好涩综合| 国产一级αv免费看片| 青草影院内射高潮| 亚洲啪啪性视频| 美女91网址| 91操人| 男人的天堂无码| 国产吞精a级片激情电影| 国产性爱欧美性爱在线| 午夜高清成人在线视频| 啊啊啊啊,啊啊好多水| 日本不卡高清视频| 国产福利精品最新在线 | 亚洲AV高潮| 99国产人成精品| 开心五月天激情网| 精品人妻一区二区三区免费视频| 女人爽到高潮潮喷18禁网站| 日本大香蕉综合网| 99热色精品| 在线综合 亚洲 欧美中文字幕| 欧美日韩一区二区三区四区蜜桃| 伊人国产av| 国产在线激情视频| 久热久一区二区三区| 97亚洲色图| 日韩性色b| 91人妻人人澡人人爽人人精品| 国产夜夜艹| 久久无码一区二区二三区性色| 久久国模av| 国产精品免费日韩| 少妇贴图| 91人妻人人妻| 美國A片| 夜夜嗨一区| 久久天天摸| 国产AV激情无码久久无码 | 国产亚洲精品A在线观看下载| 日han少妇无码| 国产高清吃奶免费视频网站| 亚洲丝袜在线观看| wwe 天天干.com| 国产亚州精品美女久久久免费| 欧美熟妇亚洲版| 亚洲性爱无码乱伦av| 91精品国| 中文字幕女同在线| 国产suv精品一区二区四| 在线岛| 青娱乐黄色录像| 97色色国产视频| 黄色片A级一区二区三区| 久久久久久久久久久久九| 色蜜AV| 欧美色老汉| 九九玖玖精品| 日本五十路熟女一区二区| 精品视频一区二区| 色五月天AV| 爱av免费| 国产一区二区三区视频在线看| 亚洲蜜臀精品视频久久| 美女97超碰| 九九热九九| 天天懆天天日| 九九无码| 99re98| 热的中文 热的有码 热的国产| 99精品在线观看| 性爱免费视频成人| 操逼日批| 搡老女人911熟妇老熟女| 亚洲色图第一页| 日本日日色视频| 91丝袜美腿网站| 成人小说另类在线| 少妇精品久久| 日日爽熟女| 97精品久久久久中文字幕| 久久a久久| 人人操人人狠狠操| 国产综合网站在线播放 | 蜜乳Av成人片网站| 沈阳熟女高潮对白视频| 日韩一级二级三级| 超碰 国产熟女精品一区| 午夜男人天堂| 亚射在线| 亚洲第91页| 国产传媒日本欧美专区| 9999伦理视频| 亚州操操穴网| 亚洲吊色| 美女诱惑1区2区| 国产真实野战在线视频| 久久黄色性爱视频| 午夜精品探花| a天堂视频| 人人妻人人爽 97人人看碰人免费公开视频| 亚欧成人一级片在线播放| 精品女同一区| 国产2.3.4区| 校园春色宗合网| 欧美日韩国产电影| 欧美 亚洲 另类 综合| 亚洲国产剧情少妇激情| 97九色人妻| 色噜噜狠狠色综合日日| 99热亚洲天堂| 欧美另类色| 日日干日日| 99热综合| 少妇三P| 久久麻豆一区二区| 日本美女性生活久久久久久久| 99热综合| 蜜桃精品一区二区三区ww| 亚洲情色电影网| 一区二区久久天天干狠狠| 色噜噜狠狠色综无码久久合欧美| 台欧久久精品视频| 60秒免费小视频| 精品中文日韩字幕视频| 9997se| 香蕉国产97| 国产精品日日摸天天碰| 综合久久97| 日韩熟女无码| 久久透逼视频| 欧美黄色片在线播放| 思思视频免费看网站| 亚洲超碰97| 边做饭边操逼逼| 91精品国产日韩欧美综合| 九九色精品| 色久桃花影院在线观看| 中文字幕第9页萱萱影音先锋 | 伊人精品国产| 久久久久人| 99re这里只有| 青青操网| 亚洲天堂无码| 亚洲一二三精品久久网| 精品中文一区二区| 97操| 亚洲成a人片在线观看中文!!!| 日韩另类| 色爱欲亚洲| 啊啊啊在线看| 亚洲学生妹高清av| 大香蕉一线视频| 欧美 亚洲 制服 精品| 九九热超碰97亚洲最新香蕉| 91色插| 日韩无码一级黄色av片| 99精品在线| 亚洲超碰在线| 日韩精品作爱导航| 综合色一区三区二区| 日本人妻中文字幕精品| 深夜啪啪啪视频免费| 丝袜天堂| 青草视频人妻在线观看| 成人羞羞视频国产| 国产精品成人无码av| 天天综合色| 狠狠亚洲| 欧美人妖内射| 国产精品懂色tv影视免费观看 | 97视频在线视频| 91狠狠狠| 国产成人精品日本视频| 精品久久久久黄少妇| 淫穴高潮色图| 四虎影视永久在线免费| 人人操天天爽| 欧美日韩中文字幕人妻| www…国产操逼| 亚洲欧美综合| 蜜桃丰满熟妇av无码区不卡| 日韩大香蕉| 久综合国内精品自在自线| 亚洲日韩AV视色| 人乳av| 懂色av色欲av蜜臀av| 韩国轻伦国内自拍一区| 日韩三级伦理中文字幕| 婷婷导航| 亚洲色婷婷综合久久久久中文| sewuyueav| 唐山老熟妇露脸啪啪叫| 小骚逼被操的爽不爽| 91天天综合网| 欧美性爱97超碰| 色原狠狠天天天| 久久精品国产亚洲AV片多多| 亚洲Av噜噜一区二区三区妖精| 精品无码少妇| 丁香六月啪啪| av网站国产主播在线| 日韩人妻播放| 欧洲精品人妻| 欧美aaaaaaa| 揉揉揉夜夜| 强奸乱亚洲| 日本五区不卡| 九热视频| 91免费看一区二区三区| www.人人摸在线视频| 色综合av男人天堂| 亚洲欧美国产va在线| 2019午夜福利视频| 国产精品九9| 青青11操操操操操操操操| 99re在线视频| 一区二区乱码福利| 插穴性爱视频在线观看| 日本一二区免费| 清纯唯美亚洲综合| 99re不伦| 中文字幕高清精品一区| 国产高清MV操逼视频| 无码久久国产 | 久久区| www.色五月| 天天操熟妇| 欧美大波激情xxxx| 黑操B| 亚洲国产另类在线中文| 野狼激情网| 国产婷婷综合在线观看| 日日夜夜草草草| 又大又长又粗又爽又黄| 精品二区三四区五电影 | 欧美永久激情一区二区| av网站在线观看了| 超碰 国产熟女精品一区| 日本一级特级毛片视频| 小明看看网址| 美国人人操人人操| 亚洲资源吧| 婷婷久久网| 天堂69亚洲精品中文字| 12一15性XXXX粉嫩国产| 激情终合网| 成人资源中文字幕在线观看天天| 午夜无码精品免费看性色| 欧美一区二区日韩三区| 超碰久超碰久| 欧洲色色| 日韩精品在线视频,日韩精品……| www. 男人天堂成人在线| 色欲天天婬色婬香WWW夜色| 中国国产精品一区视频| 少妇同性| 精品毛片av一区二区| 亚洲天天精品| 91精品电影18| 久久久精品无码亚免费| 少妇色欲综合网2| 97精品国产97久久久久久| 凌辱美少妇久久aV| 成人性爱高清视频免费看| 精品对白久久不卡| 亚洲污一污二| 99热在线观看| 国产高清视频无码在线| 视频二区熟女人妻| 人人手机欧洲亚洲国产人妻| 亚洲午夜福利视频| 日韩三级在线观看网站| 四虎精品永久在线观看| 精品视频久久区| 欧美黑人XXXⅩ高潮交| www.久久最新地址| 日本操逼视频免费| 日韩三级伊人| 久久超碰97中文字幕| 韩国一级做A片免费的| 性色AV蜜色av色欲av| 75大香蕉| 强奸乱亚洲| 欧美成人A√在线一区二区| 97视频新免费| 久久精品国产亚洲AV高级北京| 亚洲学生妹高清av| 青娱乐 青青青操 日逼| 伊人亚洲综合| 老熟妇综合| 韩国一区二区精品亚洲| 婷婷激情五月综合| 天天操夜夜嗨| 日本精品一级二级三级| 亚洲动态色图| 久夜视频| 麻豆天美一区二区| 欧美A√综合网| 私色综合网| 色丁香五月婷婷| 欧美日韩操逼嗦吊| 大肥女高潮bbwbbwhd视频| 天天操熟妇| 91九九九小逼| 求求你操操我| 国产精品网站www| 色婷婷视频| 人妻激情偷乱视三区频一区二区| 99精品丰满人妻无码| av黄图片在线观看| 五月丁香啪| 人妻 制服 日韩 中文 在线| av无码av无码专区| 人人看黄色视频| 爽爽歪在线视频| 一区二区三区精品视频| 欧美性巨大╳╳╳╳╳高跟鞋| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 久久精品国产72国产精品福利| 92性色国产午夜福利在线661| 91亚洲人| 亚洲一本色码中文字幕| 成人影 天天操 亚洲| 探花熟女,姿勢到位,體驗感也到位| 精品二区久久| 97视频播放| 国产AV天美| 91亚洲影院综合| 亚洲日韩青青草色月| 欧美日韩222| av操操不卡| 神马午夜久久久| 老熟妇综合| 久久啊啊啊视频| 久久999久| 九九视品黄色| 精品久久99| 嗯阿好爽好紧| 中文字幕久久精视频久久大全| 青青草色情网站视频| 撸撸成人在线视频| 精国久久一区二区三区98| 亚洲欧美国产中文字幕| 午夜天天碰综合视频| 国产日韩精品一区二区三区| 日韩精品人妻中文字幕久久久| 综合91网| 日韩欧美麻豆 | 国产精品美女久久久久久网站| 高潮精品| 人人操人人摸人人看人人干| 欧美视频边做饭边橾| 日本在线不卡v二区| 国产亚洲综合欧美一区| 99热97| 91嫩草欧美| 色九九九九| 中文字幕精品三级久久久| 清纯唯美激情| 97超碰磁| 日本肉体xxxx裸交| 爆乳免费黄网站| www.91欧美| 精品视频一区二区| 日韩成人在线性爱视频| 狠狠爱综合| 久操不卡视频| 蘋果手機免費看成人Av| 成人一区二区三区四区| 五月开心久久AV官网| 女人 A一级| 福利色色| 91夜色chaopeng| 91蜜桃传媒精品久久久一区二区| 久操精品| 26uuu国产免费观看| 99热欧美| 色综和网| 极品另类| 亚洲天堂中文字| 天天干天天拍| 久久久久久久六六| 97免费在线观看| 一本一道vs波多野结衣| 在线可观看的黄色网址| 久九九九九九九热| 欧美92| 五月婷婷六月丁香网址| 大屁股xxxxx| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 岛国色情视频在线观看| 丁香五月激情网| 欧美亚综合色图| 亚洲天堂少妇| 国产一区在线观看无码AV | 淫荡熟女乱伦网| 九九热免费国产视频婷婷伊人| 欧美第二页午夜| 天堂v无码免费视频| 91被操| 日本一本一区二区三区四区五区欧美日韩中文字幕| 午夜男人天堂| 天堂成人网| 亚洲av无码成人精品国产| 亚洲欧美精品久| 淫淫综合网| 人人天天干干| 久久亚洲色图中文字幕| 凹凸视频在线一区二区| 天天日夜夜| 高清孕妇孕交 交孕妇| 少妇一级婬片免费放一级a性色.| 日韩丝袜人妻AV| 性天堂| 园内精品自拍视频在线播放| 欧美 日韩 国产传媒| 欧美AB在线| 日韩av不卡在线观看| 久9久9精品| 国产在线观看91精品一区| 999在线电影香蕉| 最新av在线| 亚洲激情综合另类男同| av亚洲天堂资源网站| 精品国产乱码久久久| 亚洲啪啪性视频| 青草伊人久久| www.色99| 日骚逼视频| 久久久久久久久成人av解说| 99热99re6国产在线播放| 强奸乱伦AV一天堂网| 盗摄 精品 另类 一区| 一区二区视频在看| 久久激情网| 欧美亚洲首页| 草草影院在线视频| 视频国产成人精品日本亚洲18| 日本天天人人狠狠在线日美女 | 97色伦欧美| 69精品| AV电影在线播放| 欧美性第1页| 日韩啪啪网| 欧美性性性| 亚洲色吧网| 操国产逼| 久久久中文| 97这里都是精品| 高清无码在线播放网站| 五月天伊人| 亚洲无码精品AV久久久| 天天看片麻豆| 91丨熟女丨丰满熟女| 美女十八禁| 91人妻Pr| 国产真实子伦对白| 无码人妻一区二区一牛影视| 精品高清av中文字幕| 超碰性爱97| 黄片免费久久久久久久| 88在线一区二区三区| 五月天偷拍| 啪啪性爱免费视频| 久久精品日韩专区免费观看| 日本高清电影欧美色图| 亚洲啪啪视频一区二区| 久久久999国产精品| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 在现视频女上位好爽| 一二三区操逼国产91| 啊啊啊啊啊啊啊好爽不要| 老熟女乱子伦中文字幕一区二区| 综合大香蕉美。| 6080yy午夜理论三级一区二区三区无码| 国产呦精品系列在线观看| 国产怡红院| 99在线无码精品秘 入口黑人| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 欧美夜夜| 2019亚洲男人天堂| 99久久久无码| 午夜国产乱伦视频| 欧美激情区| 日韩中文字幕2020| 97天天爽| 日本午夜精品理论片A级APP发布| 欧美 亚洲精品首页| 操一区| 亚州色图第三区| 精品999一区二区| 日韩国产十八禁| 巨爆乳肉感一区二区三区竹菊影视| 亚洲色电影在线| 口爆欧美91| 九九香蕉网| 91欧美另类| 美女露胸露奶头| 日日碰狠狠添天天爽超| 1769国内精品视频| 网友自拍第1页| 久湿久久| 日本不卡二三区| 亚洲欧美精品福利在线| 国产精品麻豆成人av| 亚洲啪啪啪啪视香蕉| 99热99re超碰精品| 成人精品在线观看| 天天躁日日躁AAA片李宗瑞| 中文字幕熟女人妻丝袜| 91插B网站| 日影院久久婷婷夜夜网| 久久的网站啊啊啊啊啊| 97天天摸天天碰| a片在线播放| 天美传媒婬乱在| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 欧美亚洲特P| 欧美影音在线| 午夜精品久久久久久久99热影院| av凤凰久久久| 欧美性色欧美| 少妇高潮九九九九九九九| 成人综合视频久久| 亚洲色图 欧美热图 清纯唯美 另类自拍| 免费观看国产小粉嫩喷水精品午| 欧美片第一页| 试看日韩黄片| 丁香色狠狠色综合久久小说| 久草精品视频| 九九热精彩视频| 美女毛片999| 天天天乱色综合全| 欧美综合97www| 又大又白奶子| 又大又黄国产| 日本一区二区三区欧美日韩中文字幕| 丰满人妻一区二区三区四| 草草网站影院白丝内射| 一区在线精品中文字幕| 国产日本一区二区三区蜜臀在线观看| 69丨亚洲丨精品丨入口免费播放| 天综合网欧美| 97国产精品久久久久| 欧美日韩亚洲国产中文永久天天看 | 日韩人妻精品久久久久| 欧美夜夜狠| 床上啊啊啊一区二区三区| 午夜精品久久久久久久99蜜桃一| 亚洲最新av无码成人精品区| 性暴力欧美猛交在线直播| 欧美偷拍区| 极品白嫩美少妇在地板上位骑射淫水泛滥| 人妻铁牛TV| 超碰97资源网亚洲| 美女好片色日本| 99热销国产这里有精品| 97亚洲精品| 亚洲天堂加勒比| 伊人天天久久动态图| 国产精品爆乳懂色蜜乳| 天天操妹子| 亚洲天天天| 精品天堂| A片A5445444| 日本一区视频在线观看| 国产精品久久久久久久黄无码 | 97精品97久久| 欧美96在线|欧| 91老女人| 精品无码不卡视频| 黄网在线播放| 中文字幕日产av人| 五月天激情综合网| 婷婷五月天补不补| 亚洲天堂自拍| 激情文学亚洲| 日韩一级欧美一级国产一级台湾| 国产精品福利视频播放| 再深点灬舒服灬太大了添视频| 日韩一区二区精彩视频| 成年人一级黄色毛片大全在线观看| 久久久夜夜嗨免费视频| 9久久9综合| 大香蕉琪琪日本女优不卡| 亚洲天堂少妇| 2017天天拍大香蕉| 岛国色情视频在线观看| 十八禁的黄污污免费网站| 色情五月婷婷| 国产欧美一区二区| 97综合日韩| 国产超碰欧美| 91性高朝久久久久久久久| 熟妇操花| 啊啊啊啊啊操我视频| 91无摭挡| 国产女同在线观看视频| 国产92麻豆天美精品色欲5| 神马精品视频| 97欧美色综合| 国产精品不卡一区二区电影| 国产精品午夜高潮呻吟久久av| 97天天摸天天碰| 久久久久久久六六| 日韩欧美日韩| www久| 秋霞一区二区三区四区五区六区七区| 少妇三p| 成人av毛片在线观看| 婷婷五月天色色| 中文字幕五区| 色综合色| 亚洲黄色网址| av爱爱爱| 97舔舔| 天天影视综合色| se01国产在线视频| 嗯嗯嗯不要不要免费视频| 欧美同性恋 的搜索结果 - 91n| 久久夜夜| 狠狠操夜夜操蜜桃视频三区| 亚洲se电影| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 人妻人人操| 亚洲精品欧美专业| 无码粉嫩白虎一线天b区| 高清国产精品福利网站| 五月天婷婷色色| 蜜臀无码一区二区| 午夜无遮挡男女啪啪视频| 久久婷婷色综合一区二区三区| 91精品操美女| 日操粉逼逼| 狠狠2050在线观看| 日韩熟女精一区二区三区不卡| 在线观看综合精品亚洲| 传媒免费一区二区三区| 无码直播久久久| 久jiu久神马影院| 日韩色图 一区二区| 韩国一级婬片A片无码天美| 五月天开心网| 国产区在线| 操高情无码| 久久m| 啪啪视频亚洲第一| 男生女生啊啊啊啊| 啪啪啪东京| 东北女人| 成人自拍三级在线观看| 丁香五月偷拍| 日韩在线电影| 操少妇很爽av| 97视频在线免费观看| 爱爱动态120秒| 精品九九九| 日本一区二区电影网站| 国产成人在线观看网址| 四方色播| 97在线青| 裸体美女久久久| 亚洲青色欧美| 国产中文福利| 亚洲一区在线观看欧洲| 精品黄色电影| 久久久久亚洲| 97久久久| 成人小电影网站tex| AV老汉| 熟女天天干| 亚欧无码线免费观看视频| 88xx成人精品视频| 婷婷五月天色网| 日韩在线电影| 日本熟妇熟色97一本在线观看| 怡红院成人视频| 岛国成人av在线播放网址| 青青草在线视频播放器| 久久人妻精品| 人人看黄色视频| 九九久久一区二区三区| 五月丁香六月综合缴清无码| 亚洲色吧网| 啊啊啊免费| 用力操死我| 成人a大片在线观看| 老鸭窝日丰县女人| 婷婷尹人大香蕉免费| 日本一级真人黄色性爱视频| 91天堂视频| 免费av大片| 亚洲在钱| 亚洲欧美国产日本一区二区三区| 黑白配性爱AV成| 欧美男女午夜啪啪| 亚洲三区视频| 91欧| 嗯嗯嗯啊啊啊在线免费观看| 九九精品99| 伊人宅男大香蕉| 久久综合乱子伦国产免费| 熟女激情综合网| 懂色影视久久| 国产精品小视频一区二区三区| 国产精品久久久久久久无码AV| 射欧美综合| 操逼视频亚洲| 久久少妇人妻| 国产成人精品亚洲日本| 91av熟女人妻| 啊嗯嗯啊好大好爽| 中文字暮97| 免费簧片在线观看| 99久久99久久免费精品蜜臀| 东京热熟女亚洲视频网站| 狠狠色丁香| 久久久久久69国产一区二区| 欧美成人精品欧美一级乱黄一区二… | 精品人妻高清麻豆av| 桃色六月天| 五月激情影院| 国产家庭乱伦性爱视频| 天天干电影| 人妻 欧美 中文| 2020中文字幕| 99热伊人| 蜜乳性色无码专日粉嫩骚逼AV| 夜夜骑夜夜操| 久久成人东京热人妻| 无码人妻精品一区二区三区九九| 嗯嗯啊操我| 曰韩成人免费视频| 日本1区2区不卡视频| 熟女乱3伦999| 久久久精品久久| 97se综合网| 98一区二区精品| 欧美成人四级在线播放| 蜜臀久久99精品久久久久久酒店| 97干综合网| 殴美综合色88| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 91亚洲欧美综合高清在线| 日韩av熟女一区二区三区成人| 免费啪啪一级视频| 91精品久久久| 日本羞羞的视频在线播放| 国产人妻天天干精品| 免费精品中文字幕| 97色涩| 在线看片国产精品每日更新| 国产精品高朝久久久久久久| 亚洲精品xxx| 欧美青青视频| 日本精品成人无码| 另类一区| 国产欧美美女免费观看视频| 欧美熟妇成人一区二区| 夜夜嗨视频| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | …中文字幕亚洲乱,97人妻无码费视… | 黄色AV影视| 在线播放中文字幕| 国产 三级自拍| 中国zzijzzijzzwww精品| 欧美丝袜中文字幕07在线| 欧美日本视频一区| 中文字幕女同在线| 啊啊啊好大好湿| 一直超碰| 97色97好| 97综合国产精品高潮久久| 高树玛利亚无码流出| 日韩欧亚太美不卡| 91大胆欧美| 好淫网一二三视区| 色九月综合| 淫色网综合| 欧美熟女妇同| 天天影视色香欲综合网小说| 亚洲欧洲另类| 久久亚洲精品成人av| 无码抄逼网| 天天做日日做天天欢。| 欧美成人午夜免费福利785| 九九Av| 一块操欧美性爱| 亚洲精品99| 激情综合97| 久久婷婷五月天| 欧美日日网| 天天综合香 ld视频| 青苹果影院男人的天堂| 三上制服丝AV| 91高潮喷水美女| 熟女熟妇一区二区三区视频| 91热热色| 欧美一级A一级a爱片久久| 91人精品妻入口| av在线免费一区二区| 97碰在线视频| 一区二区三区 丝袜 高跟 美腿| 日日日啊啊啊| 欧美高清在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 91麻豆天美传媒HD| 伊人一区二区三区| 欧美成人精品一区二区男人蜜臀| 欧美性爱超碰97| 久久国产成人精品国产成人亚洲 | 亚洲色图国产另类| 日韩啪啪啪啪啪| 丝袜综合| 亚洲高潮影院| 激情黄色片在线观看| 强奸乱伦Av网| 天天上日日上日韩精品| 欧美强奸乱| 天天看少妇| 久久久久久久久久精| 夜夜爽夜夜操| 日韩熟女无码| 日韩一级片在线看| 青青操97| 久久熟女嫩草成人片免费| 无码人妻精品酒店| 狼狼色丁香久久婷婷综合五月| 国内精品久久久久影院亚洲| 人妻夜夜爽天天爽麻豆三区网站 | 青青草啪啪网| 久久啊啊| 18禁美女裸体无遮挡啪啪| www.色婷婷.com| 日韩欧美中文字| 淫荡网址| 成人av免费观看| 蜜臀久久99精品久久久老,,| 精品一二三区四视频| 97精品久久| 性爱乱伦一区| 麻豆一区在线| 78久久| 亚欧性爱ab| 一道本东京热加勒比一区二区三区| 久久久成人免费av电影| 美女视频尤物网在线看| 欧美日韩亚洲少妇寂寞影院正在播放| 成人影 天天操 亚洲| 欧美综合自拍亚洲综合图| 国产粉嫩蜜臀av一区二区三区| 午夜黄色免费在线观看| 日日黄色三级网站| 欧美综合综合| 免费观看的黄色的网站| 伊人大香蕉在线| 天堂网 主播 亚洲| 免费a级毛片av无码久久精品中文字幕| 99久久网站| 9997se| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 中国一级特黄大片护士| 伊人天堂在线| 欧美综合综合| 蜜乳性色无码专日粉嫩骚逼AV| 亚洲熟妇无码一区二区三区| 久久久久久久| 亚洲欧美国产日本一区二区三区| 97天天在线| 99久久久无码精品国产人| 凹凸精品熟女在线观看| 欧美一区二区传媒| 97久久精品不卡| 国产一区在线观看无码AV| 小少妇| 日韩欧美久久婷婷网站| 国产精品久久久无码AV网站| 激情五月天网| 久草热制服丝袜在线观看 | 九九热九九| 国产高潮AA片免费看| 人妻天天爽| ,成人免费啪啪视频| 国产情色第一第二页在线观看| 欧美玖玖爱免费玖玖| 国内精品a| yirendaxiangjiashipin| 成人区人妻精品一| 大香蕉黄色一区| 啊啊啊轻点在线观看| AV无码久久久精品| 国产av色网| 欧美日韩 强奸乱伦| 97精品久久久久中文字幕| 亚洲好看强奸乱伦| 欧美激情视频一区二区三区不卡| 亚洲熟女综合网| 日韩欧美视频青青| 日韩熟女精一区二区三区不卡| 婷婷五月天色| 亚洲精品熟妇1区2区3区。| 黑人精品成人一区二区三区 | 美女久久久久久久久久久| 亚洲经典啪啪| 韩日欧亚a级| 婷婷在线播放| 91爱啪| 97精品国产97久久久| 97精品免费| www色色com| 中文区中文字幕免费看| 色播丁香| 欲综合网| 熟妇在线视频一区二区| 久久精品区| 天天欧美欧美亚洲网| 中文字幕欧美丝袜07资源| 欧洲色| 亚洲欧美人妻| 国产精品网站www| 日本潮催一卡操| av天天在线| 综合欧美日韩在线观看| 久久久78| 九九久久一区二区三区| 亚洲AV无码黄色强奸| 99啪啪视频| 无码137片内射在线影院| 日韩伦理久 久久 清纯| 亚洲 欧美 制服 另类 自拍| 日韩 欧美 国产 麻豆| 国产精品久久伊人| 欧美图片色五月天| 亚洲熟妇丝袜在线观看| 亚洲av综合色区图片亚洲| 久久9精品网站| 久久精品一区二区三区不卡| 国产成年女黄特黄| 欧美少妇色综合| 日本欧美成人片AAAA| 91AV入口| 99久久久| 亚洲第91页 | 国产小视频91| 91n处女在线观看| 91在线美女| 精品人妻1区| 久久久久幕乱码| 97免费在线视频在线观看| 91被操| 亚洲人妻久久久| 久久久久中出| 国产成人bd在线观看| 人人模人人看| 九九九九九九免费视频| 操九九九九九九| 日本午夜福利影院| 亚洲av噜噜噜噜噜噜| 欧美第二页午夜| 婷婷四五区| 中文字幕狠狠玩| 少妇熟女1区2区3区| yazhouzaixian| 91色黑人少妇| 99操逼| 一区二区三区探花在线观看| 91人妻人人澡人人爽人人精品| julia在线观看久久| 国语对白在线播放视频| 婷婷久久五月综合激情| 欧美激情色婷婷花野真衣一区二区| 开心五月激情网| 黄片免费久久久久久久| 久久一区二区蜜桃| 日本精品久久久久久久| 97色爱| 在线观看国产黄色| 亚洲av国产av综合av卡| 肥佬影院91| 人妻激情在线视频| 丝袜综合色图| 亚州宗合另类| 99热99色| 欧美成人性爱视频免费观看 | ,成人免费啪啪视频| 97欧美视频| 抽插一区二区视频| 新精精品久久精品| 男人天堂.AB| 婷婷色综合| 久久无码电影| 婷婷丁香九月| 91色插| 久久精品无码不卡| 东北女人操比视频| 天天弄欧美| 五月天激情小说网| 欧美特大黄一级片片免费| 超碰色男人操熟女| 欧美偷拍| 欧美72网页| 打av高清| 不卡码视频| 天天欧美色| 激情综合网五月婷婷五月天| 成 人片 黄色大片| 精品高清av中文字幕| 精品九九九| 香蕉99秘 一区精品蜜桃臀| 人妻少妇无码| 超碰社区97| 智利AV在线网| 97网址97| 性性久久| 99re这里| 亚洲网污污污污| 日本 免费 一区二区三区 久久香蕉| 天天综合网国产| 久久极品一区二区| 久久人妻办公室视频| 操久久久久久| 美女被艹尤物视频| 中文字幕性感少妇av| 婷婷五月天影院| 99亚洲精品| 青青草中文-久久青草精品一区二区三| 午夜男女爽爽爽在线视频| 一区二区三区精品视频| 亚洲操逼视频网站| 91操碰| 婷婷五月天小说| 性站| 性欧美天天| 色呦呦、国产精品| 亚洲av在线免费观看| 精品视频日日夜夜| 日韩一级二级| 德国一二三不卡| 亚洲成人精品久久久| 亚洲 欧美 另类 日韩 人妻一区| 欧美性天天影院| 91网站18+| 91热热色| 91成人18| 青娱乐福利99| 变态乱伦伪娘灌肠一区二区| 男女猛烈无遮掩视频免费软件| 久久亚州精品成人Av无| 乱论91| 久久东京国产精品视频| 天天拍天天操| 91亚洲黑人| 在线观看A啊啊啊| 91国精产品| 91丝袜激情在线| 日本一级不卡一二区| 嫩草影院永久在线制服丝袜| 日韩色图 一区二区| 欧美色图电影| 国产乱伦性爱区| 人人操人人摸avav| 秋霞影音一区二区三区| 志村玲子视频一区二区| 极品粉嫩一区二区| 国产性爱欧美性爱在线| 欧美亚洲手机在线| w w w.久久精品| 日本色色色视频| 欧美日韩国产在线| 国产精品久久久777| 欧洲一区二区三区四区在线观看| 97超碰大| 在线a v| 五月激情在线| 久久人爽| 国产精品一区二区密臀| 亚洲春色一区二区三区| 99热只有这里有精品| 久久精品一区二区三区不卡| 极品粉嫩一区二区| 日产成人久久| 在线观看中文字幕| 亚洲AV无码AV吞精久久久久| 色五月婷婷久久| 91色伦综合| 美女性91| 日韩精品在线观看观看| 成功精品影院| 91/欧美| 蜜臀AV午夜精品久| 精品中文字幕一区二区| 久久婷婷五月天| 精品久久久无码| 亚洲精品 超碰| 日韩91网| 久久综合九色综合欧洲98| 家庭乱伦性爱av| 国产天美欧美| 韩国国产欧美情侣视频在线| 97久久精品国产| 亚洲一二三四区机械| 97超碰国产亚洲精品| 国产强奸91| 亚洲青青青视频在线| 色五月激情AV在线| 操一操摸一摸| 丁香六月婷| 在线电影亚洲色图| 久久久久久亚洲Av无码| 韩国一区二区精品亚洲| 无码人妻丰满熟妇区毛片| 加勒比海色香蕉婷婷| 久久免费精品视频免一| 神马久久69| 啊v在线观看视频| 人妻99p| 午夜综合在线| 精品国产91内射久久| 国产成人网站在线观看| 欧美78| 26uuu最新| 国产欧美伊人| 婷婷午夜清品久久久久久久性色视频观| 亚洲啪啪视频一区二区| 成人日韩中文字幕|