【AI大模型】擴(kuò)容方案：業(yè)務(wù)增長(zhǎng)后的性能擴(kuò)容路線圖業(yè)務(wù)增長(zhǎng)后，推理服務(wù)遲早會(huì)遇到性能瓶頸：吞吐上不去、延遲變高、顯存告急。擴(kuò)容不是一上來(lái)就加機(jī)器，而是先定位瓶頸，再沿清晰路線逐級(jí)推進(jìn)。本文給出從單機(jī)到集群的擴(kuò)容路線圖：先講瓶頸定位，再給單機(jī)優(yōu)化、換硬件、多機(jī)并行與集群編排四個(gè)階段，最后用可運(yùn)行代碼落地。全文控制在5000字以內(nèi)。先定位瓶頸擴(kuò)容前必須先確認(rèn)瓶頸類型，否則容易花冤枉錢。推理瓶頸分三類：算力瓶頸，GPU 利用率已滿但吞吐不夠；顯存瓶頸，顯存已滿導(dǎo)致并發(fā)上不去；吞吐瓶頸，單機(jī)并發(fā)飽和、請(qǐng)求排隊(duì)。三類瓶頸對(duì)應(yīng)不同擴(kuò)容路徑，定位錯(cuò)了方向，加再多資源也無(wú)效。定位方法看三組指標(biāo)。GPU 利用率高說(shuō)明算力瓶頸；顯存占用接近上限說(shuō)明顯存瓶頸；隊(duì)列堆積、延遲上升而 GPU 利用率未滿，說(shuō)明吞吐或調(diào)度瓶頸。確認(rèn)瓶頸后再選擴(kuò)容路徑，是擴(kuò)容第一步。階段一：?jiǎn)螜C(jī)優(yōu)化擴(kuò)容先做零成本或低成本的軟件優(yōu)化，壓榨單機(jī)上限。量化降低顯存與帶寬，批處理提升吞吐，前綴緩存減少重復(fù)預(yù)填充，這些優(yōu)化在加硬件前往往能帶來(lái)明顯提升。把軟件優(yōu)化做足，能推遲或避免硬件投入。單機(jī)優(yōu)化的順序是：先量化到可接受的精度下限，再調(diào)大批處理與并發(fā)，最后開前綴緩存等特性。每項(xiàng)優(yōu)化跑一輪壓測(cè)確認(rèn)收益，保留數(shù)據(jù)。單機(jī)優(yōu)化到位后，若仍不滿足，再進(jìn)入換硬件階段。python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3.1-8B-Instruct \ --quantization fp8 \ --gpu-memory