在進(jìn)入正文之前做AI Infra的兄弟估計(jì)都經(jīng)歷過這種尷尬別人嘴里蹦出SM、Tensor Core、HBM、NVLink自己只能微笑點(diǎn)頭然后回來偷偷查資料。尤其是看GPU規(guī)格表的時(shí)候只看顯存大小和CUDA核心數(shù)別的參數(shù)一律劃過。這不怪你因?yàn)榫W(wǎng)上講GPU架構(gòu)的教程不是照搬NVIDIA官方白皮書翻譯就是堆術(shù)語讓人越看越懵。但這個(gè)坎過不去AI Infra就干不深。做訓(xùn)練的人要知道為什么數(shù)據(jù)并行到32卡擴(kuò)展比上不去做推理的人要知道為什么A100跑小模型比4090還慢做K8s調(diào)度的人要知道為什么有些Pod必須綁定在特定節(jié)點(diǎn)上——這些問題的根源全都在GPU架構(gòu)里。這篇就是入門第二篇我打算把GPU架構(gòu)里跟AI Infra最相關(guān)的幾個(gè)核心概念掰開揉碎講透從SM到顯存再到卡間互聯(lián)把每個(gè)為什么都解釋到位。不搞那種讀起來跟天書一樣的架構(gòu)圖就當(dāng)作一個(gè)懂硬件的同事在給你講內(nèi)部知識(shí)。1. GPU架構(gòu)到底在解決什么問題1.1 從一個(gè)矩陣乘法說起CPU為什么跑不動(dòng)先做一個(gè)思想實(shí)驗(yàn)。假設(shè)我們要算兩個(gè)4096乘4096的矩陣相乘這是大模型里注意力機(jī)制的最基礎(chǔ)操作。直接算的話要做大概690億次乘加運(yùn)算4096的三次方乘以2大約700億次浮點(diǎn)操作。如果用一顆很強(qiáng)的CPU比如雙路64核的服務(wù)器理論浮點(diǎn)算力大概在2到4 TFLOPS左右也就是每秒2到4萬億次浮點(diǎn)運(yùn)算。跑一次這個(gè)矩陣乘法需要大約2到3秒。聽起來好像也不慢對(duì)吧但問題在于大模型訓(xùn)練可不止做一次矩陣乘法。一個(gè)70B參數(shù)的大模型一次訓(xùn)練step要在每個(gè)token上跑幾百次這樣的矩陣運(yùn)算一次step要處理幾萬到幾百萬個(gè)token。算下來一個(gè)step需要的總浮點(diǎn)操作數(shù)動(dòng)輒幾十PFLOPs1 PFLOPs 1000萬億次。用CPU一天24小時(shí)跑可能幾個(gè)月都訓(xùn)不了一個(gè)像樣的模型。那GPU是怎么解決這個(gè)問題的思路特別樸既然一個(gè)核跑不快那我就堆幾千個(gè)核一起跑。一個(gè)A100有6912個(gè)CUDA核心每個(gè)核心頻率只有1.4GHz左右單核算力遠(yuǎn)不如CPU但6912個(gè)核同時(shí)開工疊加Tensor Core的特殊設(shè)計(jì)峰值算力可以到312 TFLOPSFP16稠密比雙路CPU高兩個(gè)數(shù)量級(jí)。這就是GPU的基本哲學(xué)用海量簡單計(jì)算單元并行替代少量復(fù)雜計(jì)算單元串行。1.2 AI Infra視角GPU是臺(tái)偏科的計(jì)算機(jī)做AI Infra的人腦子里必須有一個(gè)概念GPU不是一臺(tái)通用的計(jì)算機(jī)它是一臺(tái)為了吞吐而優(yōu)化的偏科機(jī)器。它擅長的是大批量、高并行、計(jì)算密集型的任務(wù)而一旦遇到分支多、串行依賴強(qiáng)、訪存隨機(jī)的任務(wù)表現(xiàn)就很拉胯。在AI Infra的語境里我們關(guān)心GPU的無非就四個(gè)指標(biāo)算力FLOPS每秒能做多少次浮點(diǎn)運(yùn)算決定算得快不快。顯存帶寬Memory Bandwidth每秒能從顯存里讀多少數(shù)據(jù)決定數(shù)據(jù)喂得上喂不上。顯存容量Memory Capacity能裝下多大的模型、多大的batch決定單卡能干什么活?；ヂ?lián)帶寬Interconnect Bandwidth卡與卡之間數(shù)據(jù)交換的速度決定多卡能不能scale。這四個(gè)指標(biāo)共同決定了一個(gè)GPU在AI鏈路里的實(shí)際價(jià)值缺一個(gè)都會(huì)變成瓶頸。而且這四個(gè)指標(biāo)之間還經(jīng)常打架顯存容量大了帶寬不一定高算力高了可能功耗也上去了機(jī)房散熱和電費(fèi)都是真金白銀。這就是為什么AI Infra需要懂架構(gòu)——因?yàn)檫x型、規(guī)劃、排查故障的每一步都建立在理解這些參數(shù)之間關(guān)系的基礎(chǔ)上。2. 拆解GPU核心從SM到Tensor Core2.1 SM一切并行度的起點(diǎn)GPU的最小并行計(jì)算單元叫SMStreaming Multiprocessor流式多處理器。以Ampere架構(gòu)的A100為例一顆芯片上總共有108個(gè)SM。每個(gè)SM內(nèi)部又包含若干個(gè)CUDA CoreA100的每個(gè)SM里有64個(gè)FP32 CUDA Core這樣一算就是108乘以64約等于6912個(gè)CUDA核心。但這里有個(gè)關(guān)鍵細(xì)節(jié)GPU不是以單個(gè)線程為單位調(diào)度計(jì)算的而是以warp為單位。一個(gè)warp是32個(gè)線程GPU的調(diào)度器每次把一個(gè)warp里的32個(gè)線程同時(shí)分發(fā)到SM上執(zhí)行。如果這32個(gè)線程走的指令是一致的也就是SIMT模式單指令多線程就一起執(zhí)行一旦出現(xiàn)分支比如if elsewarp里的線程走了不同的路徑就會(huì)分叉執(zhí)行性能就會(huì)下降。這是我們排查GPU利用率上不去時(shí)經(jīng)常忽略的一個(gè)原因。每個(gè)SM里還有圍繞執(zhí)行單元配套的東西寄存器堆Register File、共享內(nèi)存Shared Memory、L1緩存、線程調(diào)度器Scheduler等。做AI Infra不一定要摳到每個(gè)細(xì)節(jié)但必須明白一件事SM的數(shù)量決定了并行度的上限而每個(gè)SM內(nèi)部資源寄存器、共享內(nèi)存充足與否決定了這個(gè)并行度能不能真正跑滿。比如你啟動(dòng)的CUDA核函數(shù)里用了太多寄存器導(dǎo)致每個(gè)SM能同時(shí)駐留的線程塊變少occupancy占用率就掉下來了算力自然會(huì)打折。這就像一家餐廳本來有100張桌子但每張桌子要占80平米的面積實(shí)際只能擺下30張接待量自然上不去。2.2 Tensor CoreAI時(shí)代的勝負(fù)手如果說CUDA Core是為了通用并行計(jì)算準(zhǔn)備的那Tensor Core就是NVIDIA專門給深度學(xué)習(xí)埋的外掛。Tensor Core的本質(zhì)是在硬件層面實(shí)現(xiàn)了一次指令完成一個(gè)4x4x4的小矩陣乘加的操作。GPU的通用核心需要一條指令做一次乘加而Tensor Core可以在一個(gè)時(shí)鐘周期內(nèi)完成一個(gè)4x4矩陣乘以4x4矩陣再加一個(gè)4x4矩陣的累積操作。這個(gè)效率提升是非常明顯的。拿A100舉例FP32 CUDA Core的算力是19.5 TFLOPS而加上Tensor Core之后FP16算力是312 TFLOPS差距超過16倍。Tensor Core支持的數(shù)據(jù)精度也很有講究。AI訓(xùn)練里最常用的是FP16和BF16。FP16的好處是顯存占用減半、計(jì)算速度翻倍但它的表示范圍有限大數(shù)容易溢出所以訓(xùn)練時(shí)經(jīng)常配合混合精度策略——梯度用FP32保存計(jì)算用FP16。BF16是Google后來推的指數(shù)部分和FP32一樣范圍夠大但尾數(shù)精度低所以現(xiàn)在大模型訓(xùn)練更偏好BF16。到了H100還有一個(gè)FP8格式進(jìn)一步壓縮精度、提速主要用于推理場景。做AI Infra的在實(shí)際部署模型時(shí)一定要弄清楚你的推理框架到底用沒用上Tensor Core。如果所有算子都跑在CUDA Core上GPU算力利用率可能連20%都不到但你以為卡已經(jīng)滿負(fù)荷了。很多GPU利用率高但速度慢的詭異現(xiàn)象往深了查都是Tensor Core沒用上——算子沒有融合或者是舊版本框架不支持某些精度導(dǎo)致的。2.3 三代架構(gòu)變化的啟示從Volta到Ampere再到HopperGPU架構(gòu)并不是簡單的堆核心數(shù)。以NVIDIA三代數(shù)據(jù)中心卡的演進(jìn)為例幾個(gè)關(guān)鍵變化很能說明架構(gòu)設(shè)計(jì)的思路第一代VoltaV100首次引入了Tensor Core概念把FP16算力拉到125 TFLOPS直接改變了深度學(xué)習(xí)訓(xùn)練的游戲規(guī)則。AmpereA100則做了兩個(gè)重大決策引入TF32格式讓Tensor Core可以利用FP32的輸入數(shù)據(jù)不用轉(zhuǎn)FP16就能享受Tensor Core加速顯著改善訓(xùn)練精度問題同時(shí)大幅加強(qiáng)了NVLink互聯(lián)為多卡訓(xùn)練鋪路。到了HopperH100更是推出了Transformer Engine可以根據(jù)不同層自動(dòng)切換FP8和FP16把Transformer模型訓(xùn)練再提一個(gè)檔次。從AI Infra角度看每次架構(gòu)迭代帶來的不光是算力提升還伴隨著功耗的急劇上漲。V100單卡功耗300WA100到了400WH100直接到了700W一臺(tái)8卡的H100服務(wù)器滿載功耗接近6kW相當(dāng)于一個(gè)家用小鍋爐。這直接影響了IDC建設(shè)機(jī)柜散熱、配電容量、制冷方案全部要重新設(shè)計(jì)。很多公司不是買不起H100而是機(jī)房的柜子撐不住——單機(jī)柜功率上限5kW的傳統(tǒng)數(shù)據(jù)中心根本塞不下8卡H100服務(wù)器。做AI Infra的如果不懂這點(diǎn)規(guī)劃時(shí)準(zhǔn)會(huì)踩坑。3. 顯存層次帶寬比算力更值錢3.1 為什么HBM是AI的命根子把GPU的算力和訪存分開看就能發(fā)現(xiàn)AI里一個(gè)很扎心的事實(shí)算力增長的速度遠(yuǎn)快于帶寬增長的速度。A100相比V100FP16算力翻了2.5倍但HBM2的帶寬只從900GB/s漲到1.6TB/s左右沒跟上。到了H100帶寬到3.35TB/s但FP8算力已經(jīng)飆到近2000 TFLOPS差距依然在拉大。這意味著什么意味著一個(gè)計(jì)算強(qiáng)度不高的算子比如逐元素操作element-wise或者簡單的歸約數(shù)據(jù)從顯存搬到計(jì)算單元的時(shí)間比實(shí)際計(jì)算的時(shí)間還要長——這就是所謂的訪存密集型任務(wù)。這種情況下GPU算力再高也只是個(gè)等飯吃的廚子鍋熱到飛起但菜就是送不上來。HBMHigh Bandwidth Memory高帶寬內(nèi)存就是為了解決這個(gè)問題而生的。它跟普通顯卡用的GDDR顯存不一樣不是平鋪在PCB上而是通過2.5D封裝技術(shù)垂直堆疊在GPU核心旁邊用密密麻麻的硅通孔TSV做數(shù)據(jù)通道。類比一下GDDR像是城市外環(huán)的快速路路面寬但路程遠(yuǎn)HBM像是直接在地底下挖了幾百條隧道通到市中心路程極短但出口極多。HBM的位寬可以做到4096位甚至更大GDDR通常只有32位到64位所以HBM的帶寬能輕松到幾個(gè)TB/s。3.2 算算賬roofline模型與計(jì)算訪存比既然帶寬和算力是兩種不同的資源那么我們?cè)趺磁袛嘁粋€(gè)模型跑在GPU上到底是算力瓶頸還是帶寬瓶頸業(yè)界通常用Roofline模型來定性地回答這個(gè)問題。核心就一個(gè)公式計(jì)算強(qiáng)度Arithmetic Intensity 總浮點(diǎn)操作數(shù) / 總字節(jié)訪存量單位是FLOP/byte。GPU平臺(tái)的屋頂是一條斜線和一條水平線拼成的斜線是帶寬上限水平線是算力上限。如果計(jì)算強(qiáng)度低于某個(gè)臨界點(diǎn)性能就會(huì)被帶寬卡住高于臨界點(diǎn)才會(huì)觸及算力天花板。打個(gè)具體點(diǎn)的比方。一個(gè)reshape操作讀1GB數(shù)據(jù)做1億次運(yùn)算計(jì)算強(qiáng)度極低純粹是帶寬游戲換再貴的卡都差不多而一個(gè)大的矩陣乘法讀入400GB的數(shù)據(jù)做幾十PFLOPS的計(jì)算屬于典型算力敏感型操作必須上Tensor Core才能跑得快。這就是為什么大模型訓(xùn)練要用高帶寬的HBM而一些數(shù)據(jù)預(yù)處理任務(wù)用普通卡就夠了。3.3 顯存容量為什么H200往141GB走做AI Infra的同學(xué)還關(guān)心另一個(gè)參數(shù)顯存容量。這個(gè)模型要70GB顯存80GB的卡夠不夠要不要買H200的141GB版本這類問題是日常。顯存容量直接影響的是單卡能容納的模型規(guī)模。大模型推理時(shí)要加載模型權(quán)重還要預(yù)留KV Cache推理過程中緩存每個(gè)token的Key和Value加快生成速度上下文窗口越長、并發(fā)越高KV Cache越占顯存。也正因如此H100從80GB升級(jí)到H200的141GB看起來只是容量多了76%但在大模型推理場景里它能支持的上下文長度和并發(fā)度能翻好幾倍。這不只是裝得下的問題更是跑得久、跑得多的問題。但容量大不等于萬事大吉。有些推理框架為了把更多請(qǐng)求塞進(jìn)同一張卡把KV Cache量化壓縮省下顯存卻損失了精度、增加了延遲。有些場景里顯存大但帶寬不夠推理速度反而不理想。正確理解顯存容量和帶寬的關(guān)系是AI Infra做容量規(guī)劃的基本功——?jiǎng)e只看表面容量要順著模型推理鏈路把每部分顯存開銷都算一遍。4. 卡間互聯(lián)單卡強(qiáng)不算強(qiáng)集群才算數(shù)4.1 多卡訓(xùn)練的通信賬單單張GPU再強(qiáng)總有裝不下的一刻。大模型動(dòng)輒幾百GB的參數(shù)單卡肯定放不下于是就有了多卡訓(xùn)練。但多卡訓(xùn)練不是簡單地把模型切幾塊丟到幾張卡上跑而是要處理卡與卡之間的數(shù)據(jù)同步。以最基礎(chǔ)的數(shù)據(jù)并行Data ParallelismDP為例。每張卡上有模型的完整副本各自處理不同的batch數(shù)據(jù)算完梯度以后需要把梯度在所有卡之間做一次全量同步AllReduce保證每張卡拿到的梯度平均值一樣才能更新出同一個(gè)模型參數(shù)。這個(gè)過程就是通信開銷的來源。算一下這個(gè)賬單。假設(shè)模型70B參數(shù)用BF16訓(xùn)練每個(gè)參數(shù)占2字節(jié)那么一次梯度同步要傳輸大約140GB的數(shù)據(jù)。在8卡A100上用NVLink互聯(lián)拓?fù)浜玫脑捒梢宰龅?00GB/s左右的有效帶寬同步一次需要約0.23秒但如果你用的是普通千兆以太網(wǎng)按1GB/s算要140秒——訓(xùn)練完全無法進(jìn)行。這就是為什么做AI Infra的人看到有人用普通網(wǎng)卡組多卡訓(xùn)練會(huì)血壓飆升的原因。4.2 NVLink和NVSwitch把GPU變成一臺(tái)大GPU解決卡間通信的NVIDIA方案最早是PCIe后來是NVLink再到現(xiàn)在的高端服務(wù)器里加上NVSwitch。PCIe 4.0 x16的帶寬大約32GB/s雙向聽著還行但跟NVLink一比就是天壤之別。A100時(shí)代NVLink 3.0單條鏈路提供600GB/s雙向帶寬H100的NVLink 4.0更是做到900GB/s。這比PCIe快了接近30倍。但是有個(gè)問題如果8張卡兩兩之間都要高速互聯(lián)怎么連連線數(shù)量會(huì)爆炸。于是出現(xiàn)了NVSwitch——你可以理解成一個(gè)超級(jí)交換機(jī)讓8張卡之間的通信全部通過這個(gè)中心節(jié)點(diǎn)轉(zhuǎn)發(fā)任何兩張卡之間都有高帶寬通道。在8卡A100/H100服務(wù)器里靠的正是這一整套 NVLink NVSwitch 機(jī)制讓8卡集群在通信層面看起來像一臺(tái)擁有8倍顯存和8倍算力的巨型GPU。做AI Infra的配置多卡訓(xùn)練時(shí)一定要去看GPU拓?fù)鋘vidia-smi topo -m確認(rèn)卡間的NVLink連接是否完整。我曾經(jīng)踩過坑服務(wù)器某個(gè)NVLink橋接壞了系統(tǒng)自動(dòng)降級(jí)走PCIe通信訓(xùn)練速度直接掉一半查了很久才通過nvidia-smi -q -d nvlink發(fā)現(xiàn)鏈路編號(hào)全是ERR。4.3 三種互聯(lián)層次的正確認(rèn)知在多卡和跨節(jié)點(diǎn)訓(xùn)練里信息其實(shí)是在三個(gè)不同層次的交通系統(tǒng)里流動(dòng)的片內(nèi)GPU內(nèi)部SM之間通過L2和共享內(nèi)存交換數(shù)據(jù)速度最快。片間同一臺(tái)機(jī)器內(nèi)的多卡走NVLink/NVSwitch速度次之但仍然很快。節(jié)點(diǎn)間不同服務(wù)器之間通常走InfiniBand或RoCERDMA over Converged Ethernet速度受限于網(wǎng)絡(luò)架構(gòu)和交換機(jī)的帶寬最慢。訓(xùn)練時(shí)通信的帶寬需求從片內(nèi)到節(jié)點(diǎn)間依次遞減但延遲開銷依次遞增。所以模型并行策略的制定原則簡單說就一句話把最頻繁的通信放在最快的那層上比如張量并行盡量放在單機(jī)8卡內(nèi)流水線并行再考慮跨節(jié)點(diǎn)。還有一個(gè)實(shí)際經(jīng)驗(yàn)跨節(jié)點(diǎn)訓(xùn)練時(shí)如果用的是RoCE網(wǎng)絡(luò)需要特別關(guān)注交換機(jī)的流控和擁塞控制配置否則一旦多任務(wù)并發(fā)網(wǎng)絡(luò)延遲抖動(dòng)就會(huì)直接體現(xiàn)在訓(xùn)練迭代時(shí)間上。這些都是純軟件層面排查不出來、非得到架構(gòu)層面才能理解的問題。5. 實(shí)操視角看懂GPU規(guī)格表與選型5.1 一張規(guī)格表應(yīng)該怎么看做AI Infra日常少不了的活兒就是對(duì)比GPU規(guī)格表。很多人只看顯存大小和價(jià)格這很容易吃虧。這里我整理了一張以NVIDIA主流數(shù)據(jù)中心卡為參照的對(duì)比表重點(diǎn)標(biāo)出做選型時(shí)真正應(yīng)該關(guān)注的信息參數(shù)A100 80GBH100 80GBH200 141GBL40SRTX 4090架構(gòu)AmpereHopperHopperAda LovelaceAda LovelaceFP16 Tensor Core算力稠密312 TFLOPS756 TFLOPS756 TFLOPS362 TFLOPS330 TFLOPS*FP8 Tensor Core算力不支持1513 TFLOPS1513 TFLOPS725 TFLOPS661 TFLOPS*顯存容量80GB HBM2e80GB HBM3141GB HBM3e48GB GDDR624GB GDDR6X顯存帶寬1.6 TB/s3.35 TB/s4.8 TB/s864 GB/s1008 GB/s互聯(lián)NVLink 600GB/sNVLink 900GB/sNVLink 900GB/sPCIe 5.0PCIe 4.0TDP400W700W700W300W450W*4090的Tensor Core算力在單精度浮點(diǎn)上表現(xiàn)不錯(cuò)但整體架構(gòu)和驅(qū)動(dòng)對(duì)多卡并行、虛擬化、企業(yè)級(jí)功能的支持和真正的數(shù)據(jù)中心卡有本質(zhì)差異看規(guī)格表有個(gè)核心心法先想清楚你的工作負(fù)載類型再往表里套參數(shù)。如果是做7x24小時(shí)在線推理服務(wù)你要重點(diǎn)看顯存容量、帶寬和功耗如果是做離線大規(guī)模訓(xùn)練算力和互聯(lián)更重要如果是做實(shí)驗(yàn)性質(zhì)的微調(diào)性價(jià)比和上手難度反而要考慮。很多人拿著H100跑小模型發(fā)現(xiàn)速度不一定比4090快多少就是因?yàn)樾∧Ｐ统圆粷MH100的高算力反而是4090的性價(jià)比更香。5.2 訓(xùn)練、推理、微調(diào)分別怎么選不同場景下的選型邏輯差別很大說幾個(gè)標(biāo)配思路大模型預(yù)訓(xùn)練首選H100/H200這類Hopper架構(gòu)卡最好配滿8卡NVLink。訓(xùn)練的核心瓶頸在于算力和卡間通信Hopper架構(gòu)不僅有強(qiáng)大的Tensor Core還有NVLink高帶寬能有效支撐張量并行。另外要注意供電和散熱機(jī)房的單機(jī)柜功率預(yù)算必須按照滿載設(shè)計(jì)別買完卡發(fā)現(xiàn)機(jī)房插不上電。大模型推理顯存容量和帶寬雙重要。如果追求極致吞吐H200的141GB HBM3e就是為這個(gè)場景準(zhǔn)備的——單位卡能塞下更多KV Cache、服務(wù)更多并發(fā)請(qǐng)求。但如果是中小模型的推理比如7B、13B參數(shù)一張4090或L40S可能就夠用了成本差距卻是十倍量級(jí)。微調(diào)/實(shí)驗(yàn)數(shù)據(jù)量不大、訓(xùn)練時(shí)間短、迭代頻繁這種情況下先別急著上H100。4090雖然多卡通信幾乎沒有沒有NVLink但單卡算力足夠跑LoRA顯存24GB也夠處理一些中小模型。很多研究團(tuán)隊(duì)的踩坑經(jīng)驗(yàn)都是微調(diào)場景上H100算力嚴(yán)重過?；舜髢r(jià)錢卻跟4090速度差不多。5.3 成本視角算算單位算力的價(jià)格選型除了看技術(shù)參數(shù)還得看錢。這里引入一個(gè)做AI Infra經(jīng)常用的簡單指標(biāo)每TFLOPS每秒的價(jià)格。假設(shè)云上租用H100大約每小時(shí)2.5美元A100大約1.5美元4090大約0.4美元。用FP16 Tensor Core峰值算力一除卡型每小時(shí)價(jià)格FP16算力每TFLOPS每小時(shí)成本H100$2.5756 TFLOPS約$0.0033A100$1.5312 TFLOPS約$0.00484090$0.4330 TFLOPS*約$0.0012光看這個(gè)數(shù)字4090的性價(jià)比似乎一騎絕塵但別忘了算力利用率差別巨大。4090的330 TFLOPS是FP16 Tensor Core算力實(shí)際跑分布式訓(xùn)練時(shí)因?yàn)闆]有NVLink多卡擴(kuò)展性差可能只能發(fā)揮20%~30%的算力。而H100在成熟框架上跑Transformer模型算力利用率經(jīng)常能到50%以上。再算上顯存容量限制24GB放不下大模型、可靠性問題消費(fèi)級(jí)卡長時(shí)間滿載容易降頻或故障成本賬就得重新算了。核心結(jié)論是省錢不是只看單價(jià)而是看單位有效算力的成本而有效算力恰恰和架構(gòu)特性強(qiáng)相關(guān)。這也是我不厭其煩勸人先學(xué)架構(gòu)再學(xué)部署的原因。6. 常見問題與排查實(shí)錄6.1 顯存沒滿Training卻OOM了做訓(xùn)練的經(jīng)常遇到一個(gè)詭異現(xiàn)象nvidia-smi看顯存占用才50多GB卡是80GB的你明明還有接近30GB的余量但跑訓(xùn)練時(shí)直接OOM連下個(gè)step都進(jìn)不去。這個(gè)問題的根源在于PyTorch的顯存管理機(jī)制。PyTorch為了提高效率會(huì)預(yù)申請(qǐng)大塊顯存作為緩存caching allocator即使某個(gè)張量釋放了顯存也不馬上還給驅(qū)動(dòng)而是留在緩存里供后續(xù)復(fù)用。所以nvidia-smi看到的顯存占用是已經(jīng)分配緩存的總和而實(shí)際可用空間零碎得很。加上訓(xùn)練過程中有大量臨時(shí)張量比如loss、中間激活值、梯度大小不一申請(qǐng)大塊連續(xù)顯存時(shí)如果碎片化嚴(yán)重就會(huì)OOM。排查思路不要只看nvidia-smi的已用顯存要看torch.cuda.memory_summary()里的allocated和reserved兩個(gè)值——如果兩者差距很大說明緩存碎片化然后檢查是否有顯存泄漏每step結(jié)束內(nèi)存持續(xù)上漲最后再考慮調(diào)整PYTORCH_CUDA_ALLOC_CONF環(huán)境變量比如設(shè)置expandable_segments:True來改善碎片問題。這些方案的前提是理解底層顯存分配邏輯不然就會(huì)瞎清緩存、白重啟進(jìn)程。6.2 小模型在高端卡上跑不快有朋友拿H100跑一個(gè)幾百M(fèi)B的小模型發(fā)現(xiàn)每token生成速度和4090差不多甚至還不如非常困惑。這就是典型的算力吃不飽——小模型的算子小每次計(jì)算的數(shù)據(jù)量小卡上幾千個(gè)核心大部分都在等數(shù)據(jù)等待顯存把下一塊數(shù)據(jù)送上來算力利用率極低。這種場景里問題不在GPU的峰值算力而在于帶寬和延遲。推理時(shí)的batch size不夠大無法有效隱藏訪存延遲框架也沒有把算子融合到一起每個(gè)小算子都觸發(fā)一次kernel launch和一次顯存訪問開銷巨大。解決辦法是換用TensorRT或vLLM這類經(jīng)過深度優(yōu)化、算子融合更充分的推理引擎或者想辦法增大并發(fā)batch讓顯存帶寬被充分壓榨。這是選型之外更重要的優(yōu)化點(diǎn)——有時(shí)候瓶頸不在硬件而在軟件沒有利用好硬件架構(gòu)的特性。6.3 多卡訓(xùn)練擴(kuò)展比上不去32卡訓(xùn)練出來的吞吐只有8卡的三四倍擴(kuò)展比0.8都不到這種問題幾乎每個(gè)做分布式訓(xùn)練的人都遇到過。核心瓶頸幾乎都在通信上。首先查卡間通信拓?fù)鋘vidia-smi topo -m確認(rèn)同一臺(tái)機(jī)器內(nèi)NVLink是否全部打通跨節(jié)點(diǎn)查網(wǎng)絡(luò)ibstat或ibstatus看InfiniBand鏈路是否處于Active狀態(tài)。再往前查軟件層通信后端是不是NCCLNCCL的環(huán)境變量比如NCCL_DEBUGINFO能不能打出通信耗時(shí)的分布還要看網(wǎng)絡(luò)配置比如RoCE的PFC流控是否生效交換機(jī)的MTU是否一致。通信優(yōu)化的順序永遠(yuǎn)是硬件鏈路先查再查協(xié)議棧最后才去調(diào)框架參數(shù)。這類問題的排查需要一點(diǎn)耐心本質(zhì)上是對(duì)GPU架構(gòu)決定通信鏈路通信鏈路決定擴(kuò)展性這個(gè)認(rèn)知的印證——你不懂硬件就永遠(yuǎn)不知道瓶頸出在哪一層。6.4 判斷GPU利用率的正確姿勢最后聊一個(gè)日常天天見但經(jīng)常被誤讀的指標(biāo)GPU利用率。nvidia-smi最頂上顯示的Utilization是過去采樣周期內(nèi)GPU上有一個(gè)或多個(gè)kernel正在執(zhí)行的時(shí)間百分比。注意它的粒度哪怕GPU上只跑了一個(gè)很小的算子占用1%的算力只要它一直在跑利用率也能顯示99%。所以“利用率99%”完全不代表算力用滿了。真正判斷GPU有沒有吃滿要看這幾個(gè)指標(biāo)nvidia-smi -q -d UTILIZATION里的計(jì)算和內(nèi)存利用率分開看訓(xùn)練場景結(jié)合nsysNVIDIA Nsight Systems看kernel時(shí)間和空閑時(shí)間比例如果大量時(shí)間在wait那多半是訓(xùn)練代碼IO瓶頸或通信瓶頸推理場景用DCGMData Center GPU Manager的指標(biāo)比如sm_occupancy、tensor_active看SM占用和Tensor Core利用率比單純看利用率準(zhǔn)得多。順便科普一個(gè)冷知識(shí)NVIDIA有個(gè)nvidia-smi -q -d CLOCK可以看當(dāng)前實(shí)際運(yùn)行頻率。如果GPU顯示跑在低頻率比如500MHz往往說明任務(wù)不夠密集、功耗管理降頻了——這也是判斷是否真滿載的一個(gè)好信號(hào)。7. 寫在最后的實(shí)在話做AI Infra這幾年我最大的感受是GPU架構(gòu)不是一門孤立的知識(shí)它是整個(gè)AI系統(tǒng)性能邏輯的地基。你搞不清楚SM和Tensor Core就理解不了為什么一個(gè)算子是帶寬瓶頸搞不清NVLink和網(wǎng)絡(luò)拓?fù)渚驮煌阜植际接?xùn)練的性能調(diào)優(yōu)搞不清顯存分配機(jī)制就躲不開線上不時(shí)冒出來的OOM。這一篇是入門第二篇其實(shí)還只聊了最底層的幾個(gè)概念后面的CUDA編程模型、通信庫原理、訓(xùn)推引擎優(yōu)化全都要在這個(gè)地基上繼續(xù)蓋樓。最后送一個(gè)實(shí)操小技巧拿到一臺(tái)新GPU服務(wù)器先別急著部署模型花十分鐘把這幾件事做了——nvidia-smi -q -d COMPUTE確認(rèn)驅(qū)動(dòng)和卡狀態(tài)nvidia-smi topo -m確認(rèn)NVLink拓?fù)溆肗CCL的all_reduce_perf工具實(shí)測一下卡間通信帶寬hbm的帶寬可以用bandwidthTest簡單評(píng)估。這些操作都不復(fù)雜但能讓你在真正跑任務(wù)前就對(duì)這臺(tái)機(jī)器的體力心里有數(shù)。以后排查問題的時(shí)候一想到這張底盤圖心里就踏實(shí)很多。