今年第一波大模型推理服務(wù)優(yōu)化做到一半我不得不面對一個(gè)老問題AI加速器到底怎么選。說老是因?yàn)閺腉PU、TPU到NPU這個(gè)名字已經(jīng)被喊了好多年但真到了要下單、要規(guī)劃算力、要把模型部署上線的節(jié)點(diǎn)絕大多數(shù)團(tuán)隊(duì)還是習(xí)慣性地把顯卡當(dāng)唯一答案?？涩F(xiàn)實(shí)是所有做AI加速的芯片本質(zhì)上都在回答同一個(gè)問題你能不能把矩陣乘法和大量并行的數(shù)據(jù)搬運(yùn)跑得更快、更省。這篇就是我對GPU、TPU、NPU三種架構(gòu)的一次系統(tǒng)梳理給你一套不需要懂太多硬件細(xì)節(jié)也能照著做的選型思路適合正在給模型訓(xùn)練或者線上服務(wù)評估算力的算法工程師、平臺架構(gòu)師以及被老板逼著三個(gè)月內(nèi)把推理成本降一半的人。1. 三種加速器的架構(gòu)邏輯分歧通用并行、矩陣脈沖與低精度算子1.1 為什么會有三種加速器從工作負(fù)載結(jié)構(gòu)說起所有AI加速器要解決的核心問題就一個(gè)計(jì)算密度。深度學(xué)習(xí)負(fù)載和傳統(tǒng)軟件最大的差異在于它絕大部分操作數(shù)是矩陣乘法和卷積而且可以接受一定范圍內(nèi)的精度損失。這給了芯片設(shè)計(jì)者一個(gè)偷懶的機(jī)會——我可以不做通用的復(fù)雜指令專門做矩陣乘激活函數(shù)搬運(yùn)數(shù)據(jù)這幾板斧做得又大又快又便宜。GPU、TPU、NPU恰好站在同一條路線的三個(gè)不同位置。GPU遵循的是大規(guī)模并行通用計(jì)算思路它內(nèi)部有幾千個(gè)最小計(jì)算單元每個(gè)都能執(zhí)行相對通用的浮點(diǎn)運(yùn)算配合調(diào)度器把成千上萬的線程并發(fā)跑起來。這個(gè)設(shè)計(jì)的優(yōu)勢是適應(yīng)面廣無論你來的是矩陣乘、卷積、還是各種奇怪的自定義算子只要能把問題拆成并行子任務(wù)GPU都能吃下去。代價(jià)是控制邏輯和緩存占了大量芯片面積計(jì)算單元本身的占比并沒有你想象的那么高。TPU走的是脈動陣列路線。整塊芯片被設(shè)計(jì)成由大量小型計(jì)算單元組成的規(guī)則陣列數(shù)據(jù)像流水線一樣在相鄰單元間流動權(quán)重直接駐留在每個(gè)單元里不需要反復(fù)從內(nèi)存加載。這樣做的結(jié)果是矩陣乘法效率極其驚人同一塊面積的芯片能塞進(jìn)遠(yuǎn)多于GPU的計(jì)算單元。但它也有先天限制陣列的調(diào)度策略是固定的遇到矩陣乘以外的算子比如動態(tài)形狀的注意力計(jì)算、復(fù)雜歸約效率會斷崖式下跌。NPU則把專用化推到了另一個(gè)極端。它通常只做INT8或INT16低精度整數(shù)運(yùn)算數(shù)據(jù)寬度短、電路簡單、功耗極低而且大量算子被固化成了專用引擎比如卷積引擎、全連接引擎、張量變換引擎。你可以把它理解成一口一個(gè)專項(xiàng)小灶單個(gè)任務(wù)做得又快又省電但換一道沒見過的菜就抓瞎。1.2 用團(tuán)隊(duì)配置來打比方三支隊(duì)伍的差別我經(jīng)常給人打這樣一個(gè)比方GPU是一個(gè)配備了多種崗位的成熟項(xiàng)目團(tuán)隊(duì)成員都能干事?lián)Q個(gè)項(xiàng)目方向也有不少人能頂上TPU是一條單品種中央廚房流水線一旦菜譜定型出菜速度驚人但突然要加一道新菜整條線都要停工改模具NPU更像街邊專賣店種類少但極致專精顧客排隊(duì)只能買那幾樣但翻臺率和每筆單子的利潤都很好。這樣一看三類加速器各自的能力圈就很清楚了GPU適合訓(xùn)練復(fù)雜的模型、研究性試驗(yàn)、算子千奇百怪的多框架混合負(fù)載。它用通用性換取了工程上的確定能跑。TPU適合規(guī)?；⑿螤罘€(wěn)定、以矩陣乘為主的大規(guī)模訓(xùn)練和推理任務(wù)。投入足夠的改造時(shí)間后每瓦性能很可觀但改造過程比較復(fù)雜。NPU適合推理鏈路已經(jīng)穩(wěn)定的低精度任務(wù)尤其是移動端、邊緣設(shè)備和對功耗極度敏感的部署環(huán)境。1.3 另一個(gè)容易忽略的角度每瓦算力與每美元算力選型的本質(zhì)是在兩個(gè)約束之間找平衡墻上的電表額度和手里的預(yù)算額度。GPU通常擁有三種架構(gòu)中最高的單芯片絕對性能但功耗和單價(jià)也最高TPU的絕對性能不低但往往以整機(jī)、整集群的形式交付對中小企業(yè)來說門檻偏高NPU的絕對性能看起來最小但單位瓦數(shù)和單位人民幣能買到的有效識別速度通常最好所以端側(cè)設(shè)備才會清一色選它。我在早期做選型時(shí)犯過一個(gè)錯(cuò)誤只看單卡FLOPS數(shù)完全忽略功耗和算力利用率。后來有一段時(shí)間我把推理服務(wù)從GPU遷移到一個(gè)低功耗NPU加速卡上硬件成本砍了差不多一半但峰值算力的紙面數(shù)據(jù)只有原來GPU的幾十分之一。結(jié)果實(shí)測之后圖像分類服務(wù)的單并發(fā)時(shí)延反而快了因?yàn)樾∧Ｐ驮谛」牡腘PU上不需要等復(fù)雜的任務(wù)調(diào)度也沒有巨大的顯存帶寬浪費(fèi)。這件事給了我很深的一個(gè)印象——后文講指標(biāo)時(shí)我會再展開說峰值算力真的不是一切。2. 先把單位對齊再說從FLOPS到TOPS看懂算力指標(biāo)的換算和陷阱2.1 FLOPS、TOPS、OPS到底是什么關(guān)系選型最容易翻車的地方是拿不同架構(gòu)的數(shù)據(jù)直接比大小。GPU廠商喜歡標(biāo)FP32或FP16的TFLOPSTPU廠商喜歡標(biāo)BF16或INT8的混合精度算力NPU廠商則特別喜歡強(qiáng)調(diào)INT8、甚至INT4的TOPS。這三個(gè)單位看著像實(shí)際差了十萬八千里。FLOPS是每秒浮點(diǎn)運(yùn)算次數(shù)TOPS是每秒整數(shù)運(yùn)算次數(shù)OPS則是兩者混用的統(tǒng)稱。換算的第一步是明確精度一次FP32運(yùn)算如果要拆成INT8運(yùn)算往往需要多次整數(shù)運(yùn)算才能近似。所以理論上一塊芯片標(biāo)稱100 TOPS的INT8算力大體可能相當(dāng)于50 TFLOPS的FP16算力的一半甚至更低具體要看架構(gòu)內(nèi)是否有專門的浮點(diǎn)單元。我說一個(gè)更實(shí)際的換算方法你只看INT8 TOPS便宜不便宜純屬被營銷數(shù)字牽著走。真正該問的是你跑的這個(gè)模型這100 TOPS里能用上多少。2.2 理論峰值之外的三個(gè)隱形指標(biāo)選型表格里真正值得逐行對比的是下面三個(gè)一是內(nèi)存帶寬。深度學(xué)習(xí)不只是算得快還得把權(quán)重和中間結(jié)果及時(shí)搬進(jìn)計(jì)算單元。假設(shè)你的模型有7億參數(shù)FP16權(quán)重大約是1.4GB。每次走一遍前向推理理論上至少要讀一遍這么多數(shù)據(jù)。如果你的加速器內(nèi)存帶寬只有100GB/s光讀權(quán)重就要花14毫秒哪怕計(jì)算單元再閑也沒用。帶寬決定了很多模型的下限。二是片上緩存與數(shù)據(jù)復(fù)用能力。GPU和TPU都會盡量把數(shù)據(jù)分成塊扔進(jìn)片上緩存里反復(fù)使用避免頻繁訪問外面的內(nèi)存。緩存越大、調(diào)度越積極實(shí)際拿到手的算力就越高。NPU通常緩存較小但因?yàn)樗鼘９サ途人阕铀钄?shù)據(jù)本身就少所以能用較小緩存達(dá)到不錯(cuò)效果。三是卡間互聯(lián)帶寬。大規(guī)模訓(xùn)練時(shí)梯度同步比前向計(jì)算還耗時(shí)間。如果加速器之間的互聯(lián)帶寬跟不上就會出現(xiàn)一千塊卡跑不出三百塊卡三倍性能的情況。2.3 用算術(shù)強(qiáng)度判斷負(fù)載到底缺什么判斷負(fù)載到底是算得慢還是搬得慢業(yè)界有個(gè)簡單指標(biāo)算術(shù)強(qiáng)度即一次數(shù)據(jù)搬運(yùn)對應(yīng)多少次計(jì)算。單位通常是FLOPS/Byte。比如某個(gè)矩陣乘數(shù)據(jù)量是2MB計(jì)算量是1GFLOPS那算術(shù)強(qiáng)度就是500FLOPS/Byte。芯片的硬件設(shè)計(jì)里有一條所謂平衡點(diǎn)曲線當(dāng)你的負(fù)載算術(shù)強(qiáng)度低于這個(gè)點(diǎn)時(shí)性能被帶寬卡死算力再高也沒用高于這個(gè)點(diǎn)時(shí)才輪到計(jì)算單元說話。我建議你在選型前拿自己的模型做一個(gè)粗略口徑測量。具體做法很粗暴跑一個(gè)batch前向用性能分析工具記錄每秒實(shí)際讀取的顯存流量和實(shí)際FLOPS兩者一除就是真實(shí)場景下的算術(shù)強(qiáng)度。把這個(gè)數(shù)和候選加速器的規(guī)格對比你很快會知道瓶頸在計(jì)算還是帶寬。這個(gè)動作做上半小時(shí)勝過看十頁產(chǎn)品宣傳冊。3. 分場景實(shí)測視角訓(xùn)練、推理和端側(cè)分別該盯什么3.1 訓(xùn)練場景矩陣乘不是全部工程生態(tài)才是訓(xùn)練階段選GPU仍然是綜合負(fù)擔(dān)最小的選擇這話我敢說因?yàn)樗能浖鷳B(tài)已經(jīng)成熟到任何模型都有前人趟過坑的程度。但這不代表GPU在所有訓(xùn)練場景都是最優(yōu)。如果你的任務(wù)是超大規(guī)模預(yù)訓(xùn)練矩陣乘的形狀非常規(guī)整、權(quán)重形狀穩(wěn)定TPU脈動陣列的效率會明顯優(yōu)于同代GPU加速比可能達(dá)到1.5到2倍。代價(jià)是改造成本很高數(shù)據(jù)加載、優(yōu)化器狀態(tài)、混合精度策略都得照著它的調(diào)度習(xí)慣重寫一遍。這里要特別提醒訓(xùn)練不只有GEMM通用矩陣乘。反向傳播里的各種逐元素算子、Gather/Scatter、動態(tài)Mask、注意力計(jì)算這些在GPU上是順手的事在TPU和NPU上可能需要拆解成多個(gè)子步驟。我見過某團(tuán)隊(duì)把一套BERT規(guī)模的模型從GPU遷移到TPU花了兩周時(shí)間調(diào)性能最后發(fā)現(xiàn)瓶頸居然卡在LayerNorm算子上。原因很簡單脈動陣列天生擅長規(guī)整運(yùn)算遇到逐元素歸約就得打折扣。如果你不是做超大規(guī)模預(yù)訓(xùn)練而是普通微調(diào)、小規(guī)模訓(xùn)練、頻繁改模型結(jié)構(gòu)現(xiàn)階段最穩(wěn)妥的還是GPU。好鋼不能全用在刀刃上你的刀刃是快速試錯(cuò)和靈活調(diào)參不是每瓦特算力最大化。3.2 推理場景時(shí)延、吞吐、成本三個(gè)指標(biāo)一塊算推理場景和訓(xùn)練場景的最大區(qū)別是模型結(jié)構(gòu)已經(jīng)完全固定各種算子可以提前融合和量化。這時(shí)候NPU的優(yōu)勢才真正顯現(xiàn)出來。推理服務(wù)有兩條路線可走。一條是追求最低時(shí)延比如實(shí)時(shí)語音交互每一幀都要在幾十毫秒內(nèi)返回。NPU因?yàn)樗阕庸袒?、任?wù)調(diào)度輕量往往能提供更穩(wěn)定的P99時(shí)延而GPU上的時(shí)延抖動反而更明顯。另一條是追求最高吞吐比如離線批量圖片處理你的目標(biāo)是在限定電費(fèi)內(nèi)處理盡可能多的圖片。這時(shí)候就得比單位功耗吞吐NPU的INT8算力和低功耗會顯得格外誘人。我自己的經(jīng)驗(yàn)是推理選型必須先定死兩個(gè)數(shù)字可接受的P99時(shí)延和每千次推理的成本上限。把這兩個(gè)數(shù)字寫出來再去逐項(xiàng)對比候選設(shè)備基本不會跑偏。如果一項(xiàng)紙面算力指標(biāo)比競品高一倍但時(shí)延穩(wěn)定性做不到它就不該進(jìn)入第二輪篩選。3.3 端側(cè)場景NPU上最典型的兩個(gè)坑端側(cè)部署是最典型、也最考驗(yàn)人的NPU應(yīng)用場景。第一個(gè)坑是算子覆蓋不全。你的模型可能95%的算子都被NPU支持了剩下5%的算子會退回CPU執(zhí)行這一退回性能反而可能比全跑CPU還慢。因?yàn)閿?shù)據(jù)要反復(fù)在CPU和NPU之間搬運(yùn)搬運(yùn)成本直接被放大。我見過一個(gè)手勢識別Demo聲稱用了NPU加速實(shí)際只有30%的算子跑在NPU上推理時(shí)延比純CPU還高。第二個(gè)坑是量化誤差。NPU普遍只支持INT8或更低位寬權(quán)重和激活值的動態(tài)范圍一旦掌握不好精度就會掉得很難看。很多團(tuán)隊(duì)在PC上用FP32模型跑出95%準(zhǔn)確率一搬到NPU上直接掉到88%而且找不出原因。其實(shí)原因通常很樸素沒有做校準(zhǔn)集、量化范圍選得太寬、某個(gè)敏感層沒有保留浮點(diǎn)。常見對策是先做逐層敏感度分析把對量化敏感的層保留在CPU或更高精度單元上其余層再做INT8。4. 選型決策框架從負(fù)載推導(dǎo)需求而不是被架構(gòu)名詞帶著走4.1 別讓架構(gòu)名詞替你做決定很多選型討論到最后都變成站隊(duì)GPU派、TPU派、NPU派。但架構(gòu)名詞只是實(shí)現(xiàn)手段真正該做的是從工作負(fù)載往回推需求。我把這個(gè)方法總結(jié)成一個(gè)四象限分類法每次選型先給任務(wù)畫坐標(biāo)第一象限訓(xùn)練為主、模型頻繁變動、算子多樣。答案大概率是GPU。第二象限訓(xùn)練為主、模型結(jié)構(gòu)高度穩(wěn)定、矩陣乘絕對主導(dǎo)?？梢哉J(rèn)真評估TPU。第三象限推理為主、性能要求高、可以接受量化改造?？紤]NPU。第四象限推理為主、但算子每天都在改或者要兼容多個(gè)框架。GPU或高規(guī)格NPU都行看成本。當(dāng)然現(xiàn)實(shí)中會有很多混合態(tài)。我見過一類平臺白天批量訓(xùn)練一個(gè)多模態(tài)模型晚上對生產(chǎn)流量做高并發(fā)推理。這種混合負(fù)載其實(shí)不適合單一架構(gòu)硬扛GTX級別的通用卡做訓(xùn)練再加一塊專用推理卡做線上流量可能比全部用頂級GPU方案更省錢也更快。4.2 一張可以直接抄的選型檢查清單這里我把多年選型踩過的坑濃縮成一張清單每項(xiàng)都對應(yīng)一個(gè)真實(shí)翻車場景。你可以直接照著逐條檢查模型結(jié)構(gòu)是否穩(wěn)定到半年內(nèi)不會大改是否有明確可測量的性能目標(biāo)比如P99時(shí)延小于50毫秒是否有功耗約束比如整個(gè)邊緣盒子只能給15瓦是否允許引入新的框架和算子手工適配團(tuán)隊(duì)里是否有人熟悉該加速器的調(diào)試工具鏈數(shù)據(jù)量是否大到需要卡間互聯(lián)互聯(lián)帶寬是否已納入評估是否有量化校準(zhǔn)能力能否承受精度損失供應(yīng)商是否提供持續(xù)驅(qū)動和編譯棧升級而不是一錘子買賣每一條都打上通過或存疑如果某一行開始猶豫就值得先做那個(gè)負(fù)載的mini落地上板測試再決定買不買。4.3 混合部署與漸進(jìn)式改造思路老實(shí)說絕大多數(shù)團(tuán)隊(duì)的算力規(guī)劃都應(yīng)該走漸進(jìn)式改造而不是一次性全換。比較好的做法是把模型分成兩類路徑一類是探索型負(fù)載允許頻繁改結(jié)構(gòu)統(tǒng)一跑在GPU上保證迭代速度另一類是穩(wěn)定型負(fù)載上線后結(jié)構(gòu)固定再做遷移和優(yōu)化。穩(wěn)定型負(fù)載遷移到NPU或TPU后有時(shí)候能把單位請求成本壓到原來的一半以下。我最近一次做圖像質(zhì)檢項(xiàng)目就采用了這種混合思路白天訓(xùn)練模型階段用GPU模型定稿后把線上推理的數(shù)據(jù)增強(qiáng)、卷積主干和分類頭在NPU上跑INT8量化版本并把量化敏感的注意力分支留在CPU上。最終計(jì)算成本大約壓低了40%而精度只掉了0.2個(gè)百分點(diǎn)。混合部署聽上去不那么完美但生產(chǎn)環(huán)境本來就該以性價(jià)比和穩(wěn)定為宇宙第一法則。5. 遷移落地的完整教訓(xùn)算子對齊、精度容忍與性能驗(yàn)證5.1 遷移前先做算子級風(fēng)險(xiǎn)清單一旦確定了要從GPU遷到TPU或NPU你第一件要做的不是裝驅(qū)動而是生成一份算子級風(fēng)險(xiǎn)清單。我通常的做法是拿一份訓(xùn)練好的模型文件導(dǎo)出計(jì)算圖之后逐層掃描把每個(gè)算子分類成三類完全映射、需要改寫、不支持退回CPU。這一步純粹是體力活但能提前暴露90%的坑。拿常見視覺模型舉例常規(guī)卷積、BatchNorm、ReLU、Pooling這些在NPU上基本都有對應(yīng)引擎而像可變形卷積、動態(tài)條件分支、復(fù)雜的topk和自定義Loss就很有可能是需要改寫或者不支持的類型。把這些算子單獨(dú)拎出來評估風(fēng)險(xiǎn)比直接整模型扔上去跑、然后對著報(bào)錯(cuò)日志猜半天要高效太多。5.2 精度對齊量化后的誤差容忍怎么設(shè)精度對齊是遷移中最容易被低估的環(huán)節(jié)。很多人只盯著準(zhǔn)確率看比如原來95分現(xiàn)在94.8分還行。但生產(chǎn)環(huán)境里的問題往往藏在極端樣本里所以除了整體準(zhǔn)確率還應(yīng)該對比逐條輸出的數(shù)值差異。我建議按照這樣一個(gè)流程來做精度驗(yàn)證先在原框架用FP32把測試集推理結(jié)果保存下來作為基準(zhǔn)再把同一批樣本在新加速器上、按目標(biāo)精度比如INT8跑一遍然后計(jì)算每條樣本的輸出差MAE把差得最離譜的5%挑出來分析。你可以設(shè)置容忍閾值比如分類任務(wù)允許95%條目的預(yù)測標(biāo)簽一致且MAE不超過某個(gè)絕對數(shù)。一旦出現(xiàn)系統(tǒng)性偏差優(yōu)先找出是哪一層導(dǎo)致的把那層單獨(dú)切到高精度或CPU上重跑。要是量化后精度掉得很厲害先別急著懷疑芯片大概率是校準(zhǔn)集選得不對。校準(zhǔn)集要覆蓋真實(shí)部署時(shí)的數(shù)據(jù)分布而不能隨便抽幾百張訓(xùn)練集圖片尤其不能全是易分類樣本那樣會把動態(tài)范圍估窄。5.3 性能驗(yàn)證別只看總時(shí)延要看拆解和穩(wěn)態(tài)性能測試最容易產(chǎn)生的錯(cuò)誤判斷是拿第一次跑出來的端到端時(shí)延就下結(jié)論。真實(shí)世界的加速器在冷啟動時(shí)往往很慢跑幾個(gè)batch后溫度穩(wěn)定、緩存命中上來了性能才會進(jìn)入正常曲線。我的經(jīng)驗(yàn)是至少先跑10次預(yù)熱再用后50次的平均值作為代表同時(shí)記錄P95和P99而不是只盯P50。除了總時(shí)延務(wù)必要拆開每一段算子的耗時(shí)。加速器自帶的性能剖析工具通常能給出每個(gè)算子的平均執(zhí)行時(shí)間和調(diào)用次數(shù)。你要做的是一眼找出耗時(shí)占比最大但又不在預(yù)期中的算子那些就是遷移不完整、數(shù)據(jù)搬運(yùn)過度的癥狀。最常見的問題是有幾個(gè)算子在CPU上回退執(zhí)行導(dǎo)致CPU和加速器之間反復(fù)搬運(yùn)數(shù)據(jù)時(shí)延直接在搬運(yùn)中翻倍。5.4 我反復(fù)踩過、但你可以繞開的幾個(gè)坑總結(jié)幾個(gè)與具體品牌無關(guān)的通用教訓(xùn)。第一永遠(yuǎn)不要在遷移當(dāng)天做重大發(fā)布至少留出一周做灰度驗(yàn)證和回滾準(zhǔn)備。第二不要迷信算子全部支持的兼容性文檔文檔說支持和實(shí)測性能不崩是兩件事。第三廠商給的樣例代碼可以直接跑但一定要拿自己的真實(shí)數(shù)據(jù)和真實(shí)batch shape再測一次因?yàn)楹芏嘈阅軘?shù)據(jù)是在最優(yōu)情況下測出來的真實(shí)shape一旦不規(guī)則專用加速器性能波動非常大。第四保留一個(gè)GPU備用通道線上出問題時(shí)你能在30分鐘內(nèi)回切到穩(wěn)定基線而不是干瞪眼等待廠商工單回復(fù)。回到開頭說的話題。選型這件事本質(zhì)是一場算力峰值、功耗預(yù)算、工程兼容性的三方談判。GPU提供了通用性與確定性的安全網(wǎng)TPU在特定形狀的大規(guī)模矩陣運(yùn)算里做到了極致效率NPU則用低精度和專用化換來了極低功耗與單位成本。沒有絕對最好的加速器只有最適合你當(dāng)前負(fù)載階段的那一款。按照我今天講的這套邏輯先畫負(fù)載類型再算算術(shù)強(qiáng)度然后跑性能驗(yàn)證最后做混合部署兜底你會比大多數(shù)只看參數(shù)表的人離真實(shí)答案近得多。