做視覺定位和三維重建的朋友這兩年應(yīng)該沒少被VGGT刷屏。它把多視角圖像的相機(jī)位姿估計(jì)、內(nèi)參預(yù)測(cè)和3D點(diǎn)生成全部塞進(jìn)一個(gè)端到端Transformer一個(gè)前向網(wǎng)絡(luò)跑完場(chǎng)景結(jié)構(gòu)直接出來(lái)省掉了特征匹配、RANSAC、全局優(yōu)化這一整套傳統(tǒng)SfM流程。精度確實(shí)能打但問(wèn)題也同樣明顯模型體量大、推理慢、顯存吃緊想在實(shí)時(shí)的SLAM前端或者大規(guī)模圖像集粗定位里用它壓力很大。最近開源社區(qū)放出了一個(gè)叫LiteVGGT的輕量版本官方說(shuō)法很直接——比VGGT快10倍左右定位精度和重建質(zhì)量基本無(wú)損。這聽起來(lái)像是“既要馬兒跑又要馬兒不吃草”的廣告詞但我把它拉下來(lái)在自己手頭的數(shù)據(jù)集上完整跑了一遍又翻了源碼和release說(shuō)明發(fā)現(xiàn)這個(gè)加速不是靠簡(jiǎn)單砍層數(shù)砍參數(shù)量硬湊出來(lái)的而是把注意力機(jī)制、token密度、蒸餾策略、推理精度這幾個(gè)維度一起做了調(diào)整。這篇文章就把我拆解到的原理、實(shí)測(cè)流程和踩過(guò)的坑一次說(shuō)清楚給想把它接進(jìn)自己項(xiàng)目的朋友做一個(gè)參考。1. 先搞清楚VGGT在解決什么問(wèn)題LiteVGGT又在改什么VGGT這類前饋式三維感知模型本質(zhì)上是把傳統(tǒng)的“幾何優(yōu)化”問(wèn)題變成了“序列預(yù)測(cè)”問(wèn)題。傳統(tǒng)SfM的處理鏈路很長(zhǎng)先提特征、做特征匹配、跑RANSAC估計(jì)基礎(chǔ)矩陣或本質(zhì)矩陣最后用Bundle Adjustment反復(fù)優(yōu)化相機(jī)參數(shù)和3D點(diǎn)。這套流程在紋理豐富的場(chǎng)景下效果很好但遇到弱紋理、重復(fù)結(jié)構(gòu)、大視角變化匹配噪聲一上來(lái)迭代就非常容易崩。VGGT的思路完全不同。它輸入一批無(wú)序圖像在Transformer內(nèi)部通過(guò)注意力機(jī)制隱式建立跨視圖對(duì)應(yīng)關(guān)系然后把相機(jī)外參、內(nèi)參、逐像素3D點(diǎn)圖當(dāng)作輸出頭直接回歸出來(lái)。整個(gè)過(guò)程不需要顯式匹配不需要RANSAC也不需要BA。對(duì)下游任務(wù)來(lái)說(shuō)它最大的價(jià)值是提供了一個(gè)溫和、穩(wěn)定、可微分的“幾何初始化器”NeRF和3DGS訓(xùn)練之前不再必須依賴COLMAP跑幾十分鐘。但代價(jià)也藏在架構(gòu)里。VGGT的骨干網(wǎng)絡(luò)規(guī)模不小而且用的是標(biāo)準(zhǔn)全局注意力。輸入9張1024分辨率的圖切patch之后token數(shù)量直接到幾萬(wàn)級(jí)別注意力矩陣的尺寸是token數(shù)平方顯存和時(shí)間都吃得很兇。我實(shí)際測(cè)下來(lái)的體驗(yàn)是模型裝得上去但跑一次推理要等batch稍大一點(diǎn)GPU就開始報(bào)警。LiteVGGT做的事情不是把VGGT砍成一個(gè)小號(hào)版本這么簡(jiǎn)單。它保留了VGGT的輸入輸出接口和核心輸出頭也就是說(shuō)你原來(lái)寫的下游解析代碼基本不用改模型名一換就能接進(jìn)去。但內(nèi)部骨干網(wǎng)絡(luò)、注意力計(jì)算方式、token處理邏輯都重做了。官方把它定義為“保持精度的輕量化版本”而不是“犧牲精度的快速版”這個(gè)詞是有講究的后面講蒸餾的時(shí)候再展開。如果用一張表來(lái)對(duì)比傳統(tǒng)SfM、VGGT和LiteVGGT的定位大概是這樣的方案核心流程速度特征精度特征部署友好度傳統(tǒng)SfM特征匹配RANSACBA慢分鐘到小時(shí)級(jí)成熟場(chǎng)景下很穩(wěn)依賴COLMAP等外部工具VGGT端到端Transformer前向中等顯存占用高泛化強(qiáng)開箱即用大模型部署成本高LiteVGGT輕量Transformer前向明顯加速顯存下降與VGGT基本持平更適合接入實(shí)時(shí)/準(zhǔn)實(shí)時(shí)系統(tǒng)這里面的關(guān)鍵點(diǎn)在于LiteVGGT不是回答“要不要用學(xué)習(xí)型SfM”的問(wèn)題而是在你已經(jīng)決定用VGGT這類模型的前提下回答“怎么讓它跑得更快且不掉精度”的問(wèn)題。所以本文后面所有內(nèi)容都默認(rèn)讀者已經(jīng)理解VGGT的基本用法。2. “10倍加速”到底從哪里來(lái)一個(gè)可落地的加速點(diǎn)拆解我翻完release說(shuō)明和示例代碼之后又結(jié)合這幾年Transformer輕量化的一貫套路把LiteVGGT的加速收益來(lái)源拆成四個(gè)方向。需要注意我下面的拆解是基于開源倉(cāng)庫(kù)公開信息和常見實(shí)踐做的推斷不保證和官方論文里的每個(gè)模塊編號(hào)一一對(duì)應(yīng)但整體邏輯應(yīng)該八九不離十。2.1 注意力機(jī)制替換把二次復(fù)雜度降下來(lái)標(biāo)準(zhǔn)自注意力的計(jì)算量是O(n2·d)其中n是token數(shù)量d是特征維度。LiteVGGT的源碼里明顯不再使用標(biāo)準(zhǔn)的全局自注意力而是換成了線性注意力或者窗口化注意力的變體?？梢运阋还P賬。假設(shè)輸入9張1024×1024的圖patch size是16×16那么每張圖產(chǎn)生4096個(gè)token9張圖一共36864個(gè)token。如果特征維度是768標(biāo)準(zhǔn)注意力做一次QK^T的矩陣乘計(jì)算量大約是368642×768數(shù)量級(jí)大約在1012 FLOPs以上這還只是一層、一次前向。換線性注意力之后復(fù)雜度可以降到O(n·r·d)甚至O(n·d2)在r遠(yuǎn)小于n的時(shí)候單層算力需求直接低兩到三個(gè)數(shù)量級(jí)。但這里有個(gè)細(xì)節(jié)要說(shuō)明單個(gè)算子的理論加速比已經(jīng)超過(guò)10倍了為什么最終端到端只快了10倍因?yàn)槟Ｐ筒恢挥凶⒁饬€有patch embedding、FFN、輸出頭這些模塊的耗時(shí)并不會(huì)等到同比例下降。所以LiteVGGT的加速一定是“整體工程優(yōu)化”的結(jié)果而不是某一個(gè)算子替換的功勞。這也解釋了為什么官方強(qiáng)調(diào)“端到端前向時(shí)間快10倍”而不是“注意力快100倍”。2.2 token壓縮與特征密度控制Transformer的計(jì)算量跟token數(shù)強(qiáng)相關(guān)所以LiteVGGT在token層面也做了文章。常見的做法有兩種一種是直接增大patch size另一種是動(dòng)態(tài)剪枝低信息量token。從示例代碼看它更偏向第二種——保留空間分辨率以維持細(xì)粒度幾何精度同時(shí)在網(wǎng)絡(luò)早期預(yù)測(cè)每個(gè)token的重要性把天空、墻面、地面這類紋理平坦區(qū)域的token合并或丟棄。這個(gè)設(shè)計(jì)對(duì)重建質(zhì)量的影響值得聊一下。三維重建任務(wù)里真正決定姿態(tài)精度的往往是邊緣、角點(diǎn)、重復(fù)紋理區(qū)域和視差明顯的物體邊界均勻的平坦區(qū)域?qū)缀渭s束的貢獻(xiàn)很低。把那些token省掉相當(dāng)于用很少的算力保留了最關(guān)鍵的幾何信息。官方說(shuō)的“精度無(wú)損”有一部分就是靠這個(gè)剪枝策略撐住的它不是在特征層面強(qiáng)行降維而是在信息密度層面做了取舍。2.3 推理?xiàng)?yōu)化半精度和算子融合即使算子和token都省了如果推理還跑在FP32上那提速依然有限。LiteVGGT在部署上默認(rèn)推薦混合精度也就是權(quán)重和激活用半精度部分歸一化層和輸出頭保持FP32。我實(shí)測(cè)下來(lái)半精度在三維幾何任務(wù)里的風(fēng)險(xiǎn)主要是深度值動(dòng)態(tài)范圍太大導(dǎo)致精度溢出但它在關(guān)鍵位置做了數(shù)值穩(wěn)定的處理屬于“開發(fā)者已經(jīng)把坑替你先踩了一遍”。另外示例腳本里會(huì)出現(xiàn)torch.compile之類的算子融合入口或者等價(jià)的CUDA算子優(yōu)化。算子融合能減少中間張量落回顯存的次數(shù)這種優(yōu)化在標(biāo)準(zhǔn)PyTorch代碼里不直觀但對(duì)耗時(shí)影響很大。很多人在自己的項(xiàng)目里復(fù)現(xiàn)不出“10倍”往往就是跳過(guò)了這一步——只換了模型權(quán)重文件沒啟用編譯優(yōu)化。2.4 端到端蒸餾讓輕量模型向教師模型看齊加速的核心結(jié)構(gòu)定下來(lái)之后精密度能不能保住就得靠蒸餾了。LiteVGGT的學(xué)生模型在訓(xùn)練時(shí)不僅有自己針對(duì)標(biāo)注數(shù)據(jù)的監(jiān)督信號(hào)還要同時(shí)模仿VGGT教師模型的輸出分布。蒸餾的監(jiān)督層次包括位姿輸出、3D點(diǎn)圖輸出以及中間層的特征響應(yīng)。這個(gè)機(jī)制非常重要它解釋了“精度無(wú)損”是怎么來(lái)的。單純用標(biāo)注數(shù)據(jù)訓(xùn)練輕量模型很難在泛化性上追上大模型因?yàn)槟悴豢赡馨阉袌?chǎng)景都標(biāo)注一遍。但大模型已經(jīng)見過(guò)足夠多的數(shù)據(jù)分布把它的行為“教”給學(xué)生模型相當(dāng)于把泛化能力也遷移了一部分給輕量版。所以更準(zhǔn)確的說(shuō)法是LiteVGGT不是重新發(fā)明了一個(gè)更聰明的網(wǎng)絡(luò)而是站在VGGT肩膀上用結(jié)構(gòu)換速度再用蒸餾把精度換回來(lái)。3. 精度無(wú)損到底怎么驗(yàn)證評(píng)測(cè)設(shè)計(jì)比模型本身更要注意“定位精度和重建質(zhì)量無(wú)損”這個(gè)話不能只聽官方說(shuō)你自己接手項(xiàng)目之前一定要先建立一套可靠的評(píng)測(cè)流程。我在這里分享幾個(gè)評(píng)測(cè)設(shè)計(jì)上的建議也是我在實(shí)測(cè)中比較關(guān)注的地方。3.1 指標(biāo)怎么選才算公平定位精度最常規(guī)的指標(biāo)是ATE和相對(duì)旋轉(zhuǎn)誤差。ATE對(duì)應(yīng)軌跡的全局一致性相對(duì)旋轉(zhuǎn)誤差對(duì)應(yīng)逐幀姿態(tài)準(zhǔn)確度。重建質(zhì)量方面VGGT類模型輸出的是逐像素3D點(diǎn)圖評(píng)估時(shí)可以用Chamfer距離或者F-score但要注意必須先做一個(gè)尺度對(duì)齊因?yàn)轭A(yù)測(cè)點(diǎn)云和真值點(diǎn)云往往差一個(gè)全局尺度而VGGT輸出的尺度本身就是從圖像內(nèi)容里回歸出來(lái)的不保證和真實(shí)物理尺度嚴(yán)格一致。官方release給出的對(duì)比表格里L(fēng)iteVGGT和VGGT在AUC類指標(biāo)上基本是貼著走的差距在噪聲容限之內(nèi)。我自己的復(fù)測(cè)結(jié)果也類似在常規(guī)視角變化下兩者幾乎分不出高下只是在極端大視角、弱紋理區(qū)域LiteVGGT偶爾會(huì)比VGGT偏一點(diǎn)。所以“無(wú)損”更準(zhǔn)確的理解是“在工程可接受的范圍內(nèi)沒有可感知的損失”而不是逐樣本完全一致。3.2 評(píng)測(cè)協(xié)議統(tǒng)一是高線不然就是自欺欺人我發(fā)現(xiàn)很多人測(cè)這類模型時(shí)有個(gè)壞習(xí)慣給LiteVGGT輸入長(zhǎng)邊1024給VGGT輸入長(zhǎng)邊1024但裁剪方式、歸一化參數(shù)、batch大小全不一樣最后時(shí)間對(duì)比當(dāng)然不靠譜。測(cè)速時(shí)必須固定分辨率、固定batch size、固定GPU、固定推理精度并且要做預(yù)熱。Transformer第一次前向會(huì)觸發(fā)CUDA圖捕獲或算子編譯那個(gè)時(shí)間不算數(shù)通常要預(yù)熱20次以上再取均值。還有一個(gè)隱藏很深的坑動(dòng)態(tài)shape。如果你的Dataloader里圖像尺寸不固定模型內(nèi)部被迫重新編譯或者頻繁走fallback路徑速度會(huì)驟降。官方倉(cāng)庫(kù)示例里所有圖像都預(yù)先調(diào)整到固定尺寸不只是為了穩(wěn)定精度更多是為了避免動(dòng)態(tài)shape帶來(lái)的性能懲罰。3.3 內(nèi)參到底要不要傳VGGT類模型的一個(gè)賣點(diǎn)是可以直接從圖像里回歸內(nèi)參但這個(gè)能力在工程上有個(gè)隱患當(dāng)你的相機(jī)內(nèi)參已知且準(zhǔn)確時(shí)不傳反而浪費(fèi)了先驗(yàn)信息。LiteVGGT同樣支持傳入已知內(nèi)參實(shí)測(cè)下來(lái)傳入準(zhǔn)確內(nèi)參之后姿態(tài)精度和重建穩(wěn)定性都會(huì)有可感知的提升。如果你手里是固定內(nèi)參的相機(jī)建議不要偷懶一定把內(nèi)參喂進(jìn)去這也算是對(duì)“精度無(wú)損”的更嚴(yán)格驗(yàn)證。4. 開源庫(kù)實(shí)測(cè)記錄從拉代碼到跑通多視圖重建的全過(guò)程我實(shí)際復(fù)現(xiàn)的軟硬件環(huán)境沒有特別離譜但也不是入門配置一臺(tái)24 GB顯存的GPUPyTorch 2.x、CUDA 12.xPython 3.10以上。如果你的顯存比較緊張LiteVGGT的優(yōu)勢(shì)會(huì)體現(xiàn)得更明顯因?yàn)樗萔GGT省顯存不少。下面按步驟拆一下整個(gè)流程。4.1 環(huán)境準(zhǔn)備和模型下載先創(chuàng)建虛擬環(huán)境安裝依賴包。官方倉(cāng)庫(kù)會(huì)提供一個(gè)requirements.txt里面主要是PyTorch、torchvision、OpenCV這類常規(guī)庫(kù)。這里提醒一句不要用CPU版本PyTorch跑線性注意力的半精度算子依賴CUDACPU模式不光慢還可能直接報(bào)錯(cuò)。模型權(quán)重從發(fā)布頁(yè)面或者模型倉(cāng)庫(kù)下載下載之后放到本地某個(gè)目錄。權(quán)重文件沒有VGGT那么大因?yàn)閷W(xué)生模型本身參數(shù)更少我印象中單個(gè)權(quán)重文件在可接受范圍內(nèi)具體以倉(cāng)庫(kù)標(biāo)注為準(zhǔn)。python -m venv venv source venv/bin/activate pip install -r requirements.txt python -c import torch; print(torch.__version__, torch.cuda.is_available())4.2 推理代碼示例核心推理代碼比很多人想象中短。模型加載方式和VGGT幾乎一致只需要把模型名換成LiteVGGT的權(quán)重路徑。下面是簡(jiǎn)化但完整的示例import torch from litevggt import LiteVGGT, load_images, save_ply model LiteVGGT.from_pretrained(checkpoints/litevggt-1b) model.eval() model.cuda().half() image_paths [ demo/0000.png, demo/0001.png, demo/0002.png, ] images load_images(image_paths, long_edge1024) with torch.no_grad(): output model( images, known_intrinsicsNone, calibrate_intrinsicsTrue, ) cameras output[cameras] points3d output[points3d] print(cameras shape:, cameras.shape) print(points3d shape:, points3d.shape) save_ply(demo/result.ply, points3d, colorsNone)第一次跑的時(shí)候大部分人會(huì)被兩個(gè)地方卡住一是load_images對(duì)圖像格式有要求最好讀出來(lái)就是RGB、float32、歸一化到[0,1]二是模型輸入是列表而不是batch tensor因?yàn)閮?nèi)部要處理不同視圖數(shù)量。如果你習(xí)慣性地把圖像拼成[B, C, H, W]再喂進(jìn)去大概率會(huì)直接報(bào)錯(cuò)。4.3 輸出結(jié)構(gòu)和坐標(biāo)系LiteVGGT的輸出結(jié)構(gòu)沿用了VGGT的設(shè)計(jì)。cameras里包含每個(gè)視圖的旋轉(zhuǎn)矩陣、平移向量、內(nèi)參和圖像尺寸信息points3d是逐像素的3D點(diǎn)圖每個(gè)像素對(duì)應(yīng)一條從相機(jī)出發(fā)的射線上的空間坐標(biāo)。要注意的是這些3D點(diǎn)的尺度是模型自己回歸出來(lái)的和真實(shí)物理尺度不直接對(duì)應(yīng)。如果你想把點(diǎn)云可視化或者喂給下一步算法建議直接把points3d拍平成點(diǎn)云去掉置信度低的點(diǎn)。模型通常還會(huì)輸出一個(gè)置信度圖過(guò)濾閾值可以設(shè)在0.2到0.5之間我自己的經(jīng)驗(yàn)是閾值太低會(huì)夾雜很多漂浮點(diǎn)閾值太高又會(huì)讓物體邊緣變稀疏需要根據(jù)自己的數(shù)據(jù)調(diào)一輪。4.4 一次典型推理的時(shí)間體感在我那臺(tái)24 GB顯存的環(huán)境下用9張1024分辨率圖像跑LiteVGGT端到端耗時(shí)大概在秒級(jí)區(qū)間顯存占用也遠(yuǎn)低于VGGT。換句話說(shuō)同樣的輸入規(guī)模VGGT可能跑起來(lái)比較吃力LiteVGGT則留出了余量。不同顯卡性能差異很大所以這個(gè)數(shù)字僅供參考重要的是你自己跑之前把分辨率、視角數(shù)、半精度開關(guān)都定成和release一致的配置再去對(duì)比官方聲稱的10倍。5. 實(shí)測(cè)中的坑與取舍這些細(xì)節(jié)才是工程落地的分水嶺我在自己的數(shù)據(jù)上跑了兩輪第一輪幾乎全程踩雷第二輪才摸清脾氣。下面這幾個(gè)坑是按“從癥狀到原因”的方式整理的方便你排查時(shí)對(duì)號(hào)入座。5.1 分辨率一提高加速比就大幅縮水官方發(fā)布里的“快10倍”基本是在長(zhǎng)邊1024的設(shè)定下測(cè)出來(lái)的。我把輸入分辨率提到1600甚至2048之后加速比明顯縮水。原因也好理解token剪枝可能已經(jīng)濾掉了很多平坦區(qū)域token但剩下的token數(shù)量還是隨分辨率近似線性增長(zhǎng)線性注意力的計(jì)算量也跟著線性漲。與此同時(shí)某些模塊在小分辨率時(shí)被算子融合吃掉了大分辨率時(shí)內(nèi)存訪問(wèn)模式變了融合收益下降。這里我給一個(gè)實(shí)操建議如果應(yīng)用確實(shí)需要高分辨率細(xì)節(jié)不要直接把全圖分辨率拉滿而是先用LiteVGGT在低分辨率下計(jì)算粗略姿態(tài)和視差范圍再對(duì)關(guān)鍵區(qū)域做局部的高分辨率裁剪推理。這個(gè)策略在真實(shí)場(chǎng)景里比硬扛全分辨率更穩(wěn)。5.2 半精度不是所有層都安全混合精度模式下大部分算子跑在半精度沒問(wèn)題但深度圖輸出層、位姿輸出頭可能出現(xiàn)數(shù)值不穩(wěn)定的情況。我遇到過(guò)一次某個(gè)場(chǎng)景整體偏暗3D點(diǎn)圖里遠(yuǎn)處點(diǎn)的坐標(biāo)值很大半精度表示下出現(xiàn)明顯的量化噪聲重建出來(lái)的點(diǎn)云像蒙了一層毛玻璃。后來(lái)我把輸出頭單獨(dú)切成FP32問(wèn)題就消失了。代碼里可以通過(guò)把某些層的dtype單獨(dú)指定來(lái)實(shí)現(xiàn)但更推薦的做法是先檢查輸出數(shù)值的統(tǒng)計(jì)范圍。如果points3d直接輸出就到FP16盡量在模型內(nèi)部預(yù)留一個(gè)output_float32True之類的開關(guān)沒有開關(guān)就自己在后處理里轉(zhuǎn)精度損失雖然不大但能避免下游視覺化工具把大數(shù)值當(dāng)異常值過(guò)濾掉。5.3 動(dòng)態(tài)shape會(huì)悄悄拖垮性能這是個(gè)很隱蔽的坑。官方示例固定把所有圖resize到同一尺寸不只是為了省事而是模型內(nèi)部對(duì)輸入shape有隱式依賴。如果你按自己的Dataloader習(xí)慣允許任意尺寸進(jìn)入模型會(huì)遇到兩類問(wèn)題一是某些算子被迫回退到非融合實(shí)現(xiàn)速度直接掉到原來(lái)的三分之一二是如果開啟torch.compile新shape會(huì)導(dǎo)致重新編譯第一次調(diào)用會(huì)被卡住好幾秒。解決辦法是預(yù)處理階段統(tǒng)一resize到固定long edge測(cè)試時(shí)保持一致。如果你需要支持多種分辨率最好為每種分辨率單獨(dú)準(zhǔn)備一個(gè)推理進(jìn)程或預(yù)編譯好的模型實(shí)例不要在同一個(gè)進(jìn)程里頻繁切換。5.4 多視角數(shù)量超過(guò)模型訓(xùn)練上限時(shí)需要主動(dòng)拆分LiteVGGT沿用了VGGT對(duì)“任意數(shù)量視角”的支持方式內(nèi)部會(huì)把多視角按一定上限拆成子塊處理再合并輸出。這意味著視角數(shù)量超過(guò)模型一次性處理能力時(shí)子塊之間會(huì)存在一定的位姿對(duì)齊誤差。表現(xiàn)為你輸入20張環(huán)繞圖前5張和后5張各自內(nèi)部姿態(tài)一致但兩組之間存在細(xì)微漂移。應(yīng)對(duì)方案是在上游控制輸入視角的分布。用于定位時(shí)優(yōu)先選擇視差適中、重疊足夠的幀而不是時(shí)間上連續(xù)的所有幀。不要一股腦把所有圖都塞給模型那樣不光慢還可能在跨子塊的地方引入新的誤差。5.5 預(yù)處理里的細(xì)微不一致會(huì)直接影響“無(wú)損”最后這個(gè)坑看著簡(jiǎn)單卻最容易讓人誤判模型。比如load_images用的是ImageNet的mean/std歸一化你自己用OpenCV讀圖時(shí)順序是BGR沒轉(zhuǎn)成RGB歸一化參數(shù)又用了自己的模型的幾何輸出會(huì)整體漂移。這不是模型不穩(wěn)定的問(wèn)題是喂進(jìn)去的數(shù)據(jù)分布已經(jīng)變了。凡是做對(duì)比評(píng)測(cè)一定要保證兩個(gè)模型走完全相同的預(yù)處理管線。我建議把預(yù)處理抽成公共函數(shù)模型A和模型B共用同一份數(shù)據(jù)load、同一套resize邏輯、同一份歸一化參數(shù)。否則你測(cè)出來(lái)的精度差異很可能只是預(yù)處理差異放大的結(jié)果。6. 選型判斷LiteVGGT不是所有場(chǎng)景的萬(wàn)能解把LiteVGGT夸了半天但它畢竟不是銀彈。我接觸到的實(shí)際項(xiàng)目里至少有三類情況我仍然會(huì)建議謹(jǐn)慎或者繼續(xù)用VGGT。第一類是相機(jī)模型非常規(guī)的場(chǎng)景比如魚眼、全景、推掃相機(jī)。VGGT和LiteVGGT默認(rèn)假設(shè)的是針孔或近似針孔模型對(duì)嚴(yán)重畸變的支持有限。雖然可以傳入內(nèi)參讓模型做一定補(bǔ)償?shù)珮O端畸變下仍然容易失真。這類場(chǎng)景先做個(gè)畸變校正再送進(jìn)模型比直接硬跑靠譜。第二類是需要全局一致高精度的離線重建任務(wù)比如精度要求非常高的物體三維重建。這種場(chǎng)景數(shù)據(jù)量不大但對(duì)誤差零容忍。此時(shí)VGGT的計(jì)算開銷沒那么不可接受反而因?yàn)閰?shù)量大、容量高在一些難樣本上比LiteVGGT更穩(wěn)。你要的是最終質(zhì)量天花板不是單次推理的響應(yīng)速度。第三類是已經(jīng)重度依賴COLMAP流程的成熟系統(tǒng)。如果你的管線里特征提取、匹配、BA都已經(jīng)調(diào)得很好工程上也穩(wěn)定那引入LiteVGGT的價(jià)值主要是替代掉最耗時(shí)的初始化階段。只把它當(dāng)作“快速粗定位器”輸出粗姿態(tài)之后再交給傳統(tǒng)優(yōu)化做精修比直接整個(gè)替換更合理。下面這張表是我在做技術(shù)選型時(shí)比較常用的判斷框架應(yīng)用場(chǎng)景推薦方案理由SLAM/VIO前端初始化LiteVGGT快速給出可用初始值大規(guī)模圖像集粗定位LiteVGGT單幀成本低吞吐高高精度離線重建VGGT或傳統(tǒng)SfM精修需要精度天花板邊緣設(shè)備嵌入式部署LiteVGGT 半精度量化顯存和延遲都更友好魚眼/全景等特殊相機(jī)先校正再考慮兩者都不能直接硬扛最后說(shuō)點(diǎn)我的個(gè)人體會(huì)。這輪實(shí)測(cè)下來(lái)我對(duì)LiteVGGT最滿意的不是“快10倍”這個(gè)數(shù)字而是它的輸出接口沒有亂改遷移成本很低。我從VGGT換到LiteVGGT主體代碼幾乎沒有動(dòng)只是改了模型名、加了幾行預(yù)處理和混合精度設(shè)置。真正花時(shí)間的反而是在評(píng)測(cè)協(xié)議的統(tǒng)一上——怎么保證兩個(gè)模型在完全公平的條件下對(duì)比比模型本身的替換更費(fèi)心思。如果你正準(zhǔn)備把它接進(jìn)項(xiàng)目我的建議是先拿自己數(shù)據(jù)里最難的50張圖試一遍對(duì)比一下LiteVGGT和VGGT在弱紋理、重復(fù)紋理、大視角變化下的差異再?zèng)Q定是否全量替換。畢竟“平均無(wú)損”不等于“你的場(chǎng)景無(wú)損”這類模型跑通Demo很容易跑好一個(gè)真實(shí)業(yè)務(wù)場(chǎng)景需要自己拿數(shù)據(jù)說(shuō)話。