MULTIMODALNeurIPS 2026Fusion or Confusion?多模態(tài)復(fù)雜≠更強(qiáng)大19種方法×9個數(shù)據(jù)集一次“反復(fù)雜化”統(tǒng)一復(fù)測復(fù)雜的模型真的融合得更好嗎/FUSION OR CONFUSION近幾年來多模態(tài)學(xué)習(xí)越來越像一場“結(jié)構(gòu)軍備競賽”新的融合模塊、更復(fù)雜的跨模態(tài)交互、額外的梯度調(diào)節(jié)機(jī)制不斷疊加。但是這篇文章提出了一個更加基本的問題復(fù)雜的程度是否能帶來可以重復(fù)得到的效果呢作者把19 種高影響力的多模態(tài)方法放到統(tǒng)一協(xié)議之下在9 個真實的 數(shù)據(jù)集最多 23 種模態(tài)上重新比較。結(jié)果不是簡單的“一定贏”而更加值得我們警惕的是復(fù)雜的架構(gòu)并沒有穩(wěn)定的勝過一個調(diào)得足夠認(rèn)真的簡單的基線。1先把比較做公平FAIR EVALUATION BEFORE NOVELTYFig. 1多模態(tài)方法分類及SimBaMM基線結(jié)構(gòu)論文核心信息論文標(biāo)題Fusion or Confusion? Multimodal Complexity Is Not All You Need作者Tillmann Rheude、Roland Eils、Benjamin Wild單位德國柏林健康研究所 / 柏林夏里特醫(yī)學(xué)院Charité—柏林大學(xué)醫(yī)學(xué)中心、復(fù)旦大學(xué)智能醫(yī)學(xué)研究院、德國柏林自由大學(xué)論文鏈接https://arxiv.org/abs/2512.22991v3代碼鏈接https://github.com/TillmannRheude/simple_mml_baseline一句話概括這不是再造一個更復(fù)雜的融合器而是用統(tǒng)一實驗協(xié)議檢驗“復(fù)雜多模態(tài)設(shè)計到底值不值”。這篇論文為什么值得仔細(xì)閱讀呢論文將近幾年來多模態(tài)的方法按照修改的位置分成了MissingData、Encoder、Fusion、Head、Gradient五種并指出現(xiàn)有一段時間以來的一個比較誤區(qū)不同的論文經(jīng)常把數(shù)據(jù)劃分、超參數(shù)預(yù)算、初始化以及優(yōu)化器都改變了。這樣一來“新模塊帶來的提高”和“實驗條件更佳”的關(guān)系很難劃分。作者的主要行為就是把所有的干擾因素都盡量地鎖定起來然后再來看結(jié)構(gòu)創(chuàng)新還有多少可以得到的利益。SimBaMM把多模態(tài)學(xué)習(xí)壓回到一個簡單的Late Fusion基線上SimBaMM 的想法很簡單每一個模態(tài)都會先經(jīng)過自己編碼器然后再投影到共同的隱藏空間中去之后把各個模態(tài)的 token 送入一個 Transformer 頭進(jìn)行l(wèi)ate fusion。缺少模態(tài)不會增加復(fù)雜的補(bǔ)全模塊而直接用attention mask控制可見的token。雖然這個基線看起來很簡單但是它為所有的復(fù)雜方法提供了一條相同的“起跑線”。只有在相同的編碼器、相同的初始化、相同的訓(xùn)練/調(diào)參預(yù)算下仍然能夠保持穩(wěn)定的差距才更像是一種真正的來自于方法本身的好處。每一個樣本都只包含目前可以使用的模態(tài)集合 ?所以該框架自然地使得不同的樣本具有不同的模態(tài)組合。首先由模態(tài)專用編碼器提取出表示然后投影到共享的d維空間中在比較不同的融合方法的時候編碼器是相同的。融合頭只在可用模態(tài)之間進(jìn)行注意力計算之后由任務(wù)頭給出預(yù)測。01統(tǒng)一協(xié)議并不只是把網(wǎng)絡(luò)統(tǒng)一起來作者對于所有的算法都使用相同的優(yōu)化和初始化規(guī)則而且會給基線做一個系統(tǒng)性的分析。Bayesian hyperparameter optimization比較時再用Bayesian hierarchical analysis with ±1% ROPE把“真正好”、“真正壞”以及“實際上一樣”的區(qū)別開來。比起只看一個平均值來得要嚴(yán)格一些多出了幾個點。02當(dāng)數(shù)據(jù)規(guī)模差距拉大之后再去考察方法是否還能夠成立9 個真實的 數(shù)據(jù)集 覆蓋了視頻、音頻、語言、X-ray、CT、EHR、ECG、代謝組、蛋白組等多種類型的異構(gòu)輸入規(guī)模從小到大分別為從 2,199 個樣本到 488,131 個樣本模態(tài)數(shù)從2個一直增加到23 個。所有的結(jié)果都用subject-wise 5-fold cross-validation的方法來得到并且盡量避免同一個受試者在不同的折中泄漏。03原來的論文中提到的“評測缺口”有多大呢作者統(tǒng)計所復(fù)現(xiàn)的方法原論文中評測設(shè)置的情況0% 報告系統(tǒng)超參數(shù)調(diào)優(yōu)0% 使用統(tǒng)計顯著性分析只有 11% 使用交叉驗證、21% 給出誤差條但是82%的人提供了單模態(tài)基線但是這些基線通常沒有得到和新的方法一樣大的調(diào)參力度。該數(shù)據(jù)本身也是本文最需要探討的背景之一。先看數(shù)據(jù)后說“復(fù)雜度紅利”把19種方法都搬到了統(tǒng)一協(xié)議之下之后作者就不再只是問“哪個模型排行榜第一”了而是要問**差異是否大于±1%的實踐等價區(qū)間**該問題改變的是結(jié)論口徑——一些看上去領(lǐng)先的小差距在統(tǒng)計層面上更適合作為“差不多”的解釋。真正要引起注意的是在不同的數(shù)據(jù)集和不同的模態(tài)上都能夠重復(fù)出現(xiàn)的收益。表 1統(tǒng)一評測涵蓋了9個真實的數(shù)據(jù)庫最大的UKB包含488131個樣本、23種模態(tài)論文第4頁表 2最近多模態(tài)方法原始評測協(xié)議統(tǒng)計調(diào)參、統(tǒng)計顯著性、交叉驗證等等控制不一2復(fù)雜的沒有穩(wěn)定的贏結(jié)果到底應(yīng)該怎么讀呢COMPLEXITY ≠ RELIABLE GAIN19 種復(fù)雜的算法并沒有哪一種算法可以一直拉開 SimBaMMFigure 2 將各個方法相對于SimBaMM-CLS在9個數(shù)據(jù)集上進(jìn)行比較綠色表示該方法比SimBaMM-CLS好紅色表示SimBaMM-CLS的效果比較好?；疑硎韭湓凇?%ROPE范圍之內(nèi)。最引人注目的是某一個模型的一點優(yōu)勢并不是沒有任何一種復(fù)雜的辦法在不同的數(shù)據(jù)集上都能得到穩(wěn)定的優(yōu)勢。對于最激烈的幾種競爭對手貝葉斯分析更傾向于支持**“實踐上等價”**不是說“復(fù)雜的辦法比簡單的方法要好很多”。圖 2跨 9 個數(shù)據(jù)集的聚合森林圖綠色方法更好灰色實踐等價紅色SimBaMM-CLS 更好表 3貝葉斯層級比較最強(qiáng)的競爭方法更多的時候是實踐等價而不是穩(wěn)定顯著勝出圖 3MIMIC Symile 效率分析訓(xùn)練時間、FLOPS、參數(shù)量和AUROC之間的權(quán)衡圖 4當(dāng)缺失模態(tài)的比例由原來的5%增加到了現(xiàn)在的50%各個方法都會出現(xiàn)不同程度的下降而復(fù)雜的算法也沒有能夠保持穩(wěn)定的勝出1性能稍微低一點但是算賬的話可能會出現(xiàn)一個數(shù)量級的誤差在MIMIC Symile上C-Mamba的AUROC是0.6603SimBaMM 為0.6545但是訓(xùn)練的時間分別是253s/epoch 和 14.6s/epoch論文中給出的換算關(guān)系是 SimBaMM 約快 17×。IMDer還需要408GFLOPS、203s/epoch但是只有0.6170AUROC。換句話說“更復(fù)雜”的至少要同時回答性能收益是否穩(wěn)定、這個收益值是否值得付出計算成本的問題。2缺少模態(tài)和案例研究公平協(xié)議會改變結(jié)論在缺失模態(tài)實驗中SimBaMM 和專門針對缺失模態(tài)的方法隨著缺失率的增大而降低復(fù)雜的機(jī)制仍然沒有穩(wěn)定的拉開差距更重要的就是 CREMA-D 案例原來的設(shè)置只是把 train 和 test 分開在 test 上參與模型的選擇并且劃分不是 subject-independent 的。存在subjectleak的情況。作者改成受試者獨立劃分、統(tǒng)一調(diào)參之后AUG 對單模態(tài)視頻仍然有提升的空間但是多模態(tài)相比簡單的基線優(yōu)勢已經(jīng)不存在了。該案例表明評測協(xié)議并不是“附帶細(xì)節(jié)”它將會直接影響到我們?nèi)绾稳ダ斫夥椒ǖ呢暙I(xiàn)。圖 5CREMA-D 案例原始數(shù)據(jù)協(xié)議和修正后的受試者獨立協(xié)議都會影響到SimBaMM和AUG之間的相對表現(xiàn)總結(jié)論文本身也明確限制了結(jié)論范圍不包括Early Fusion、大規(guī)模預(yù)訓(xùn)練、對比學(xué)習(xí)以及部分領(lǐng)域的專用結(jié)構(gòu)但是并不宣稱“復(fù)雜的結(jié)構(gòu)總是沒有用處的”。真正可以被復(fù)用的結(jié)論就是首先要建立一個強(qiáng)有力的、簡單的基準(zhǔn)模型然后用同樣的參數(shù)調(diào)整預(yù)算、受試者獨立交叉驗證以及統(tǒng)計比較來證明新模塊帶來的收益。如果復(fù)雜的機(jī)制真的有效的話在這樣的控制之下也應(yīng)該能夠站得住腳。往期精彩推薦