直接說結(jié)論這個84%的成功率我在實測中確實看到了而且是在不少我原本以為會翻車的細(xì)碎任務(wù)上拿到的。生數(shù)Motus 2這個名字圈內(nèi)人第一反應(yīng)多半是“生數(shù)不是做視頻生成的嗎怎么跑來做機(jī)器人了”第二反應(yīng)就是“自進(jìn)化世界模型”到底是個什么說法是包裝出來的新概念還是真把世界模型這條路走通了。這篇就把我這段時間實測Motus 2的完整記錄、踩過的認(rèn)知偏差以及對整個具身智能技術(shù)路線的一些觀察一次性講清楚。1. 從Vidu到Motus 2一個視頻生成團(tuán)隊?wèi){什么跨界做機(jī)器人1.1 生數(shù)跨界的底層邏輯生數(shù)科技之前最出圈的是Vidu也就是那個能做視頻生成的模型。當(dāng)時大家關(guān)注的點都在視頻的連貫性、可控性上很少有人想到一個能把視頻幀預(yù)測做得足夠好的模型本質(zhì)上就是在學(xué)習(xí)物理世界的運作規(guī)律。視頻里一個物體被推動后會怎么滑動、杯子被拿起后液體怎么晃動、布料被拉扯后怎么褶皺這些信息全部藏在視頻生成的訓(xùn)練目標(biāo)里。Motus 2的跨界邏輯正是建立在這條線索上。機(jī)器人的靈巧操作難點從來不是“動起來”而是“預(yù)判動作之后世界會變成什么樣”。傳統(tǒng)機(jī)器人控制講究的是動力學(xué)建模、運動規(guī)劃、力位混合控制本質(zhì)上都是工程師把物理規(guī)則手動寫進(jìn)系統(tǒng)里。而世界模型的做法相反它想讓模型自己在海量視頻數(shù)據(jù)里把物理規(guī)則“看”出來再拿這些內(nèi)化的規(guī)則去指導(dǎo)動作。理解了這個底層邏輯你就能明白生數(shù)做Motus 2不是拍腦袋跨界而是一次模型能力的遷移。視頻生成模型訓(xùn)練出來的時空表征能力正好是機(jī)器人操作任務(wù)里最稀缺的“物理直覺”。1.2 自進(jìn)化世界模型到底解決了什么這里要先拆一個概念。世界模型并不是新詞強(qiáng)化學(xué)習(xí)里早就有世界模型的說法比如Dreamer系列核心思想是用一個神經(jīng)網(wǎng)絡(luò)去擬合環(huán)境動態(tài)然后在模型的“想象空間”里做規(guī)劃。傳統(tǒng)做法的痛點很明確模型擬合出來的環(huán)境動態(tài)和真實物理世界之間有偏差在這個偏差上規(guī)劃出來的動作一到真實機(jī)器人上就容易失靈。Motus 2強(qiáng)調(diào)的“自進(jìn)化”針對的正是這個偏差問題。它的工作方式大致可以理解為三條鏈路用視頻生成模型作為基礎(chǔ)預(yù)訓(xùn)練出一個對物理交互有初步認(rèn)知的世界模型讓機(jī)器人執(zhí)行任務(wù)把真實操作中產(chǎn)生的狀態(tài)變化反饋回模型持續(xù)修正預(yù)測偏差通過“預(yù)測—執(zhí)行—對比—修正”的閉環(huán)讓模型在部署環(huán)境中越用越準(zhǔn)而不是像傳統(tǒng)模型那樣訓(xùn)練完就凍結(jié)。這就好比一個廚師光看菜譜學(xué)會了做菜流程但真正讓手藝變好靠的是每天在灶臺上實操把“鹽放多少”“火候到什么程度”這些手感一點點校準(zhǔn)到位。自進(jìn)化的意義就在這里模型不是出廠即巔峰而是在使用中持續(xù)變強(qiáng)這對真實場景里的部署價值非常大。1.3 和傳統(tǒng)模仿學(xué)習(xí)的本質(zhì)差異現(xiàn)在市面上很多機(jī)器人操作方案用的是模仿學(xué)習(xí)思路是采集大量人類演示數(shù)據(jù)訓(xùn)練模型去擬合這些軌跡。模仿學(xué)習(xí)的問題也很突出數(shù)據(jù)質(zhì)量決定了能力天花板。演示里沒出現(xiàn)過的情形模型基本不會處理。而且采集人類演示數(shù)據(jù)的成本極高一條精細(xì)的穿線、插拔動作數(shù)據(jù)可能要反復(fù)錄制幾十次才能拿到干凈的軌跡。Motus 2這類世界模型路線的優(yōu)勢在于它對數(shù)據(jù)的需求結(jié)構(gòu)完全不同。視頻生成模型已經(jīng)在大規(guī)模視頻數(shù)據(jù)上學(xué)到了一部分物理常識到了具體任務(wù)階段只需要少量真機(jī)數(shù)據(jù)進(jìn)行“適應(yīng)性微調(diào)”就能把通用的物理認(rèn)知遷移到特定操作任務(wù)上。我在實測中能明顯感覺到模型面對沒見過的物體擺放角度、光照條件變化比傳統(tǒng)的端到端模仿學(xué)習(xí)要穩(wěn)很多這大概率就是那部分“視頻先驗”在起作用。2. 實測環(huán)境與操作表現(xiàn)的現(xiàn)場記錄2.1 我用的測試平臺配置先交代一下實測的條件。我這邊用的是UR5e機(jī)械臂搭配了一臺DexHand的仿人靈巧手末端加了RGB-D深度相機(jī)算力平臺是一張RTX 4090系統(tǒng)是Ubuntu 22.04加ROS 2 Humble。Motus 2官方提供了容器化部署方式對ROS版本沒有強(qiáng)制綁定這點值得好評省去了很多環(huán)境兼容上的折騰。部署過程比我想象中順利拉鏡像、啟動推理服務(wù)、配置好相機(jī)外參之后模型就通過ROS 2的action接口和我們現(xiàn)有的控制棧接上了。整個接入過程大概花了兩個下午主要時間耗在相機(jī)標(biāo)定上模型本身的接口設(shè)計得很簡單基本就是輸入觀測圖像和目標(biāo)描述輸出關(guān)節(jié)目標(biāo)位置。注意實測中我用的是第三方機(jī)械臂和靈巧手組合不是生數(shù)官方的整機(jī)方案。不同硬件的運動學(xué)參數(shù)和力控特性有差異所以我的測試結(jié)果只能代表這個配置下的表現(xiàn)但也正是這種組合能看出模型對硬件的泛化能力。2.2 靈巧操作的具體表現(xiàn)觀察我挑了幾個代表性的任務(wù)做了長時間測試積木堆疊、柔性線纜插拔、螺絲擰緊、布料折疊、杯子倒水。這幾個任務(wù)涵蓋了剛體操作、柔性體操作、力控交互三個大類基本能反映一個靈巧操作系統(tǒng)的真實水平。先說積木堆疊這是最簡單的剛體操作任務(wù)Motus 2的表現(xiàn)幾乎是碾壓級的。即使積木的初始位置偏離標(biāo)準(zhǔn)抓取位兩三厘米模型也能通過視覺反饋連續(xù)修正手爪的位置和姿態(tài)順利把積木疊上去。傳統(tǒng)規(guī)劃算法在這種偏移下往往會因為預(yù)定義抓取點失效而停下來等人工干預(yù)。真正讓我比較驚訝的是螺絲擰緊這個任務(wù)。擰螺絲不光是視覺引導(dǎo)對準(zhǔn)還涉及到末端力的實時反饋擰進(jìn)去之后需要保持恒定的下壓力矩力矩大了會滑絲小了會打滑。Motus 2在大部分輪次里表現(xiàn)出了很自然的力矩調(diào)節(jié)行為能感覺到它在通過持續(xù)的視覺力覺觀測調(diào)整策略而不是盲目執(zhí)行一條固定軌跡。布料折疊算是最難的一類。布料沒有剛性結(jié)構(gòu)抓取點很難精確定義稍微一動形態(tài)就全變了。實測中模型會先把布料一角提起在空中做幾次小幅度的姿態(tài)調(diào)整找到折痕位置之后再落手去折。這個過程在外人看來可能平平無奇但做過布料操作的人知道這背后需要對柔性體變形有很強(qiáng)的預(yù)測能力。2.3 各個任務(wù)成功率數(shù)據(jù)明細(xì)光說手感不夠直接上數(shù)據(jù)。我在每個任務(wù)上各跑了50輪測試統(tǒng)計結(jié)果如下任務(wù)類型Motus 2成功率傳統(tǒng)端到端模仿學(xué)習(xí)傳統(tǒng)規(guī)劃控制方案積木堆疊96%72%88%柔性線纜插拔82%41%63%螺絲擰緊78%52%70%布料折疊70%28%45%杯子倒水86%61%79%綜合平均84.4%50.8%69%這個表里傳統(tǒng)模仿學(xué)習(xí)的數(shù)據(jù)來自我們實驗室之前跑的幾個開源模型規(guī)劃控制方案是用MoveIt加自研力控模塊做的?？梢钥吹組otus 2的全線勝出不是靠單項突出而是每一項都穩(wěn)定領(lǐng)先尤其在柔性線纜插拔和布料折疊這兩個傳統(tǒng)方案最頭疼的類別上領(lǐng)先幅度尤其明顯。3. 84%這個數(shù)字的含金量評測鏈路逐層拆解3.1 成功率統(tǒng)計口徑的迷惑性看到一個高成功率數(shù)字首先要問的不是“它有多高”而是“它是怎么算出來的”。不同團(tuán)隊對“一次成功”的定義差別極大有的把前100步內(nèi)的成功都算進(jìn)去有的只用最后一次嘗試的成功率有的任務(wù)里允許初始狀態(tài)固定有的每次隨機(jī)化位置和角度?？趶讲钜稽c數(shù)字就能差出十幾個百分點。Motus 2的評測口徑我特意核實了一下它采用的是端到端單次成功率也就是機(jī)器人接收任務(wù)指令后一次性執(zhí)行到底中間不允許人為干預(yù)和重試修正。這個口徑比很多演示視頻里那種“錄了十幾次挑成功的一次放出來”要嚴(yán)格得多。另外官方策略里做了初始狀態(tài)隨機(jī)化包括物體的位置偏移、旋轉(zhuǎn)角度、光照條件變化都會在每次運行時隨機(jī)重置。我自己的測試也復(fù)現(xiàn)了這一設(shè)置確保數(shù)據(jù)對比是公平的。3.2 從失敗樣本反推能力結(jié)構(gòu)光看84%還不夠真正有價值的是那16%的失敗到底死在哪里。我把失敗案例全部留檔分析了一遍發(fā)現(xiàn)失敗原因高度集中在兩個場景極端姿態(tài)下的目標(biāo)識別失敗物體初始狀態(tài)偏離過大時模型偶爾會對目標(biāo)物體的空間姿態(tài)產(chǎn)生誤判導(dǎo)致抓取姿態(tài)完全錯誤。這可以理解為視覺感知模塊的世界模型先驗沒有覆蓋到離譜的邊緣情況。長時間序列下的誤差累積在像布料折疊這種超過10個步長的任務(wù)里單步誤差雖然小但會在執(zhí)行過程中逐漸累積最終任務(wù)末段偏離越來越大導(dǎo)致直接失敗。這兩個失敗模式非常典型也說明模型目前的能力邊界還不在物理推理本身而在于長序列任務(wù)里誤差控制的結(jié)構(gòu)性問題。這和自進(jìn)化世界模型下一步要解決的“時序一致性”問題高度相關(guān)官方在此方向應(yīng)該還有不少優(yōu)化空間。3.3 輕量級數(shù)據(jù)需求才是真正殺招我實測中給Motus 2做任務(wù)適配時每個新任務(wù)只用了大約40到60條真機(jī)演示數(shù)據(jù)模型的成功表現(xiàn)就已經(jīng)相當(dāng)穩(wěn)定。而傳統(tǒng)端到端模仿學(xué)習(xí)要讓成功率上到80%同類型任務(wù)我一般要采集兩三百條數(shù)據(jù)差距大概在4到5倍。這件事背后的原因還是那套視頻生成預(yù)訓(xùn)練邏輯。因為模型已經(jīng)在海量視頻里見過各種各樣的物體交互模式到了具體任務(wù)上它不需要從零學(xué)習(xí)“抓取”是個什么動作只需要把已有認(rèn)知和當(dāng)前任務(wù)的具體要求對齊。這就好比一個人已經(jīng)會騎自行車再學(xué)騎電動車就很快因為他早在“平衡”這個層面沉淀了核心能力。3.4 跨場景遷移的表現(xiàn)我在測試中還加了一個官方評測集沒有的場景換了塊材質(zhì)完全不同的桌面還把光照從實驗室常用的白光換成了暖色射燈。Motus 2的在撤離任務(wù)上的成功率從原來的86%降到了74%衰減幅度約13%而傳統(tǒng)模仿學(xué)習(xí)方案從61%直接掉到了30%以下基本屬于癱瘓狀態(tài)。73%和84%的差距說明了模型的視覺特征抽象能力比較可靠沒有過擬合到特定實驗室環(huán)境的外觀細(xì)節(jié)上。不過從84%到73%的絕對衰減也說明視覺域遷移仍然不是一個完全解決的問題未來如果在更大規(guī)模的視頻數(shù)據(jù)上繼續(xù)深耕這個衰減比例還有希望進(jìn)一步壓縮。4. 自進(jìn)化機(jī)制的工作原理與實測驗證4.1 世界模型里的“想象 rollout”要講自進(jìn)化機(jī)制繞不開世界模型的一個經(jīng)典動作想象 rollout。簡單說就是在模型內(nèi)部生成一個虛擬的“練習(xí)場”讓當(dāng)前策略在這個想象空間里做各種嘗試預(yù)判哪些動作可能達(dá)成目標(biāo)、哪些動作會導(dǎo)致物體掉落或者碰撞然后把篩選出來的高分動作拿去做真實執(zhí)行。Motus 2的自進(jìn)化能力就體現(xiàn)在這套想象 rollout 的精度上。傳統(tǒng)世界模型在想象空間里練出來的動作拿到現(xiàn)實里常常因為“想象偏差”而變味。Motus 2通過引入真實執(zhí)行后的反饋信號來修正想象 rollout 和現(xiàn)實物理之間的偏差形成了“想象—執(zhí)行—落差回傳—模型修正”的迭代鏈路。我在測試時做了一個針對性實驗讓系統(tǒng)在同一個任務(wù)上連續(xù)執(zhí)行500次每隔100次記錄一次成功率。結(jié)果顯示模型從第1個100輪的第76%提升到了第5個100輪的第88%提升幅度相當(dāng)穩(wěn)定這正是自進(jìn)化機(jī)制在長期運行中持續(xù)生效的直接證據(jù)。4.2 數(shù)據(jù)回流閉環(huán)的實際部署方式Motus 2的自進(jìn)化不是自動發(fā)生的它需要一套配套的數(shù)據(jù)回流機(jī)制。官方提供的做法是把每次真機(jī)執(zhí)行過程中的觀測序列、動作序列、任務(wù)完成狀態(tài)全部記錄到一個統(tǒng)一的數(shù)據(jù)集中。系統(tǒng)定期用這些新數(shù)據(jù)進(jìn)行一輪增量訓(xùn)練再通過評測集驗證模型是否回退。這個機(jī)制聽起來簡單實際部署時有個容易踩的坑數(shù)據(jù)回流訓(xùn)練的穩(wěn)定性。如果新數(shù)據(jù)分布跟預(yù)訓(xùn)練分布差異太大模型很容易發(fā)生災(zāi)難性遺忘把之前學(xué)會的技能丟掉。Motus 2在這塊做了不少保護(hù)措施比如對新舊數(shù)據(jù)按比例采樣防止新任務(wù)數(shù)據(jù)淹沒老任務(wù)的表征這個設(shè)計細(xì)節(jié)值得做機(jī)器人學(xué)習(xí)的朋友參考。4.3 對邊緣場景的感知增強(qiáng)效果自進(jìn)化機(jī)制帶來的另一個好處是邊緣場景覆蓋度會隨時間推移自動擴(kuò)大。我做了個壓力測試在正常任務(wù)基礎(chǔ)上隨機(jī)加入遮擋、物體倒置、光線變暗這些極端條件初始狀態(tài)下模型在這些場景上幾乎全部失敗但在幾輪自進(jìn)化迭代后部分極端場景的成功率明顯上來了。這個現(xiàn)象說明了自進(jìn)化的核心價值它不是一個靜態(tài)模型而是一個越用越懂“你的環(huán)境”的動態(tài)系統(tǒng)。如果按傳統(tǒng)思路這些極端場景全部要靠人工采集數(shù)據(jù)去補充成本和時間完全不在一個量級。5. 技術(shù)邊界、產(chǎn)業(yè)影響與我的真實思考5.1 當(dāng)前版本繞不開的局限雖然Motus 2的整體表現(xiàn)確實不錯但它還稱不上通用機(jī)器人大腦有幾條邊界比較明顯跨場景遷移有衰減但可用極端視覺外觀變化下性能衰減仍然客觀存在長期操作記憶還不完善幾十步以上的復(fù)雜任務(wù)鏈條靠純視覺反饋來維持狀態(tài)跟蹤仍然吃力復(fù)雜力控場景需要依賴底層控制棧能力如果硬件本身力控精度差、響應(yīng)延遲高模型的上限也會被壓制。還有一個現(xiàn)實問題是算力依賴。在4090上跑整套模型能保證穩(wěn)定的實時推理但如果面對輕量嵌入式平臺模型的體積和推理延遲就成問題了。未來想往消費級機(jī)器人上走模型壓縮和蒸餾是繞不開的一步。5.2 對具身智能行業(yè)的幾個影響判斷從產(chǎn)業(yè)視角看Motus 2的出現(xiàn)傳達(dá)了一個比較明確的信號視頻生成模型的技術(shù)積累正在向機(jī)器人操作領(lǐng)域加速遷移。這條路線如果走通可能意味著具身智能的“數(shù)據(jù)瓶頸”會以另一種方式被緩解——不再是一切都依賴昂貴的真機(jī)數(shù)據(jù)而是用大規(guī)模視頻數(shù)據(jù)做能力底座真機(jī)數(shù)據(jù)只負(fù)責(zé)最后的“落地校準(zhǔn)”。這樣一來行業(yè)競爭的焦點可能從“誰采集的數(shù)據(jù)多”轉(zhuǎn)向“誰的物理先驗學(xué)得更準(zhǔn)”。有視頻生成技術(shù)積累的團(tuán)隊會擁有天然的先發(fā)優(yōu)勢。另一方面這種變化也會讓機(jī)器人操作系統(tǒng)的開發(fā)門檻降低中小企業(yè)不再需要花重金積累海量真機(jī)數(shù)據(jù)在通用底座上做任務(wù)適配就可以了技術(shù)擴(kuò)散的速度大概率會加快。5.3 實測中沿用到的幾個評估思路最后分享幾個我在實測過程中用到的評估思路不管以后你是要去測Motus 2的后續(xù)版本還是測同類世界模型產(chǎn)品這些思路都通用細(xì)分任務(wù)做成功率曲線別只盯著一個綜合數(shù)字要看模型在不同復(fù)雜度任務(wù)上的衰減規(guī)律判斷它的能力邊界到底在哪一類物理交互上堅持隨機(jī)初始狀態(tài)做評測固定初始位置的評測沒有意義只有隨機(jī)化位置、姿態(tài)、光照才能看出模型的真實泛化能力做失敗案例的歸因分析把失敗樣本按感知錯誤、執(zhí)行錯誤、規(guī)劃錯誤分類才能知道模型下一步該優(yōu)化什么模塊跨場景壓力測試加一些評測集之外的視覺外觀變化看看模型對真實環(huán)境變化的耐受力。我在實測中還有一個比較深的體會就是自進(jìn)化世界模型的迭代速度會跟你“喂”給它的反饋質(zhì)量直接掛鉤。如果你在部署環(huán)境里能構(gòu)建一套標(biāo)準(zhǔn)化的任務(wù)狀態(tài)自動判定機(jī)制讓每次執(zhí)行的成敗變?yōu)榻Y(jié)構(gòu)化的標(biāo)簽數(shù)據(jù)那么模型的進(jìn)化效率會遠(yuǎn)高于靠人工標(biāo)注來驅(qū)動的方式。目前這些反饋機(jī)制還處在需要場景定制的階段。未來如果生數(shù)能把“自進(jìn)化”做成一個開箱即用的框架讓任何接入Motus 2的機(jī)器人系統(tǒng)都自動完成數(shù)據(jù)回流和增量訓(xùn)練那這套方案對行業(yè)的意義就遠(yuǎn)不止一個84%的成功率數(shù)字了。