1. 從能生成到往哪長(zhǎng)AI視頻模型這次分的是什么叉過去一年AI視頻生成領(lǐng)域的關(guān)鍵詞一直是能不能動(dòng)、動(dòng)得像不像。但最近一段時(shí)間行業(yè)里出現(xiàn)了一個(gè)很有意思的現(xiàn)象頭部模型不再朝著同一個(gè)方向卷了而是明顯分成了兩條路線。一條路線死磕時(shí)長(zhǎng)與敘事連貫性試圖把單次生成的故事從幾秒拉到30秒甚至更長(zhǎng)另一條路線死磕畫面分辨率與細(xì)節(jié)還原把輸出畫質(zhì)推到2K級(jí)別讓每一幀都經(jīng)得起放大看。這個(gè)分叉不是偶然。它背后是兩種完全不同的用戶需求在拉扯做短劇、做廣告分鏡、做故事類內(nèi)容的人最頭疼的是鏡頭剛有點(diǎn)意思就斷了而做產(chǎn)品展示、做電商素材、做影視預(yù)演的人最頭疼的是畫面糊、細(xì)節(jié)崩、放大就露餡。一個(gè)要的是時(shí)間軸上的連續(xù)性一個(gè)要的是空間維度上的信息密度。這兩件事在當(dāng)前的算力條件下很難同時(shí)做到極致于是模型廠商開始做取舍也就形成了所謂的分叉。我最近集中測(cè)試了幾個(gè)主流視頻模型在這兩個(gè)方向上的表現(xiàn)包括Wan3.0系列和MiniMax H3相關(guān)的能力。實(shí)測(cè)下來最大的感受是選模型之前先想清楚你的內(nèi)容到底是敘事驅(qū)動(dòng)還是畫面驅(qū)動(dòng)。這個(gè)判斷做錯(cuò)了后面調(diào)多少參數(shù)都是白費(fèi)。下面我把這段時(shí)間的測(cè)試記錄、參數(shù)配置、踩過的坑以及不同場(chǎng)景下的選型邏輯完整地梳理一遍。2. 30秒敘事路線把故事拉長(zhǎng)到底難在哪2.1 時(shí)長(zhǎng)不是簡(jiǎn)單地把幀數(shù)堆上去很多人以為視頻時(shí)長(zhǎng)就是幀數(shù)問題生成5秒和生成30秒無非是把幀數(shù)乘以6。但實(shí)際跑過就知道完全不是這么回事。視頻模型在生成過程中每一幀都要參考前面幀的信息來保持連貫這個(gè)參考鏈越長(zhǎng)誤差累積就越嚴(yán)重。5秒的時(shí)候模型還能靠短期記憶把動(dòng)作和場(chǎng)景穩(wěn)住到了15秒以上角色衣服顏色開始漂移、背景建筑慢慢變形、光線方向莫名其妙翻轉(zhuǎn)這些都是典型的長(zhǎng)時(shí)漂移。Wan3.0在這方面的思路是引入更強(qiáng)的時(shí)序建模機(jī)制簡(jiǎn)單說就是讓模型在生成每一段的時(shí)候不僅看緊鄰的前幾幀還能回看更早的關(guān)鍵幀相當(dāng)于給模型加了一個(gè)長(zhǎng)時(shí)記憶的錨點(diǎn)。我實(shí)測(cè)用Wan3.0生成一段20秒左右的連續(xù)鏡頭角色面部特征在前15秒基本保持穩(wěn)定到18秒之后開始有輕微變化但整體可接受。這個(gè)表現(xiàn)放在半年前是不可想象的。2.2 敘事連貫性的真正瓶頸是意圖保持比畫面漂移更麻煩的是敘事意圖的丟失。舉個(gè)例子你輸入一個(gè)人走進(jìn)咖啡館坐下拿起菜單翻看前5秒模型可能老老實(shí)實(shí)讓人走進(jìn)門但到了第10秒它可能已經(jīng)忘了咖啡館這個(gè)設(shè)定把場(chǎng)景漂移成了一個(gè)模糊的室內(nèi)空間。這不是畫面質(zhì)量問題是模型對(duì)故事線的理解和保持能力問題。我試過的一個(gè)有效技巧是在提示詞里用時(shí)間分段的方式明確敘事節(jié)點(diǎn)。比如不要寫一整句描述而是拆成0-8秒推門進(jìn)入環(huán)境是暖色調(diào)咖啡館8-18秒走到靠窗座位坐下18-30秒拿起菜單翻看鏡頭緩慢推近。這種寫法相當(dāng)于給模型一個(gè)時(shí)間軸上的路標(biāo)實(shí)測(cè)下來敘事連貫性提升非常明顯。MiniMax H3在導(dǎo)演模式Director下對(duì)這類分段提示詞的響應(yīng)比較好它能識(shí)別時(shí)間段和動(dòng)作的對(duì)應(yīng)關(guān)系而不是把所有描述混在一起理解。2.3 長(zhǎng)視頻的算力賬要提前算清楚這里必須說一個(gè)很現(xiàn)實(shí)的問題30秒視頻的生成成本不是5秒的6倍可能是10倍甚至更多。因?yàn)殚L(zhǎng)時(shí)建模需要保留更多的中間狀態(tài)顯存占用和計(jì)算量都是非線性增長(zhǎng)的。我在本地部署環(huán)境下測(cè)試時(shí)發(fā)現(xiàn)生成10秒視頻顯存占用大約在18GB左右到20秒就逼近30GB30秒的話單卡基本吃不消需要做分片生成再拼接。如果你打算走本地部署路線建議先確認(rèn)硬件底線。以MiniMax H3的本地部署為例官方推薦配置和實(shí)際跑起來的差距不小我整理了一個(gè)實(shí)測(cè)對(duì)照表視頻時(shí)長(zhǎng)最低顯存實(shí)測(cè)推薦顯存單次生成耗時(shí)參考5秒12GB16GB約40秒10秒18GB24GB約2分鐘20秒28GB40GB約5分鐘30秒需分片80GB或分片方案約10分鐘以上注意上表是基于中等分辨率1080P和標(biāo)準(zhǔn)采樣步數(shù)的實(shí)測(cè)數(shù)據(jù)開啟高分辨率或增加采樣步數(shù)會(huì)顯著增加顯存占用和耗時(shí)。不同硬件平臺(tái)如海光K100等的實(shí)際表現(xiàn)也有差異建議先跑短時(shí)長(zhǎng)測(cè)試再上長(zhǎng)視頻。分片生成再拼接是目前比較務(wù)實(shí)的方案。具體做法是把30秒拆成3段10秒每段之間保留2-3秒的重疊區(qū)域拼接時(shí)用重疊部分做過渡融合。這個(gè)方案的問題是拼接處可能出現(xiàn)畫面跳變需要手動(dòng)調(diào)過渡幀或者用后期軟件做平滑處理。我一般會(huì)在提示詞里讓相鄰兩段的結(jié)尾和開頭動(dòng)作有重疊比如第一段結(jié)尾是手伸向菜單第二段開頭是手已經(jīng)放在菜單上這樣拼接時(shí)動(dòng)作是連續(xù)的觀感會(huì)好很多。3. 2K畫質(zhì)路線分辨率上去了然后呢3.1 2K不只是像素多是細(xì)節(jié)邏輯要重寫把輸出分辨率從1080P提到2K像素?cái)?shù)量大約增加1.8倍。但模型面臨的挑戰(zhàn)遠(yuǎn)不止多算這些像素。在高分辨率下每一個(gè)區(qū)域都需要有合理的細(xì)節(jié)填充——皮膚紋理、布料編織、背景虛化里的光斑形狀這些在低分辨率下可以糊弄過去的東西到了2K就全暴露了。模型如果沒學(xué)好這些細(xì)節(jié)的生成邏輯輸出就會(huì)是高清的模糊看起來分辨率很高但放大一看全是涂抹感。MiniMax H3在2K輸出上的表現(xiàn)讓我比較意外。我測(cè)試了一段人物特寫鏡頭在2K分辨率下面部毛孔、睫毛、嘴唇紋理都有可辨識(shí)的細(xì)節(jié)不是那種AI常見的塑料臉。這背后應(yīng)該是訓(xùn)練數(shù)據(jù)里加入了大量高分辨率素材并且模型架構(gòu)上做了針對(duì)高頻細(xì)節(jié)的優(yōu)化。不過代價(jià)也很明顯生成速度比1080P慢了大約2.5倍顯存占用增加約60%。3.2 什么場(chǎng)景真的需要2K不是所有內(nèi)容都需要2K。我見過不少人盲目追求高分辨率結(jié)果生成成本翻了幾倍實(shí)際用的時(shí)候還是壓縮到1080P發(fā)布。判斷是否需要2K我的經(jīng)驗(yàn)是看三個(gè)條件最終輸出介質(zhì)是否支持高分辨率如果只是發(fā)社交媒體1080P完全夠用平臺(tái)還會(huì)二次壓縮。畫面中是否有大量細(xì)節(jié)需要保留產(chǎn)品特寫、紋理展示、文字標(biāo)識(shí)這類內(nèi)容2K的價(jià)值很大純風(fēng)景或人物中遠(yuǎn)景1080P和2K的觀感差異沒那么明顯。是否需要后期裁剪或放大如果你打算在后期做畫面裁切或者局部放大那前期用2K拍生成能保留更多余地。我自己的做法是先出1080P版本確認(rèn)構(gòu)圖和動(dòng)作沒問題確認(rèn)后再用同樣的提示詞跑2K版本做最終輸出。這樣避免在2K上反復(fù)抽卡浪費(fèi)算力。MiniMax H3支持在同一項(xiàng)目里切換分辨率重新生成這個(gè)工作流用起來比較順手。3.3 2K生成中的提示詞細(xì)節(jié)補(bǔ)償高分辨率下提示詞里對(duì)細(xì)節(jié)的描述也要相應(yīng)升級(jí)。1080P的時(shí)候你寫一件紅色毛衣就夠了2K的時(shí)候模型會(huì)追問什么材質(zhì)的紅毛衣粗針織還是細(xì)針織有沒有起球領(lǐng)口是什么形狀如果提示詞里不提供這些信息模型就會(huì)自己編編出來的細(xì)節(jié)不一定符合你的預(yù)期。我的經(jīng)驗(yàn)是2K生成時(shí)提示詞里至少要補(bǔ)充三類細(xì)節(jié)材質(zhì)描述如粗針織羊毛、光照條件如側(cè)逆光邊緣有輪廓光、鏡頭參數(shù)如85mm焦段淺景深。這三類信息能顯著提升2K輸出的可控性。實(shí)測(cè)下來加了這些描述的2K視頻一次通過率能從大概三成提升到六成以上。4. 兩條路線背后的技術(shù)取舍與模型選型4.1 為什么不能既要又要從技術(shù)角度看長(zhǎng)時(shí)連貫和高分辨率是兩個(gè)相互競(jìng)爭(zhēng)的目標(biāo)。長(zhǎng)時(shí)建模需要模型保留大量的時(shí)序狀態(tài)信息這些信息本身就占用顯存和計(jì)算資源高分辨率又要求模型在處理每一幀時(shí)維護(hù)更大的特征圖。兩者疊加資源需求是乘法關(guān)系而不是加法關(guān)系。在當(dāng)前硬件條件下大多數(shù)模型只能在一個(gè)方向上做到極致另一個(gè)方向做妥協(xié)。這就解釋了為什么會(huì)出現(xiàn)分叉Wan3.0把資源傾斜到了時(shí)序建模上在時(shí)長(zhǎng)和敘事連貫性上更有優(yōu)勢(shì)MiniMax H3則在畫面質(zhì)量和細(xì)節(jié)還原上投入更多2K輸出是它的強(qiáng)項(xiàng)。這不是誰優(yōu)誰劣的問題是定位不同。4.2 選型對(duì)照你的項(xiàng)目該站哪一隊(duì)我把常見的使用場(chǎng)景和對(duì)應(yīng)的模型傾向整理了一下方便快速判斷場(chǎng)景類型核心需求推薦傾向理由短劇/故事分鏡敘事連貫、動(dòng)作完整長(zhǎng)時(shí)路線如Wan3.0鏡頭不中斷比單幀畫質(zhì)更重要電商產(chǎn)品展示細(xì)節(jié)清晰、材質(zhì)還原高分辨率路線如MiniMax H3 2K產(chǎn)品紋理和標(biāo)識(shí)必須看得清影視預(yù)演構(gòu)圖準(zhǔn)確、運(yùn)鏡合理兩者均可優(yōu)先看項(xiàng)目階段預(yù)演階段重?cái)⑹露ǜ咫A段重畫質(zhì)社交媒體短視頻快速產(chǎn)出、觀感流暢1080P長(zhǎng)時(shí)路線平臺(tái)壓縮后畫質(zhì)差異縮小廣告TVC畫質(zhì)優(yōu)先、時(shí)長(zhǎng)可控2K路線分段生成畫質(zhì)要求高時(shí)長(zhǎng)通常較短這個(gè)表不是絕對(duì)的實(shí)際選型還要看你的具體預(yù)算、時(shí)間要求和硬件條件。但大方向上的判斷邏輯是清晰的敘事優(yōu)先選長(zhǎng)時(shí)畫質(zhì)優(yōu)先選高分。4.3 多模型協(xié)作的實(shí)際工作流有意思的是這兩個(gè)路線并不是非此即彼。我最近在嘗試一種協(xié)作工作流用長(zhǎng)時(shí)模型如Wan3.0生成完整的敘事草稿確認(rèn)故事線和動(dòng)作節(jié)奏沒問題之后再把關(guān)鍵鏡頭用高分辨率模型如MiniMax H3 2K重新生成替換掉草稿里的對(duì)應(yīng)片段。這樣既保證了敘事連貫性又在關(guān)鍵畫面上拿到了高畫質(zhì)。這個(gè)工作流的關(guān)鍵是保持提示詞的一致性。草稿階段用的提示詞要完整保存重新生成時(shí)在此基礎(chǔ)上補(bǔ)充細(xì)節(jié)描述而不是重新寫一套。我一般會(huì)把草稿提示詞存成一個(gè)模板文件高分辨率重生成時(shí)只修改分辨率相關(guān)參數(shù)和細(xì)節(jié)補(bǔ)充部分這樣能最大程度保證兩次生成的畫面風(fēng)格一致。5. 實(shí)操中容易翻車的幾個(gè)細(xì)節(jié)5.1 長(zhǎng)視頻生成中的角色漂移怎么救前面提到長(zhǎng)視頻會(huì)出現(xiàn)角色特征漂移這個(gè)問題在實(shí)際項(xiàng)目中非常致命。我踩過的坑是生成了一段25秒的視頻前10秒角色是個(gè)短發(fā)女性到第20秒變成了中長(zhǎng)發(fā)衣服也從藍(lán)色變成了灰藍(lán)色。客戶看到直接打回來了。后來我總結(jié)了幾條應(yīng)對(duì)經(jīng)驗(yàn)。第一在提示詞里固定角色特征不要只寫一個(gè)女性要寫一個(gè)短發(fā)、圓臉、穿深藍(lán)色高領(lǐng)毛衣的女性特征描述越具體漂移越慢。第二使用參考圖如果模型支持圖生視頻傳一張角色參考圖進(jìn)去能大幅降低漂移概率。第三分段生成時(shí)保持角色描述完全一致不要這一段寫短發(fā)下一段寫齊耳短發(fā)模型會(huì)認(rèn)為是兩個(gè)不同的人。MiniMax H3在角色一致性上有一個(gè)角色鎖定功能實(shí)測(cè)能把20秒內(nèi)的角色特征漂移控制在可接受范圍內(nèi)。但這個(gè)功能會(huì)額外消耗算力生成時(shí)間增加約30%。值不值得用看你的項(xiàng)目對(duì)角色一致性的要求有多高。5.2 2K輸出的細(xì)節(jié)過載問題高分辨率不總是好事。我遇到過一種情況2K生成出來的畫面背景細(xì)節(jié)過于豐富反而搶了主體的視覺焦點(diǎn)。比如人物站在街上2K輸出把遠(yuǎn)處每一塊磚、每一個(gè)招牌都渲染得清清楚楚觀眾眼睛不知道該看哪里。這個(gè)問題在1080P下反而不明顯因?yàn)楸尘凹?xì)節(jié)被分辨率過濾掉了。到了2K所有東西都清晰就需要在提示詞里主動(dòng)做視覺引導(dǎo)。我的做法是在提示詞里加入景深控制比如背景虛化焦點(diǎn)在人物面部或者背景元素降低對(duì)比度。這樣模型在生成時(shí)會(huì)主動(dòng)弱化背景細(xì)節(jié)把視覺重心留給主體。5.3 本地部署的硬件匹配問題如果你打算本地部署跑這些模型硬件匹配是個(gè)繞不過去的坎。我測(cè)試過幾種不同的硬件組合發(fā)現(xiàn)一個(gè)規(guī)律顯存帶寬比顯存容量更影響生成速度。同樣24GB顯存帶寬高的卡生成速度能快40%以上。所以在選硬件的時(shí)候不要只看顯存大小帶寬參數(shù)同樣重要。另外不同模型對(duì)硬件的優(yōu)化程度不一樣。有些模型對(duì)特定硬件平臺(tái)如海光K100系列做了深度優(yōu)化跑起來效率明顯更高有些模型則更依賴通用GPU。建議在采購(gòu)硬件之前先查一下你打算用的模型有沒有針對(duì)該硬件的優(yōu)化版本或者有沒有社區(qū)實(shí)測(cè)數(shù)據(jù)可以參考。提示本地部署的首次環(huán)境配置往往比預(yù)期耗時(shí)更長(zhǎng)驅(qū)動(dòng)版本、依賴庫(kù)版本、模型權(quán)重格式任何一個(gè)環(huán)節(jié)不匹配都可能導(dǎo)致跑不起來。建議預(yù)留至少半天時(shí)間做環(huán)境調(diào)試不要指望下載完就能跑。6. 從提示詞到成片我的完整操作鏈路6.1 提示詞的分層寫法經(jīng)過這段時(shí)間的反復(fù)測(cè)試我形成了一套提示詞的分層寫法這里完整分享出來。第一層是場(chǎng)景層描述環(huán)境、時(shí)間、天氣、整體色調(diào)第二層是主體層描述角色或物體的外觀特征、材質(zhì)、狀態(tài)第三層是動(dòng)作層按時(shí)間順序描述動(dòng)作變化第四層是鏡頭層描述機(jī)位、焦段、運(yùn)鏡方式第五層是畫質(zhì)層描述分辨率、細(xì)節(jié)要求、風(fēng)格傾向。這五層寫下來提示詞會(huì)比較長(zhǎng)但實(shí)測(cè)效果比一句話描述好太多。以MiniMax H3為例生成5秒視頻的提示詞如果只寫一句話大概20-30個(gè)字就夠了但要想控制得精細(xì)寫到150-200字是常態(tài)。長(zhǎng)提示詞不會(huì)拖慢生成速度模型對(duì)提示詞長(zhǎng)度的處理是并行的但能顯著提升可控性。6.2 抽卡策略什么時(shí)候該重跑什么時(shí)候該調(diào)參AI視頻生成本質(zhì)上還是概率性的同一個(gè)提示詞跑兩次結(jié)果可能完全不同。我的策略是前三次純抽卡不做任何參數(shù)調(diào)整看看模型對(duì)這個(gè)提示詞的自然響應(yīng)范圍。如果三次都不行說明提示詞本身有問題需要回去改描述。如果三次里有一次方向?qū)α说?xì)節(jié)不對(duì)那就鎖定這個(gè)方向微調(diào)參數(shù)如采樣步數(shù)、引導(dǎo)強(qiáng)度再跑。最忌諱的是每次跑完都改一堆參數(shù)最后根本不知道是哪個(gè)參數(shù)起了作用。我一般一次只改一個(gè)變量改完跑兩次對(duì)比確認(rèn)有效再繼續(xù)調(diào)下一個(gè)。這樣雖然慢但能積累出可復(fù)用的參數(shù)經(jīng)驗(yàn)。6.3 后期拼接與過渡處理分段生成的視頻在拼接時(shí)過渡處理是決定成片質(zhì)量的關(guān)鍵。我常用的方法有三種交叉溶解適合場(chǎng)景變化不大的情況動(dòng)作匹配適合有連續(xù)動(dòng)作的情況遮擋過渡適合兩個(gè)片段之間有明顯差異需要掩蓋的情況。交叉溶解最簡(jiǎn)單但容易讓畫面顯得軟動(dòng)作匹配最自然但需要前期生成時(shí)就規(guī)劃好動(dòng)作銜接遮擋過渡最靈活可以用一個(gè)前景物體如走過的人、晃過的樹枝把拼接點(diǎn)蓋住觀眾注意力被轉(zhuǎn)移就不容易注意到跳變。我一般在前期分片生成時(shí)就會(huì)預(yù)留過渡空間比如每段結(jié)尾多生成2秒待機(jī)畫面給后期留出剪輯余地。7. 關(guān)于成本、效率與產(chǎn)出質(zhì)量的一些個(gè)人體會(huì)跑了一段時(shí)間下來我最大的體會(huì)是AI視頻生成目前還是一個(gè)概率游戲工程優(yōu)化的結(jié)合體。模型能力決定了上限但你的工作流設(shè)計(jì)決定了實(shí)際產(chǎn)出效率。同樣的模型有人一天出3條可用的片子有人一天出30條廢片差距不在模型在流程。成本方面如果走云端API路線30秒2K視頻的生成成本目前還比較高不適合大批量抽卡。我的做法是用低分辨率低時(shí)長(zhǎng)做創(chuàng)意驗(yàn)證確認(rèn)方向后再用高配置做最終輸出。這樣能把無效算力消耗降低一半以上。本地部署的話前期硬件投入不小但如果生成量大長(zhǎng)期算下來比按次付費(fèi)劃算。效率方面提示詞模板化是提速的關(guān)鍵。我把常用的場(chǎng)景、角色、鏡頭描述都做成了可替換的模塊寫新提示詞的時(shí)候直接拼裝不用每次從零開始。這個(gè)習(xí)慣讓我寫提示詞的時(shí)間從平均15分鐘降到了5分鐘以內(nèi)。最后說一個(gè)容易被忽略的點(diǎn)AI視頻生成不是終點(diǎn)是素材生產(chǎn)環(huán)節(jié)。生成出來的片段最終還是要進(jìn)剪輯軟件做節(jié)奏調(diào)整、配音配樂、調(diào)色包裝。把AI生成當(dāng)成拍攝環(huán)節(jié)來看待用影視制作的流程思維去組織產(chǎn)出質(zhì)量會(huì)穩(wěn)定很多。單獨(dú)看每一段生成視頻可能都有瑕疵但經(jīng)過剪輯和包裝之后觀眾感知到的是整體效果瑕疵會(huì)被稀釋。這個(gè)領(lǐng)域變化很快今天的分叉可能明天就被新的架構(gòu)統(tǒng)一了。但敘事和畫質(zhì)這兩個(gè)基本需求不會(huì)消失理解它們背后的技術(shù)邏輯和取舍關(guān)系比追某一個(gè)具體模型版本更有長(zhǎng)期價(jià)值。