近期，索貝媒體智能實驗室MIL在國際學(xué)術(shù)期刊IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)發(fā)表技術(shù)創(chuàng)新成果，提出了一種利用免訓(xùn)練擴散模型生成高質(zhì)量過渡視頻的方法(《TVG: A Training-free Transition Video Generation Method with Diffusion Models》)，其解決了在過渡視頻制作中，幀間關(guān)系建模薄弱與內(nèi)容突變等挑戰(zhàn)，顯著提升了視覺敘事的流暢性與連貫性。值得一提的是，IEEE TCSVT屬視頻圖像技術(shù)領(lǐng)域國際頂級期刊、中科院一區(qū)期刊，影響因子8.3。

　　視頻過渡(連接場景的視覺效果)對影視、廣告等視覺敘事至關(guān)重要。傳統(tǒng)變形(morphing)技術(shù)往往過渡生硬、藝術(shù)表現(xiàn)力欠缺并且對專業(yè)技能要求較高。盡管最新的AI視頻生成模型已經(jīng)表現(xiàn)出非凡的內(nèi)容創(chuàng)作潛力，但其在處理過渡效果時仍存在畫面跳變、運動不連貫等問題。

　　“過渡視頻生成的關(guān)鍵難題在于建模過渡過程中，幀間呈現(xiàn)的復(fù)雜動態(tài)關(guān)系”，索貝MIL負責(zé)人指出，“現(xiàn)有擴散模型擅長基于文本生成單幀視頻或短視頻，但難以確保起始圖像到目標圖像的過渡序列具備視覺連貫性與動態(tài)平滑性。”

　　該論文提出的一種免訓(xùn)練過渡視頻生成(TVG)方法，利用視頻級擴散模型，通過三大創(chuàng)新技術(shù)攻克上述難題：

　　高斯過程回歸(GPR)實現(xiàn)平滑流：利用GPR智能建模視頻級擴散模型的隱空間(AI內(nèi)部表征)，如同精密預(yù)測引擎，確保過渡效果平滑演進，消除畫面突變

　　插值條件控制增強可靠性：通過基于插值的條件控制機制，精準引導(dǎo)場景轉(zhuǎn)換路徑，提升生成結(jié)果的可預(yù)測性

　　頻域雙向融合保障一致性：創(chuàng)新性“頻域感知雙向融合”(FBiF)架構(gòu)雙向校驗過渡序列，同步優(yōu)化高頻細節(jié)(如銳利邊緣)與低頻元素(如色彩形態(tài))的跨幀一致性

　　該方法直接應(yīng)用預(yù)訓(xùn)練視頻擴散模型實現(xiàn)突破，無需任何微調(diào)或再訓(xùn)練。這一特性使得技術(shù)具備高度易用性與產(chǎn)業(yè)實踐價值。在對標準測試集及定制圖像上的評估證實，TVG優(yōu)于現(xiàn)有方案，該項研究成果將進一步加強索貝智能編輯產(chǎn)品的AIGC能力。

　　索貝媒體智能實驗室自2016年成立以來，結(jié)合視聽場景應(yīng)用、堅持核心算法突破，在自然語言處理、計算機視覺、機器學(xué)習(xí)等AI領(lǐng)域展開深入研究。在學(xué)術(shù)層面，實驗室不僅發(fā)表了數(shù)十篇SCI論文，還取得了諸多專利和軟件著作權(quán)，展示了其在媒體智能研究中的深厚實力;在工程實踐層面，索貝成功將研究成果應(yīng)用于多個平臺級產(chǎn)品的開發(fā)中，如VIDA、智能媒資、明眸語言模型等。