1. 首頁 > 生活百科 > >

可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片

奧斯卡大疆dji

可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片

文章圖片

可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片

文章圖片

可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片

文章圖片

可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片

文章圖片




本文第一作者白健弘 ， 浙江大學26屆博士生 ， 研究方向為視頻生成 ， 目前正在尋找工業界全職崗位 。


作為視頻拍攝愛好者 ， 你是否曾因為設備限制無法完成想要實現的運鏡效果？例如想要將鏡頭上移拍攝風景的全貌 ， 但沒有入手拍攝無人機；又或是對拍攝素材很滿意 ， 但拍攝時手抖影響了成片質量 。 作為 AI 視頻創作者 ， 是否對于生成視頻的內容很滿意 ， 然而運鏡卻不盡人意？


為了解決以上問題 ， 可靈研究團隊提出了一種可將輸入視頻沿新相機軌跡重新運鏡的視頻生成模型 ReCamMaster 。 用戶可以上傳任意視頻并指定新相機拍攝軌跡 ， 實現已有視頻的重運鏡 。 該工作還發布了一個高質量多相機同步拍攝的視頻數據集 MultiCamVideo-Dataset ， 數據集和訓練、測試代碼均已開源 。


此外 ， ReCamMaster 在 4D 重建、視頻去抖動、自動駕駛、具身智能等領域有較強的應用價值 。





  • 論文標題：ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
  • 項目主頁：https://jianhongbai.github.io/ReCamMaster
  • 代碼：https://github.com/KwaiVGI/ReCamMaster
  • 論文：https://arxiv.org/abs/2503.11647


1.ReCamMaster 能力展示


a) 視頻重運鏡





b) 4D 場景重建


【可靈ReCamMaster在海外爆火，帶你從全新角度看好萊塢大片】


c) 視頻去抖動





d) 在自動駕駛、具身智能等場景作為數據生成器








可以觀察到 ， ReCamMaster 生成的視頻可以保持原視頻中的場景和動態 ， 并在不同場景有較好的泛化性 。 更多示例請訪問項目主頁：https://jianhongbai.github.io/ReCamMaster/


2.ReCamMaster 創新點


研究者表示 ， ReCamMaster 的主要創新點為：


  • 提出了一種新的簡單且有效的 video conditioning 范式 ， 性能較之前方法有大幅度提升 。
  • 發布了一個高質量多相機同步拍攝的視頻數據集 。 該數據集在相機可控的視頻生成、4D 重建等領域有較高的實用價值 。
  • 首次將單視頻的重運鏡效果做到準產品級的性能 ， 驗證了視頻生成模型在此類任務上的巨大潛力 。


3. ReCamMaster 算法解讀





如上圖所示 ， ReCamMaster 的核心創新點在于提出了一種新的 video conditioning 范式 ， 即將 condition video 與 target video 在 patchify 之后沿時間維度拼接 。 所提出的 video conditioning 范式較之前工作所常用的通道維度拼接有顯著的性能提升 。


4.MultiCamVideo 數據集


MultiCamVideo 數據集是使用 Unreal Engine 5 渲染的多攝像機同步視頻數據集 。 它包含 13600 個不同的動態場景 ， 每個場景由 10 個攝像機沿不同的相機軌跡拍攝 ， 總計 136000 個視頻 ， 112000 個不同的相機軌跡 。 MultiCamVideo 以 66 個不同的人物為 “主要拍攝對象” ， 93 種不同的人物動作 ， 和 37 個高質量 3D 環境作為背景 。 數據集示例如下：


5.ReCamMaster 實驗結果


視頻中研究者將 ReCamMaster 與最先進的方法進行了比較 ， ReCamMaster 較 baseline 有較大幅度的性能提升 。


6. 總結


在本文中 ， 研究者提出了 ReCamMaster ， 一種可將輸入視頻沿新相機軌跡重新運鏡的視頻生成模型 。 ReCamMaster 的核心創新點在于提出了一種簡單且有效的 video conditioning 范式 ， 其性能顯著優于 baseline 方法 。 此外、研究者還發布了多相機同步視頻數據集 MultiCamVideo-Dataset 用于相機可控的視頻生成、4D 重建等領域的研究 。


更多細節請參閱原論文 。

    推薦閱讀