1. 首頁 > 生活百科 > >

刷新3D生成上限！一鍵生成精細到毛發的3D資產

機器人算法樂高

刷新3D生成上限！一鍵生成精細到毛發的3D資產

文章圖片

刷新3D生成上限！一鍵生成精細到毛發的3D資產

文章圖片

刷新3D生成上限！一鍵生成精細到毛發的3D資產

文章圖片


Ultra3D團隊 投稿
量子位 | 公眾號 QbitAI
在高質量3D生成需求日益增長的背景下 ， 如何高效生成結構精良、幾何精細的三維資產 ， 已成為AIGC和數字內容創作領域的關鍵挑戰 。
盡管近年來的3D生成方法發展迅速 ， 精度越來越高 ， 但現有框架在兼顧效率和質量上依然面臨瓶頸 ， 尤其是在高分辨率建模中 ， 計算的高復雜度嚴重制約了生成速度和應用落地 。
為解決上述困境 ， 南洋理工大學聯合數美萬物、西湖大學提出了Ultra3D：一種全新的3D生成框架 。

Ultra3D提出了一種 coarse-to-fine 的兩階段生成流程 ， 高效實現高分辨率三維資產建模 ， 刷新了3D生成質量的上限 。 在第一階段 ， Ultra3D 利用高效的 VecSet 表示快速生成 coarse mesh ， 并導出稀疏體素；在第二階段 ， 引入新提出局部化的 Part Attention ， 對每個體素進行細粒度特征建模 。
該機制僅在語義一致的局部區域內進行注意力計算 ， 大幅降低全局注意力的冗余計算 ， 有效提升生成效率 。 該方法支持1024分辨率輸出 ， 實現在保持高保真度的同時 ， 實現高達6.7×的加速比 ， 為三維資產的快速生成和下游應用提供了切實可行的解決方案 。

研究背景3D生成領域近年來進展迅猛 ， 稀疏體素憑借其對表面細節強大的建模能力成為了近來的各個SoTA方法普遍采用的3D表征 。
這一表征將3D物體編碼成稀疏體素以及與各個體素對應的latent token 。 其雖然表達能力非常強 ， 但由于其token數目巨大 ， 在高分辨率下往往過萬 ， 所以導致其計算效率很低 。
鑒于此 ， 之前的工作往往局限于一個較低的分辨率 ， 從而難以沖擊更高的質量 。 為解決這一問題 ， Ultra3D旨在提出一個全新的兼顧效率和質量的二階段生成pipeline ， 在不降低質量的情況下大幅加速了訓練和推理 ， 從而將其擴展到了更高的分辨率和更高的質量 。
方法概述Ultra3D 由一個二階段的Pipeline構成：第一階段通過緊湊高效的 VecSet 表征快速生成 coarse mesh ， 并據此體素化得到稀疏體素的結構布局；第二階段則基于該布局引入結構感知的 Part Attention ， 對每個體素進行 latent feature 精細建模 。

Part Attention 通過幾何對齊的語義分組 ， 僅在局部區域內計算注意力 ， 大幅減少計算冗余 ， 同時保持幾何連續性和細節質量 。 實驗顯示 ， Ultra3D 可在不犧牲生成質量的前提下 ， 實現3.3× 的整體加速 ， 并在多個指標上超越現有 SoTA 方法 ， 兼具速度與保真 。
Ultra3D的核心在于其新提出的part attention機制 ， sparse voxel這一表征雖然表達力很強 ， 但苦于其token數太大 ， 導致attention的計算開銷巨大 。
為解決這一問題 ， Ultra3D提出了一種專為3D設計的part attention ， 其將attention計算限制在同一個part group內 ， 避免了冗余的全局attention ， 從而在不降低質量的情況下大幅度地降低了計算壓力 。
一個簡單的替代方案是使用在大語言模型領域常用到的window attention ， 但如下圖所示 ， 實驗表明這種attention直接運用到3D中會導致質量的下降 。 這是因為其固定的分割模式與3D物體的語義并不吻合 。

與其他方法的對比實驗和user study表明 ， Ultra3D在生成質量上遠超了之前的SoTA方法 ， 能生產具有高精度細節的高分辨mesh 。 attention的ablation實驗也表明part attention是更加適用與3D生成的local attention機制 。
【刷新3D生成上限！一鍵生成精細到毛發的3D資產】

結語Ultra3D提出了一個兼顧效率與保真度的創新性3D生成框架 ， 成功突破了當前主流方法在分辨率和計算成本之間的權衡瓶頸 。
通過coarse-to-fine的雙階段設計 ， 以及結構感知的Part Attention機制 ， Ultra3D顯著提高了稀疏體素建模的效率 ， 在保持高質量輸出的同時實現了多倍加速 ， 支持高達1024分辨率的三維資產生成 。
這一方法不僅在多個定量指標上大幅超越現有SoTA方法 ， 在用戶主觀評價中也表現優異 ， 能夠真實還原復雜幾何結構和微小紋理細節 ， 如毛發、衣褶等 ， 展現出卓越的細節還原能力 。
更重要的是 ， Ultra3D具備良好的擴展性和通用性 ， 為數字內容創作、游戲建模、AR/VR、影視制作等多種下游應用提供了更快速、更高質的3D建模方案 。
隨著生成式AI向多模態和高保真內容生成不斷邁進 ， Ultra3D所展現出的性能和潛力 ， 標志著高分辨率3D生成進入了一個新階段 。
未來 ， Ultra3D有望進一步拓展到動畫、可編輯3D內容生成以及3D-4D一體化建模等更多復雜任務 ， 成為推動AIGC向更高維空間發展的關鍵技術基石 。
論文鏈接：https://arxiv.org/abs/2507.17745項目地址：https://buaacyw.github.io/ultra3d/
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們 ， 第一時間獲知前沿科技動態

    推薦閱讀