一顆GPU，秒出3D模型！OpenAI重磅新作：Point-E用文本即可生成三維點(diǎn)云模型( 二 ) _點(diǎn)云

Point-E架構(gòu)與運(yùn)行機(jī)制

Point-E模型首先使用文本到圖像的擴(kuò)散模型生成一個(gè)單一的合成視圖，然后使用第二個(gè)擴(kuò)散模型生成一個(gè)三維點(diǎn)云，該模型以生成的圖像為條件。
雖然該方法在采樣質(zhì)量方面仍未達(dá)到最先進(jìn)的水平，但它的采樣速度要快一到兩個(gè)數(shù)量級，為一些使用情況提供了實(shí)際的權(quán)衡。

下圖是該模型的一個(gè)high-level的pipeline示意圖：

文章插圖

我們不是訓(xùn)練單個(gè)生成模型，直接生成以文本為條件的點(diǎn)云，而是將生成過程分為三個(gè)步驟。
首先，生成一個(gè)以文本標(biāo)題為條件的綜合視圖。
接下來，生成?個(gè)基于合成視圖的粗略點(diǎn)云（1,024 個(gè)點(diǎn)）。
最后，生成了?個(gè)以低分辨率點(diǎn)云和合成視圖為條件的精細(xì)點(diǎn)云（4,096 個(gè)點(diǎn)）。
在數(shù)百萬個(gè)3D模型上訓(xùn)練模型后，我們發(fā)現(xiàn)數(shù)據(jù)集的數(shù)據(jù)格式和質(zhì)量差異很大，這促使我們開發(fā)各種后處理步驟，以確保更高的數(shù)據(jù)質(zhì)量。
為了將所有的數(shù)據(jù)轉(zhuǎn)換為?種通用格式，我們使用Blender從20個(gè)隨機(jī)攝像機(jī)角度，將每個(gè)3D模型渲染為RGBAD圖像（Blender支持多種3D格式，并帶有優(yōu)化的渲染引擎）。
對于每個(gè)模型，Blender腳本都將模型標(biāo)準(zhǔn)化為邊界立方體，配置標(biāo)準(zhǔn)照明設(shè)置，最后使用Blender的內(nèi)置實(shí)時(shí)渲染引擎，導(dǎo)出RGBAD圖像。
然后，使用渲染將每個(gè)對象轉(zhuǎn)換為彩色點(diǎn)云。首先，通過計(jì)算每個(gè)RGBAD圖像中每個(gè)像素的點(diǎn)，來為每個(gè)對象構(gòu)建?個(gè)密集點(diǎn)云。這些點(diǎn)云通常包含數(shù)十萬個(gè)不均勻分布的點(diǎn)，因此我們還使用最遠(yuǎn)點(diǎn)采樣，來創(chuàng)建均勻的4K點(diǎn)云。
通過直接從渲染構(gòu)建點(diǎn)云，我們能夠避免直接從3D網(wǎng)格中采樣可能出現(xiàn)的各種問題，對模型中包含的點(diǎn)進(jìn)行取樣，或處理以不尋常的文件格式存儲的三維模型。
最后，我們采用各種啟發(fā)式方法，來減少數(shù)據(jù)集中低質(zhì)量模型的頻率。
首先，我們通過計(jì)算每個(gè)點(diǎn)云的SVD來消除平面對象，只保留那些最小奇異值高于某個(gè)閾值的對象。
接下來，我們通過CLIP特征對數(shù)據(jù)集進(jìn)行聚類（對于每個(gè)對象，我們對所有渲染的特征進(jìn)行平均）。

文章插圖

我們發(fā)現(xiàn)，一些集群包含許多低質(zhì)量的模型類別，而其他集群則顯得更加多樣化或可解釋。
我們將這些集群分到幾個(gè)不同質(zhì)量的bucket中，并使用所得bucket的加權(quán)混合作為我們的最終數(shù)據(jù)集。

文章插圖

應(yīng)用前景

OpenAI 研究人員指出， Point-E的點(diǎn)云還可用于制造真實(shí)世界的物體，比如3D打印。
通過額外的網(wǎng)格轉(zhuǎn)換模型，該系統(tǒng)還可以進(jìn)入游戲和動(dòng)畫開發(fā)工作流程。
雖然目前的目光都集中在2D藝術(shù)生成器上，但模型合成人工智能可能是下一個(gè)重大的行業(yè)顛覆者。
3D模型廣泛應(yīng)用于影視、室內(nèi)設(shè)計(jì)、建筑和各種科學(xué)領(lǐng)域。

文章插圖

當(dāng)下3D模型的制造耗時(shí)通常需要幾個(gè)小時(shí)，而Point-E的出現(xiàn)恰恰彌補(bǔ)了這一缺點(diǎn) 。
研究人員表示現(xiàn)階段Point-E還存在許多缺陷，如從訓(xùn)練數(shù)據(jù)中繼承的偏差以及對于可能用于創(chuàng)建危險(xiǎn)物體的模型缺乏保護(hù)措施。
Point-E只是個(gè)起點(diǎn) ，他們希望它能激發(fā)文本到3D合成領(lǐng)域的「進(jìn)一步工作」。
參考資料：
https://techcrunch.com/2022/12/20/openai-releases-point-e-an-ai-that-generates-3d-models/?tpcc=tcplustwitter