<blockquote>
<p>轉載自 微軟亞洲研究院</p>
<p>量子位 | 公眾號 QbitAI</p>
</blockquote>
<p>一張 2D 證件照，<strong>幾秒鐘</strong>就能設計出 3D 遊戲化身！</p>
<p>這是擴散模型在 3D 領域的最新成果。例如，只需一張法國雕塑家羅丹的舊照，就能分分鐘把他 “變” 進遊戲中：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/589b5d78f6ec4ac58b60bb4f62f911e8~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9S3EwNXhTUlY4ZVNiYzlxUTlMdEdheVFJeEtvPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="853" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/589b5d78f6ec4ac58b60bb4f62f911e8~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9S3EwNXhTUlY4ZVNiYzlxUTlMdEdheVFJeEtvPQ"/><p></p>
<p>△RODIN 模型基於羅丹舊照生成的 3D 形象</p>
</div>
<p>甚至只需要一句話就能修改裝扮和形象。告訴 AI 生成羅丹 “穿着紅色毛衣戴着眼鏡的造型”：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/fd848fa977ea4840912c4c0017363e68~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9a3ZMY3MrMWlwU3RKbmE5QUVsN0NjZ0pURnpVPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/fd848fa977ea4840912c4c0017363e68~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9a3ZMY3MrMWlwU3RKbmE5QUVsN0NjZ0pURnpVPQ"/></div>
<p>不喜歡大背頭？那就換成 “扎着辮子的造型”：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/dddd7421c94e4cafa286549572c720d2~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9K25qaVRta1hPSkQ2eDBXQmRyMDdyM2lDOWxRPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/dddd7421c94e4cafa286549572c720d2~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9K25qaVRta1hPSkQ2eDBXQmRyMDdyM2lDOWxRPQ"/></div>
<p>再試試換個髮色？這是 “棕色頭髮的時尚潮人造型”，連鬍子顏色都搞定了：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/88a06782f09c4969a35ab0bd9bcea4a3~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9bVM0N2p4WVgxQ1lMcUE5NGkzZ2VLaGVQV0d3PQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/88a06782f09c4969a35ab0bd9bcea4a3~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9bVM0N2p4WVgxQ1lMcUE5NGkzZ2VLaGVQV0d3PQ"/></div>
<p>（AI 眼中的 “時尚潮人”，確實有點潮過頭了）</p>
<p>上面這個最新的 3D 生成擴散模型 “羅丹” RODIN（Roll-out Diffusion Network），來自微軟亞洲研究院。</p>
<p>RODIN 也是首個利用生成擴散模型在 3D 訓練數據上自動生成 3D 數字化身（Avatar）的模型，論文目前已被<strong>CVPR 2023</strong>接收。</p>
<p>一起來看看。</p>
<h1>直接用 3D 數據訓練擴散模型</h1>
<p>這個 3D 生成擴散模型 “羅丹” RODIN 的名字，靈感來源於法國雕塑藝術家奧古斯特·羅丹（Auguste Rodin）。</p>
<p>此前 2D 生成 3D 圖像模型，通常用 2D 數據訓練生成對抗網絡（GAN）或變分自編碼器（VAE）得到，但結果往往不盡人意。</p>
<p>研究人員分析，造成這種現象的原因在於這些方法存在一個基礎的欠定（ill posed）問題。即由於單視角圖片存在幾何二義性，僅僅通過大量的 2D 數據，很難學到高質量 3D 化身的合理分佈，導致生成效果不好。</p>
<p>因此，他們這次嘗試<strong>直接用 3D 數據來訓練擴散模型</strong>，主要解決了三個難題：</p>
<ul>
<li>首先，如何用擴散模型生成 3D 模型多視角圖。此前擴散模型在 3D 數據上沒有可參考實踐方法和可遵循前例。</li>
<li>其次，高質量和大規模 3D 圖像數據集很難獲取，且存在隱私版權風險，但網絡公開 3D 圖像無法保證多視圖一致性。</li>
<li>最後， 2D 擴散模型直接拓展成 3D 生成，所需的內存、存儲與計算開銷極大。</li>
<li></li>
</ul>
<p>為了解決這三個難題，研究人員提出了 “AI 雕塑家” RODIN 擴散模型，超越了現有模型的 SOTA 水平。</p>
<p>RODIN 模型採用神經輻射場（NeRF）方法，借鑑英偉達的 EG3D 工作，將 3D 空間緊湊地表達為空間三個互相垂直的特徵平面（Triplane），並將這些圖展開至單個 2D 特徵平面中，再執行 3D 感知擴散。</p>
<p>具體而言，就是將 3D 空間在橫、縱、垂三個正交平面視圖上以二維特徵展開，這樣不僅可以讓 RODIN 模型使用高效的 2D 架構進行 3D 感知擴散，而且將 3D 圖像降維成 2D 圖像也大幅降低了計算複雜度和計算成本。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f60884cc3f2a46909e31143998fd549f~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9bWdFclMzTHhGRmxiS0pHN0JadFZCYU80Y1I4PQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="402" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f60884cc3f2a46909e31143998fd549f~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9bWdFclMzTHhGRmxiS0pHN0JadFZCYU80Y1I4PQ"/><p></p>
<p>△3D 感知卷積高效處理 3D 特徵</p>
</div>
<p>上圖左邊，用三平面（triplane）表達 3D 空間，此時底部特徵平面的特徵點對應於另外兩個特徵平面的兩條線；上圖右邊，則引入 3D 感知卷積處理展開的 2D 特徵平面，同時考慮到三個平面的三維固有對應關係。</p>
<p>具體而言，實現 3D 圖像的生成需要三個關鍵要素：</p>
<p><strong>其一，3D 感知卷積，確保降維後的三個平面的內在關聯。</strong></p>
<p>傳統 2D 擴散中使用的 2D 卷積神經網絡（CNN），並不能很好地處理 Triplane 特徵圖。</p>
<p>3D 感知卷積並不是簡單生成三個 2D 特徵平面，而是在處理這樣的 3D 表達時，考慮了其固有的三維特性，即三個視圖平面中其中一個視圖的 2D 特徵本質上是 3D 空間中一條直線的投影，因此與其他兩個平面中對應的直線投影特徵存在關聯性。</p>
<p>為了實現跨平面通信，研究員們在卷積中考慮了這樣的 3D 相關性，因此高效地用 2D 的方式合成 3D 細節。</p>
<p><strong>其二，隱空間協奏三平面 3D 表達生成。</strong></p>
<p>研究員們通過隱向量來協調特徵生成，使其在整個三維空間中具有全局一致性，從而獲得更高質量的化身並實現語義編輯。</p>
<p>同時，還通過使用訓練數據集中的圖像訓練額外的圖像編碼器，該編碼器可提取語義隱向量作為擴散模型的條件輸入。</p>
<p>這樣，整體的生成網絡可視為自動編碼器，用擴散模型作為解碼隱空間向量。對於語義可編輯性，研究員們採用了一個凍結的 CLIP 圖像編碼器，與文本提示共享隱空間。</p>
<p><strong>其三，層級式合成，生成高保真立體細節。</strong></p>
<p>研究員們利用擴散模型，先生成了一個低分辨率的三視圖平面（64×64），然後再通過擴散上採樣生成高分辨率的三平面（256×256）。</p>
<p>這樣，基礎擴散模型集中於整體 3D 結構生成，而後續上採樣模型專注於細節生成。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/af24850b8fe44c05a07c3b6659aa9286~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9b1MwNWVySzBhRzNzMmtybmE1Q0dGeGR3ZGw4PQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="312" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/af24850b8fe44c05a07c3b6659aa9286~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9b1MwNWVySzBhRzNzMmtybmE1Q0dGeGR3ZGw4PQ"/><p></p>
<p>△RODIN 模型概述</p>
</div>
<h1>基於 Blender 生成大量隨機數據</h1>
<p>在<strong>訓練數據集</strong>上，研究員們藉助開源的三維渲染軟件 Blender，通過隨機組合畫師手動創建的虛擬 3D 人物圖像，再加上從大量頭髮、衣服、表情和配飾中隨機採樣，進而創建了 10 萬個合成個體，同時為每個個體渲染出了 300 個分辨率為 256*256 的多視圖圖像。</p>
<p>在文本到 3D 頭像的生成上，研究員們採用了 LAION-400M 數據集的人像子集，訓練從輸入模態到 3D 擴散模型隱空間的映射，最終讓 RODIN 模型只使用一張 2D 圖像或一句文字描述，就能創建出逼真的 3D 頭像。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a08ca76f18bf42aaa16973dfa168b8ff~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9aUVpS2p0ZkhkQ2dFczRPTk84NjhvOWd1ZUpvPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="850" height="396" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a08ca76f18bf42aaa16973dfa168b8ff~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9aUVpS2p0ZkhkQ2dFczRPTk84NjhvOWd1ZUpvPQ"/><p></p>
<p>△給定一張照片生成虛擬形象</p>
</div>
<p>不僅能一句話改變形象，如 “留捲髮和大鬍子穿着黑色皮夾克的男性”：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/7c2d1566e8984551a1d6bbdf7c10fd32~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9b1p4aHVVQkgySmZzL2cvWkJxeU90OGNqWlNzPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/7c2d1566e8984551a1d6bbdf7c10fd32~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9b1p4aHVVQkgySmZzL2cvWkJxeU90OGNqWlNzPQ"/></div>
<p>甚至連性別都能隨意更換，“紅色衣着非洲髮型的女性”：（手動狗頭）</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/3595815d37254a92be1323661e09e751~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9Qm1qTW9jV2VlallzS2ZPL0JnUlhoRWR5OS9vPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="480" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/3595815d37254a92be1323661e09e751~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9Qm1qTW9jV2VlallzS2ZPL0JnUlhoRWR5OS9vPQ"/></div>
<p>研究人員也給出了一個應用 Demo 示範，創建自己的形象只需要幾個按鈕：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/00ef0e484bc647469e1d1f904977b818~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9MDB2NVZ4MnZRemNkazl4ZE9PRHM2YnJuMkkwPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/00ef0e484bc647469e1d1f904977b818~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9MDB2NVZ4MnZRemNkazl4ZE9PRHM2YnJuMkkwPQ"/><p></p>
<p>△利用文字做 3D 肖像編輯</p>
</div>
<p>更多效果可以戳項目地址查看～</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/0f4ffd66c21b4d858adfb2b33b15a7d7~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9VytWbGhDSDU4Zm8yWk0waTVyWXRTKytZOElzPQ?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/0f4ffd66c21b4d858adfb2b33b15a7d7~noop.image/query-X2l6PTU4NTU4JmZyb209YXJ0aWNsZS5wY19kZXRhaWwmeC1leHBpcmVzPTE2Nzk3MjA2ODMmeC1zaWduYXR1cmU9VytWbGhDSDU4Zm8yWk0waTVyWXRTKytZOElzPQ"/><p></p>
<p>△更多隨機生成的虛擬形象</p>
</div>
<p>做出了 RODIN 後，團隊接下來的計劃是？</p>
<p>據微軟亞洲研究院作者們表示，目前 RODIN 的作品還主要停留在<strong>3D 半身人像</strong>上，這也與它主要採用人臉數據訓練有關，但 3D 圖像生成需求不僅侷限於人臉上。</p>
<p>下一步，團隊將會考慮嘗試用 RODIN 模型創建更多 3D 場景，包括花草樹木、建築、汽車家居等，實現 “一個模型生成 3D 萬物” 的終極目標。</p>
<p>論文地址：<br/>
https://arxiv.org/abs/2212.06135</p>
<p>項目頁面：<br/>
https://3d-avatar-diffusion.microsoft.com</p>

證件照轉數字人只需幾秒鐘，微軟實現首個 3D 擴散模型高質量生成效果，換裝改形象一句話搞定 | CVPR 2023