<div id="readability-page-1"><blockquote>豐色 發自 凹非寺 量子位 | 公眾號 QbitAI</blockquote> 只需 2 張圖片，無需測量任何額外數據—— 噹噹，一個完整的 3D 小熊就有了： <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="284" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg"/> </div> </div> </figure> 這個名為DUSt3R的新工具，火得一塌糊塗，才上線沒多久就登上GitHub 熱榜第二。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic1.zhimg.com/v2-f47e870ed5209d10e1458f4113c0cc7c_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="437" original-src="https://imageproxy.pbkrs.com/https://pic1.zhimg.com/v2-f47e870ed5209d10e1458f4113c0cc7c_b.jpg"/> </figure> 有網友實測，拍兩張照片，真的就重建出了他家的廚房，整個過程耗時不到 2 秒鐘！ （除了 3D 圖，深度圖、置信度圖和點雲圖它都能一併給出） <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="284" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/e6ffcc8ca05f6110ba271f0342b73879.jpeg"/> </div> </div> </figure> 驚得這位朋友直呼： <blockquote>大夥先忘掉 sora吧，這才是我們真正看得見摸得着的東西。</blockquote> <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-6d854d047b47dd651b5215d199ed1e07_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="1102" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-6d854d047b47dd651b5215d199ed1e07_b.jpg"/> </figure> 實驗顯示，DUSt3R 在單目/多視圖深度估計以及相對位姿估計三個任務上，均取得 SOTA。 作者團隊（來自芬蘭阿爾託大學 +NAVER LABS 人工智能研究所歐洲分所）的 “宣語” 也是氣勢滿滿： <blockquote>我們就是要讓天下沒有難搞的 3D 視覺任務。</blockquote> 所以，它是如何做到？ <h2>“all-in-one”</h2> 對於多視圖立體重建（MVS）任務來説，第一步就是估計相機參數，包括內外參。 這個操作很枯燥也很麻煩，但對於後續在三維空間中進行三角測量的像素不可或缺，而這又是幾乎所有性能比較好的 MVS 算法都離不開的一環。 在本文研究中，作者團隊引入的 DUSt3R 則完全採用了截然不同的方法。 它不需要任何相機校準或視點姿勢的先驗信息，就可完成任意圖像的密集或無約束 3D 重建。 在此，團隊將成對重建問題表述為點圖迴歸，統一單目和雙目重建情況。 在提供超過兩張輸入圖像的情況下，通過一種簡單而有效的全局對準策略，將所有成對的點圖表示為一個共同的參考框架。 如下圖所示，給定一組具有未知相機姿態和內在特徵的照片，DUSt3R 輸出對應的一組點圖，從中我們就可以直接恢復各種通常難以同時估計的幾何量，如相機參數、像素對應關係、深度圖，以及完全一致的 3D 重建效果。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-10b7249a2cedbdf62335e222bdd4b7e1_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="235" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-10b7249a2cedbdf62335e222bdd4b7e1_b.jpg"/> </figure> （作者提示，DUSt3R 也適用於單張輸入圖像） 具體網絡架構方面，DUSt3R 基於的是標準 Transformer 編碼器和解碼器，受到了 CroCo（通過跨視圖完成 3D 視覺任務的自我監督預訓練的一個研究）的啓發，並採用簡單的迴歸損失訓練完成。 如下圖所示，場景的兩個視圖（I1，I2）首先用共享的 ViT 編碼器以連體（Siamese）方式進行編碼。 所得到的 token 表示（F1 和 F2）隨後被傳遞到兩個 Transformer 解碼器，後者通過交叉注意力不斷地交換信息。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-12e5e04f7da35b23dc3eaa0c6e17c4c3_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="268" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-12e5e04f7da35b23dc3eaa0c6e17c4c3_b.jpg"/> </figure> 最後，兩個迴歸頭輸出兩個對應的點圖和相關的置信圖。 重點是，這兩個點圖都要在第一張圖像的同一座標系中進行表示。 <h2>多項任務獲 SOTA</h2> 實驗首先在 7Scenes（7 個室內場景）和 Cambridge Landmarks（8 個室外場景）數據集上評估 DUSt3R 在絕對姿態估計任務上性能，指標是平移誤差和旋轉誤差（值越小越好）。 作者表示，與現有其他特徵匹配和端到端方法相比，DUSt3R 表現算可圈可點了。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-53f4e1b3c68c571f1561487fd7d71663_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="378" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-53f4e1b3c68c571f1561487fd7d71663_b.jpg"/> </figure> 因為它一從未接受過任何視覺定位訓練，二是在訓練過程中，也沒有遇到過查詢圖像和數據庫圖像。 其次，是在 10 個隨機幀上進行的多視圖姿態迴歸任務。結果 DUSt3R 在兩個數據集上都取得了最佳效果。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-5dcfd5078e58d1bf7f1a5b1e337f6c22_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="806" height="364" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-5dcfd5078e58d1bf7f1a5b1e337f6c22_b.jpg"/> </figure> 而單目深度估計任務上，DUSt3R 也能很好地 hold 室內和室外場景，性能優於自監督基線，並與最先進的監督基線不相上下。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-78823ef69bffc3482ff8171691e79892_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1062" height="404" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-78823ef69bffc3482ff8171691e79892_b.jpg"/> </figure> 在多視圖深度估計上，DUSt3R 的表現也可謂亮眼。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-f67b5b3ae334f13e0150c24797c757ef_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1020" height="608" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-f67b5b3ae334f13e0150c24797c757ef_b.jpg"/> </figure> 以下是兩組官方給出的 3D 重建效果，再給大夥感受一下，都是僅輸入兩張圖像： （一） <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-022e805661f2ab3fb3ce907502d9b51d_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="508" height="710" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-022e805661f2ab3fb3ce907502d9b51d_b.jpg"/> </figure> （二） <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-4df56f7c786335a86684ef28e5fe93c7_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="688" height="932" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-4df56f7c786335a86684ef28e5fe93c7_b.jpg"/> </figure> <h2>網友實測：兩張圖無重疊也行</h2> 有網友給了 DUSt3R 兩張沒有任何重疊內容的圖像，結果它也在幾秒內輸出了準確的 3D 視圖： <figure> <div> <div><img src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9f9f4d4f51d1aa9f1dcdef53f1acc7bb.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="720" height="790" original-src="https://imageproxy.pbkrs.com/https://www.qbitai.com/wp-content/uploads/replace/9f9f4d4f51d1aa9f1dcdef53f1acc7bb.jpeg"/> </div> </div> </figure> （圖片是他的辦公室，所以肯定沒在訓練中見過） <figure> <img src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-5b876a8dafd9e4c927e00c2b37ed6d4b_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="806" original-src="https://imageproxy.pbkrs.com/https://pic4.zhimg.com/v2-5b876a8dafd9e4c927e00c2b37ed6d4b_b.jpg"/> </figure> 對此，有網友表示，這意味着該方法不是在那進行 “客觀測量”，而是表現得更像一個 AI。 <figure> <img src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-6c6a5ae70006e7033fc82ba30cac0156_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="321" original-src="https://imageproxy.pbkrs.com/https://pic3.zhimg.com/v2-6c6a5ae70006e7033fc82ba30cac0156_b.jpg"/> </figure> 除此之外，還有人好奇當輸入圖像是兩個不同的相機拍的時，方法是否仍然有效？ 有網友還真試了，答案是yes! <figure> <img src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-fe1f9f52bd49fd442063191c5f5a1d71_b.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="315" original-src="https://imageproxy.pbkrs.com/https://pic2.zhimg.com/v2-fe1f9f52bd49fd442063191c5f5a1d71_b.jpg"/> </figure> 傳送門： [1] 論文https://arxiv.org/abs/2312.14132 [2] 代碼https://github.com/naver/dust3r 參考鏈接： [1]https://dust3r.europe.naverlabs.com/ [2]https://twitter.com/janusch_patas/status/1764025964915302400</div>

這款名為 DUSt3R 的 AI 工具在 GitHub 上火爆，只需要兩張圖片就能重建出 3D 模型，耗時不到 2 秒鐘。它在單目/多視圖深度估計以及相對位姿估計任務上取得了最先進的成果。DUSt3R 不需要相機校準或視點姿勢的先驗信息，能夠完成任意圖像的密集或無約束 3D 重建。通過點圖迴歸和全局對準策略，它可以恢復相機參數、像素對應關係、深度圖等幾何量。

2 張圖 2 秒鐘 3D 重建！這款 AI 工具火爆 GitHub，網友：忘掉 Sora