Meta 釋放“AI 視覺 GPT 時刻”：SAM 3D 一鍵重建世界，SAM 3 引爆影像分割革命

智東西 11 月 20 日報道——Meta 今日正式推出全新 3D 重建模型家族 SAM 3D，包括面向物體與場景重建的 SAM 3D Objects，以及人體三維估計模型 SAM 3D Body。
更震撼的是，新模型只需使用者 在影像上點選一下，就能從一張 2D 照片中直接扣出一個 可 360° 觀看、幾乎無破綻的 3D 模型。

與此同時，備受關注的 SAM 3（下一代 2D 分割模型）也同步釋出，引入了極具突破性的 「可提示概念分割」。
Meta 的最新動作被業內形容為 “計算機視覺的 ChatGPT 時刻”。

🧩 01. SAM 3D：點選一下，從 2D 到 3D

SAM（Segment Anything Model）一直是分割模型的行業標杆。此前開源的 SAM 1 / SAM 2 已經統治了 2D 分割領域。

如今推出的 SAM 3D Objects 可以從自然影像中自動完成三維重建：

• 一張影像 → 一個完整的 3D 網格模型
• 能重建形狀、紋理、姿態
• 360° 旋轉幾乎看不到破綻
• 小物體、遮擋、逆視角也能處理

為突破傳統 3D 資料稀缺的瓶頸，Meta 構建了史上最大規模 3D 標註體系：

🔹 近百萬張影像

🔹 314 萬個 3D 網格模型

🔹 結合“眾包 + 專家 3D 藝術家”的混合標註方式

🔹 自建 SA-3DAO 藝術家級資料集提升基準難度

更創新的是，它借鑑大模型訓練思路，將 大規模合成數據的預訓練 與 真實資料微調 結合，形成資料與模型互相強化的閉環。

效能測試中，SAM 3D Objects 以 5:1 的人類偏好比碾壓現有競品，並能在 幾秒內完成全紋理 3D 重建，讓即時 3D 應用（如機器人視覺）真正可行。

🧍 02. SAM 3D Body：可控的人體三維重建

SAM 3D Body 專注於人體三維姿態與體型估計，即使面對：

• 異常姿勢
• 遮擋
• 多人場景
• 複雜服飾

依然能穩定輸出高精度 3D 人體模型。

核心是 Meta 提出的 MHR（Meta Momentum Human Rig）開源人體網格格式，將骨骼結構與軟組織形狀解耦，增強可解釋性。

它支援提示輸入（提示掩碼、關鍵點等），讓三維結果更可控、更易互動。

資料方面，SAM 3D Body 使用了：

• 數十億張影像
• 多機位高質量影片
• 專業級合成數據
• 自動化 3D 資料引擎篩選稀有姿態

最終形成 約 800 萬張高質量訓練樣本。

測試表明，該模型在多項人體基準上全面領先，但目前仍不支援多人互動、物體接觸推理，未來版本將進一步補齊。

🎨 03. SAM 3：影像分割“進化成語言模型”

相比 3D 系列，SAM 3 是 Meta 對 2D 分割的重大升級。

🧠 最大突破：支援“概念級提示分割”

傳統分割只能識別預設類別，而 SAM 3 能理解：

• “狗”“大象”“斑馬”
• “動物”這種泛概念
• “穿黑外套、戴白帽子的人”這樣的複合描述
• “紅色條紋傘”這類細粒度概念

它幾乎具備類似語言模型的泛化與理解能力。

為此，Meta 釋出了 SA-Co（Segment Anything with Concepts） 大詞彙量基準，用於檢驗開放式概念分割能力。

SAM 3 的提示形式多樣：

• 文本輸入
• 示例影像
• 掩碼 / 框選等視覺提示

測試顯示：

• SAM 3 在 SA-Co 中的概念分割效能提升 約 100%
• 使用者偏好測試中，相比強勁對手 OWLv2 的優勢達到 3:1
• 在舊任務（如 SAM 2 分割、零樣本 LVIS、目標計數）中也保持領先

資料構建方式也全面進化：

Meta 使用 “AI + 人類”混合標註流水線：

• SAM 3 + Llama 3.2v 先生成初稿
• 人類和 AI 註釋者共同完善
• AI 註釋速度比人類快 4 倍

同時利用 Wikipedia 概念本體擴充套件稀有概念的覆蓋範圍。

⚙️ 04. 開源、架構、應用：從實驗室到 Facebook 市場

Meta 已將 SAM 3D 與 SAM 3 全面開放：

• 資料集
• 模型檢查點
• 推理程式碼
• 引數化人體模型（MHR）
• 微調工具

架構上，SAM 3 整合了多項先進元件：

• Meta Perception Encoder
• DETR 檢測器
• SAM 2 記憶模組用於跟蹤
• 統一模型實現檢測 + 分割 + 跟蹤，不衝突且高效

更重要的是，Meta 已將模型直接接入產品鏈路：

🛋️ Facebook Market 上線“房間檢視”功能

使用者可以買傢俱前直接用 SAM 3D 在家中虛擬擺放，判斷風格與合適度。

這意味著 SAM 技術首次進入真正的商業落地階段。