WithAnyone重磅開源：這可能是你見過最自然的AI合照模型_GitHub|人工智能

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

和任何人，去任何地方！復旦大學攜手階躍星辰打破 “復制粘貼” 魔咒，重磅推出全新 AI 合照生成模型 WithAnyone —— 只需上傳照片，就能一鍵生成自然、真實、毫無違和感的 AI 合照！

WithAnyone 是什么？

WithAnyone 是一種個性化 AI 合照生成方法：給定一個人的一張照片， WithAnyone 可以生成 ta 的各種角度、各種表情；給定幾個人的各一張照片， WithAnyone 可以讓他們同框，生成一張毫無違和感的 AI 合照。

以往的方法，無論是現象級的 InstantID ，還是火出圈的 PuLID ，都面臨著一個困境：給它什么樣的表情、角度，它就生成什么表情、角度，做不到一點變化。

而 WithAnyone 打破了這一魔咒！真的可以拿 ID 一致性與 ID 可控性雙料冠軍。

WithAnyone 效果如何？

空口無憑，且看效果！

還有多人合照：

真可謂是相當驚艷了！

我們也試了一下更多人的場景：

三姐妹戴著同款墨鏡其樂融融，三兄弟西裝革履裝酷耍帥。

過去的模型想做到生成得像，全靠 “復制粘貼 “ ，參考圖的表情神態、頭部姿態，照搬到生成圖上，沒有一點變化。而 WithAnyone 生成的場景真正地做到了人物一致的同時，大伙和諧同框！

當前 ComfyUI 版本已經上線，工作流也有提供，可以輕松部署！

WithAnyone 如何打破魔咒？

正所謂發現問題，比解決問題更重要。

WithAnyone 的研究團隊正是發現了這一問題：AI 人像生成，生成得越來越像，甚至過于地像了 — 相似度甚至遠遠大于同一個人的不同真實照片！正所謂過猶不及，這便是他們要解決的問題。

要量化這個問題，團隊首先提出了 MultiID-Bench ，與配套的 “復制粘貼 “指標。

他們把 “生成結果到參考輸入的距離” 減去 “生成結果到目標輸出的距離” 作為復制粘貼的衡量，并發現當前的各種方法，落入了一個越像，就越復制粘貼的魔咒：他們清晰地形成了一條擬合直線。

【WithAnyone重磅開源：這可能是你見過最自然的AI合照模型】為了突破這個魔咒，研究團隊直面最本質的問題：數據與訓練。

以往的 AI 個性化生成，由于同一個人的多視角數據缺乏，往往采用 “重建” 的訓練方案：參考輸入圖，也是監督目標。而 WithAnyone 的研究團隊則收集了一個五十萬張多人合照，并為每張上的每個人，配了上百張不同角度、表情、光照的參考圖！另外還有百萬張未配對的合照，也一同并入了訓練數據。

這次的開源真的很重磅，模型、Benchmark、數據集，三花聚鼎。

有了如此強悍的訓練數據，便可定制化訓練流程。研究團隊先是通過傳統重建訓練，訓練出強大的基本能力，再通過成對數據訓練，與高質量數據微調，最終得到現在 WithAnyone 模型。

當然，模型結構和訓練目標上都有重大創新，我們總結了一下要點：

參考圖像編碼雙通道：每個參考通過人臉識別網絡（獲取身份判別向量）與通用圖像編碼器（捕獲中層視覺特征）分別編碼；人臉嵌入僅作用于對應人臉區域，避免跨臉信息泄露。
對比式學習：把 “正確的同一身份但風格 / 姿態不同的樣本” 拉近，把 “不同身份的樣本” 推遠；通過大量負樣本，模型學到 “識別同一人而非重復一張臉的能力” 。
度量與優化目標：除了常用的擴散 / 重構損失外，加入 ID-contrastive 與對齊到 ground-truth 的 ID 損失，平衡 “相似” 與 “變化” 的張力。

WithAnyone 如何體驗？

WithAnyone 已經全面開源。團隊提供了：代碼、模型權重、數據集樣例與評測基準（MultiID-Bench）的公開鏈接（論文內 project page / Hugging Face / GitHub），便于社區復現與擴展。還有 ComfyUI 支持，期待社區開發出更多玩法！

GitHub: https://github.com/Doby-Xu/WithAnyone
ComfyUI 倉庫: okdalto/ComfyUI-WithAnyone: ComfyUI version of WithAnyone
項目主頁: https://doby-xu.github.io/WithAnyone/
在線 Demo: https://huggingface.co/spaces/WithAnyone/WithAnyone_Demo

WithAnyone 不只是一次技術突破，更是一次讓 AI “懂得同框” 的嘗試，希望這項技術能讓每一張 AI 合照都充滿溫度與故事。從今天起，和任何人，去任何地方 —— 用 WithAnyone ，拍下屬于你的合照！