BAG：一款由腾讯和香港中文大学联合提出的可穿戴3D资产生成框架

BAG（Body-Aligned 3D Wearable Asset Generation）是一种由腾讯和香港中文大学联合提出的可穿戴3D资产生成方法，它的核心思想是通过控制3D生成过程，利用人体形状和姿态信息来生成高质量的3D可穿戴资产。该方法首先训练一个单图像多视图图像扩散模型（Multiview Image Diffusion Model），并在大规模人体数据集（如Objaverse）上进行训练，以实现多样性和泛化能力。随后，通过Controlnet引导多视图生成器，生成与人体姿态一致的多视图图像。这些图像经过扩散模型处理后，生成符合人体姿态的3D可穿戴资产。

BAG的功能特点：

1、多视图图像扩散模型：

– BAG构建了一个通用的单图像到多视图图像扩散模型，能够在大型数据集上进行训练，生成多样化的3D资产。

2、与人体对齐的生成能力：

– 通过控制网引导生成器，利用目标人体的多视图2D投影信息，生成与人体对齐的多视图图像。

3、物理模拟与穿透解决：

– 利用物理模拟器解决资产与人体之间的穿透问题，确保3D资产能够自然地贴合人体。

4、高质量3D资产生成：

– 实验结果表明，BAG在图像快速跟踪能力、形状多样性和形状质量方面优于现有方法。

5、广泛的应用场景：

– BAG可用于影视制作、游戏开发、虚拟现实等领域，帮助快速生成高质量的可穿戴3D资产。

BAG的应用场景：

1、虚拟试穿：用户可以通过BAG生成符合其体型和姿态的服装，实现虚拟试穿体验。

2、游戏开发：为游戏角色提供多样化的装备和服装，提升游戏的真实感和沉浸感。

3、数字时尚：设计师可以利用BAG快速生成符合潮流趋势的3D服装和配饰，用于虚拟时装秀或数字资产管理。

BAG的技术优势：

1、高效性：通过扩散模型和Controlnet的结合，BAG能够在短时间内生成高质量的3D资产。

2、可扩展性：支持多种输入方式和自定义模板，满足不同用户的需求。

3、实用性：生成的3D资产可以直接用于虚拟现实（VR）和增强现实（AR）场景中，提升用户体验。

BAG的项目地址：

1、项目官网：https://bag-3d.github.io/

2、arXiv技术论文：https://arxiv.org/pdf/2501.16177