AvatarGO：一款由香港大学等联合推出4D人物交互生成和动画框架

AvatarGO是一款由南洋理工大学S-Lab、上海 AI Lab，香港大学联合推出创新的4D人物交互生成和动画框架，旨在通过文本输入直接生成可动画化的 4D 人体-物体交互（HOI）场景。该框架利用预训练的扩散模型和大型语言模型（LLM），解决了现有方法在生成日常交互场景时面临的“交互位置”和“交互方式”两大挑战。

AvatarGO功能特点：

1、零样本生成：

AvatarGO 采用零样本方法，无需大规模交互数据即可生成高质量的 4D 人体-物体交互场景。

2、LLM 引导的接触重定向：

通过 Lang-SAM 技术，从文本提示中识别接触的身体部位，确保人体与物体之间空间关系的精确表示。

3、对应感知运动优化：

使用 SMPL-X 的线性混合蒙皮函数，为人体和物体模型构建运动场，确保在动画过程中保持空间对应关系，避免穿透问题。

4、连贯的合成运动：

AvatarGO 不仅生成连贯的合成运动，还在处理穿透问题时表现出更高的鲁棒性。

5、多样化的人体-物体对支持：

通过广泛的实验验证，AvatarGO 在多种人体-物体对和不同姿势上表现出卓越的生成和动画能力。

6、实时驱动与离线支持：

AvatarGO 支持仅需一台 2 核 4G 的电脑即可实时驱动数字人，且整个过程无需联网。

7、多终端兼容：

支持 Web 端、PC 客户端、安卓 APP 等多种集成方式，并兼容 Windows 和 Android 等操作系统。

AvatarGO应用场景：

– 虚拟现实与增强现实：生成逼真的 4D 交互场景，用于 VR/AR 应用。

– 数字人驱动：根据输入文本或音频实时驱动数字人，适用于客服、教育等领域。

– 影视制作：快速生成高质量的 4D 动画，降低制作成本。

AvatarGO 作为首个尝试将 4D 头像与物体交互合成的框架，为以人为本的 4D 内容创作开辟了新的可能性。

进入AvatarGO官网入口