Sitcom-Crafter – 北航联合港中文等高校推出的 3D 人类动作生成系统

Sitcom-Crafter是一个由北京航空航天大学、香港中文大学（深圳）、悉尼科技大学、中山大学等多所高校联合开发的AI驱动的3D动画生成系统，旨在通过剧本自动生成高质量的3D剧情动画。该系统专注于解决多人交互和场景适应性问题，能够生成自然流畅的角色动作，适用于动画制作和游戏开发。

Sitcom-Crafter功能特点：

1、场景感知的多人交互：

– Sitcom-Crafter通过自监督SDF（Signed Distance Function）策略，自动生成3D场景中的可行走区域和障碍物信息，从而避免角色与环境的碰撞。这一技术无需额外数据采集，降低了创作成本。

2、双角色局部归一化策略：

– 传统方法在多人交互建模中存在不足，Sitcom-Crafter采用双角色局部归一化策略，以每个角色的骨盆位置为局部坐标原点，优化角色交互建模。

3、多模块协同架构：

– Sitcom-Crafter采用“核心动作生成”+“增强优化”的双类型模块架构，确保动作的多样性、流畅性和一致性。具体模块包括：

– 角色移动（Locomotion）：支持角色在3D场景中自然行走。

– 角色-场景交互（Human-Scene Interaction）：角色可与环境物体进行符合物理逻辑的交互。

– 角色-角色互动（Human-Human Interaction）：减少角色之间的碰撞，使动作更加协调。

4、增强模块：

– Sitcom-Crafter还配备了五大增强模块，进一步提升动画质量：

– 剧情解析：AI自动拆解剧本，转化为具体的角色动作指令。

– 动作同步：确保多个角色在互动时节奏匹配。

– 手势优化：智能匹配手部动作，使角色表现更加生动。

– 碰撞修正：检测并修复角色之间的潜在碰撞问题。

– 3D角色重定向：适配不同风格的3D角色模型。

5、高质量动作生成：

– 实验结果表明，Sitcom-Crafter能够在多个开源3D场景中生成多样化且符合物理约束的角色动作。

Sitcom-Crafter应用前景：

1、动画制作：为电影、电视节目和虚拟现实环境提供动态背景和角色动画。

2、游戏设计：生成复杂的角色互动和场景动画，提升游戏的沉浸感和真实感。

3、广告和宣传视频：自动生成具有特定风格和主题的宣传视频，如电商主播风格的视频。

Sitcom-Crafter项目网址：

项目官网：https://windvchen.github.io/Sitcom-Crafter/

GitHub仓库：https://github.com/WindVChen/Sitcom-Crafter

arXiv技术论文：https://arxiv.org/pdf/2410.10790