SoulX-LiveAct模型官网 - Soul App开源实时数字人流式生成框架

SoulX-LiveAct由Soul App AI团队开源，专为解决AR扩散模型流式生成稳定性问题打造。核心创新包含Neighbor Forcing帧间对齐技术与ConvKV Memory恒定显存机制，支持小时级乃至无限时长生成；双卡H100/H200即可实现20FPS实时推理，延迟低至0.94秒，可直接落地直播、虚拟客服、有声播客等生产场景，标志开源数字人技术迈入实用化新阶段。

SoulX-LiveAct核心功能：

1、实时数字人动画生成：依据音频与文本实时驱动高保真数字人，实现精准唇形同步、自然面部表情与协调肢体动作。

2、超长时稳定流生成：依托恒定显存占用机制，突破传统模型时长限制，支持小时级、无限时长连续视频输出。

3、情感动作可控编辑：通过文本指令灵活控制头部姿态、手势与表情（比心、捂脸、大笑等），保持人物身份统一与唇同步精准。

4、低延迟实时推理：20FPS高帧率、0.94秒端到端延迟，满足直播、虚拟人交互等强实时场景。

SoulX-LiveAct部署与使用流程：

1、环境创建：使用conda搭建Python 3.10环境并命名激活liveact。

2、基础依赖安装：pip安装requirements.txt，conda安装sox音频工具。

3、加速组件部署：安装SageAttention v2.2.0开启FP8加速；可选安装QKV算子融合版本进一步提效。

4、核心库配置：安装vLLM 0.11.0与LightVAE视频编解码组件。

5、模型下载：从Hugging Face/ModelScope获取SoulX-LiveAct权重及chinese-wav2vec2-base音频编码器。

6、高性能推理：双卡H100/H200分布式运行，20FPS流式生成数字人视频。

7、可控动效生成：加载编辑指令JSON，实现512×512/24FPS表情与动作可控输出。

8、消费级显卡适配：RTX4090/5090单卡可开启FP8KV缓存与显存卸载，降低资源占用运行。

9、输入配置：编辑JSON文件指定参考图、驱动音频、动作提示等参数。

10、启动生成：执行推理命令，实时输出唇形、表情、动作高度协调的数字人视频流。