SignLLM：全球首个手语视频的多语言手语AI大模型

SignLLM是全球首个通过文字描述生成手语视频的多语言手语模型。它基于首个公开的多语言手语数据集 Prompt2Sign 开发，能够将输入的文本或语音指令转换为手语手势视频。该模型支持8种手语类型，包括美国手语（ASL）等。

SignLLM功能特点：

1、文字到手语的转换：

用户可以通过输入文字或语音指令，生成对应的手语视频，适用于听障人士的沟通和教育。

2、强化学习优化：

SignLLM引入了基于强化学习的模块，通过优化数据采样能力，加速模型训练。

3、高效数据集：

Prompt2Sign 数据集通过提取手语视频中的姿态信息，将其转换为统一压缩格式，优化了模型训练效率。

4、高质量输出：

SignLLM在手语生成任务（SLP）上表现出色，能够生成高质量的手语视频。

5、风格迁移与渲染：

生成的手语视频可以通过风格迁移或专门微调的生成模型进一步渲染，使其更接近真实人类的表现。

6、多语言支持：

SignLLM支持多种手语类型，能够满足不同国家和地区的需求。

SignLLM应用场景：

1、无障碍沟通：帮助听障人士更好地与他人交流。

2、教育与培训：用于手语教学，提升学习效果。

3、公共服务：在公共服务领域（如机场、医院）提供手语翻译支持。

SignLLM相关网址：

1、 SignLLM项目官网：https://signllm.github.io/

2、Github仓库：https://github.com/SignLLM

3、arXiv技术论文：https://arxiv.org/pdf/2405.10718