小米OmniVoice官网 - 小米K2-Fsa重磅TTS模型，600+语言+极速克隆

OmniVoice是小米K2-Fsa团队推出的新一代文本转语音（TTS）模型，以扩散语言模型架构打破传统语音合成壁垒，支持600+语言与方言，兼具业界顶尖零样本声音克隆、极速推理与文本定制音色能力。它不止是语音工具，更是“让每种语言都能被听见”的全球语音基础设施，自然度与效率双领先。

OmniVoice核心功能：

1、600+语言覆盖，全球领先TTS：

– 全语种兼容：覆盖主流语言、少数民族语言与多方言，低资源语种也能流畅合成。

– 强泛化能力：依托大模型泛化，数据稀缺语种仍可生成清晰自然语音。

– 多语言混读：单句无缝切换多语言，无口音断层，适配全球化内容。

2、零样本克隆+智能降噪，3秒复刻原声：

– 极速克隆：仅需3-10秒参考音频，精准复刻音色、语调与情感。

– 音频净化：自动过滤噪音、混响与录音瑕疵，输出录音室级纯净音质。

3、文本指令捏声音，无需参考音频：

– 精细控声：自定义性别、年龄、音调、口音、方言，支持耳语、激动、悲伤等情绪状态。

– 创意音色：为虚拟人、NPC、有声书打造独一无二专属声线。

4、扩散架构+极速推理，速度快40倍：

– 单阶段非自回归：跳过复杂流水线，文本直出多码本声学令牌。

– 强力基座：基于Qwen3-0.6B初始化，融合LLM理解与扩散模型高质量生成。

– 极致性能：RTF低至0.025，生成速度比实时快40倍，轻松支撑批量合成。

OmniVoice应用场景：

1、文化传承与公益：

– 濒危语言/方言数字化，制作有声资料；乡村普法、民族文化科普用母语播报。

2、有声内容创作：

– 多语种有声书、播客、广播剧批量制作，克隆作者原声，降低录制成本。

– 短视频/知识视频一键配音，支持多语言版本，全球化分发。

3、教育与培训：

– 多语种教材、课件语音化，方言教学与无障碍听书，适配特殊教育需求。

– 企业多语言培训、海外员工合规学习，统一音色标准。

4、数字人与元宇宙：

– 虚拟主播、游戏NPC、智能助手定制音色，3秒克隆角色声线，提升沉浸感。

– 智能硬件（音箱、车载、家电）多语言语音交互，方言友好。

5、商业与全球化服务：

– 跨境广告、产品介绍多语言配音，品牌声线统一，快速适配海外市场。

– 客服语音、智能导航、语音通知批量生成，提升服务效率。

6、个人与情感纪念：

– 复刻亲人、好友声音，制作语音纪念、语音留言，留存情感记忆。

OmniVoice模型网址：

1、项目主页：https://zhu-han.github.io/omnivoice

2、GitHub：https://github.com/k2-fsa/OmniVoice

3、模型：https://huggingface.co/k2-fsa/OmniVoice

4、Demo：https://huggingface.co/spaces/k2-fsa/OmniVoice