DiaMoE-TTS：清华 × 巨人网络联合开源的多方言TTS框架

DiaMoE-TTS是清华大学与巨人网络联合研发的多方言语音合成（TTS）框架，以技术创新破解方言数字化传承难题。框架创新性采用国际音标（IPA）统一输入体系，融合方言感知的混合专家（MoE）架构与低资源适配策略（PEFT），实现低成本、低门槛的多方言语音合成。

无论是粤语、闽南话、吴语等主流方言，还是京剧韵白这类特色语音形式，亦或是资源稀缺的小语种，DiaMoE-TTS都能凭借少量语料快速完成建模，兼顾合成效率与语音自然度。目前，框架已实现数据、代码、方法全面开源，为方言保护与文化传承注入数字动能，让小众语言在数字时代“被听见、被记住”。

DiaMoE-TTS核心功能：

1、多类型语音全覆盖合成：

支持粤语、闽南话、吴语等数十种方言，可拓展至京剧韵白等特色语音场景，同时兼容各类小语种，真正实现小众语言的数字化发声。

2、低资源高效适配：

依托PEFT适配策略与数据增强技术，仅需数小时语料即可快速完成新方言建模，大幅降低方言语音合成的资源门槛与时间成本。

3、全链路开源高可扩展：

提供从数据预处理、模型训练到推理部署的完整开源代码，支持开发者与研究者轻松复现、二次开发，灵活拓展更多方言与语种。

4、高自然度方言语音生成：

基于方言感知MoE架构，通过动态门控机制精准匹配专属专家网络，最大程度保留每种方言独有的音色、语调与韵律，合成语音流畅自然，还原地道“乡音”。

DiaMoE-TTS技术原理：

1、IPA统一输入前端：消除跨方言差异：

采用国际音标（IPA）作为统一输入标准，将所有方言语音映射至同一音素空间，打破不同方言的发音体系壁垒，保障模型训练的一致性与泛化能力。

2、方言感知MoE架构：精准捕捉方言特色：

构建多专家网络模型，每个专家网络专注学习一类或几类方言的语音特征，避免单一模型导致的“风格平均化”问题；搭配动态门控机制，可根据输入IPA自动匹配最优专家网络，并引入方言分类辅助损失，强化不同方言的特征区分度。

3、PEFT低资源适配策略：轻量化快速建模：

在文本嵌入层与注意力层嵌入Conditioning Adapter和LoRA模块，仅需微调少量参数即可完成新方言适配，无需重构主干网络与MoE模块，实现高效迁移的同时，确保已有方言知识不被遗忘；结合音高扰动、语速扰动等数据增强技术，进一步提升低资源场景下的合成效果。

4、多阶段递进式训练：兼顾效率与性能：

– 预热训练：基于F5-TTS原始预训练模型，融入IPA音素转换数据完成迁移，实现输入形式的平滑过渡；

– 联合建模：采用多开源方言数据集开展联合训练，激活MoE结构，让模型学习方言共享特征与差异化发音模式；

– 优化调优：借助动态门控机制与方言分类辅助损失，优化MoE分流效果，精准捕捉每种方言的独特语音特质；

– 低资源迁移：针对稀缺语料方言，通过PEFT策略快速适配，完成高效建模。

DiaMoE-TTS应用场景：

1、方言教育：

为方言、小语种教学提供标准语音示范工具，帮助学习者精准掌握发音技巧，推动地方语言文化的普及与传承。

2、文化保护：

助力濒危方言的数字化记录与保存，通过语音合成技术复刻地道方言发音，为文化多样性保护提供技术支撑。

3、虚拟人/数字助手：

为虚拟偶像、智能客服、智能家居助手等提供多样方言语音包，丰富角色人设，提升用户交互体验。

4、数字文旅：

在文旅景区、博物馆等场景部署方言语音导览，让游客通过地道乡音感受地域文化魅力，提升文旅体验的独特性。

5、跨境交流：

支持多语种语音合成，为跨境商务、跨文化交流提供实时语音转换工具，促进不同语言背景人群的高效沟通。

进入DiaMoE-TTS官网入口