小米OmniVoice开源600+语种TTS模型，中文准确率吊打ElevenLabs？

说实话看到这个数据的时候我有点意外——小米在语音合成领域居然已经做到这个水平了。OmniVoice这是小米下一代 Kaldi 团队k2-fsa刚刚开源的项目。一个支持600多种语言的零样本文本转语音模型而且多项指标达到了 SOTA。更关键的是它完全开源代码和预训练模型都在 GitHub 和Hugging Face上。项目地址https://github.com/k2-fsa/OmniVoice中文识别准确率到底有多强先看一组数据在 Seed-TTS 中文测试集上OmniVoice 的词错误率WER只有 0.84%。这个数字什么概念ElevenLabs v2 和 MiniMax 这些主流商用模型在多语言 benchmark 上已经被它超越了。相似度SIM-o和 WER 指标都领先。说实话ElevenLabs 在语音合成领域一直是标杆级别的存在。小米这个开源项目能在指标上超过它确实有点东西。速度快40倍是什么体验OmniVoice 的实时因子RTF低至0.025。简单解释一下RTF 1 意味着合成速度等于实时播放。RTF 0.025意味着合成速度是实时的40 倍。也就是说一段 1 分钟的语音它只需要 1.5 秒就能合成完。这对于需要大量语音生成的场景——比如有声书、语音助手、游戏配音——价值太大了。技术架构有什么不一样OmniVoice 用的是扩散语言模型风格的离散非自回归架构。这个设计的核心优势是可以直接从文本一步生成语音跳过传统的中间语义 token 阶段。流程简化了但质量没打折。另外它用了全码本随机掩码策略结合预训练 LLM 初始化。这两个技术点让训练效率更高输出的清晰度和可懂度也更好。3秒音频就能克隆你的声音这是我觉得最有意思的功能零样本语音克隆。只需要3-10 秒的参考音频就能克隆出一个高质量的声音。而且还能通过自然语言描述来定制——性别、年龄、音调、口音、方言甚至可以生成耳语风格。想象一下你上传一段 5 秒的录音然后告诉它用这个声音但是更年轻一点带点南方口音它就能生成符合要求的声音。这个可玩性太强了。小语种和濒危语言的数字化保护OmniVoice 覆盖 600 多种语言这是它最大的亮点。对于小语种和濒危语言来说这个技术意义重大。传统语音合成需要大量标注数据成本极高。但 OmniVoice 只需要少量样本就能生成高质量语音。这意味着那些只有几千人说的语言也有机会被数字化保存下来。不只是技术突破更是文化保护层面的贡献。还有一些实用的小功能支持非语言符号比如 [laughter] 表示笑声支持发音纠正通过拼音或音标精确控制发音特别适合中文和方言这些细节功能让它不只是能说而是能说得好、说得准确。开源意味着什么代码和模型都在 GitHub 和 Hugging Face 上开发者可以本地部署或集成到自己的应用里。对于语音合成这个领域来说一个达到 SOTA 水平的开源模型会大大降低技术门槛。小团队、个人开发者不用再花大价钱买商用 API自己部署就能用。这可能会催生一批新的语音应用。有声书、虚拟主播、游戏配音、语言学习工具……想象空间很大。文章来源AITOP100原文地址https://www.aitop100.cn/infomation/details/33591.html