李沐开源Higgs Audio v2：3B模型听懂人话还会唱

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“李沐开源Higgs Audio v2：3B模型听懂人话还会唱”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

李沐开源Higgs Audio v2：3B模型听懂人话还会唱：

“去年我们把大模型练成‘最强大脑’，今年让它开口说话。”7 月 23 日，Boson AI 创始人李沐在 B 站甩出重磅消息：开源音频基础模型 Higgs Audio v2，上线 48 小时 GitHub 星标破 3.6k。

一句话总结：这不是又一款 TTS，而是把 Llama-3.2-3B 直接“打通任督二脉”——能听、能说、还能唱，关键全部开源。

一、1000 万小时音频喂出来的“嘴替”
• 数据量：1000 万小时，相当于一个人不吃不喝连听 114 年。
• 数据来源：公开可商用音频＋采购版权库，版权红线一步不踩。
• 训练套路：直接把语音切成“声音版 token”，塞进文本预训练流程——大白话就是“把语音当外语”，让模型边学中文、边学“声文”。

二、三项黑科技，让它不止“读字幕”
1. AudioVerse 自动标注流水线

多个 ASR＋声音事件分类＋自研理解模型，把 1 亿小时原始素材洗成 1000 万小时“干净菜”。

2. 统一音频 Tokenizer

一次搞定语义（说的是啥）＋声学（怎么说的）特征，16 bit 就能描述 1 秒语音，比 MP3 省 375 倍空间。

3. DualFFN 架构

在 Llama 原网络里塞两条“小旁路”，只加 9% 计算量，却让声学建模能力提升一大截——训练速度还能保住九成。

三、跑分结果：情绪表达赢 GPT-4o-mini-TTS 75.7%
• EmergentTTS-Eval 基准：情绪、提问两类胜率分别 75.7%、55.7%。
• Seed-TTS、ESD 等传统测试：直接拿下 SOTA。
• 现场 Demo：一句“用克隆声音唱《孤勇者》”，模型秒出 24kHz 高保真干声，连换气声都复刻。

四、能干啥？自媒体、游戏、播客全场景
• 多人播客：一句话设定角色+场景，模型自动生成多语种对话，语气随剧情起伏。
• 虚拟主播：实时语音交互，延迟压到 300 ms，情绪对答不再“棒读”。
• 零样本克隆：给 3 秒参考音频，就能让模型用“你的嘴”说任何文本，连哼歌也不在话下。

五、上手零门槛

GitHub 搜 boson-ai/higgs-audio，模型权重、推理代码、在线 Demo 全套打包。消费级 GPU 就能跑，显存 12G 即可尝鲜。

李沐在视频最后补了一句：“我们不是语音专家，只是把语言模型逼成了语音专家。” 现在，轮到你来把它玩出花。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“李沐开源Higgs Audio v2：3B模型听懂人话还会唱”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！