资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证
本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围
Kyutai(法国)
法国的研究型开源机构:专注实时语音与文本模型的公开研究,成果多以开源权重 + 论文 + 可跑代码的形式发布。它不是产品化厂商,而是"看语音链路前沿"的地方。
这家机构在做什么
| 方向 | 代表成果 | 形态 |
|---|---|---|
| 实时语音对话 | Moshi(全双工语音对话) | 开源权重 + 代码 |
| 流式语音翻译 | Hibiki 等语音到语音方向 | 开源 |
| 语音应用栈 | Unmute(把语音模型接成可用产品) | 开源演示 + 自部署 |
| 文本模型 | Helium 系列小参数模型 | 开源权重 |
实时语音对话:Moshi(全双工语音对话)·开源权重 + 代码
流式语音翻译:Hibiki 等语音到语音方向·开源
语音应用栈:Unmute(把语音模型接成可用产品)·开源演示 + 自部署
文本模型:Helium 系列小参数模型·开源权重
(型号与版本以官方仓库/模型页当前状态为准——研究项目迭代快。)
文本线怎么放
Helium 是它的小参数文本模型线,定位与语音线一样偏研究:可下载、可复现,但没有产品化的支持节奏。
要"有完整本地部署路径的开源小档",对照 Mistral AI 档案;权重下载走官方组织页,国内访问见 HF 与国内镜像 与 下载加速与续传。
实时语音难在哪
语音对话看起来只是"语音进、语音出",实际上每一步都比文本难:
| 环节 | 难在哪 |
|---|---|
| 全双工 | 要能边听边说,而不是等对方说完再回答 |
| 低延迟 | 延迟按毫秒计,等模型"想完"再开口就失去对话感 |
| 打断处理 | 用户插话时要在合适的位置停下并切换 |
| 流式编解码 | 音频要边收边编解码,不能等整段录完 |
| 长会话稳定性 | 对话越长,上下文与状态管理越容易退化 |
全双工:要能边听边说,而不是等对方说完再回答
低延迟:延迟按毫秒计,等模型"想完"再开口就失去对话感
打断处理:用户插话时要在合适的位置停下并切换
流式编解码:音频要边收边编解码,不能等整段录完
长会话稳定性:对话越长,上下文与状态管理越容易退化
口径:正因为难点集中在工程与延迟上,这条线的公开成果多以研究项目形式出现,而不是直接做成产品。
模型演进(发布时间线)
| 时间 | 型号 / 动作 | 关键信息 |
|---|---|---|
| 2026 | MuScriptor / MIRA / Pocket TTS |
这一年的几条新线(语音与文本方向);具体发布日未核实,以仓库与论文页为准 |
2026:MuScriptor / MIRA / Pocket TTS·这一年的几条新线(语音与文本方向);具体发布日未核实,以仓库与论文页为准
更早的成果没有可靠发布日,故不入时间轴(Kyutai 走"论文 + 仓库"路线,发布页按仓库提交时间而非产品发布日):
Moshi(实时全双工语音对话)、Mimi(语音编解码)、Hibiki(流式语音翻译方向)、Unmute(自部署语音应用栈)、
Helium(小参数文本模型)——详见上表与官方仓库。
口径:宁可写"未核实"也不编日期;上表这一行是按年记录,时间轴页会显示为
2026。
民间梗与争议
- 8 个人、6 个月,做出实时语音模型然后开源:官方通稿的两个数字,后来被社区反复引用。
展开背景
2024-07-03,Kyutai 在巴黎公开演示 Moshi。官方通稿称其为"首个面向所有人开放访问的语音 AI",并强调团队只有 8 人、从零开始做了 6 个月;模型"足够紧凑,可以装在本地设备上运行",代码与权重"将很快免费共享"。通稿还留下底账:成立时创始科学家 6 人,发稿时约 12 人,算力来自 Scaleway 的 Nabu 23 集群。2024-09-18,官方博客发布 Moshi 开源版(标题就是"在本地跑 Moshi")。社区是另一种读法:开源版的 Hacker News 帖拿到 365 分、64 条评论,实测两极——有人指出它延迟约 200 毫秒、底座是 7B 模型,因此"不会太聪明";也有人抱怨"你还没说完它就开始答,但那多半是填充句,真正回答要等很久,还会卡进循环"。最尖锐的一条是怀疑"放出来的权重是不是就是 7 月演示的那一版",Kyutai 的 Laurent 在帖内回复:线上演示用的就是同一份量化版本,"我们没有注意到变差"。2023-11-17 成立时它的定位是"欧洲第一个独立 AI 开放科学研究实验室",由 iliad、达飞与 Schmidt Futures 共同发起——非营利、开放科学。社区印象因此很统一:产出不是订阅制产品,而是可直接下载的权重与论文;但"8 人 6 个月"的光环,也在同一批实测里被折算成"研究原型,不是产品"。 来源:Kyutai 官方新闻稿:Moshi 发布(2024-07-03,PDF) · Kyutai 官方博客:Moshi 开源版——run Moshi locally!(2024-09-18) · HN 讨论:Moshi — A speech-text foundation model(2024-09-18,365 分 64 评论,含 Kyutai 团队回帖) · HN 讨论:Kyutai unveils the first voice-enabled AI openly accessible to all(2024-07-03,25 分 10 评论) · TechCrunch:Kyutai is a French AI research lab with a $330 million budget(2023-11-17) · ActuIA:Kyutai 机构页(Moshi 与开源路线记录)
- **"3 亿还是 3.3 亿":非营利实验室的账本**:官方通稿写"已有近 3 亿欧元投入",各家却读出了 2 亿、3 亿、3.3 亿三个版本。展开背景
Kyutai 的资金规模在公开报道里有几个版本。官方通稿写了两句:一是"iliad 集团与达飞集团各出资 1 亿欧元",二是"已有近 3 亿欧元投入其中,Kyutai 正在寻求引入其他私人投资者"——官方口径是"近 3 亿欧元"(约合 3.3 亿美元)。中文媒体只拎第一句:中国航务周刊写"iliad Group 和达飞分别向实验室捐赠了 1 亿欧元",读下来只有 2 亿欧元;TechCrunch(2023-11-17)标题写"预算 3.3 亿美元",正文写 Niel 与 Saadé 各出 1 亿欧元;ActuIA 条目(2025-07-12 更新)写"拥有 3 亿欧元的资金支持"。社区对钱的读法更直接:Hacker News 上 TechCrunch 那篇的讨论帖(269 分、92 条评论)标题沿用"3.3 亿美元",最高赞方向是"3.3 亿美元差不多就是 33 次大模型训练,不足以把开源带到 GPT-3.5 附近";也有人替它辩护——"这是一个做 AI 而不只是 LLM 的实验室";同日另一个帖子标题写的是"300M euro of support"。口径不一本身也是梗的一部分:一个"非营利"实验室,靠两位大股东各 1 亿欧元的捐赠与 Scaleway 的算力起家,它更像公共研究机构,还是巨头们的"人才与算力蓄水池"?2025 年后它的产品线铺到 Moshi、Unmute、Hibiki 等一串名字,社区评价长期停在"开源做得漂亮,影响力仍待观察"。 来源:Kyutai 官方新闻稿:实验室成立——iliad 与达飞各出资 1 亿欧元、近 3 亿欧元已投入(2023-11-17,PDF) · 搜狐(中国航务周刊):达飞 1 亿欧元投资 AI 领域!CEO 成联合创始人(2023-11-20) · TechCrunch:Kyutai is a French AI research lab with a $330 million budget(2023-11-17) · HN 讨论:Kyutai AI research lab with a $330M budget(2023-11-19,269 分 92 评论) · HN 讨论:Kyutai — non-profit AI lab dedicated to open science with 300M euro of support(2023-11-17) · ActuIA:Kyutai 机构页(3 亿欧元资金支持,更新于 2025-07-12)
能不能本地跑
可以,这是它和同国其他厂商最大的不同:
| 判断项 | 结论 |
|---|---|
| 权重是否公开 | 公开(Hugging Face kyutai 组织页) |
| 许可 | 随项目而异,逐个确认(商用前必看) |
| 本地运行 | 支持(GPU 推理;实时语音对延迟敏感) |
| 生产可用性 | 研究性质偏强,别直接押在生产依赖上 |
权重是否公开:公开(Hugging Face kyutai 组织页)
许可:随项目而异,逐个确认(商用前必看)
本地运行:支持(GPU 推理;实时语音对延迟敏感)
生产可用性:研究性质偏强,别直接押在生产依赖上
本地跑之前先看这几件事
- 显存与实时性:语音是流式的,延迟比吞吐更重要;显存账见 显存与量化进阶。
- 权重下载:Hugging Face 组织页 + HF 与国内镜像,大文件看 下载加速与续传。
- 想直接要"能用的语音工具":站内的 GPT-SoVITS、CosyVoice、Fish Speech 更偏工具化,适合先落地。
- 想理解实时语音架构:Kyutai 的公开代码与研究说明是第一手材料。
⚠️ 避坑:研究项目的迭代与维护节奏不稳定(接口会变、模型会换)。要稳定生产,选产品化厂商或用站内的工具链。
语音链路的站内对照
按你真正想要的东西分岔:
| 你要什么 | 站内先看谁 |
|---|---|
| 能立刻用起来的语音工具 | GPT-SoVITS / CosyVoice / Fish Speech |
| 商用级语音全栈,并对照开源替代 | ElevenLabs 档案 |
| 开源语音模型覆盖最深的一家 | 阶跃星辰 StepFun 档案 |
| 实时对话架构的一手研究材料 | 本家(Kyutai) |
能立刻用起来的语音工具:GPT-SoVITS / CosyVoice / Fish Speech
商用级语音全栈,并对照开源替代:ElevenLabs 档案
开源语音模型覆盖最深的一家:阶跃星辰 StepFun 档案
实时对话架构的一手研究材料:本家(Kyutai)
本地跑实时语音的账
实时语音比"跑得动"更在意"跟得上",要算三条线:
| 账 | 关注点 | 站内参考 |
|---|---|---|
| 显存账 | 模型权重 + 音频缓冲占多少 | 显存与量化进阶、GGUF 量化与显存 |
| 延迟账 | 单帧处理时间是否小于音频帧长 | 量化档位直接影响延迟,同上 |
| 环境账 | 驱动 / CUDA / 推理框架版本对不对得上 | CUDA 版本匹配 |
显存账:模型权重 + 音频缓冲占多少·显存与量化进阶、GGUF 量化与显存
延迟账:单帧处理时间是否小于音频帧长·量化档位直接影响延迟,同上
环境账:驱动 / CUDA / 推理框架版本对不对得上·CUDA 版本匹配
⚠️ 避坑:低配机器跑实时语音的典型表现不是"跑不起来",而是掉帧——能出声,但对话节奏会断。先按延迟预算挑量化档,再谈模型大小。
常见误解
- "开源 = 可商用":许可随项目而异,商用前必须逐个确认。
- "研究模型 = 生产可用":研究项目迭代节奏不定,接口与模型都可能变。
- "权重能下 = 消费级就能实时跑":实时语音对延迟敏感,能加载不等于能实时。
官方入口
- 官网:
kyutai.org· 代码与权重:GitHub / Hugging Face 的kyutai-labs/kyutai组织
串联
- 语音与文本工具横向对照 → 本地部署厂商地图
- 同类研究型开源 → 更多开源选择
- 语音产品侧的对照 → ElevenLabs、阶跃星辰 StepFun
- 文本小档的完整本地路径 → Mistral AI