资料修改2026-09尚无逐条事实核验记录;修改日期不代表已验证
本文仍包含未全面复核的历史资料;安装、许可、费用与当前权限请回到官方确认。查看已核信息范围
ElevenLabs
AI 语音的商业化标杆:从 TTS 起家做到"语音全栈"(合成、克隆、配音、音效、音乐),是少数在单一模态上建立完整商业闭环的 AI 公司;被大量工具与平台集成(在开源模型列表里频繁出现为对标档)。
一句话定位 + 能不能本地跑
| 判断项 | 结论 |
|---|---|
| 项目性质 | AI 语音平台(TTS / 语音克隆 / 配音 / 音效 / 音乐) |
| 权重是否公开 | 不公开(API + 产品形态) |
| 本地运行 | 不支持(云端);但站内有多款开源语音替代(见下) |
| API | 有(语音能力被广泛集成) |
| 商业模式 | 订阅(按字符/时长计费)+ API |
| 生态位 | AI 语音的第一品牌(集成度最高) |
项目性质:AI 语音平台(TTS / 语音克隆 / 配音 / 音效 / 音乐)
权重是否公开:不公开(API + 产品形态)
本地运行:不支持(云端);但站内有多款开源语音替代(见下)
API:有(语音能力被广泛集成)
商业模式:订阅(按字符/时长计费)+ API
生态位:AI 语音的第一品牌(集成度最高)
能力与产品线
| 方向 | 说明 |
|---|---|
| 文本转语音(TTS) | 起家能力;多语言、语气与情感控制 |
| 语音克隆 | 短样本克隆(伦理与合规是卖点管理重点) |
| 配音与本地化 | 视频/播客多语言配音(内容出海场景) |
| 音效与音乐 | 生成式音效、音乐方向扩展 |
| 集成生态 | 被大量 AI 工具与平台接入(含开源项目的对标) |
文本转语音(TTS):起家能力;多语言、语气与情感控制
语音克隆:短样本克隆(伦理与合规是卖点管理重点)
配音与本地化:视频/播客多语言配音(内容出海场景)
音效与音乐:生成式音效、音乐方向扩展
集成生态:被大量 AI 工具与平台接入(含开源项目的对标)
模型演进(发布时间线)
上表是能力谱系;下表是各家语音模型的发布记录(TTS / 语音识别 / 音乐三条线并行)。
| 时间 | 型号 / 动作 | 关键信息 |
|---|---|---|
| 2025-08-21 | Eleven v3 Alpha API |
高表现力 TTS:对话模式、不限说话人数、70+ 语言 |
| 2025-11-12 | Scribe v2 Realtime |
实时语音转文本:低延迟、90+ 语言,面向对话式 AI |
| 2026-02-03 | Eleven v3 正式上线 |
错误率 −68%;数字/术语/复杂上下文处理稳定;支持商用、多说话者与情感控制 |
| 2026-02-05 | 5 亿美元融资 | 估值达 110 亿美元(研发 + 印度/日本等市场扩张) |
| 2026-04-04 | Scribe v2 升级 |
新增敏感信息自动脱敏、关键词提示扩容至 1000 |
| 2026-04-30 | Eleven Music 平台 |
AI 创作/混音音乐,作品可发布并获得收入 |
| 2026-05-28 | Music v2 |
同一首歌内无缝融合跨流派风格(歌剧 ↔ 重金属)+ 局部重绘 |
| 2026-05-29 | Wing V2 配音模型 |
直接处理原始音频,90+ 语言翻译保留原说话人情感与音色 |
| 2026-07-10 | Eleven Agents Spotlight |
Agent 对话的实时监控 / 自定义评估 / 主动建议层 |
| 2026-09-15 | MCP 连接器 | 一次装好即可用自然语言生成配音、音乐、图像与视频 |
2025-08-21:Eleven v3 Alpha API·高表现力 TTS:对话模式、不限说话人数、70+ 语言
2025-11-12:Scribe v2 Realtime·实时语音转文本:低延迟、90+ 语言,面向对话式 AI
2026-02-03:Eleven v3 正式上线·错误率 −68%;数字/术语/复杂上下文处理稳定;支持商用、多说话者与情感控制
2026-02-05:5 亿美元融资·估值达 110 亿美元(研发 + 印度/日本等市场扩张)
2026-04-04:Scribe v2 升级·新增敏感信息自动脱敏、关键词提示扩容至 1000
2026-04-30:Eleven Music 平台·AI 创作/混音音乐,作品可发布并获得收入
2026-05-28:Music v2·同一首歌内无缝融合跨流派风格(歌剧 ↔ 重金属)+ 局部重绘
2026-05-29:Wing V2 配音模型·直接处理原始音频,90+ 语言翻译保留原说话人情感与音色
2026-07-10:Eleven Agents Spotlight·Agent 对话的实时监控 / 自定义评估 / 主动建议层
2026-09-15:MCP 连接器·一次装好即可用自然语言生成配音、音乐、图像与视频
口径:型号与时间取自官方发布与公开报道;均为闭源 API 形态(本地替代见下方站内串联)。
官方口径(公开表态与策略)
- "语音是交互的下一个界面":从内容消费(配音/有声书)到实时交互(Agent 语音)全线布局。
- 合规前置:语音克隆的授权验证与防滥用机制是官方强调的重点。
- API 优先:通过开发者集成扩大覆盖面(而非只做 C 端产品)。
民间梗与争议
语音克隆的伦理争议:从"检测工具"到"授权市场",官方回应一次比一次重,风险却始终在。
展开背景
ElevenLabs 的克隆能力从上线起就与滥用风险绑在一起。2023 年 6 月它推出 AI Speech Classifier 检测工具,宣称准确率超 99%,但没挡住最出名的那次事故:2024 年 1 月,新罕布什尔州初选前的冒充拜登机器人电话被 WIRED 在 1 月 26 日报道——声纹检测公司 Pindrop 把音频与 120 多个合成引擎比对后给出"远高于 99%"的指向判断,ElevenLabs 自家检测器复测也有 84%;美国联邦通信委员会(FCC)随后在 2 月 8 日裁定 AI 合成语音属于"人工语音"、这类电话违法。后续更曲折:政治顾问 Steve Kramer 被 FCC 开出 600 万美元罚单却拒不缴纳;2025 年 6 月他面对的 22 项刑事指控全部判无罪,11 月又在民事案里被缺席判决向三名选民各赔 7,500 美元、并被全国性禁令禁止再犯——他回应"我根本没应诉,因为我已被判无罪",还承认花 150 美元请新奥尔良一位魔术师制作了那段录音。真正被罚的是运营商:Lingo Telecom 2024 年 8 月以 100 万美元与 FCC 和解,理由是来电认证与客户核验失守。官方一边配合执法、一边把授权做成生意:2025 年 11 月 11 日上线 Iconic Marketplace,与奥斯卡得主 Michael Caine 签约,并联合 CMG Worldwide 引入更多名人及遗产管理人,官方定义为"以表演者为先"。争议也没有结束:社区仍把"一段音频就能伪造任何人"当谈资。来源:WIRED:Researchers Say the Deepfake Biden Robocall Was Likely Made With Tools From ElevenLabs(2024-01-26) · 美国联邦通信委员会(FCC):FCC Makes AI-Generated Voices in Robocalls Illegal(2024-02-08) · NBC Boston/美联社:Political consultant defies court order over Biden-mimicking AI robocalls in NH(2025-11-25) · ElevenLabs 官方博客:Sir Michael Caine joins ElevenLabs' new Iconic Marketplace(2025-11-11) · IT之家:ElevenLabs 发布合成语音检测工具,号称准确率超 99%(2023-06-21) · HN 讨论:Weird A.I. Yankovic——voice cloning 的伦理深潜(2023-10-02,328 分)
"配音行业冲击":旁白者担心"被拿走声音",平台则把授权与分成做成新叙事。
展开背景
配音与有声书是 ElevenLabs 商业化最成熟的场景,也是从业者焦虑最直接的地方。最早的爆点出现在 2023 年 2 月:WIRED 报道有声书旁白者担心 Apple、Spotify 把他们的声音用于训练 AI,一位旁白者的原话是"这是在未经同意的情况下把话从我们嘴里拿走";HN 上 20 条评论分成两派——有人同情,也有人质疑"平均水平的旁白"本就不难替代。焦虑后来变成诉讼:原告包括旁白者 Karissa Vacker、Mark Boyett 与两名作者、一家出版社,案子打在特拉华州联邦法院(案号 1:24-cv-00987);2025 年 8 月 18 日双方经调解签署和解条款,随后向法院申请中止程序、准备正式撤诉——和解金额未公开。平台动作逐年加码:2025-02-20 Spotify 宣布支持作者把 ElevenLabs 生成的有声书上架;2026-05-21 又把 ElevenLabs 驱动的有声书生成工具搬进作者后台(英文邀请制 beta)。官方给出的另一面是数字:2026 年 5 月博客称声音创作者累计分成 2,200 万美元、半年翻倍;Michael Caine 那句"这不是取代声音,而是放大声音"被反复引用。但市场数据泼了冷水:美国有声书出版协会(APA)2026-06 调查显示,AI 旁白只占 2025 年有声书收入的 0.03%,听众里只有 16% 听过 AI 配音,尝试意愿还从 70% 降到 61%。来源:Spotify 官方新闻稿:支持 ElevenLabs 有声书内容上架(2025-02-20) · TechCrunch:Spotify launches an ElevenLabs-powered audiobook creation tool(2026-05-21) · 美国有声书出版协会(APA):Annual Surveys Show Audiobook Sales Jump 9% to $2.43 Billion(2026-06-05) · 美国特拉华州联邦法院:Vacker v. Eleven Labs 和解中止程序文书(Document 50,2025-08-20) · ElevenLabs 官方博客:$22 million earned by voice creators on ElevenLabs(2026-05-22) · HN 讨论:Audiobook Narrators Fear Apple Used Their Voices to Train AI(2023-02-15,20 条评论)
说明:以上为公开报道与社区讨论,非官方定论。
怎么用(三条路)
1. 直接用(内容创作)
- 配音、有声书、播客制作——按订阅档取用。
2. 开发者集成
- API 接入(语音 Agent、应用内朗读等)。
3. 开源自建(替代路线)
- 站内开源语音档:GPT-SoVITS(克隆)、CosyVoice、Fish Speech、StepFun 语音线、VoxCPM——本地可跑、成本自控。
避坑
- 计费按量:字符/时长计费,长内容成本要预估。
- 克隆合规:必须获得声音权利人授权(官方机制与法律要求一致)。
- 商用授权:各档条款不同,商用前确认。
- 不可本地:敏感数据场景考虑开源替代。
官方入口
- 官网:
elevenlabs.io· 文档:官方 docs
串联
- 开源替代 → GPT-SoVITS / CosyVoice / Fish Speech
- 语音模型对照 → StepFun / MiniMax