什么是 ElevenLabs？

ElevenLabs 是一个专注于语音和音频生成的人工智能音频研究与部署平台。根据所提供的页面，它由三个主要产品领域组成：用于内容创作的 ElevenCreative、用于客户体验和对话式人工智能的 ElevenAgents，以及面向开发者的 ElevenAPI。该平台宣称的目标是用人工智能语音技术为企业、创作者和开发者赋能。

核心技术包括用于文本转语音、语音转文本、声音克隆、声音设计、配音、音效和音乐生成的基础模型。该平台支持 70 多种语言，并提供对包含 10,000 多种声音的声音库的访问。

如何使用 ElevenLabs？

使用方法取决于所选的产品领域：

ElevenCreative： 这是一个用于创建和编辑音频内容的基于网络的平台。页面提到了一个用于播客、有声读物和画外音的“一体化 AI 编辑器”。用户可以从声音库中选择，或克隆/设计自己的声音，然后输入文本生成语音，或使用其他工具制作音乐和音效。ElevenLabs 还拥有适用于 iOS 和 Android 的移动应用。
ElevenAgents： 此产品允许用户配置、部署和监控对话式人工智能代理。这些代理可以在电话、聊天、电子邮件和 WhatsApp 等不同渠道进行交互。该流程包括设置具有特定行为的代理、对其进行测试并分析其性能。
ElevenAPI： 开发者可以使用 REST API 和 SDK 将 ElevenLabs 的音频人工智能功能集成到自己的应用程序中。页面提到了适用于 JavaScript 和 Python 的 SDK。访问需要 API 密钥。

ElevenLabs 的核心功能

文本转语音

根据文本生成语音。页面列出了多个模型，可以选择基于一致性、延迟或情感控制的模型。提到的模型包括 Eleven Flash（用于低延迟对话）、Eleven Multilingual 和 Eleven v3（被描述为富有表现力）。

语音转文本

将音频转录为文本。页面提到了 Eleven Scribe 模型，它支持说话人分离和字符级时间戳。

声音克隆与设计

用户可以克隆自己的声音，或根据提示设计新声音。该平台还提供对大型现有声音库的访问。

语音代理

ElevenAgents 允许创建人工智能驱动的对话代理。功能包括全渠道支持（电话、聊天、电子邮件、WhatsApp）、用于衡量解决率的分析、测试以及合规性防护措施。

音乐与音效

ElevenLabs 提供用于生成任何流派音乐和创建自定义音效的工具。页面指出，音乐的商业权利因订阅套餐而异。

配音

提供配音工具以本地化内容。页面提到，Dubbing v2 可以跨语言传递原始说话者的情感和表现力。

ElevenLabs 的用例

内容创作

为广告、有声读物、播客和社交媒体内容制作画外音。

角色声音

为卡通或视频游戏生成有趣且引人入胜的声音。

客户体验

部署语音代理来处理呼入和呼出电话、提供客户支持并进行潜在客户资格鉴定。

开发者集成

通过 API 构建需要文本转语音、语音转文本或其他音频人工智能功能的应用程序。

关于 ElevenLabs 的常见问题

ElevenLabs 可以免费使用吗？

所提供的页面表明存在免费套餐，因为它列出了“免费开始”和“免费试用”。SoftwareApplication 架构指定了 0 美元的价格。然而，它也提到了付费订阅套餐，并且音乐的某些商业权利因订阅套餐而异。

支持哪些语言？

页面说明该平台支持 70 多种语言。页面上提供了支持的语言列表，包括英语、西班牙语、法语、德语、中文等。

我可以克隆自己的声音吗？

是的，页面将声音克隆列为一项功能，并提到能够克隆自己的声音。它还在其 API 文档中列出了“即时声音克隆”端点。

ElevenLabs 提供 API 吗？

是的，该平台提供 ElevenAPI，包含 REST API 和适用于 JavaScript、Python 等语言的 SDK，供开发者集成其音频人工智能功能。

生成的声音是否免版税？

页面并未声明声音免版税。它提到音乐“已获准用于广泛的商业用途”，但“[商业]权利因订阅套餐而异。”它没有对所有语音生成做出类似声明，也未提供有关免版税状态的信息。

ElevenLabs