半秒就开口,中文还带着外国口音

10月20日,英国那家音频公司ElevenLabs发布两款实时语音模型。

一款轻量的Mini,一款旗舰的Max。

两款都能说90多种语言。

声音库里备着1.7万种音色。

这次的重点不在音色,在省事。

这类AI工具以前最难的就是拼装。

语音识别挑一家,大模型挑一家,语音合成再挑一家。

接话和打断的火候,还得自己一遍遍调。

三套东西三份账单。出问题也不知道该找谁。

现在只挑一个型号。

角色写清楚,知识库挂上,工具接进去,它就能跑。

实时语音最难的一关,是快和准打架。

答得对。用户嫌慢。

答得快,又容易答错。

第三方机构独立测过,旗舰款的语音推理正确率98.8%。

开口只用半秒多。具体是0.57秒。

这个成绩在榜上排第三。

智东西拿它的搭建助手试了试。

动嘴改配置,确实省了翻菜单的功夫。

只是中文口音重。回复也偏长。

延迟偏高。接话不够利索。

这家公司2022年成立,从文本转语音起家。

后来一路扩到语音识别,音效,音乐,对话智能体。

今年2月拿到5亿美元融资,估值110亿美元。

9月一笔员工股份交易,估值抬到220亿美元。

出钱的有红杉和a16z,也有英伟达旗下投资部门和韩国那家电子集团。

两位创始人一个出自数据分析公司,一个出自谷歌。

今年两人都进了富豪榜。

公司自己也在看上市窗口,说想两三年内够条件。

两款模型可以在它的平台上直接建,也能走接口接进自己的应用。

接口兼容OpenAI的实时语音规范,眼下只支持长连接。

急着看效果的话,官网开着演示页。

一、动嘴改配置,省事,但口音重

为了看语音搭智能体顺不顺手,我们拿搭建助手开刀。

第一步用英文改语言设置。

助手听完就改了,没去翻菜单。

第二步让它换个声音。这次没成。

助手自己的音色换不了,建出来的智能体倒是能选。

打开音色库。能挑的确实不少。

音色选择界面

这就是选择音色的界面,说明里写着可选超过一万种高质量音色

换完声音,让它改用中文说话。

要求它听懂了。口音却很塑料。

有些词得贴到耳边才听明白。

中文指令执行倒挺顺。

拿它改语言设置,也成了。

动嘴改设置有点惊喜。

要求说清楚,一部分配置自己就配好了。

它还有个毛病。话密。

简单一句话,能引出一长串解释。

而且不容易打断。

对话界面

跟搭建助手聊天的界面,屏幕上写着 Talk to Architect,还标着已工作7秒

测试里还有明显等待和偶发卡顿,可能跟网络有关。

回复长,打断慢,中文不自然,是这次最突出的三处不足。

补一句,这次只测了搭建助手。

真正跑起来要买词元。两款模型的实际对话没能试。

二、轻量款管陪聊,旗舰款管干活

AI对话的分工,官方演示里摆出来了。

轻量款主打便宜的自然对话。

适合当助手,也适合教学和角色扮演。

旗舰款面向客服和线索筛选。

要好几步、还得反复调工具的任务,归它。

同一家机构把两款都测了一轮。

语音推理那项,旗舰款98.8%,轻量款75.9%。

一千道题。全靠嘴问。

逻辑判断和数物品。认路径也算在里面。

答完再按口头回答打分。

到10月21日,旗舰款在这个排行榜上排第三。

前两名是阶跃星辰和阿里各自的实时音频模型。

评测榜单截图

榜单出自 Artificial Analysis,纵轴是 Speech Reasoning,横轴是对话表现

延迟也确实压得低。

官方公告说,两款平均首次出声是0.57秒和0.62秒。

作为对照,阿里那款在同一个指标上是1.54秒。

这个指标量的是从提问到开口的时间。

真人参与的对话擂台里,旗舰款的工具调用完成率87.1%。

轻量款是60.3%,差了26.8个百分点。

但轮到停顿和打断,轻量款反而更稳。

全双工那项评测里,它95.8%,旗舰款94.1%。

这项把停顿处理、轮次交接和附和回应四类加权算分。

看的是用户停顿时会不会干等,说完能不能接上。

也看能不能分清真打断和一声嗯。

三、从配音到实时,走的是拼装路线

发布之前,这家公司的牌已经摊得挺开。

9月出了第四代语音合成模型,还有一个低延迟版。

情绪表达,声音克隆,多角色对话都改了一轮。

用户能用自然语言或标签控语气,还能塞进笑声这类声音。

去年11月上了实时转写模型。

今年1月又补了长录音和复杂音频的转写。

那版支持说话人区分和词级时间戳,热词也能加权。

2024年11月还做过对话智能体服务。

技术上,这两款新模型还是拼装架构。

识别一段,大模型一段,合成一段,各干各的。

好处是每一段能单独测,单独换。

中间有文字落下来,出错好查,回答也好管。

坏处是声音转成文字会丢东西。

语调和节奏,还有情绪,都得靠额外建模往回补。

他们自己说,方向是保住可控性,再修声音和延迟。

价格按连接时长和词元用量算。

超出套餐之后,两款都是每分钟0.08美元。

轻量款每百万输入词元0.2美元,输出6美元。

旗舰款是1.8美元和9美元。

同样的活,旗舰款的账大概是轻量款的九倍。

结语:实时语音都在往智能体里塞

这次发布把听觉、推理和说话打成一个能直接选的方案。

门槛降了。对话表现也抬了一截。

这条路上已经站了不少人。

OpenAI的实时语音,谷歌的实时对话,阿里的音频实时系列,都在往工具调用上加码。

路线不一样。目标一样。都是让人用嘴把事办完。

要让对话顺、任务往下走,还得整套系统配合。

网络和接话时机,工具执行,哪一环慢了都露馅。

对手们此前也公开讲过底层网络的改法,就为了少几次停顿。

从这次体验看,用嘴建文档、改设置已经够惊喜。

但响应速度和打断处理,还有切页面时的连贯,都还得磨。

等模型和产品再迭代几轮,语音大概真能变成顺手的操作方式。