生成式人工智能产品越来越优秀,只需几个样本就能克隆你的声音。OpenAI已经制作了这样一款工具,我立刻想到语音克隆可能是genAI应用程序开发中最危险的东西。当然,克隆声音的能力在各种情况下都很有用,只要目的崇高。但语音克隆可能会被滥用。这可能就是OpenAI仍未将其发布的原因。
这让我们想到了TerifAI,一个低延迟的基于语音的聊天机器人,它可以窃取您的声音并直接从浏览器中克隆它,同时与您聊天,谈论您可能想到的任何事情。
这项人工智能创新绝对令人惊叹,但与OpenAI的语音克隆解决方案一样,它也令人难以置信地恐惧。更令人担忧的是,只需几分钟的聊天时间,就能克隆你的声音。而且这种情况发生时没有任何适当的警告。
我对TerifAI进行了短暂的测试,但时间还不足以让它克隆我的声音。你只需授予浏览器麦克风访问权限,加载聊天机器人,然后开始说话即可。
从一开始,我就对它极快的响应速度感到惊讶。该网站宣称TerifAI是世界上最快的聊天机器人,我倾向于相信这一点。聊天机器人像人类一样回复;一切都是实时发生的。处理语音数据没有延迟。你只需说出你的想法,聊天机器人就会回复。你还会在与它交谈时在屏幕上看到延迟。
该聊天机器人具有预装的默认语音,您无法更改,并且可以涵盖各种主题,尽管这不是ChatGPT。就这一点而言,尚不清楚TerifAI使用什么AI模型。
聊天机器人会询问你的爱好和喜欢的东西。它会快速检测到你何时停止说话并做出回复。你可以打断它并回复,就像你和另一个人进行正常对话一样。
我还没有达到聊天机器人克隆我声音的程度,但我看过AmanIbrahim的演示,它让我感到害怕。一旦聊天机器人克隆了你的声音,它就会用你自己的声音和口音回复你。
值得庆幸的是,TerifAI的开发者表示,这些演示旨在提高人们对genAI时代语音钓鱼危险的认识。TerifAI目前还不是商业产品,因此你不能滥用它来模仿名人或政客。
但这种技术的影响非常大,尤其是在被滥用的情况下。任何拥有合适工具的人都可以制造出类似的产品,用于克隆声音。
这个演示是为了让你震惊,所以它不会征求你的许可来克隆你的声音。这是可以理解的。但我发现,聊天机器人在使用几分钟后就克隆了你的声音,却没有发出警告,这让我很不安。克隆完成后,你就会意识到发生了什么。你应该得到某种通知。我的声音可能没有被克隆,但Ibrahim的演示中没有任何视觉迹象表明已经发生了声音克隆。
我还不清楚我的数据会发生什么,以及我可以从TerifAI获得什么样的隐私保护。
整个网站的设计都比较简约,聊天机器人的笑脸占据了主导地位。我知道这一切都是为了演示Pipecat的功能,Pipecat是一个开源框架,用于构建基于语音的人工智能代理,可以克隆你的声音并提高人们对潜在滥用的认识。但TerifAI是那种可以迅速走红的人工智能产品。许多人会在不知道聊天机器人收集的语音样本会发生什么的情况下尝试它。