ElevenLabs 封禁利用人工智能深度伪造拜登声音的用户账号
据彭博社报道， ElevenLabs是一家利用其工具提供语音克隆服务的人工智能初创公司，该公司已禁止创建乔·拜登音频深度伪造品以试图扰乱选举的用户。上周，新罕布什尔州的一些选民在自动语音电话中使用了冒充总统的音频，告诉他们不要在本州初选中投票。最初并不清楚使用了什么技术来复制拜登的声音，但安全公司 Pindrop 的彻底分析表明，肇事者使用了 ElevanLabs 的工具。
该安全公司消除了背景噪音并清理了自动呼叫的音频，然后将其与用于生成深度伪造的 120 多种语音合成技术的样本进行比较。Pindrop 首席执行官 Vijay Balasubramaniyan 告诉《连线》杂志，“99% 的人都认为是 ElevenLabs”。彭博社表示，该公司已获悉 Pindrop 的调查结果，并且仍在调查中，但它已经识别并暂停了制作虚假音频的帐户。ElevenLabs 告诉新闻机构，它无法对问题本身发表评论，但它“致力于防止音频人工智能工具的滥用，并且[它会]非常严肃地对待任何滥用事件。”
深度伪造的拜登机器人电话展示了如何利用模仿他人肖像和声音的技术来操纵即将到来的美国总统选举的选票。卡内基梅隆大学教授凯瑟琳·卡利告诉《国会山报》：“这只是干扰选民或攻击选举工作人员的冰山一角。” “这几乎预示着我们在接下来的几个月里应该期待什么。”
在 ElevenLabs 推出其平台的测试版几天后，互联网上就开始使用它来创建听起来像名人阅读或说一些有问题的事情的音频剪辑。该初创公司允许客户使用其技术克隆声音，以“为公共辩论做出贡献的艺术和政治演讲”。它的安全页面确实警告用户，他们“不能在不违反法律的情况下克隆声音用于欺诈、歧视、仇恨言论或任何形式的在线虐待等滥用目的。” 但显然，它需要采取更多保障措施，以防止不良行为者利用其工具影响选民并操纵世界各地的选举。
