消费者报告显示，几种流行的语音克隆工具缺乏适当的防御欺诈或滥用的保护措施，突出了与AI语音技术相关的潜在风险。该研究检查了六家公司的产品：描述，Elevenlabs，Lovo，Playht，类似于AI和Speechify。
调查发现，只有描述和类似于人工智能已经采取了有意义的措施来防止滥用。其他工具仅要求用户确认他们经常通过自我创新具有克隆声音的合法权利。格蕾丝·盖迪（Grace Gedye），政策分析师 消费者报告，警告说，如果没有适当的安全机制，AI语音克隆工具可以“增强”模仿骗局。
AI语音克隆技术已经大大提高，能够用最少的音频样本模仿一个人的演讲。去年民主党初选期间发生了一个著名的事件，在该民主党初选中，Robocalls以假乔·拜登（Joe Biden）误导的选民为特色。这导致该计划背后的政治顾问罚款600万美元，联邦通信委员会随后禁止AI生成的Robocalls。
对六个AI语音克隆工具的分析表明，五个具有旁观的保障措施，因此在未经同意的情况下轻松克隆声音。 DeepFake音频检测软件通常会努力区分真正的和合成的声音，从而使问题变得复杂。模仿人类特征（例如声音）的生成性AI受到公司本身驱动的大多数道德实践的限制。拜登总统在2023年签署的一项行政命令包括对AI的安全要求，但后来由前总统特朗普撤销了这些规定。
语音克隆技术利用个人的音频样本来创建合成声音。如果没有保障措施，任何人都可以从tiktok或YouTube等各个平台上上传音频，并重复使用该声音。其中四项已检查的服务（Erethlabs，Speechify，Playht和Lovo）简单地要求用户检查一个框，声称语音克隆的授权。类似于AI，在坚持实时录制的同时，消费者报告阐明了验证过程中录制音频的报道。
仅描述提供了有效的保障，要求用户记录特定的同意陈述。此方法很难伪造，除非使用另一个服务克隆语音。所有六个服务均可在各自的网站上公开访问，其中ElevenLabs和AI收费费分别为5美元和1美元，用于创建自定义语音克隆，而其他人则可以免费使用。一些公司承认有可能遭受虐待的可能性，并报告说已经实施了更强的保障措施，以防止创造和声音模仿。
AI语音克隆有合法的应用程序，例如帮助残疾人和提供音频翻译。但是，风险仍然很大。 AI Now Institute的联合执行董事Sarah Myers West指出，这项技术可以促进欺诈，骗局和虚假信息，包括模仿有影响力的人物。
关于音频骗局中AI患病率的研究是有限的。联邦贸易委员会有 表明的 AI可以在“祖父母骗局”中雇用，犯罪分子冒充遇险的家庭成员。此外，一些音乐家由于被用来未经授权的音乐制作而面临挑战，这是由Drake和Weeknd错误地归因于Drake的2023年病毒式歌曲的例子。
特色图片来源： Bruno Cervera/Unsplash
