Agora是实时参与度API的领先平台,已宣布公开Beta发布其对话AI引擎,这是使开发人员能够创建复杂的互动语音体验的重要一步。这个新平台旨在弥合先进的AI模型与无缝自然的人对机器通信之间的差距。
会话AI引擎的核心目标是为开发人员提供构建既响应又引人入胜的语音驱动应用所需的工具。核心是发动机促进低延迟响应的能力,这是建立现实和流体对话的关键因素。这是通过优化的语音处理和高级网络技术的结合来实现的。
发动机的关键技术功能包括:
- 灵活的AI模型集成: 该平台旨在支持各种各样的AI模型,使开发人员可以自由选择定制算法和领先的大语言模型(LLM)提供商提供的算法。这种灵活性允许根据特定的应用需求量身定制AI交互。
- 优化的语音处理: 为了确保清晰度和准确性,发动机结合了高级功能,例如背景噪声抑制和实时语音到文本(STT)转换。这些功能对于提供高质量的用户体验至关重要,尤其是在具有不同环境噪声水平的环境中。
- 增强的网络可靠性: 利用Agora专有的软件定义的实时网络(SD-RTN),该发动机旨在最大程度地减少延迟并有效地管理数据包丢失。该网络基础架构对于在各种网络条件下保持一致的性能至关重要,从而确保语音交互保持平稳且不间断。
该引擎基于一个致力于对话的AI的十个框架,该框架是一个致力于对话人工智能的项目,它还表示Agora致力于促进开发人员社区内的协作和创新的承诺。此外,该公司计划将引擎与其应用程序构建器平台集成,旨在通过无代码解决方案民主化对语音AI开发的访问。
为了支持发动机的性能和可扩展性,Agora使用Oracle Cloud Infrastructure(OCI)与Oracle合作。这项合作强调了强大的基础架构在为高级AI应用程序供电的重要性。
Agora设想了其对话AI引擎的广泛应用,包括客户服务自动化,物联网设备控制,虚拟购物助理,数字健康支持,在线教育和沉浸式游戏体验。公共Beta版本允许开发人员探索这些可能性,并开始构建下一代语音驱动应用程序。
特色图片来源:agora