嵌入的兴起 ML 正在改变设备与世界互动的方式，从而突破了有限的资源的界限。这些应用程序，从智能可穿戴设备到工业传感器，都需要性能，功耗和隐私之间的微妙平衡。
Vladislav Agafonov，机器学习专家 元现实实验室英国 （以前是Oculus VR），密切理解这些挑战。
Agafonov说：“嵌入式机器学习既有趣又具有挑战性，因为我们在具有非常有限的内存和处理器功率的设备上运行深度学习模型。”
根据Agafonov的说法，最持久的挑战之一是优化具有约束计算能力和内存的设备模型。
“最持久的挑战是平衡模型的准确性与有限的芯片内存和受限的处理能力，” Agafonov说。
为了解决这个问题，量化和修剪等技术至关重要。量化可减少用于存储模型权重的位数量，通常从32位增加到8或更少，这显着削减了存储器使用情况。另一方面，修剪会删除网络中不必要的连接，从而缩小了模型的大小并加快推理。
“我还注意融合操作，这意味着在计算中合并多个步骤，以避免存储大型中间结果，” Agafonov说。 “同样，使用直接内存访问（DMA）可以让传感器数据直接流入计算引擎，而无需额外的副本，从而减少延迟。”
通过对每个步骤进行仔细的分析，测量周期，内存足迹和功耗，工程师可以优化最重要的位置，将复杂的模型拟合到几百千字节的内存中。
硬件加速和软件优化
硬件加速度是嵌入式ML的另一个关键组成部分。诸如神经加工单元（NPU）和张量处理单元（TPU）等专门芯片处理并行处理，从而大大加快了神经网络推断的加快，同时最大程度地减少了功率使用情况。
“硬件加速度绝对是在嵌入式设备上运行复杂的ML模型的关键，” Agafonov说。 “但是随着这些芯片的发展，软件优化仍然同样重要。”
诸如Executorch之类的框架旨在通过处理低级细节（例如将工作负载映射到不同的加速器并有效地管理内存）来简化开发过程。
“您可以依靠框架来进行繁重的工作，而不是花费数小时尝试将代码的每个部分进行横切，而是要为每个新的芯片进行晋升。”
这使开发人员可以专注于机器学习模型本身，而不是硬件优化的复杂性。
隐私和联合学习
隐私是一个日益关注的问题，并且嵌入式ML提供了本地数据处理的优势。
Agafonov说：“嵌入式ML的重要原因之一是如此有价值，即可以在设备上处理数据，从而减少甚至消除了通过网络发送敏感信息的需求。”
联合学习进一步实现了这一概念，允许设备在本地训练模型，并仅与中央服务器共享汇总的更新。
“每个设备都没有在中央数据库中收集每个人的数据，而是使用自己的本地信息独立训练该模型，” Agafonov说。 “然后，它只会将’更新’或摘要摘要，而不是原始数据本身。”
这种方法通过防止原始用户数据的传输来增强隐私，这在健康和个人可穿戴设备等敏感应用中尤其重要。
Tinyml的兴起
Tinyml是机器学习在极受资源受限的设备（如微控制器）上的应用，它正在获得动力。
“想想一个小芯片，只有几百千字节的内存，仍然需要处理分类或检测等任务，而不会在此过程中排出电池，”阿加福诺夫说。
环境监测和工业预测维护等应用就是主要例子。
Agafonov说：“小型电池供电的传感器可以检测到特定的动物声音或空气质量的变化，然后传输有意义的警报，而不会浪费恒定数据流的功率。” “在行业中，微控制器可以通过监测振动或温度尖峰来检测机械故障的早期迹象，从而有助于防止昂贵的分解。”
Tinyml的增长是由硬件和软件的进步驱动的。现在，微控制器包括专门的处理块，轻巧的ML框架简化了模型优化和部署。
沉浸式体验和未来趋势
在Meta Reality Labs，嵌入式ML用于增强沉浸式体验。
Agafonov说：“我们正在利用嵌入式ML使身临其境的体验更自然和响应迅速 – 在腕带上思考快速的手势识别，使您可以控制无笨重控制器的AR或VR接口。”
但是，仍然存在技术问题。 “一个重大的障碍是平衡功耗与需要近乎稳定的推断的需求。” “另一个条件下，确保模型保持准确。”
展望未来，Agafonov看到了塑造嵌入式ML的未来的几个关键趋势。越来越多地采用了基本和启用ML的微控制器，使用专门的ML芯片的硬件加速度的扩展以及对联合学习对隐私数据处理的日益增长的使用都可以推动该领域的创新。
随着嵌入式ML的不断发展，平衡功率，隐私和性能的能力对于释放其全部潜力至关重要。
