Copyright 2017-2024 团结人 版权所有 京ICP备2021012359号
Arm KleidiAI与ONNX Runtime的集成，为Windows和安卓操作系统带来了显著的AI性能优化，实现高达2.6倍的AI推理速度提升，从而加速应用体验。
联合作者：Arm终端事业部产品管理总监Ronan Naughton
微软AI框架首席软件工程经理George Wu
随着人工智能(AI)成为当今个人电脑(PC)和移动设备使用体验（从聊天机器人到生产力提升）中不可或缺的一部分，这些设备对CPU高效、可扩展的推理需求也在持续增长。Arm与微软正携手合作以满足这一需求，在从高端台式电脑和笔记本电脑到旗舰级和入门级智能手机等各类广泛的消费类电子设备上，为用户带来加速的AI体验。
Arm和微软共同将Arm KleidiAI进一步扩展到ONNX Runtime（业界广泛使用的开源AI运行时之一）中。KleidiAI是一款面向AI框架开发者的轻量级内核库，它能够在无可比拟的规模下，为广泛的技术市场以及各类基于Arm架构的设备，提供AI模型和工作负载的无缝性能优化。鉴于KleidiAI已成功集成到其他领先的AI框架上，这次的合作是在此成功基础上的又一重要进展。
加速边缘设备上的AI体验
Windows on Arm生态系统在过去几年实现了显著的增长。包括Adobe Photoshop、Google Chrome、Spotify和Zoom等广受欢迎的应用程序，都纷纷推出了Arm原生版本，以充分发挥其性能和能效优势。通过将KleidiAI集成到ONNX Runtime中，广大的应用程序开发者无需额外投入工程时间，就能获得PC和移动设备的AI性能提升。ONNX Runtime为微软诸多产品的AI工作负载提供支持，包括Microsoft 365套件以及Microsoft Copilot等，并为Copilot+PC打造卓越的AI体验。
KleidiAI与ONNX Runtime的集成优化了包含Phi-3 Mini等一系列模型在内的AI工作负载。Phi-3 Mini是一个拥有38亿参数的小型语言模型，专为边缘设备的先进AI体验量身定制。这些AI体验包括实时聊天机器人、虚拟助手、智能文本补全以及生产力工具的功能增强等，所有这些功能均可在设备本地实现。通过将Phi-3 Mini紧凑的结构与KleidiAI高效的CPU执行提供程序(Execution Provider)集成配对，开发者无需依赖云端连接，即可在设备上快速实现智能功能。
提升PC和移动设备上的实际AI性能
在PC和移动平台上，该集成已为终端用户带来了切实的益处。它显著加快了AI的响应速度，使设备能够直接实现更智能、更快速的交互，且无需开发者进行架构改动或后端重写。
根据Arm的基准测试显示，在KleidiAI集成到ONNX Runtime后，系统性能得到了显著的提升，包括在基于Armv9平台的Windows设备上运行Phi-3模型时，提示处理吞吐量提升了2.4倍，词元(token)生成速度加快了12%。这些性能改进使聊天机器人等AI应用能够给出更加自然流畅的回应。同样地，在搭载最新Armv9 CPU的vivo X200 Pro旗舰智能手机上运行相同Phi-3模型的参考安卓应用中，提示处理速度加快了2.6倍。
由于KleidiAI的集成运行在全球应用广泛的Arm CPU架构上，这使得AI应用与工作负载能够在不同的生态系统及芯片组之间无缝移植。KleidiAI的设计旨在与当前的Arm架构特性，如Neon、可伸缩矢量扩展(SVE2)及可伸缩矩阵扩展(SME)，展开协同工作。这些面向未来的功能确保开发者能够构建当下的AI增强体验，并使其随着未来的硬件创新而扩展。KleidiAI与ONNX Runtime的集成已在ONNX RT V1.22中发布。
推动AI规模化落地
Arm与微软的合作为开发者普及优化AI迈出了变革性的一步。该合作简化了在各类PC和移动设备上部署智能功能的流程，无需增加成本或开发工作量，同时为终端用户带来加速的AI体验。随着AI的持续演进，这些优化工作将确保开发者、OEM厂商和操作系统提供商拥有出色的性能、灵活性和广泛的覆盖范围，为更多用户带来更优质、更智能的体验。