网络和互联网技术的进步,使得物联网(IoT)应运而生并极大推动了边缘计算设备的普及,更强的处理能力和连接性也使得数据处理更加靠近数据源。伴随ML和AI技术的发展,智能设备不仅能够执行任务,还能够学习和适应,边缘智能也变得越来越自主和强大。
在过去十年中,Arm进行了大量投资,并优化性能,实现AI算子延展与部署简化,与生态伙伴更是在智能家居、智能零售与智能制造等领域不断创新,从优化各类传感器必需的嵌入式处理器以实现超低成本、低功耗和小面积并支持控制级代码的开发,到推出增强算力与安全的Armv8-M和Arm TrustZone,嵌入式领域的Armv8.1-M,以及发布使CPU能够执行更多计算密集型的AI推理算法的Arm Helium技术,乃至迎合更高性能和更复杂AI工作负载的Arm Ethos系列AI加速器,应用层级也从家庭向企业级、工业5.0并举,进展令人振奋。
生态是计算之本。Arm软硬件计算平台吸引了各方生态创新,例如恩智浦半导体(NXP)的i.MX系列、瑞萨电子(Renesas)的RA8系列、英飞凌(Infineon)的PSoC Edge和Alif Semiconductor的Ensemble等边缘AI芯片方案,带动着边缘AI的革新。
目前,全球90%的AI都运行在基于Arm架构的CPU上,这些持续投入使Arm成为全球最普遍的AI计算平台之一,吸引了越来越多的开发者加入。
两款新品亮相
4月9日,Arm智能物联产品组合中又新增一些新成员。
1)新一代AI微加速器:Arm Ethos-U85 NPU
Arm Ethos-U NPU系列是业界首款AI微加速器,英飞凌、恩智浦半导体、奇景光电(Himax)、Alif Semiconductor和Synaptics等领先企业均已推出搭载Ethos-U的量产芯片。
与上一代产品相比,Arm Ethos-U85为高性能边缘AI应用带来了四倍的性能提升、20%的能效提升,并保持了一致工具链,实现了无缝的开发者体验。它支持128到2048个MAC单元的配置,在最高性能配置下提供4TOPs的AI算力,以可持续的方式支持未来的应用场景。
Ethos-U85不仅提供卷积神经网络(CNN)所需的权重矩阵乘的运算,还支持矩阵相乘——这是Transformer架构网络的基本组成部分,这是优化大模型边缘落地微调时间、提升模型泛化的关键特性。
基于Transformer的模型具有优异的泛化功能,它将更快地驱动新AI应用的发展。Transformer在视觉和生成式AI用例中,比如视频理解、图文结合,图像增强与生成、图像分类和目标检测等方面都极有价值。Transformer架构网络的注意力机制容易利用并行计算来实现,提高硬件使用效率,使得这些模型能够部署在计算资源有限的边缘设备上。开发者可以通过选用针对Transformer架构网络优化的设计,发掘边缘AI的新机遇,使这些应用享有更快的推理、更优化的模型性能和可扩展性。
支持低功耗MCU系统中AI加速的Ethos-U85在高性能边缘计算系统中,也得到越来越多诸如Linux等标准操作系统和高级开发语言应用处理器的加快部署,这种模式更有利于云原生开发和云边端负载调度。在处理数据量日益增长的AI应用系统中,这个趋势尤为显著:借助Armv9 Cortex-A CPU的加持,Ethos-U85为基于应用处理器的智能物联网平台上运行的AI任务实现加速。
这意味着Ethos-U85将在工业机器视觉、边缘网关、可穿戴设备和消费类机器人等应用中带来高效能的边缘推理。
2)全新智能物联参考设计平台:Arm Corstone-320
Corstone-320包含了Cortex-M系列最高性能的嵌入式处理器Cortex-M85与全新的Ethos-U85 NPU AI加速器组成,用于帮助合作伙伴简化系统开发;Corstone-320还包含Arm Mali-C55 ISP,针对边缘MCU和传感器系统越来越依赖于视觉和图像感知,以实现为视觉应用优化的低功耗系统,这个参考设计是针对实际工作负载开发的,参考用例包括部署在智能家居中的电池供电摄像系统,以及在工业和零售系统中的低帧率网络摄像头。
Corstone-320参考设计提供了有安全保证的软硬件组合,使得在此参考设计基础上开发的合作伙伴能够顺利地通过PSA Certified Level 2认证,实现对区域和全球安全标准的合规。Arm坚信,通过Corstone-320预先集成、预先验证的参考设计模版,必定能帮助合作伙伴减少边缘智能芯片开发的成本和时间。
在提供芯片计算子系统IP组合之外,Corstone-320还附带了软件、AI模型库和开发工具,以实现软件的复用;附带仿真Corstone-320完整系统的Arm虚拟硬件(Arm Virtual Hardware)以及单独的CPU和NPU的固定虚拟平台(FVP)模型,可简化开发并加速产品设计,支持软硬件并行协同开发。
这种提供边缘AI和智能物联网计算子系统全套软硬件和工具链的方法,使得合作伙伴能够在一系列性能点上快速开发,并聚焦于打造差异化价值。
Arm计算平台:优势在握
1)简单易用
简单易用才更适于普及推广。这也是随着边缘AI的持续扩展,物联网生态链上下游的芯片与系统供应商、算法软件开发者与集成商们越来越汇聚在Arm计算平台的原因。Arm计算平台提供了AI从云到端、现代敏捷开发和部署流程中所需的特性和功能,实现基于量产验证的一致架构,并采用统一工具链的AI转型。
2)开源开放
包括开发者、数据科学家、学术界在内的AI研究开发社区,在持续受益于Arm生态系统与合作伙伴提供丰富信息与知识的同时,也围绕Arm计算平台构建日益增长的软件和工具生态系统,以及开源软件库和AI框架。比如为人熟知的PyTorch开源ML框架,广泛用于构建和训练神经网络模型,而PyTorch基金会投资边缘AI,发布针对移动和边缘设备推理工具包ExecuTorch,提供了轻量级运行时(Runtime)和算子注册表,覆盖了PyTorch生态系统中的各类模型。
Arm特有的IP授权许可模式和开放生态,使得OEM和ODM可以有多种基于Arm架构和计算平台的芯片与模组选择,更灵活地开发适于最终应用的系统方案。
3)需求平衡
高性能的处理能力往往伴随着更高的功耗,而边缘设备往往对功耗和成本都有着严格限制。因此,在设计边缘AI芯片和系统时,需要在计算能力和能效之间找到合适的平衡。
与此同时,随着越来越多的数据在边缘被处理,数据安全和隐私保护变得尤为重要。这要求芯片设计必须包含加密和安全功能。
边缘用例五花八门,传统物联网市场存在碎片化,需要统一多样化的应用要求,才能达到规模化效益,软件定义和适于软件移植的标准更是必不可少,Arm在IP、参考设计和软件标准上持续投入,从而帮助整个边缘AI生态应对这些挑战。
全新的Ethos-U85和Corstone-320参考设计平台,满足了边缘AI用例对更高性能计算的需求,为最新的AI模型、框架提供了原生支持,并沿用Arm软件与AI开发者已经熟知的工具链,具有投资复用、上手容易等优势。这些最新的产品与参考设计加入了丰富的IP产品和技术组合中,使Arm技术能够覆盖更广泛、多样化的智能物联网应用,并满足最新边缘AI市场的性能、成本和能效需求。
4)全面生态
AI的普及与大模型和生成式AI的迅猛发展,为物联网生态系统带来了前所未有的发展机遇。Arm也在与一系列软件算法与工具伙伴合作,以确保为边缘AI系统开发者提供其所需的工具和支持,借助足够的技术广度和经验,强有力地支持整个边缘计算生态系统抓住AI机遇。
Arm:边缘AI计算领域的领导者
从Cortex-M嵌入式处理器的Helium矢量增强指令集,到Cortex-A应用处理器的SVE、SVE2、SME对矢量和矩阵运算的优化,再到Ethos-U AI加速器,随着边缘AI的持续发展,Arm始终处于推动市场和技术进步的核心地位,且决不止步于此。
边缘AI还将随着大模型和生成式AI崛起,用户体验的持续提升、数据量激增以及企业对数据价值的认可,推动行业的巨大变化,如在设备上实现实时语言翻译等。随着大模型持续通过量化、剪枝和聚类技术来缩减优化,以更适于在边缘和超级终端设备部署,大小模型云边端结合正成为未来AI产品的重要发展趋势与AI应用赋能行业发展的重要方向,生态系统中的开发者正在树莓派设备上评估运行包括LLaMA等在内的大模型。
边缘部署大模型和生成式AI用例指日可待,而Arm已经为此做好准备,来挑战物联网与大模型、多模态AI结合的性能与效率极限。
智能必须无处不在,云边端缺一不可。
边缘侧Arm架构芯片的支持,关系到各行各业智能化的成败。此次Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系统的快速落地,促进未来多模态智能应用的全方位部署;Arm将与生态伙伴们砥砺奋进,释放前所未有的AI潜力。
【本文根据Arm物联网事业部业务拓展副总裁马健Chloe Ma在发布会上演讲整理,有删节】
- 同比增速达34%!AMD新推第五代AMD EPYC处理器以巩固其在现代数据中心的领先地位 – 2024年10月11日
- 锐龙AI PRO 300系列商用移动处理器亮相:AMD重新定义企业计算 – 2024年10月11日
- 优刻得安全屋保障公共数据资源开发利用 – 2024年10月10日