您的位置:首页 > 行业资讯 > 正文

Arm在边缘AI领域的三大赋能策略

时间:2024-09-04 11:39:24 浏览:67

通信世界网消息(CWW)Netflix花了10年时间达到一亿用户,Twitter用了5年,Instagram用了2.5年,TikTok缩短至9个月,而ChatGPT只用了2个月。AI浪潮席卷而来,生成式AI不仅应用在云端,实现写诗作画、聊天客服、视频生成等应用,而且在边缘侧的落地速度同样惊人,并有望助力千行百业自动化转型和新质生产力的提升。Arm物联网事业部业务拓展副总裁马健在深圳国际电子展的Kaifa Gala活动上讲到,“我们正在迎来AI的‘高光’时刻。”

从GenAI到PyhAI,边缘AI崭露头角

当前,我们正处于AI计算普及的初期,AI基础设施的部署以集中式的云与数据中心为主,以支持大规模的AI训练和数据处理任务。但同时,AI模型和计算芯片技术的突破,以及对实时响应、成本、用户体验和安全隐私的诉求,让AI算力快速分布到边缘设备。

AI PC、AI手机和AI汽车等AI产品层出不穷,通过AI加持的CPU、GPU和NPU,能够实现对于小型语言模型在边缘设备上的本地支持。而多模态大模型也将在自动驾驶、机器人、黑灯工厂和智能家居中枢等新的边缘计算场景中实现赋能。未来,AI算力作为一种类似水和电一样不可或缺的基本资源,将无处不在。

实现这样的愿景,需要从GenAI向PyhAI转化,而要实现这一转化包含了多模态性(Multimodality)、端到端(End-to-End)、三维空间和物理理解(3D Spatial and Physics Understanding)三部分。马健表示,只有实现AI和物理世界的融和,才能释放出AI技术的最大价值。

其一是多模态性,AI模型可处理和生成多种形式的数据,包括文本、图像、声音、视频和数据等。其二是端到端,进行端到端训练推理,以达到更实时的响应,比如机器人可以通过观察环境直接生成执行的动作或决策。其三是三维空间和物理理解,这一阶段的AI具备理解和模拟三维空间特性和物理原理的能力,朝着更接近物理智能的方向迈进,如此具身智能机器人才能更好地避障并顺利完成任务。

“边缘AI方兴未艾,在未来将迎来蓬勃的发展。”马健表示,现阶段传感器主要起到采集信息的作用,边缘的网关等设备也不支持AI模型,绝大部分的数据分析、推理、决策发生在云端。但边缘AI已经崭露头角,本世纪末,传感器本身模态将变得更加丰富,可以支持简单智能数据处理,而对数据的分析、推理以及对行为的规划将根据实时性要求实现“云边端”协同,AI算力整体水平提升,并能够以更模块化的方式呈现。

7b876b570aa5af2409bae205fe82a24.png

三路并举,Arm全面赋能边缘AI

作为世界上最普及的计算平台,Arm正在承载从云到边的各类新兴的AI应用与工作负载。面向新时代的边缘AI创新,Arm致力于在硬件、软件和生态系统三个方面同步推进。

硬件是Arm之本。

随着边与端侧AI推理需求的增长,Arm利用Arm Cortex-M和Cortex-A持续丰富边缘算力,并在最新的Armv9架构的A系列产品中引入SVE、SVE2、SME,以更有效、更便利地处理边缘AI负载。同时,Arm持续增强CPU的矢量以及矩阵处理能力,并推出Arm Ethos系列AI加速器产品,打造高性能产品。此外,面对万物互联和安全的需求,Arm推出Arm TrustZone等技术增强安全,并保护敏感数据和操作。

具体来看,Arm通过Armv8.1-M引入Helium矢量扩展,增强Cortex-M产品线的机器学习和数字信号处理性能。高效的Cortex-M55、高性能的Cortex-M85,以及最新推出的Cortex-M52嵌入式处理器均支持Helium。Helium可使信号处理性能提升5倍,ML性能提升15倍,为AI在小型低功耗设备上的普及奠定基础。

Ethos-U NPU是世界上首个嵌入式AI加速器,目前已经被英飞凌、恩智浦、奇景光电和Synaptics等领先厂商所采用。从第一代的Ethos-U55到最新的Ethos-U85,不仅在性能与能效上实现显著提升,还增加了新的算子和Transformer神经网络的原生支持。Ethos-U系列NPU则提供一致的工具链,为边缘AI生态带来无缝的开发者体验,使合作伙伴能够复用Arm对于AI的投入。

此外,为加速物联网以及边缘AI芯片设备的开发及市场推广,Arm将丰富的处理器以及系统IP预先集成验证,以Arm Corstone参考设计平台的形式提供给客户,并佐以Arm及生态系统提供的基础软件、模型库、中间件及参考应用。

软件赋予产品灵魂。

Arm提供广泛的软件、工具和标准,帮助工程师更方便地开发、部署基于Arm平台的高性能AI应用,释放AI硬件性能潜力。

在工具方面,Arm IP Explorer可让芯片架构师便捷进行芯片设计中IP的选型与配置。Arm提供MLIA、ML-zoo模型库以及ML Evaluation Kit等工具,帮助开发者更敏捷地设计部署边缘AI。

在软件方面,Arm支持多种主流ML框架,包括PyTorch、TensorFlow、TensorFlow Lite、ONNX以及中国本土的百度飞桨等。根据不同目标,Arm提供不同的ML编译器,使ML模型在不同硬件处理器上最优化地执行。

在标准方面,Arm提议并支持开放标准TOSA,旨在简化从训练环境到不同硬件平台的部署过程。Arm与Meta的合作就依托于Arm在TOSA方面的巨大投入。

生态系统是Arm成为AI时代首选计算平台的关键。

Arm在手机、云、物联网和汽车等多方面的普及归功于Arm丰富活跃的生态系统。生成式AI时代,Arm正与合作伙伴携手,在ML开发流程的每一步中提供全面的支持和价值,强化开发者在从概念到部署整个过程中的能力。

Arm的ML软件和工具协助模型评估、转化、编译,以及针对硬件的优化,专注于在多种边缘AI与智能物联应用场景下提供优秀的性能和效率。当前,Arm正与英伟达展开合作,针对英伟达TAO进行适配。这是一套针对Ethos-U NPU使用的低代码开源AI工具包,有助于构建性能优化的视觉AI模型,并将其部署于搭载Ethos-U的处理器上。

更值得关注的是,由于Arm独特的技术授权模式和开放生态,OEM和ODM可以有多种基于Arm架构和计算平台的芯片与模组选择,更灵活地开发适于最终应用的系统方案。

“在过去一两年大模型、生成式AI迅猛发展时期,业内痛并快乐着,快乐的是AI带来机遇,基本上会更新所有领域的芯片、软件;痛的是AI演进速度太快,模型应用层出不穷,让芯片设计公司应接不暇,如何选赛道定规格,加速产品开发上市,产生差异化,都可能为行业带来挑战。”马健表示,Arm能提供AI从云到端、现代敏捷开发、部署流程中所需的特性和功能,实现基于量产验证的一致架构和统一工具链的AI转型。Arm计算平台在AI淘金潮中可以为大家提供一套简单易用而且普适的利器,把从云到端非差异化的部件做好、做精,让大家用着顺手,挖掘AI金矿。

创新IP授权模式,为企业量体裁衣

从Cortex-M嵌入式处理器的Helium矢量增强指令集,到Cortex-A应用处理器的SVE、SVE2、SME对矢量和矩阵运算的优化,再到Ethos-U AI加速器。随着边缘AI的持续发展,Arm始终处于推动市场和技术进化的核心地位,但Arm不会止步于此。

当前,大模型通过持续量化、剪枝和聚类技术,已经可以从几千亿参数缩减优化到几十亿参数,甚至是几千万参数的小模型,适于在边缘和超级终端设备部署。马健表示,大小模型“云边端”结合将成为未来AI产品的重要发展趋势、AI应用赋能行业发展的重要方向,而Arm也将携手生态伙伴,挑战边缘大模型性能和能耗极限。

同时,据马健介绍,为了让广大生态可以更容易地访问使用Arm技术,降低开发门槛,加速产品敏捷开发,在海外极受欢迎的Arm Flexible Access近期已在中国市场落地。Arm Flexible Access通过支付实惠的年费,访问适用于边缘AI创新的Cortex-A、Cortex-R、Cortex-M CPU、Ethos NPU、Mali GPU和ISP,参考设计以及仿真模型和工具链,自由选择适合诸位产品诉求的组合,进行设计和优化,在芯片流片量产时再支付选用IP的授权金和之后权利金的费用。

智能必须无所不及,“云边端”缺一不可。马健表示,目前全球约有90%的AI都运行在基于Arm架构的CPU上,这些持续投入使Arm成为全球最普遍的AI计算平台之一,吸引了越来越多的开发者加入进来,未来Arm将继续与生态伙伴砥砺奋进,释放AI规模潜力。