在物聯(lián)網(wǎng)與AI融合的浪潮中，考慮延時(shí)、隱私、成本等因素，相比于將數(shù)據(jù)上傳到云，市場(chǎng)對(duì)邊緣AI計(jì)算平臺(tái)的需求日益迫切。從智慧城市到工業(yè)自動(dòng)化，隨著世界的互聯(lián)和智能化水平的日益提升，在邊緣側(cè)處理AI工作負(fù)載的必要性已不可或缺。

Arm公司近日發(fā)布專為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI計(jì)算平臺(tái)，該平臺(tái)以全新的Arm Cortex-A320 CPU和領(lǐng)先的邊緣AI加速器Arm Ethos-U85 NPU為核心，覆蓋多個(gè)應(yīng)用場(chǎng)景，實(shí)現(xiàn)包括視覺(jué)和自然語(yǔ)言在內(nèi)的多模態(tài)的環(huán)境感知與理解，進(jìn)而運(yùn)行智能體AI、自主規(guī)劃、執(zhí)行復(fù)雜任務(wù)。該平臺(tái)具備強(qiáng)大的計(jì)算能力，比去年的基于Cortex-M85搭配Ethos-U85的平臺(tái)提升了八倍的ML計(jì)算性能，帶來(lái)了顯著的AI計(jì)算能力突破。該平臺(tái)可賦能邊緣AI設(shè)備輕松運(yùn)行超過(guò)10億參數(shù)的大模型，助力大模型與生成式AI在物聯(lián)網(wǎng)領(lǐng)域的落地。

一、Armv9邊緣AI計(jì)算平臺(tái)：CPU和NPU的深度配合助推邊緣AI創(chuàng)新

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，此次發(fā)布的邊緣AI計(jì)算平臺(tái)并非CPU和AI加速器的簡(jiǎn)單堆疊，而是實(shí)現(xiàn)了深度配合，讓CPU和NPU相得益彰。

Cortex-A320可以為Ethos-U85提供更高的內(nèi)存容量與帶寬，讓大模型在Ethos-U85上的執(zhí)行如虎添翼。任何開(kāi)發(fā)者們不希望在Ethos-U85上運(yùn)行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費(fèi)類電子生態(tài)系統(tǒng)能夠在正確的時(shí)間，并在合適的地方運(yùn)行最適合的工作負(fù)載。在Arm看來(lái)，這一創(chuàng)新將推動(dòng)邊緣AI領(lǐng)域在未來(lái)多年內(nèi)的持續(xù)發(fā)展。

目前，全新Armv9邊緣AI計(jì)算平臺(tái)已獲得亞馬遜云科技(AWS)、西門子和瑞薩電子等多家行業(yè)領(lǐng)先企業(yè)的支持。以AWS為例，AWS IoT Greengrass是一個(gè)開(kāi)源的邊緣執(zhí)行程序和云服務(wù)，用于構(gòu)建、部署和管理設(shè)備端軟件。目前，該邊緣執(zhí)行程序已經(jīng)能夠在眾多基于Arm架構(gòu)的設(shè)備上運(yùn)行，并支持遠(yuǎn)程部署、管理和持續(xù)優(yōu)化AI功能。在云邊協(xié)同服務(wù)的場(chǎng)景下，安全性至關(guān)重要。因此，Armv9的安全特性成為物聯(lián)網(wǎng)服務(wù)成功落地，以及為終端用戶創(chuàng)造價(jià)值的關(guān)鍵創(chuàng)新。

二、Cortex-A320：首個(gè)專為物聯(lián)網(wǎng)應(yīng)用優(yōu)化，基于Armv9架構(gòu)的超高能效CPU

聚焦物聯(lián)網(wǎng)設(shè)備的邊緣AI能力時(shí)，此次全新發(fā)布的基于Arm架構(gòu)的Cortex-A320為物聯(lián)網(wǎng)帶來(lái)了先進(jìn)的AI功能和開(kāi)發(fā)者優(yōu)勢(shì)，將Armv9架構(gòu)的功能擴(kuò)展到高能效設(shè)備，并提供全面的軟件支持。

Cortex-A320充分發(fā)揮了Armv9架構(gòu)的優(yōu)勢(shì)，如針對(duì)ML性能的SVE2。相較于前代產(chǎn)品Cortex-A35，Cortex-A320的ML性能提升了十倍，標(biāo)量性能提升了30%。

其所采用的Armv9.2架構(gòu)還為最小的Cortex-A設(shè)備帶來(lái)了高級(jí)的安全功能，例如指針驗(yàn)證(PAC)、分支目標(biāo)識(shí)別(BTI)和內(nèi)存標(biāo)記擴(kuò)展(MTE)。這些功能至關(guān)重要，因?yàn)檫吘壴O(shè)備通常在暴露的環(huán)境中運(yùn)行并處理敏感數(shù)據(jù)。

Cortex-A320支持廣泛的邊緣AI應(yīng)用類型，從入門級(jí)通用MPU、智能揚(yáng)聲器、軟件定義智能攝像頭，到工廠車間內(nèi)的自動(dòng)駕駛車輛、自動(dòng)化邊緣AI助手、AI人機(jī)界面和機(jī)器人控制器，Cortex-A320可在廣泛的應(yīng)用中發(fā)揮上述優(yōu)勢(shì)。除邊緣AI應(yīng)用外，Cortex-A320還可惠及包括智能手表和智能可穿戴設(shè)備，以及服務(wù)器基板管理控制器(BMC)等基礎(chǔ)設(shè)施設(shè)備在內(nèi)的眾多關(guān)鍵細(xì)分市場(chǎng)。

三、強(qiáng)大的軟件生態(tài)支持

邊緣AI普及面臨的最主要障礙之一是軟件開(kāi)發(fā)和部署的復(fù)雜性，為此，Arm將Arm Kleidi擴(kuò)展到物聯(lián)網(wǎng)。作為一套面向AI框架開(kāi)發(fā)者的計(jì)算庫(kù)，旨在優(yōu)化基于Arm CPU的AI和ML工作負(fù)載，無(wú)需開(kāi)發(fā)者額外操作。KleidiAI已集成到常見(jiàn)的物聯(lián)網(wǎng)AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通過(guò)XNNPACK），加速了Meta Llama 3和Phi-3等關(guān)鍵模型的性能。例如，在Llama.cpp上運(yùn)行微軟的Tiny Stories數(shù)據(jù)集時(shí)，KleidiAI為新的Cortex-A320帶來(lái)了高達(dá)70%的性能提升。

可以說(shuō)，軟件生態(tài)一直是Arm的聚焦重點(diǎn)之一。過(guò)去幾年中，Arm在IoT標(biāo)準(zhǔn)化方面推出了Arm SystemReady，旨在不同的IoT平臺(tái)上可以支持各種主流軟件和操作系統(tǒng)，確?！伴_(kāi)機(jī)即用”。Arm SystemReady項(xiàng)目在全球的推廣非常成功，目前已經(jīng)累計(jì)頒發(fā)了超過(guò)了160張認(rèn)證。在中國(guó)市場(chǎng)，去年11月Arm攜手中科創(chuàng)達(dá)成立了中國(guó)大陸首個(gè)Arm SystemReady Devicetree合規(guī)實(shí)驗(yàn)室。該實(shí)驗(yàn)室融合了中科創(chuàng)達(dá)在操作系統(tǒng)和工程方面全方位的專業(yè)能力，以及Arm經(jīng)過(guò)全球驗(yàn)證的SystemReady項(xiàng)目，為芯片廠商、OEM/ODM 廠商 、系統(tǒng)集成商提供端到端的測(cè)試和技術(shù)支持服務(wù)，為智能設(shè)備啟動(dòng)固件的標(biāo)準(zhǔn)化，加速萬(wàn)物智能互聯(lián)時(shí)代的到來(lái)。

小結(jié)

展望未來(lái)，AI的發(fā)展趨勢(shì)將繼續(xù)轉(zhuǎn)向邊緣側(cè)，而全新Arm邊緣AI計(jì)算平臺(tái)將成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。Armv9架構(gòu)的特性、先進(jìn)的AI功能和全面軟件支持的結(jié)合，為OEM廠商和開(kāi)發(fā)者創(chuàng)造了新的可能性。隨著技術(shù)的不斷演進(jìn)，我們也期待Armv9邊緣AI計(jì)算平臺(tái)能持續(xù)推動(dòng)邊緣AI的廣泛應(yīng)用和創(chuàng)新。