技術(shù)
導(dǎo)讀:全新參考設(shè)計(jì)選用Arm廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng)IP,并首次將Arm現(xiàn)有子系統(tǒng)IP與安謀科技IP整合,一改過去僅提供生產(chǎn)原材料(即處理器和系統(tǒng)IP)的方式,進(jìn)一步向行業(yè)客戶提供預(yù)先經(jīng)過集成和驗(yàn)證的子系統(tǒng),最終促成縮短研發(fā)周期,使開發(fā)者專注于產(chǎn)品的差異化。
智能時(shí)代的一大特點(diǎn),是過去需要憑人的意識(shí)和指揮產(chǎn)生的動(dòng)作,在必要時(shí)可以由機(jī)器完成,并因此誕生規(guī)??捎^的創(chuàng)新應(yīng)用。智能視覺,就是新時(shí)代創(chuàng)新應(yīng)用的一大典型。
例如在家庭住宅領(lǐng)域,除了基礎(chǔ)安防功能的升級(jí),智能攝像頭“看護(hù)”功能正在逐步提升,對(duì)老人、嬰兒、寵物等群體的必要監(jiān)測(cè)和異常情況告警成為用戶新的需求;又例如在商超零售領(lǐng)域,通過攝像頭和視覺分析技術(shù)可以進(jìn)行人流統(tǒng)計(jì)和行為分析,進(jìn)而優(yōu)化商店布局或推廣策略;在城市管理領(lǐng)域,中國將視覺技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理的水平已經(jīng)處于世界前列;另外在工業(yè)制造領(lǐng)域,智能視覺在自動(dòng)化導(dǎo)航和定位、產(chǎn)品質(zhì)檢等方面的應(yīng)用正逐步鋪開……
而在這些需求背后,對(duì)智能視覺技術(shù)及其系統(tǒng)提出的要求包括:
1)云、邊、端能力的協(xié)同,方便快速、高效、低延時(shí)處理海量視頻數(shù)據(jù);2)AI技術(shù)的賦能加持,用以提高圖像的分析和識(shí)別能力;3)提升算力水平,用以應(yīng)對(duì)高精度、高并發(fā)的大規(guī)模圖像數(shù)據(jù);4)隱私和安全防護(hù)能力,用以抵御惡意攻擊和信息盜用。
站在Arm的角度,作為全球領(lǐng)先的半導(dǎo)體IP供應(yīng)商,目前在智能攝像頭市場(chǎng)擁有9成以上的市場(chǎng)份額,同樣接收著來自不同客戶新的需求反饋,包括對(duì)邊緣計(jì)算、產(chǎn)品設(shè)計(jì)差異化等方面。
基于此,近日Arm正式宣布推出針對(duì)視覺應(yīng)用設(shè)備的Arm智能視覺參考設(shè)計(jì)。
全新參考設(shè)計(jì)選用Arm廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng)IP,并首次將Arm現(xiàn)有子系統(tǒng)IP與安謀科技IP整合,一改過去僅提供生產(chǎn)原材料(即處理器和系統(tǒng)IP)的方式,進(jìn)一步向行業(yè)客戶提供預(yù)先經(jīng)過集成和驗(yàn)證的子系統(tǒng),最終促成縮短研發(fā)周期,使開發(fā)者專注于產(chǎn)品的差異化。
Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示:“中國視覺市場(chǎng)在世界上擁有領(lǐng)先地位及較高的創(chuàng)新活躍度,Arm智能視覺參考設(shè)計(jì)將服務(wù)于中國市場(chǎng)。”
關(guān)于Arm智能視覺參考設(shè)計(jì)的核心內(nèi)容
本次Arm智能視覺參考設(shè)計(jì)包括CPU、ISP、NPU和VPU處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng)IP,具體內(nèi)容包括:
1)Arm Corstone-1000:首先,Corstone是一套預(yù)先經(jīng)過集成并驗(yàn)證的子系統(tǒng),是Arm物聯(lián)網(wǎng)解決方案的根基,旨在加速芯片產(chǎn)品流片和量產(chǎn),使設(shè)計(jì)者可以專注于增強(qiáng)自己的差異化。而Corstone-1000是首款為Cortex-A設(shè)計(jì)的子系統(tǒng),該方案基本配置是經(jīng)過量產(chǎn)考驗(yàn)的Cortex-A35或Cortex-A53,并取得了Arm SystemReady IR 認(rèn)證,確保Linux等操作系統(tǒng)的開機(jī)即用,并簡化軟件開發(fā)。
2) Arm Corstone-300:作為低功耗待機(jī)子系統(tǒng),旨在降低邊緣設(shè)備的功耗,提高系統(tǒng)效率。
3) Arm Mali-C55 圖像信號(hào)處理器 (ISP):是Arm至今為止面積最小、功耗最低、且可配置最高的ISP產(chǎn)品,負(fù)責(zé)提供升級(jí)的圖像質(zhì)量功能,且擁有全方面的軟件工具支持。
4)來自安謀科技的第三方IP,包括“玲瓏”VPU和“周易”NPU。“玲瓏”VPU支持緊湊的、多格式且高效能的視頻編解碼處理,提供靈活的組合和選擇;“周易”NPU同樣靈活可配置,根據(jù)需求可配置出1-30 TOPS 的處理性能,且可以支持多種典型的深度學(xué)習(xí)框架,如Tensorflow、Caffe、Pytorch等,加速客戶應(yīng)用的部署。
基于Arm視覺參考設(shè)計(jì),開發(fā)者不再需要從0開始工作,而是可以專注產(chǎn)品的差異化,使用工具快速將想法轉(zhuǎn)化為產(chǎn)品推向市場(chǎng),顯著降低芯片開發(fā)的成本和風(fēng)險(xiǎn),并縮短研發(fā)周期。另外,該參考設(shè)計(jì)具備可信任的底層IP技術(shù),在增強(qiáng)安全、可移植性與兼容性方面,已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。
目前,智能視覺參考設(shè)計(jì)的目標(biāo)受眾,包括了邊緣AI領(lǐng)域的初創(chuàng)公司、跨界創(chuàng)新公司或是希望進(jìn)行垂直整合的系統(tǒng)公司等。
Arm正式推出智能視覺合作伙伴計(jì)劃
在本次發(fā)布中,“Arm智能視覺合作伙伴計(jì)劃”得到正式公開。Arm將攜手AI視覺、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴共同打造基于Arm架構(gòu)智能視覺應(yīng)用的強(qiáng)大生態(tài),以進(jìn)一步加速視覺硬件、軟件和系統(tǒng)的開發(fā)。
目前,已有十多家來自智能物聯(lián)網(wǎng)不同領(lǐng)域的國內(nèi)領(lǐng)先企業(yè)加入該計(jì)劃。
其中百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺模型庫和 Arm 虛擬硬件的整合適配;誠邁科技作為軟件設(shè)計(jì)合作伙伴加盟,更在日前成為中國第一個(gè)Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴;另外廈門星宸科技在月初通過了PSA安全認(rèn)證,展示了智能視覺界領(lǐng)軍者對(duì)安全和隱私保護(hù)重視程度的提高。
總的來說,因?yàn)榇蠖鄶?shù)公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)的龐大團(tuán)隊(duì),他們的研發(fā)工作需要借力芯片設(shè)計(jì)公司。那么通過這項(xiàng)生態(tài)計(jì)劃,Arm希望推動(dòng)生態(tài)伙伴們熟悉Arm的參考設(shè)計(jì),并在參考設(shè)計(jì)的基礎(chǔ)上快速流片,最終幫助他們的客戶推出滿意的芯片。在這個(gè)過程中,Arm的關(guān)鍵作用是形成預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng),生態(tài)伙伴在它的基礎(chǔ)上設(shè)計(jì)出更多創(chuàng)新的應(yīng)用。
Arm物聯(lián)網(wǎng)全面解決方案,擴(kuò)充進(jìn)行時(shí)
2021年,Arm首次發(fā)布物聯(lián)網(wǎng)全面解決方案,核心主要由三部分構(gòu)成:
1)面向硬件設(shè)計(jì)的Arm Corstone:在前文中已有敘述,是一套預(yù)先集成且經(jīng)過驗(yàn)證的子系統(tǒng),專為特定用例而設(shè)計(jì)。對(duì)于芯片伙伴而言,Arm Corstone極大地加快了芯片流片和量產(chǎn)進(jìn)程。
2)賦能軟件開發(fā)的Arm虛擬硬件設(shè)計(jì)庫:Arm虛擬硬件創(chuàng)建了Corstone芯片參考設(shè)計(jì)的虛擬拷貝,并通過云服務(wù)的方式普及給開發(fā)者們。它支持基于云的現(xiàn)代開發(fā),無需設(shè)置和維護(hù)硬件集群,Arm 虛擬硬件可以輕松擴(kuò)展到數(shù)千個(gè)設(shè)備,并且由于Arm虛擬硬件與底層IP和Corstone設(shè)計(jì)同時(shí)可用,開發(fā)者和OEM廠商可以遠(yuǎn)在芯片可用前就開始工作,這將大幅節(jié)省設(shè)計(jì)時(shí)間和成本。
3)可實(shí)現(xiàn)更簡單的軟件復(fù)用的Project Centauri生態(tài)系統(tǒng)計(jì)劃:Project Centauri擴(kuò)展了物聯(lián)網(wǎng)軟件的創(chuàng)新,通過已定義的標(biāo)準(zhǔn)、安全框架以及RTOS復(fù)雜度的抽象化,重點(diǎn)實(shí)現(xiàn)軟件重復(fù)使用,支持開發(fā)者在更多設(shè)備上分?jǐn)偼度?,降低成本?/p>
在擁有不斷增多的用戶案例的基礎(chǔ)上,為了滿足日益變化的物聯(lián)網(wǎng)客戶需求,Arm持續(xù)對(duì)以上物聯(lián)網(wǎng)全面解決方案進(jìn)行擴(kuò)充,逐步在安全、云原生、邊緣計(jì)算、語音識(shí)別,以及包括本次的智能視覺方面開發(fā)新的產(chǎn)品或功能。未來,Arm物聯(lián)網(wǎng)全面解決方案也將為行業(yè)帶來持續(xù)性改變。