安霸的產(chǎn)品廣泛應(yīng)用于人工智能計(jì)算機(jī)視覺、視頻圖像處理、視頻錄制等領(lǐng)域,包括視頻安防、高級駕駛輔助系統(tǒng)(ADAS)、駕駛員及艙內(nèi)智能監(jiān)控、電子后視鏡、汽車自動駕駛域控制器和機(jī)器人應(yīng)用等。
2022年11月15日,由蓋世汽車主辦,上海虹橋國際中央商務(wù)區(qū)管委會、上海閔行區(qū)人民政府指導(dǎo),上海南虹橋投資開發(fā)(集團(tuán))有限公司協(xié)辦的2022第二屆智能汽車域控制器創(chuàng)新峰會上,安霸半導(dǎo)體技術(shù)(上海) 有限公司軟件研發(fā)高級總監(jiān)孫魯毅介紹,安霸的高性能、低功耗AI SoC主控芯片提供超高清圖像處理、視頻壓縮及強(qiáng)大的神經(jīng)網(wǎng)絡(luò)處理,能夠從高分辨率視頻和雷達(dá)信息中提取有價值的數(shù)據(jù),在智能感知、多傳感器融合和中央域控處理系統(tǒng)等領(lǐng)域大顯身手。
以下是演講內(nèi)容整理:
今天主要講三個內(nèi)容,首先是安霸公司介紹,安霸中國公司2007年在上海成立,但是最近幾年才有陸陸續(xù)續(xù)在一些主機(jī)廠和Tier1中獲得知名度,后期隨著更多產(chǎn)品推向市場,希望大家對我們增進(jìn)了解。第二,CV3在大算力中央域控制主芯片領(lǐng)域有哪些技術(shù)優(yōu)勢。第三,如果客戶采用CV3作為主芯片做自動駕駛域控系統(tǒng),會帶來哪些特色。
安霸在ADAS和自動駕駛領(lǐng)域的技術(shù)儲備
簡單介紹下安霸的得名,安霸的英文名叫Ambarella,Ambarella是一種水果的名字,在佛經(jīng)里有記載,曾在斯里蘭卡等地有種植,后被引進(jìn)至太平洋上的開曼群島,而安霸公司2004年的注冊地就在開曼群島,此后,安霸在硅谷設(shè)立研發(fā)中心進(jìn)行芯片開發(fā),2007年成立中國團(tuán)隊(duì)。
2012年,安霸在納斯達(dá)克上市,代碼叫AMBA。真正進(jìn)入汽車前裝行業(yè)是在2015年,那年我們收購了一家做自動駕駛的公司。2017年,安霸第一顆AI前端視覺主芯片CV1面世,提供給汽車市場人工智能方面的單芯片解決方案,2018年,安霸陸續(xù)推出第二代CV系列AI主芯片,與行業(yè)內(nèi)的很多客戶和合作伙伴建立深度合作關(guān)系,2019年開始陸續(xù)在商用車及乘用車市場量產(chǎn)落地。
迄今為止,在汽車以及人工智能行業(yè),安霸已經(jīng)商業(yè)化落地量產(chǎn)百萬顆以上的CV系列AI主芯片,加上去年收購了4D毫米波雷達(dá)算法公司傲酷,現(xiàn)在安霸不僅布局了應(yīng)用于ADAS的主芯片、中央域控處理主芯片、還布局了4D毫米波雷達(dá)算法。2022年,安霸發(fā)布了大算力自動駕駛域控芯片CV3。
CV系列的芯片目前已經(jīng)有10款面世。從2018年開始,我們推出10nm制程的車規(guī)級CV2x芯片系列,在行業(yè)中屬于芯片設(shè)計(jì)與制程方面較領(lǐng)先的公司。目前已經(jīng)推出的兩顆5nm制程芯片,一顆是用于工業(yè)類和消費(fèi)類的CV5,另一顆是汽車大算力域控主芯片CV3。明年我們還會推出5nm車規(guī)制程的ADAS主芯片系列以及大算力域控主芯片系列。
CV2x系列AI主芯片平臺,軟件全兼容,全系列芯片均已在乘用車前裝項(xiàng)目量產(chǎn)。SDK成熟穩(wěn)定,支持多種算法開發(fā)和優(yōu)化全系列芯片的CV工具鏈兼容,提供成熟的模擬和調(diào)試工具,縮短新產(chǎn)品開發(fā)周期。CV2x系列芯片提供“磐石”信息安全綜合解決方案支持硬件信息安全,已在多項(xiàng)目量產(chǎn);CV3和后續(xù)芯片支持硬件HSM,進(jìn)一步改善信息安全。在功能安全方面,CV2FS和CV22FS達(dá)到芯片ISO26262 功能安全ASIL-C,功能安全島ASIL-D等級;CV3也帶有ASIL-D功能安全島,整顆芯片可達(dá)到ASIL-B等級。
安霸的多種技術(shù)優(yōu)勢,最后都是為了保證產(chǎn)品穩(wěn)定量產(chǎn)。安霸做芯片多年來一直秉承著的核心思想就是如何能給客戶帶來穩(wěn)定、好用的解決方案。其中芯片設(shè)計(jì)是核心,除了芯片以外,還有軟件SDK工具,以及供應(yīng)鏈與客戶支持,這一系列的優(yōu)勢組合都能夠更好地服務(wù)市場。
安霸目前的技術(shù)優(yōu)勢
安霸的核心技術(shù)包括自研ISP的設(shè)計(jì)和算法。 秉承安霸多年來ISP算法研究的成果和不斷迭代創(chuàng)新,當(dāng)采用同樣的CMOS圖像傳感器時,安霸的ISP通常帶來更好的動態(tài)范圍和效果,從而得到更好的還原,改善ADAS算法在復(fù)雜場景下的準(zhǔn)確度。
安霸的CV芯片系列還集成了高效的神經(jīng)網(wǎng)絡(luò)引擎CVflow架構(gòu),CVFlow代表Computer Vision(計(jì)算機(jī)圖像處理),采用CVflow架構(gòu)的CV系列芯片是當(dāng)下單位功耗下性能最高的AI處理器。CVflow完全自研且經(jīng)過量產(chǎn)考驗(yàn)。帶有完整成熟的工具鏈,從用戶導(dǎo)入算法模型,優(yōu)化,量化,編譯轉(zhuǎn)換,執(zhí)行,一氣呵成,支持Caffe, Tensorflow, Pytorch, PaddlePaddle等訓(xùn)練框架,兼容各種開源神經(jīng)網(wǎng)絡(luò)和客戶自有神經(jīng)網(wǎng)絡(luò)。
CV2x系列AI視覺感知芯片里有很多顆,這些芯片架構(gòu)和軟件兼容,具有較強(qiáng)的可擴(kuò)展性,這給客戶帶來了很大的便利性。它意味著客戶挑選開發(fā)的第一顆CV2系列的芯片,和其它的CV2x系列沒有太大的區(qū)別,只是硬件的配置有高有低。
全系列的CV2x都集成了高性能高質(zhì)量ISP,支持全硬件加速幾何形變矯正,可支持多達(dá)8路圖像傳感器輸入,包含了高性能神經(jīng)網(wǎng)絡(luò)處理器CVflow和多路實(shí)時視頻編碼(H.264/H.265/JPEG),采用10nm低功耗設(shè)計(jì),均已在汽車前裝量產(chǎn),滿足AEC-Q100 Grade2級別,并可實(shí)現(xiàn)系統(tǒng)功能安全。
目前為止,安霸的芯片不僅僅是技術(shù)領(lǐng)先,其在可靠性、穩(wěn)定性方面也都得到了客戶的高度評價。除了AI性能之外,CV系列芯片還有非常強(qiáng)的數(shù)據(jù)采集能力和圖像編碼能力。攝像頭的圖像采集和錄制是安霸的看家本領(lǐng),這些數(shù)據(jù)采集不僅僅是指多路攝像頭數(shù)據(jù)(支持H.265高品質(zhì)壓縮比72倍以上,以及YUV,RAW格式),還包括毫米波雷達(dá)和激光雷達(dá)的數(shù)據(jù)采集。
自從我們收購了毫米波雷達(dá)算法公司傲酷以后,我們也做了一些毫米波雷達(dá)的研究和測試,比如下圖場景是最近實(shí)際采集到的東西,綠色的是4D毫米波雷達(dá)采集到的數(shù)據(jù),黃色的點(diǎn)是激光雷達(dá)采集的數(shù)據(jù),視頻是我們攝像頭采集的數(shù)據(jù),這是一個小測試,主要對激光雷達(dá)、4D毫米波雷達(dá)、視覺圖像的實(shí)時采集信息進(jìn)行對比分析。
激光雷達(dá)和4D毫米波雷達(dá)采集點(diǎn)的數(shù)目差別不大,而且4D毫米波雷達(dá)采集范圍更遠(yuǎn)。結(jié)合這些測試,我們?yōu)榭蛻籼峁┬酒蚐DK軟件,把多種數(shù)據(jù)的采集存儲融合以及時間同步等問題都進(jìn)行了很好地解決,也可以配合客戶進(jìn)行類似的工作。
在功能安全方面,安霸在CV2FS芯片上已經(jīng)獲得全芯片設(shè)計(jì)ASIL-C等級,功能安全島ASIL-D等級,由EXIDA官方認(rèn)證。安霸能夠?qū)τ谀軌驅(qū)τ谟泄δ馨踩枨蟮捻?xiàng)目提供完整功能安全文檔和設(shè)計(jì),軟件也符合ISO26262要求。
大算力中央域控芯片CV3的技術(shù)優(yōu)勢
下面我集中說一下CV3的優(yōu)勢,2020年CES上安霸的前代產(chǎn)品CV2和友商30T算力芯片進(jìn)行公開對比,運(yùn)行相同的神經(jīng)網(wǎng)絡(luò)算法性能相當(dāng),CV2功耗只有對手的1/5;到了2022年,CV3已在AI性能上大幅超越友商的最新汽車域控芯片。
CV3系列中,CV3 High是CV3系列當(dāng)中性能最高的一顆,在這個芯片展示出來的神經(jīng)網(wǎng)絡(luò)性能遠(yuǎn)超目前行業(yè)在用的大算力芯片性能的同時,它的功耗只有50w。
這一芯片的性能不是靠我們隨便說的,我們給客戶當(dāng)面演示,說到的性能可以做到,并會讓客戶親手驗(yàn)證。CV3 系列芯片支持多個攝像頭,毫米波雷達(dá),激光雷達(dá),超聲波雷達(dá)等傳感器的同時輸入;CV3支持各種傳感器的數(shù)據(jù)前處理,后處理,運(yùn)行神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)算法,并且對多傳感器的結(jié)果進(jìn)行融合;CV還可高效地通過硬件支持Transformer/BEV類視覺感知算法,比競品速度更快,精度更高;此外,CV3還支持集中式4D毫米波雷達(dá)處理,以改善雷達(dá)性能降低成本。
怎么做到功耗更低反而性能更高?
首先就是芯片的架構(gòu)設(shè)計(jì),CV3采用獨(dú)特的芯片架構(gòu)設(shè)計(jì),其獨(dú)有的CVFlow,ISP,H.265編碼器等硬件模塊都為低功耗做了特別優(yōu)化,當(dāng)運(yùn)行相同算法的時候,占用內(nèi)存帶寬更少。其次,CV3采用領(lǐng)先行業(yè)的5nm車規(guī)制程,進(jìn)一步降低功耗。因此在運(yùn)行大算力計(jì)算和多個8百萬攝像頭輸入的時候,CV3的實(shí)際AI性能是目前市場在用的最大算力域控芯片的3~6倍,此時CV3的功耗不到其的一半。
由CV3做主芯片的自動駕駛中央域控制器,可以接入12路以上的攝像頭,并且由于CV3集成ISP,圖像處理能力強(qiáng),畫質(zhì)更優(yōu),對于客戶來講,能夠節(jié)省成本和功耗。為了使攝像頭達(dá)到更好的圖像質(zhì)量,安霸會負(fù)責(zé)圖像的支持和調(diào)優(yōu)。CV3不僅對于每路攝像頭輸入都可以獨(dú)立控制圖像質(zhì)量,而且還支持多個攝像頭的曝光同步,包括控制不同攝像頭的曝光延時。
最后,CV3系列芯片功能齊備,接口豐富,工具鏈成熟:
CV3使用多個(最多16個)ARM Cortex A78AE,因此有目前最強(qiáng)的CPU算力;通過支持高位寬的LPDDR5內(nèi)存,CV3具備了充沛的內(nèi)存帶寬;CV3芯片支持大算力域控常見的所有接口,且都為最新規(guī)格;其連接外設(shè)的網(wǎng)口,CAN口數(shù)量足夠多;CV3芯片自帶ASIL-D級別功能安全島,可支持AUTOSAR CP;CV3芯片支持通過PCIe多片級聯(lián)用以擴(kuò)充性能;CV3的工具鏈和前代安霸量產(chǎn)芯片CV2x系列兼容;CV3的SDK提供整套開發(fā)工具,調(diào)試工具和基于開源的中間件。
以CV3為核心芯片的自動駕駛系統(tǒng)的特色和突破
如果以CV3為核心芯片的這套自動駕駛,將給客戶帶來什么?
第一,有利于降低系統(tǒng)的成本:節(jié)省外置攝像頭模組的ISP;節(jié)省外置的Safety MCU;節(jié)省散熱成本,因其更低的功耗;節(jié)省主芯片個數(shù),因?yàn)锳I算力更強(qiáng);節(jié)省CPU資源,因?yàn)橛布铀儇S富;節(jié)省大容量存儲,因?yàn)橄到y(tǒng)優(yōu)化好;節(jié)省開發(fā)時間,因?yàn)樗惴嫒菪院谩?/p>
第二,CV3加Transformer/BEV如虎添翼。CV3可以高效支持多攝像頭,多激光雷達(dá)的BEV類算法。BEV類算法有利于多傳感器融合;更加適合后端的預(yù)測,決策,規(guī)控,是目前自動駕駛的算法發(fā)展的主流方向;Transformer網(wǎng)絡(luò)在BEV類型算法常用,CV3的CVflow算力單元中NVP可高效支持transformer網(wǎng)絡(luò),通過提供transformer的硬件加速,比競品速度更快,精度更高;CV3的多個NVP可獨(dú)立對于多路視頻同時計(jì)算,高度并行,硬件可高效支持點(diǎn)云和圖像的前處理等,大大減少對于ARM CPU算力的需求。
第三,CV3可以帶來集中式中央域控雷達(dá)技術(shù)。收購4D雷達(dá)算法公司傲酷后,安霸在CV3上開發(fā)了集中式中央域控雷達(dá)技術(shù),把4D毫米波雷達(dá)算法的準(zhǔn)確度和點(diǎn)云數(shù)目大幅提升,并且有效降低了前端雷達(dá)設(shè)備的成本。目前有很多家國外的大主機(jī)廠,在下一代架構(gòu)上已經(jīng)考慮到中央域控雷達(dá),而安霸的CV3上已經(jīng)集成了中央域控雷達(dá)處理的硬件。
第四,安霸獲得廣泛的行業(yè)認(rèn)可。此前,安霸在英國知名媒體“電子元器件(Components in Electronics)”每年一次的“電子行業(yè)獎(Electronics Industry Awards)”中,安霸憑借CV3汽車AI域控制器SoC榮獲“2022年度產(chǎn)品大獎”。
(以上內(nèi)容來自安霸半導(dǎo)體技術(shù)(上海)有限公司軟件研發(fā)高級總監(jiān)孫魯毅于2022年11月15日由蓋世汽車主辦,上海虹橋國際中央商務(wù)區(qū)管委會、上海閔行區(qū)人民政府指導(dǎo),上海南虹橋投資開發(fā)(集團(tuán))有限公司協(xié)辦的2022第二屆智能汽車域控制器創(chuàng)新峰會發(fā)表的《大算力低功耗的自動駕駛中央域控芯片CV3》主題演講。)
來源:蓋世汽車
作者:薈薈
本文地址:http://www.medic-health.cn/news/qiye/189883
以上內(nèi)容轉(zhuǎn)載自蓋世汽車,目的在于傳播更多信息,如有侵僅請聯(lián)系admin#d1ev.com(#替換成@)刪除,轉(zhuǎn)載內(nèi)容并不代表第一電動網(wǎng)(www.medic-health.cn)立場。
文中圖片源自互聯(lián)網(wǎng),如有侵權(quán)請聯(lián)系admin#d1ev.com(#替換成@)刪除。