今年，除了固態(tài)電池，自動(dòng)駕駛領(lǐng)域的“端到端”，也在被狂炒。

特斯拉的示范效應(yīng)真的很厲害，隨著Tesla V12在北美大范圍推送以及表現(xiàn)，“端到端”也成為了自動(dòng)駕駛行業(yè)里大家最為關(guān)注的技術(shù)方向。

當(dāng)然，國(guó)內(nèi)最大的毛病眾所周知，就是營(yíng)銷前置。就像固態(tài)電池，還沒(méi)整出什么大規(guī)模量產(chǎn)，先在傳播上來(lái)吹一波。而且，到了似乎不提端到端都不好意思出門的程度。

那么，什么才是端到端？這些真真假假的端到端，到底有多少干貨呢？

端到端的“黑盒子”

先來(lái)理解一下，所謂“端到端”自動(dòng)駕駛，打個(gè)不恰當(dāng)?shù)谋确?，就像做菜，你在“黑盒子”的這邊輸入食材，然后另一邊一步到位輸出做好的菜。

因?yàn)?，現(xiàn)在主流的自動(dòng)駕駛方案，都是模塊化的。就是我們熟知的“感知、決策和執(zhí)行”三大模塊。而“端到端”就是把三個(gè)直接變成一個(gè)，從傳感器數(shù)據(jù)輸入開(kāi)始，中間只要一步，到控制信號(hào)輸出（馬斯克所說(shuō)的Photon to Control），實(shí)現(xiàn)完整閉環(huán)。

這個(gè)操作也樹(shù)立了目前自動(dòng)駕駛領(lǐng)域的最高水平和標(biāo)桿，所謂“無(wú)招勝有招”、“一招制敵”。但是，這也反映了一個(gè)尷尬的行業(yè)事實(shí)，就是特斯拉在自動(dòng)駕駛領(lǐng)域還是一騎絕塵的。

而這個(gè)來(lái)源于特斯拉CEO埃隆·馬斯克（Elon Musk）口中的端到端，也就是End-to-End Deep Learning（端到端深度學(xué)習(xí)），簡(jiǎn)言之，就是要建立一個(gè)完整的學(xué)習(xí)系統(tǒng)，直接從原始數(shù)據(jù)中不斷學(xué)習(xí)，并生成所需的輸出，不需要人為將任務(wù)分解成多個(gè)中間步驟。

而當(dāng)下普遍應(yīng)用的三大模塊的優(yōu)點(diǎn)是技術(shù)較為成熟，開(kāi)發(fā)起來(lái)的確定性更強(qiáng)。但是，這種技術(shù)架構(gòu)下，自動(dòng)駕駛車輛在極端案例（Corner Case）方面，仍然依賴工程師編寫(xiě)大量代碼去制定行駛規(guī)則。

單靠數(shù)據(jù)訓(xùn)練出來(lái)的各個(gè)模塊，很難處理沒(méi)碰到過(guò)的情況，也就是需要不斷用“規(guī)則”去填俗稱為“坑”的各種Corner Case。同時(shí)，為了迅速擴(kuò)大量產(chǎn)車上自動(dòng)駕駛系統(tǒng)覆蓋范圍，車企不得不招募更多的軟件工程師，比如，華為自動(dòng)駕駛的規(guī)控團(tuán)隊(duì)就招募了上千名工程師。

而自動(dòng)駕駛方案中的模塊化，也是不斷進(jìn)化而來(lái)。從2017年前的9個(gè)?？欤▋H感知環(huán)節(jié)就有檢測(cè)、目標(biāo)跟蹤和融合數(shù)據(jù)3個(gè)模塊），到多傳感器融合后，現(xiàn)在的感知、決策（或者叫預(yù)測(cè)）和執(zhí)行（或者叫規(guī)劃控制）三大模塊。

從“融合”的角度來(lái)說(shuō)，當(dāng)三大模塊融合為一個(gè)“黑盒子”來(lái)輸出執(zhí)行結(jié)果的時(shí)候，實(shí)際上要求是更高的，不然特斯拉為什么這么多年才能推出端到端？對(duì)吧。背后是基于強(qiáng)大的DOJO超算中心，以及更多的GPU。

而且，這種徹底的端到端“黑盒子”，技術(shù)上很難進(jìn)行Debug（調(diào)試）和迭代優(yōu)化，同時(shí)由于傳感器輸入信號(hào)如圖像、點(diǎn)云等是高緯度的，控制信號(hào)輸出如方向盤轉(zhuǎn)角和油門剎車踏板信號(hào)等是相對(duì)低維的，在端到端訓(xùn)練中非常容易“過(guò)擬合”，導(dǎo)致實(shí)車測(cè)試完全無(wú)法使用。

“沒(méi)有金剛鉆，不攬瓷器活?！眹?guó)內(nèi)最近一些企業(yè)則聲稱自己是端到端感知，或者端到端決策，只是各種細(xì)枝末節(jié)的“端到端”，這只能算作是純數(shù)據(jù)驅(qū)動(dòng)的感知和純數(shù)據(jù)驅(qū)動(dòng)的決策規(guī)劃階段。

換句話說(shuō)，做得好點(diǎn)的還只是前兩個(gè)模塊的融合，根本做不到輸出控制（執(zhí)行）的結(jié)果。現(xiàn)在大肆宣傳，不過(guò)是蹭熱點(diǎn)、炒個(gè)概念。

端到端為什么會(huì)熱起來(lái)？還有個(gè)因素，是去年商湯絕影的UniAD（Unified Autonomous Driving）獲得了CVPR 2023 Best Paper最佳論文獎(jiǎng)。雖說(shuō)不算是眾望所歸，但也給自動(dòng)駕駛行業(yè)注入了一劑強(qiáng)心劑。

但國(guó)內(nèi)對(duì)UniAD褒貶不一，這種褒貶不一不僅僅體現(xiàn)在感知、預(yù)測(cè)、規(guī)控各個(gè)團(tuán)隊(duì)的獨(dú)立視角上，還體現(xiàn)在自動(dòng)駕駛領(lǐng)域?qū)W術(shù)界和企業(yè)界的鴻溝（Gap）。畢竟，企業(yè)面對(duì)的Corner Case也遠(yuǎn)多于學(xué)術(shù)界。

再說(shuō)，故事講得再流暢，畢竟需要量產(chǎn)落地。因?yàn)椋A(yù)研的技術(shù)是要落到實(shí)車上才能最終體現(xiàn)價(jià)值。

但UniAD的論文里面沒(méi)有提供實(shí)車數(shù)據(jù)（不包含Nuscenes）的數(shù)據(jù)和Demo，只有開(kāi)環(huán)評(píng)測(cè)，沒(méi)有閉環(huán)評(píng)測(cè)。

雖然北京車展上商湯絕影面向量產(chǎn)的UniAD完成上車演示首秀，但實(shí)際效果肯定是需要驗(yàn)證的。

端到端的難點(diǎn)

端到端自動(dòng)駕駛的前景，肯定是光明的。但是，道路肯定是曲折的。

比如，端到端方案中的一體化訓(xùn)練就需要海量數(shù)據(jù)，因此，難點(diǎn)之一就在于數(shù)據(jù)的收集和處理。獲得海量的行車數(shù)據(jù)，也是訓(xùn)練端到端自動(dòng)駕駛模型的入場(chǎng)券。

馬斯克去年在財(cái)報(bào)會(huì)上談到過(guò)數(shù)據(jù)對(duì)自動(dòng)駕駛模型的重要性，“訓(xùn)練了100萬(wàn)個(gè)視頻Case，勉強(qiáng)夠用；200萬(wàn)個(gè)，稍好一些；300萬(wàn)個(gè)，就會(huì)感到Wow；到1000萬(wàn)個(gè)，就變得難以置信了?！?/span>

而數(shù)據(jù)的收集需要大量的時(shí)間和渠道，數(shù)據(jù)類型除了駕駛數(shù)據(jù)外還包括各種不同的道路、天氣和交通情況等場(chǎng)景數(shù)據(jù)，特別是，實(shí)際駕駛中周圍方位的信息收集難以保證。

其次，數(shù)據(jù)處理時(shí)還需要設(shè)計(jì)數(shù)據(jù)提取維度、從海量的視頻片段中提取有效特征、統(tǒng)計(jì)數(shù)據(jù)分布等，以支持大規(guī)模的數(shù)據(jù)訓(xùn)練。這點(diǎn)需要巨額的投入和成本。

因?yàn)?，并不是所有的行車?shù)據(jù)都可以用來(lái)訓(xùn)練端到端模型。有自動(dòng)駕駛工程師就發(fā)現(xiàn)，原本積累的路測(cè)數(shù)據(jù)只有2%可用。想讓端到端模型具備通用能力，必須用不同場(chǎng)景中的高質(zhì)量數(shù)據(jù)訓(xùn)練模型。

還有，《馬斯克傳》中馬斯克也親口解釋過(guò)，特斯拉全球200萬(wàn)臺(tái)車每天約可收集1600億幀的駕駛視頻用于模型訓(xùn)練。但是，管理如此龐大的數(shù)據(jù)并非易事，因?yàn)榻^大多數(shù)視頻都是無(wú)用的。

真正寶貴的是那些車流量異常大、或是有眾多行人做出各式各樣的行為、路況極其復(fù)雜的畫(huà)面，但是這個(gè)占比甚至連1% 都不到。而為了提取這1%畫(huà)面，需要龐大人力、算力、儲(chǔ)存甚至是電力等巨額成本。

就拿最重要的算力來(lái)說(shuō)，門檻也極高。馬斯克曾在今年三月初在X.com上表示目前FSD的最大限制因素是算力，而在得到緩解后，4月初馬斯克又表示，今年Tesla在算力方面的總投入將超過(guò)100億美元。

此外，2024年Q1財(cái)報(bào)會(huì)議上，Tesla透露如今已經(jīng)擁有35000塊H100的計(jì)算資源，而2024年底這一數(shù)字將達(dá)到85000塊。這意味著，要達(dá)到跟目前FSD V12同樣的水平，大概率35000塊H100和數(shù)十億美金的基礎(chǔ)設(shè)施資本開(kāi)銷是必要前提。再往下，門檻還在進(jìn)一步拔高。

數(shù)據(jù)獲取成本高昂，再加上數(shù)據(jù)隱私和安全問(wèn)題，數(shù)據(jù)標(biāo)注和清洗困難，以及法律和監(jiān)管限制等等，都限制著數(shù)據(jù)的獲取。那么，國(guó)內(nèi)的車企，又有哪個(gè)能承擔(dān)如此高昂的這些成本呢？

除了數(shù)據(jù)收集的挑戰(zhàn)外，“數(shù)據(jù)對(duì)齊”也是自動(dòng)駕駛技術(shù)中面臨的一大難題。

自動(dòng)駕駛領(lǐng)域，面臨著海量未標(biāo)注的異構(gòu)行為大數(shù)據(jù)。這些數(shù)據(jù)來(lái)自于不同的傳感器、設(shè)備和環(huán)境，具有不同的格式和特征。要能用于自動(dòng)駕駛的訓(xùn)練和應(yīng)用，就需要進(jìn)行準(zhǔn)確的數(shù)據(jù)對(duì)齊。

而數(shù)據(jù)對(duì)齊的難點(diǎn)在于如何確保不同來(lái)源的數(shù)據(jù)在語(yǔ)義上保持一致。因此，往往涉及到復(fù)雜的語(yǔ)義理解和轉(zhuǎn)換過(guò)程。這不僅需要先進(jìn)的算法和技術(shù)支持，還需要對(duì)這個(gè)領(lǐng)域有深入理解。

所以，撥開(kāi)營(yíng)銷的迷霧，我們就知道，端到端的真相是什么。

“簡(jiǎn)約不簡(jiǎn)單”，端到端不是說(shuō)哪個(gè)單項(xiàng)做好就行，而是需要系統(tǒng)所有模塊都達(dá)到一個(gè)較高的性能水平，才能在端到端的決策規(guī)劃控制輸出中達(dá)成較好的效果，這種端到端系統(tǒng)數(shù)據(jù)門檻，是遠(yuǎn)高于感知、決策、執(zhí)行單個(gè)模塊的數(shù)據(jù)需求的。

國(guó)內(nèi)的企業(yè)，還是需要踏踏實(shí)實(shí)把腳下的路走好才是。

返回第一電動(dòng)網(wǎng)首頁(yè) >