特斯拉FSD落地，中國玩家還差多遠

汽車商業評論

撰文 / 塗彥平

編輯 / 黃大路

設計 / 趙永順

2023年5月，馬斯克透露特斯拉FSD V12將採用端到端方案。2024年3月，特斯拉開始大範圍推送V12。

根據第三方網站FSD Tracker的統計，特斯拉FSD V12更新后，較之此前版本，用户完全無接管的行程次數佔比從47%提升到72%，平均接管里程（MPI）從116英里提高到333英里。

在特斯拉FSD V12上，端到端自動駕駛技術顯示了強大的實力。

隨着AI和大模型技術的發展進入全新階段，端到端技術成為自動駕駛行業關注的焦點。那麼，什麼是端到端？它的技術演進到了什麼程度？

2024年6月，辰韜資本、南京大學上海校友會自動駕駛分會、九章智駕三方聯合發佈2024年度《端到端自動駕駛行業研究報告》（以下簡稱《報告》），從端到端自動駕駛的基本概念、參與者、發展驅動力、落地挑戰和未來展望進行全方位的分析。

端到端是什麼

《報告》對端到端自動駕駛技術做了一個系統性的概念梳理，並提出一套可供參考的術語體系，對端到端的基本概念進行了界定。

《報告》指出：早期，端到端的核心定義是「從傳感器輸入到控制輸出的單一神經網絡模型」，近年來，端到端的概念有了更大範圍的延展。《報告》認為，端到端的核心定義標準應為：感知信息無損傳遞、可以實現自動駕駛系統的全局優化。

基於這個定義，結合自動駕駛系統中AI的應用程度，《報告》將自動駕駛技術架構分為四個階段：

第一階段：感知「端到端」。感知模塊通過基於多傳輸器融合的BEV (Bird Eye View，鳥瞰圖視角融合) 技術實現了模塊級別的「端到端」。

第二階段：決策規劃模型化。從預測到決策到規劃的功能模塊已經被集成到同一個神經網絡當中。

第三階段：模塊化端到端。感知模塊不再輸出基於人類理解定義的結果，而更多給出的是特徵向量。預測決策規劃模塊的綜合模型基於特徵向量輸出運動規劃的結果。兩個模塊無法獨立進行訓練，必須通過梯度傳導的方式同時進行。

第四階段：One Model端到端。不再有感知、決策規劃等功能的明確劃分，從原始信號輸入到最終規劃軌跡的輸出直接採用同一個深度學習模型。

其中，后兩個階段符合前述端到端的定義標準。

此外，報告也對端到端與大模型、世界模型、純視覺傳感器方案等易混淆概念的區別與聯繫作了辨析。

各路玩家

2016年4月，英偉達團隊發表了一篇名為End to End Learning for Self-Driving Cars的論文，展示了基於卷積神經網絡（Convolutional Neural Network, CNN）的端到端自動駕駛系統DAVE-2。

該系統通過CNN處理車輛前方的攝像頭圖像，並直接輸出轉向角度。訓練過程中，模型通過模擬駕駛數據進行學習。《報告》稱其是近年來端到端自動駕駛領域的開創性工作。

當前市場上，端到端自動駕駛的玩家有很多，《報告》將其分為幾類：

其一，主機廠。如特斯拉、小鵬汽車、鴻蒙智行、蔚來、零一等。

2024 年5 月20 日，小鵬汽車舉辦AI Day 發佈會，宣佈端到端大模型上車。

2024年4月24日，華為推出智能駕駛系統新版本——乾崑ADS 3.0，實現了決策規劃的模型化，為端到端架構的持續演進奠定了基礎。

此外，蔚來計劃2024 年上半年上線基於端到端的主動安全功能，新能源重卡科技公司零一汽車計劃2024 年底實現端到端自動駕駛的部署上車。

其二，自動駕駛算法和系統公司。如元戎啟行、鑑智機器人、商湯絕影、小馬智行等。

地平線2022年提出自動駕駛感知端到端算法Sparse4D；2023年，由地平線學者一作發表的業界首個公開發表的端到端自動駕駛大模型UniAD，榮獲CVPR 2023 最佳論文。

2023年8 月，小馬智行將感知、預測、規控三大傳統模塊打通，統一成端到端自動駕駛模型，目前已同步搭載到L4自動駕駛出租車和L2輔助駕駛乘用車。

2024 北京車展前夕，英偉達透露了自動駕駛業務的發展規劃，提到規劃的第二步為「在L2++系統上達成新突破，LLM（大語言模型）和VLM（視覺語言模型）大模型上車，實現端到端的自動駕駛」。

2024年4月北京車展上，元戎啟行展示了即將量產的高階智駕平臺DeepRoute IO以及基於DeepRoute IO的端到端解決方案；商湯絕影推出面向量產的端到端自動駕駛解決方案「UniAD」以及下一代自動駕駛技術DriveAGI，前者屬於「模塊化端到端」類型，后者為「One Model端到端」。

2024北京車展期間，鑑智機器人聯合創始人、CTO 都大龍透露，鑑智機器人原創的自動駕駛端到端模型GraphAD已經可量產部署，正與頭部車企進行聯合開發。

其三，自動駕駛生成式AI公司，如光輪智能、光輪智能等。

2023年初成立的光輪智能，目前已經開發了自研的端到端數據與仿真的全鏈路解決方案；光輪智能2023年9月推出自動駕駛世界模型DriveDreamer，可以實現端到端自動駕駛的全鏈路閉環仿真，可以擴展實現直接輸出端到端的動作指令。

其四，學術研究機構，如上海人工智能實驗室、清華大學MARS Lab等。

諸多挑戰

2023年以來，在特斯拉的標杆作用、大模型代表的AGI技術範式以及自動駕駛擬人化和安全性需求的共同推動下，自動駕駛行業對端到端的關注度一路升溫，端到端已逐漸成為自動駕駛行業的共識。

《報告》對30余位自動駕駛行業一線專家的調研顯示，90%被調研者表示自己供職的公司已投入研發端到端技術。

《報告》分析了端到端方案落地面臨的挑戰，包括技術路線、數據和算力需求、測試驗證、組織資源投入等。

其一，技術路線的分歧。

比如，「模塊化端到端」採用監督學習的訓練範式，「One Model 端到端」可能更加側重自迴歸和生成式的訓練範式，兩種路線都有公司押注。《報告》判斷，未來1~2 年內，隨着更多公司和研究機構在端到端領域加大投入並推出產品而逐漸明晰，技術路線將會逐漸收斂。

其二，對訓練數據的需求量空前提升。

在端到端技術架構下，訓練數據的重要性得到前所未有的提升，其中，數據量、數據標註、數據質量和數據分佈的相關問題都可能成為限制端到端應用的挑戰。《報告》提出，合成數據、建立數據共享平臺可能是解決之道。

其三，對訓練算力的需求越來越高。

大部分公司表示100張大算力GPU可以支持一次端到端模型的訓練。而端到端進入量產階段，訓練算力需求急劇提升。

在2024Q1財報電話會上，特斯拉表示已經有35000張H100GPU，並計劃在2024年內增加到85000張H100以上。此前，它還部署了規模更大的A100 GPU訓練集羣。

小鵬2023年8月宣佈建成「扶搖」自動駕駛智算中心，算力可達600PFLOPS（以英偉達A100 GPU 的FP32 算力推算，約等於3 萬張A100 GPU）。

另外，商湯大裝置已經佈局全國一體化的智算網絡，擁有4.5萬塊GPU，總體算力規模達12000PFLOPS，2024年底將達到18000PFLOPS。

《報告》提出，「大部分研發端到端自動駕駛的公司目前的訓練算力規模在千卡級別，隨着端到端逐漸走向大模型，訓練算力將顯得捉襟見肘。」

其四，測試驗證方法尚不成熟。

現有測試驗證方法不適用於端到端自動駕駛，行業亟需新的測試驗證方法論和工具鏈。

其五，組織資源投入的挑戰。

端到端需要組織架構重塑，也需要將資源投入傾斜到數據側，對現有模式提出挑戰。

此外，有觀點認為車端算力不足和可解釋性問題是端到端落地的限制因素，《報告》提出了相反的結論。

展望：2025年量產上車

《報告》展望，國內自動駕駛公司的模塊化端到端方案上車量產時間可能會在2025年，One Model端到端落地時間會晚於模塊化端到端1~2年時間，從2026年至2027年開始上車量產。

這將帶動上游技術進步、市場和產業格局演變。

在技術上，端到端的落地會推動其依賴的上游工具鏈、芯片等加速進步；在市場端，端到端帶來的自動駕駛體驗提升，將會帶來高階輔助駕駛滲透率的提升，也可能驅動自動駕駛跨地理區域、跨國家、跨場景的應用；產業格局方面，端到端使數據和AI人才的重要性進一步提升，可能催生新的產業分工和商業模式。

自動駕駛在發展早期借鑑了很多機器人行業在感知算法、規劃算法、中間件和傳感器等多個層面的積累。而近年來，自動駕駛技術和產業成熟度提高，其中端到端自動駕駛提供的AGI技術範式，對通用人形機器人產業具有反哺作用。

《報告》認為，隨着AI技術的不斷進步，自動駕駛和機器人技術的相互融合、相互借鑑將更加深入，共同推動AGI（通用人工智能）走向物理世界，創造更大社會價值。