2022-12-07 來源: 作者:保隆科技
一,、前瞻研發(fā)雙目 國標啟動市場
上海保隆汽車科技股份有限公司(以下簡稱“保隆科技”)研發(fā)商用車ADAS獲得技術(shù)突破并取得整車企業(yè)定點,,源于企業(yè)提前布局,,也得益于國家商用車相關(guān)強制標準的推動,。
保隆科技從2017年就開始ADAS產(chǎn)品的開發(fā),,主要研發(fā)前向視覺產(chǎn)品和毫米波雷達產(chǎn)品,。在視覺產(chǎn)品方面,,2018年,,經(jīng)過對兩種技術(shù)路線的評估,,保隆科技選擇雙目產(chǎn)品作為主要研究方向,,并開始FPGA實現(xiàn)雙目引擎的開發(fā),同時開發(fā)機器學習及深度學習的目標檢測算法。應(yīng)該說,,保隆科技提前布局ADAS,,在商用車強制標準頒布后,得以迅速切入相關(guān)賽道,。
早在2011年,,國家標準26773出臺,對LDW系統(tǒng)性能要求與檢測方法進行了定義,;隨后2014年,,交通部參考26773出臺了883標準,對車道偏離的功能,、性能和試驗方法進行定義,;2019年,國家標準38186出臺,,對AEBS的性能要求和試驗方法進行了定義,。同年,交通部參考38186出臺了1242標準,,對AEBS的技術(shù)要求,、性能要求和測試規(guī)范進行了定義。 根據(jù)標準的雙W(LDWS與FCW)要求,,對質(zhì)量超過18T的載貨車,,法規(guī)強制實施日期為2020年9月1日;AEB要求,,對質(zhì)量超過12T的載貨車,,法規(guī)強制實施日期為2021年5月1日。
上述法規(guī)的發(fā)布,,主要針對重卡交通事故頻發(fā),、危害大的情況,在客觀上啟動了商用車ADAS法規(guī)件的市場,,在提升商用車安全等級的同時,,對ADAS企業(yè)研發(fā)起到了促進作用。也就在2019年,,保隆科技針對法規(guī)要求,,獲得商用車客戶的定點,開始將前期的預(yù)研項目轉(zhuǎn)移到應(yīng)用產(chǎn)品開發(fā)上,。
二,、實現(xiàn)精確識別 突破行業(yè)難題
保隆視覺產(chǎn)品開發(fā)工作主要分為前后兩個階段,第一階段實現(xiàn)LDWS,,采用立體視覺的技術(shù)實現(xiàn)路面狀況的識別,,以圖像技術(shù)實現(xiàn)車道線的跟蹤與檢測,。LDW的功能實現(xiàn)并不困難,但是性能的大幅提升,、識別能力的增強卻是行業(yè)內(nèi)普遍難題。在道路實驗中,,往往會碰到大量的場景,,系統(tǒng)會產(chǎn)生誤判及漏判。另外,,與乘用車不同,,商用車由于車輛安裝位置高,行駛過程晃動幅度大,,圖像的抖動劇烈,,也會造成誤識別比率增大。另外,,為提高駕駛員的體驗感,,我們定義了車道線壓線10cm范圍的精確度,采用雙目立體檢測技術(shù),,同時結(jié)合準確的標定算法,,使高精確的識別成為可能。
為避免車輛長期使用過程中產(chǎn)品物理安裝參數(shù)發(fā)生變化,,為避免隨著長時間的使用測量精度退化,,系統(tǒng)引入了自學習算法,通過車輛行駛場景的圖像特征點計算物理參數(shù)的變化,,修復(fù)老化或應(yīng)力釋放引起的偏差,。另外,我們通過長時間,、長里程的統(tǒng)計,,針對不同場景做識別,降低誤識別率,,尤其對于雪地,、雨水路面、車轍印等路面,,這些路面會對于車道線的辨別造成驗證干擾,,我們通過不同場景的針對性處理,確保較高的識別率,。在2020年9月,,保隆科技順利完成LDWS產(chǎn)品的開發(fā),并批量供貨,。
三,、雙目融合雷達 準確判斷突發(fā)
2020年9月,,開啟第二階段AEB產(chǎn)品的開發(fā)。對比其他功能,,如ACC或FCW,,AEB對系統(tǒng)性能要求更高。
按照法規(guī)標準的要求,,AEB應(yīng)對緊急突發(fā)事件時,,將對車輛制動系統(tǒng)進行控制。對于ACC或FCW,,感知層算法對目標處于持續(xù)跟蹤和測量狀態(tài),,即時性要求不敏感,由于環(huán)境光照變化或車輛顛簸等因素引起偶爾的圖像或雷達丟幀,,并不會讓系統(tǒng)產(chǎn)生較大波動,,因為隨后再次捕獲目標,系統(tǒng)可以繼續(xù)保持目標的跟蹤策略,。但是對于AEB,,需要更高的即時性,因為突發(fā)事件往往需要短時捕捉并預(yù)判目標運動趨勢,,當目標晃動或丟失時,,算法容錯性能差,都會無法準確判斷碰撞的可能性,,例如行人變速(忽走忽停)橫穿馬路或鬼探頭,,或者行人及時停止橫穿馬路,在這種場景下,,需要AEB首先能準確判定目標的三坐標位置,、位移及即時速度,然后準確判定目標是否將會進入行駛區(qū)域產(chǎn)生碰撞,,最后在結(jié)合當前車速,、車輛參數(shù)及目標距離等,合理制定多級減速度以控制車輛,,確保將車輛,、駕駛員和目標的危害降為最小,并避免二次危險的發(fā)生,,如追尾,、車輛失控、側(cè)翻等,。對于意外狀況的緊急處理,,是對系統(tǒng)可靠性、穩(wěn)定性的巨大挑戰(zhàn),。
在前向視覺,,AEB系統(tǒng)實現(xiàn)有單目和雙目兩種技術(shù)路線,。目前普遍采用1V1R,也就是單目+毫米波雷達的方案實現(xiàn),。通過圖像和雷達數(shù)據(jù)融合的方式判斷和跟蹤目標,。圖像可以用來確定目標的橫向坐標位置以及對目標進行分類識別,毫米波雷達用于測距,,且有很高的精度,,通過雙方的數(shù)據(jù)對目標進行匹配,來確定目標狀態(tài),。在不同道路場景中,雷達的反射信息較多,,可能包含大量的無用目標,,也可能會丟失一些數(shù)據(jù);圖像篩選后的目標,,對照雷達的信息時,,可能會發(fā)生無法匹配的情況,于是需要通過一些置信度等概率指標來仲裁結(jié)果,。對于同一目標,,如果兩種傳感器有某一相同緯度數(shù)據(jù),在該維度的標尺下,,對其他維度信息進行對齊,,那么會進一步提高多傳感器對同一目標探測的一致性。我們采用雙目視覺的特點,,在深度信息上能夠跟毫米波雷達提供相同維度信息,,對于數(shù)據(jù)對齊起到關(guān)鍵作用。
在即時性上,,我們采用不同的算法流程,,為提高響應(yīng)速度,雙目深度引擎首先獲取到的目標點云信息,,從而能夠?qū)⑵鋸谋尘爸蟹蛛x,,對于圖像中的背景信息,比如遠處的山,、天空,,以及立體信息中能夠判斷到的遠離我駕駛區(qū)域之外的畫面,這些信息對于駕駛策略是無意義的,,也原本無需消耗計算資源進行排查,。我們采用分割技術(shù),只將有用的少量目標送入系統(tǒng)進行分類識別,,忽略大量的冗余數(shù)據(jù),,減少運算量,,提高速度。另外,,當目標出現(xiàn)并鎖定時,,并不急于區(qū)分類別,而是及時將數(shù)據(jù)傳輸控制算法進行分析處理,,更早地提供策略,,避免過大的速度變化。
四,、突破雙目技術(shù)門檻 確保產(chǎn)品的一致性
在AEB開發(fā)上,,除了算法的健壯性(容錯性)以外,產(chǎn)品長時間使用的一致性也需要保證,。重卡的使用場景與乘用車不一樣,,工況更復(fù)雜。雙目是通過幾何方式測距,,確保雙目視覺產(chǎn)品長時間測量穩(wěn)定,,是保證性能的關(guān)鍵。這一點也是雙目技術(shù)的關(guān)鍵門檻,,我們多種算法結(jié)合,,不需要高精度生產(chǎn)組裝,不需要高穩(wěn)定性的材料,,讓產(chǎn)品可以全天候工作,。通過場景識別特征,判斷出產(chǎn)品內(nèi)部及外部結(jié)構(gòu)數(shù)據(jù)的微小變化,,矯正相關(guān)參數(shù),,確保測量準確。一系列矯正算法,,伴隨著功能程序同時運行,,時時糾偏。
產(chǎn)品開發(fā)上導入功能安全,,感知層安全定義為QM,,規(guī)控定義為ASIL B。項目初期,,我們就跟客戶積極討論,,導入功能安全目標,研發(fā)人員共同研究討論,,確定軟硬件框架,,以符合功能安全要求。在項目運行過程中,,我們也不斷改善,,并利用AEB項目申請功能安全審核,,獲得了26262的認證。
目前,,多家商用車供應(yīng)商已經(jīng)配備了AEB系統(tǒng),,但據(jù)車廠的了解,目前已經(jīng)量產(chǎn)的AEB,,很多用戶會關(guān)閉XBR,,也就是取消了AEB的自動控制權(quán)限。其實也是對目前大多產(chǎn)品的信心不足,,也是由于誤報和漏報較多導致,。我們希望能夠通過雙目產(chǎn)品獨特的技術(shù),大幅度提高準確性,。
五,、依托自主芯片 確保供應(yīng)安全
當前,我們量產(chǎn)的雙目產(chǎn)品,,主要元器件還是依賴國外進口,尤其是對于深度引擎,,采用Xilinx的FPGA,,價格也極其昂貴。Xilinx對于FPGA的出口,,尤其是對中國的出口,,管控很嚴。未來,,如果美國商務(wù)部加大對華制裁,,F(xiàn)PGA將是最敏感的器件。不過,,我們現(xiàn)在已經(jīng)量產(chǎn)了自主研發(fā)的雙目引擎,,并且已經(jīng)布局第二代芯片。我們正在采用自主芯片,,開發(fā)下一代雙目產(chǎn)品,,同時SoC也進行了國產(chǎn)化替代。第二代產(chǎn)品的成本已經(jīng)大幅降低,,而且,,我們致力于發(fā)展除ADAS功能以外的諸如路面預(yù)瞄、魔毯懸架等功能,。
依托自主芯片,,我們已經(jīng)制定產(chǎn)品開發(fā)的技術(shù)路線,未來通過雙目相機取代毫米波雷達,,實現(xiàn)L2級的產(chǎn)品功能,。同時,,進一步提供算法研發(fā)能力,逐漸實現(xiàn)橫梁分離的產(chǎn)品,,到最終實現(xiàn)模組分離,,對于車廠的安裝適應(yīng)性更廣。同時,,為實現(xiàn)L3級以上的智能駕駛,,引入更高算力的SoC,開發(fā)新一代主干神經(jīng)網(wǎng)絡(luò),,在立體視覺的技術(shù)上,,結(jié)合深度學習,拓寬應(yīng)用范圍,。
針對商用車的使用情況,,我們希望結(jié)合雙目視覺產(chǎn)品的特點,降低駕駛危險,,確保人身安全,,為車廠與車隊帶來利益,促進國內(nèi)商用車行業(yè)的健康發(fā)展,。
一,、前瞻研發(fā)雙目 國標啟動市場
上海保隆汽車科技股份有限公司(以下簡稱“保隆科技”)研發(fā)商用車ADAS獲得技術(shù)突破并取得整車企業(yè)定點,,源于企業(yè)提前布局,也得益于國家商用車相關(guān)強制標準的推動,。
保隆科技從2017年就開始ADAS產(chǎn)品的開發(fā),,主要研發(fā)前向視覺產(chǎn)品和毫米波雷達產(chǎn)品。在視覺產(chǎn)品方面,2018年,,經(jīng)過對兩種技術(shù)路線的評估,,保隆科技選擇雙目產(chǎn)品作為主要研究方向,并開始FPGA實現(xiàn)雙目引擎的開發(fā),,同時開發(fā)機器學習及深度學習的目標檢測算法,。應(yīng)該說,保隆科技提前布局ADAS,,在商用車強制標準頒布后,,得以迅速切入相關(guān)賽道。
早在2011年,,國家標準26773出臺,,對LDW系統(tǒng)性能要求與檢測方法進行了定義;隨后2014年,,交通部參考26773出臺了883標準,,對車道偏離的功能、性能和試驗方法進行定義,;2019年,,國家標準38186出臺,對AEBS的性能要求和試驗方法進行了定義,。同年,,交通部參考38186出臺了1242標準,對AEBS的技術(shù)要求,、性能要求和測試規(guī)范進行了定義。 根據(jù)標準的雙W(LDWS與FCW)要求,,對質(zhì)量超過18T的載貨車,,法規(guī)強制實施日期為2020年9月1日;AEB要求,,對質(zhì)量超過12T的載貨車,,法規(guī)強制實施日期為2021年5月1日。
上述法規(guī)的發(fā)布,,主要針對重卡交通事故頻發(fā),、危害大的情況,在客觀上啟動了商用車ADAS法規(guī)件的市場,,在提升商用車安全等級的同時,,對ADAS企業(yè)研發(fā)起到了促進作用。也就在2019年,,保隆科技針對法規(guī)要求,,獲得商用車客戶的定點,開始將前期的預(yù)研項目轉(zhuǎn)移到應(yīng)用產(chǎn)品開發(fā)上。
二,、實現(xiàn)精確識別 突破行業(yè)難題
保隆視覺產(chǎn)品開發(fā)工作主要分為前后兩個階段,,第一階段實現(xiàn)LDWS,采用立體視覺的技術(shù)實現(xiàn)路面狀況的識別,,以圖像技術(shù)實現(xiàn)車道線的跟蹤與檢測,。LDW的功能實現(xiàn)并不困難,但是性能的大幅提升,、識別能力的增強卻是行業(yè)內(nèi)普遍難題,。在道路實驗中,往往會碰到大量的場景,,系統(tǒng)會產(chǎn)生誤判及漏判,。另外,與乘用車不同,,商用車由于車輛安裝位置高,,行駛過程晃動幅度大,圖像的抖動劇烈,,也會造成誤識別比率增大,。另外,為提高駕駛員的體驗感,,我們定義了車道線壓線10cm范圍的精確度,,采用雙目立體檢測技術(shù),同時結(jié)合準確的標定算法,,使高精確的識別成為可能,。
為避免車輛長期使用過程中產(chǎn)品物理安裝參數(shù)發(fā)生變化,為避免隨著長時間的使用測量精度退化,,系統(tǒng)引入了自學習算法,,通過車輛行駛場景的圖像特征點計算物理參數(shù)的變化,修復(fù)老化或應(yīng)力釋放引起的偏差,。另外,,我們通過長時間、長里程的統(tǒng)計,,針對不同場景做識別,,降低誤識別率,尤其對于雪地,、雨水路面,、車轍印等路面,這些路面會對于車道線的辨別造成驗證干擾,,我們通過不同場景的針對性處理,,確保較高的識別率。在2020年9月,保隆科技順利完成LDWS產(chǎn)品的開發(fā),,并批量供貨,。
三、雙目融合雷達 準確判斷突發(fā)
2020年9月,,開啟第二階段AEB產(chǎn)品的開發(fā),。對比其他功能,如ACC或FCW,,AEB對系統(tǒng)性能要求更高,。
按照法規(guī)標準的要求,AEB應(yīng)對緊急突發(fā)事件時,,將對車輛制動系統(tǒng)進行控制,。對于ACC或FCW,感知層算法對目標處于持續(xù)跟蹤和測量狀態(tài),,即時性要求不敏感,,由于環(huán)境光照變化或車輛顛簸等因素引起偶爾的圖像或雷達丟幀,并不會讓系統(tǒng)產(chǎn)生較大波動,,因為隨后再次捕獲目標,,系統(tǒng)可以繼續(xù)保持目標的跟蹤策略。但是對于AEB,,需要更高的即時性,,因為突發(fā)事件往往需要短時捕捉并預(yù)判目標運動趨勢,當目標晃動或丟失時,,算法容錯性能差,,都會無法準確判斷碰撞的可能性,例如行人變速(忽走忽停)橫穿馬路或鬼探頭,,或者行人及時停止橫穿馬路,,在這種場景下,需要AEB首先能準確判定目標的三坐標位置,、位移及即時速度,然后準確判定目標是否將會進入行駛區(qū)域產(chǎn)生碰撞,,最后在結(jié)合當前車速,、車輛參數(shù)及目標距離等,合理制定多級減速度以控制車輛,,確保將車輛,、駕駛員和目標的危害降為最小,并避免二次危險的發(fā)生,,如追尾,、車輛失控、側(cè)翻等。對于意外狀況的緊急處理,,是對系統(tǒng)可靠性,、穩(wěn)定性的巨大挑戰(zhàn)。
在前向視覺,,AEB系統(tǒng)實現(xiàn)有單目和雙目兩種技術(shù)路線,。目前普遍采用1V1R,也就是單目+毫米波雷達的方案實現(xiàn),。通過圖像和雷達數(shù)據(jù)融合的方式判斷和跟蹤目標,。圖像可以用來確定目標的橫向坐標位置以及對目標進行分類識別,毫米波雷達用于測距,,且有很高的精度,,通過雙方的數(shù)據(jù)對目標進行匹配,來確定目標狀態(tài),。在不同道路場景中,,雷達的反射信息較多,可能包含大量的無用目標,,也可能會丟失一些數(shù)據(jù),;圖像篩選后的目標,對照雷達的信息時,,可能會發(fā)生無法匹配的情況,,于是需要通過一些置信度等概率指標來仲裁結(jié)果。對于同一目標,,如果兩種傳感器有某一相同緯度數(shù)據(jù),,在該維度的標尺下,對其他維度信息進行對齊,,那么會進一步提高多傳感器對同一目標探測的一致性,。我們采用雙目視覺的特點,在深度信息上能夠跟毫米波雷達提供相同維度信息,,對于數(shù)據(jù)對齊起到關(guān)鍵作用,。
在即時性上,我們采用不同的算法流程,,為提高響應(yīng)速度,,雙目深度引擎首先獲取到的目標點云信息,從而能夠?qū)⑵鋸谋尘爸蟹蛛x,,對于圖像中的背景信息,,比如遠處的山、天空,,以及立體信息中能夠判斷到的遠離我駕駛區(qū)域之外的畫面,,這些信息對于駕駛策略是無意義的,,也原本無需消耗計算資源進行排查。我們采用分割技術(shù),,只將有用的少量目標送入系統(tǒng)進行分類識別,,忽略大量的冗余數(shù)據(jù),減少運算量,,提高速度,。另外,當目標出現(xiàn)并鎖定時,,并不急于區(qū)分類別,,而是及時將數(shù)據(jù)傳輸控制算法進行分析處理,更早地提供策略,,避免過大的速度變化,。
四、突破雙目技術(shù)門檻 確保產(chǎn)品的一致性
在AEB開發(fā)上,,除了算法的健壯性(容錯性)以外,,產(chǎn)品長時間使用的一致性也需要保證。重卡的使用場景與乘用車不一樣,,工況更復(fù)雜,。雙目是通過幾何方式測距,確保雙目視覺產(chǎn)品長時間測量穩(wěn)定,,是保證性能的關(guān)鍵,。這一點也是雙目技術(shù)的關(guān)鍵門檻,我們多種算法結(jié)合,,不需要高精度生產(chǎn)組裝,,不需要高穩(wěn)定性的材料,讓產(chǎn)品可以全天候工作,。通過場景識別特征,,判斷出產(chǎn)品內(nèi)部及外部結(jié)構(gòu)數(shù)據(jù)的微小變化,矯正相關(guān)參數(shù),,確保測量準確,。一系列矯正算法,伴隨著功能程序同時運行,,時時糾偏,。
產(chǎn)品開發(fā)上導入功能安全,感知層安全定義為QM,,規(guī)控定義為ASIL B,。項目初期,,我們就跟客戶積極討論,,導入功能安全目標,,研發(fā)人員共同研究討論,確定軟硬件框架,,以符合功能安全要求,。在項目運行過程中,我們也不斷改善,,并利用AEB項目申請功能安全審核,,獲得了26262的認證。
目前,,多家商用車供應(yīng)商已經(jīng)配備了AEB系統(tǒng),,但據(jù)車廠的了解,目前已經(jīng)量產(chǎn)的AEB,,很多用戶會關(guān)閉XBR,,也就是取消了AEB的自動控制權(quán)限。其實也是對目前大多產(chǎn)品的信心不足,,也是由于誤報和漏報較多導致,。我們希望能夠通過雙目產(chǎn)品獨特的技術(shù),大幅度提高準確性,。
五,、依托自主芯片 確保供應(yīng)安全
當前,我們量產(chǎn)的雙目產(chǎn)品,,主要元器件還是依賴國外進口,,尤其是對于深度引擎,采用Xilinx的FPGA,,價格也極其昂貴,。Xilinx對于FPGA的出口,尤其是對中國的出口,,管控很嚴,。未來,如果美國商務(wù)部加大對華制裁,,F(xiàn)PGA將是最敏感的器件,。不過,我們現(xiàn)在已經(jīng)量產(chǎn)了自主研發(fā)的雙目引擎,,并且已經(jīng)布局第二代芯片,。我們正在采用自主芯片,開發(fā)下一代雙目產(chǎn)品,,同時SoC也進行了國產(chǎn)化替代,。第二代產(chǎn)品的成本已經(jīng)大幅降低,而且,,我們致力于發(fā)展除ADAS功能以外的諸如路面預(yù)瞄,、魔毯懸架等功能,。
依托自主芯片,我們已經(jīng)制定產(chǎn)品開發(fā)的技術(shù)路線,,未來通過雙目相機取代毫米波雷達,,實現(xiàn)L2級的產(chǎn)品功能。同時,,進一步提供算法研發(fā)能力,,逐漸實現(xiàn)橫梁分離的產(chǎn)品,到最終實現(xiàn)模組分離,,對于車廠的安裝適應(yīng)性更廣,。同時,為實現(xiàn)L3級以上的智能駕駛,,引入更高算力的SoC,,開發(fā)新一代主干神經(jīng)網(wǎng)絡(luò),在立體視覺的技術(shù)上,,結(jié)合深度學習,,拓寬應(yīng)用范圍。
針對商用車的使用情況,,我們希望結(jié)合雙目視覺產(chǎn)品的特點,,降低駕駛危險,確保人身安全,,為車廠與車隊帶來利益,,促進國內(nèi)商用車行業(yè)的健康發(fā)展。
查看更多
地址:北京市海淀區(qū)阜成路115號1-2-4 《商用汽車新聞》傳媒 聯(lián)系電話:010-88152946
舉報電話:010-65363263 舉報郵箱:[email protected]