電子遊戲

news
當前位置: 電子遊戲 > news >
如何打造高性能的前裝量産駕駛員監控系統?

  2018年,汽車行業對于自動駕駛關鍵技術和産品落地的探索仍在持續,而且一些Global Tier1和OEM仍在重金投入,但面對L3+級别自動駕駛系統的超高難度和複雜度,尤其在量産中衆多的已見以及尚未可知的困難時,人們對自動駕駛産業成熟的預期在逐漸歸于理性,整個行業某種程度上開始了新一輪的反思和探讨。首先,高級駕駛輔助系統ADAS在整個無人駕駛演進的過程中所持續的時間将更長,無人駕駛時代是否還遠未到來;其次,與自動駕駛試驗車輛相關的交通事故引發的行業對自動駕駛系統安全性以及相關數據安全性的擔憂程度在顯著增強;最後,單車智能與車路協同的結合在加強,外部環境感知與内部駕駛員狀态感知的聯動在快速加強,而且OEM、供應商與政策制定者都強烈意識到:除了對道路環境中各類目标的感知以外,對駕駛員的感知同樣重要,随着自動駕駛的不斷推進,駕駛員監控/感知類的産品将愈發重要,市場也将逐漸爆發!

  2018年11月,Waymo在其無人駕駛汽車上重新配備安全駕駛員(安全員),并安裝智能攝像頭來分析安全員的精神狀态(疲勞、分心、睡眠及異常行為等),用以加強對安全員接管能力的實時監控。此外,從L1~L3量産來看,除了已經配備該系統的2018款凱迪拉克CT6、新一代奧迪A8、斯巴魯森林人和2019款寶馬X5以外,大衆、戴姆勒、菲亞特-克萊斯勒、福特、吉利、沃爾沃等一線OEM也都把駕駛員監控系統(Driver Monitoring System,簡稱DMS)加入到未來3年的配置清單中。不難看出,駕駛員監控系統除了在L3+高等級自動駕駛中肩負着責任主體劃分的重要職責以外,在L1~L3低等級自動駕駛中也有着獨特的作用。

  同時,公共出行安全問題受到各國政府的關注與日俱增。2018年12月,國務院安委會辦公室召開道路交通安全專題視頻會議時再次指出,要求“兩客一危”車輛全部安裝智能視頻監控系統,并對駕駛員不安全駕駛行為進行監控,顯然是對同年8月交通部下發的支持“兩客一危”車輛安裝智能視頻監控報警裝置的進一步增強。同在2018年,歐盟出台新的汽車安全法規:要求到2021年,所有汽車廠商生産的新車必須配備駕駛員監控系統;而歐洲汽車行業最具權威的安全測試機構E-NCAP更是将駕駛員監視系統列為2020年發展藍圖的首要安全标準。不難預見,政策的助推将大大加速DMS的量産落地。

  此外,網聯與智能座艙對于DMS需求也在增強。DMS作為艙内感知的有效媒介,可為智能座艙個性化HMI系統提供駕駛員身份和狀态感知等衆多關鍵信息,利用身份信息和面部信息(包括頭部姿态和視線方向等),進而實現諸如通過人臉識别開啟車門/發動機、配置與UI記憶、共享出行身份驗證等功能,甚至可為智能座艙提供更高階的智能化應用(駕駛員位置與配置調節、視線追蹤與HUD聯動,事故救援時的車内感知)。

  如果以豪華乘用車品牌是否開始配置駕駛員監控系統為标志的線年則為駕駛員監控系統快速發展的元年。除了輔助駕駛以及自動駕駛時代對駕駛員實時接管能力的感知需求和日趨嚴格的公共行車安全法規需求等因素以外,背後更重要的原因是駕駛員監測系統技術的不斷成熟,尤其是駕駛員疲勞狀态監測及身份識别技術的成熟。

  駕駛員疲勞狀态監測技術路徑主要分為兩類,一類是基于非駕駛員生理指标監測,如持續駕駛時長、行車軌迹異常(側向加速度等)、方向盤異常(轉向力矩等)等,該技術多基于特定傳感器,也存在成本和性能可信度的問題;另一類則是直接通過駕駛員生理指标監測,包括接觸式和非接觸式兩個子類。接觸式主要通過實時采集與分析駕駛員的呼吸頻率、心率、血壓、血氧、脈搏等生理參數來判斷駕駛員的狀态。豐田曾經推出一款外形類似手表的駕駛員疲勞檢測系統,通過檢測脈搏、心率等生理參數來判斷駕駛員的狀态,但接觸式存在實時性(心率屬于時間統計性指标)、接觸可靠性以及駕駛員舒适性等問題,具有一定的局限性。非接觸式則是通過安裝攝像頭實時監測駕駛員眼睑閉合程度、眨眼頻率、面部表情、頭部姿态、頭部位置、視線方向和行為等體征來判斷駕駛員的狀态,業界普遍采用或參考美國國家高速公路管理局NHTSA的評估方法PERCLOS P80。這類方法檢測準确性高、成本低、舒适感較高,最重要的是具備量産能力,逐漸成為行業參照的主流方法。

  随着ADAS及無人駕駛産業的持續發展,DMS作為新型需求,除了需要滿足車規的基本需求以外,高性能的前裝駕駛員監控系統仍然需要持續的技術突破和工程突破:首先是算法與算力的突破,不僅能夠基于現有可量産芯片優化出足夠的計算能力,還要達到足夠的監測性能從而能夠可靠地适應多變複雜的環境和場景;其次是安規的突破,能夠被分解成不同安全等級的子系統且是可分析、故障可緩解甚至可解決的子系統;最後是測試與驗證方法的突破,能夠進行DMS産品标準化設計,并為産品性能優化提供量化數據。

  深圳市自行科技有限公司(簡稱:自行科技)駕駛員監控系統基于深度學習和FPGA優化技術,自主開發出一套完整的DMS檢測算法和系統。系統支持多神經網絡同時運行以支持多任務:人臉檢測、面部特征點檢測、眼部狀态檢測、頭部姿态三軸估計、視線矢量估計、人臉特征矢量提取與特定行為檢測等,具備高幀率(30fps)、高精度(綜合工況準确率>99%)、寬适用範圍(頭部姿态±90°)以及高魯棒性(适應複雜的光線環境)的特點,并支持面部特征點坐标、眼部狀态二值、頭部三軸角度與空間位置數值、視線角度、置信度等原始數據輸出以便于上層應用開發。此外,通過針對實際工況的算法疊代與優化,自行科技DMS克服了駕駛員佩戴眼鏡、面部遮擋、逆光、側光、陰陽交錯等複雜環境和場景的影響,可實現駕駛員身份識别(人臉識别、活體檢測)、疲勞檢測(閉眼、打哈欠)、注意力分散檢測(左顧右盼、低頭擡頭)、特定行為檢測(抽煙、打電話)、視線追蹤、表情識别等功能,并可完成Yaw±90°,Pitch±45°和Roll±45°方向内大角度姿态的可靠檢測。

  同時,基于FPGA(Xilinx)的深度神經網絡優化是自行科技DMS系統的核心技術,在15美金的芯片上實現了1.5Tops的算力,算力的突破确保了DMS系統處理能力不斷提升(處理幀率可達30fps)。此外,通過深度優化二值神經網絡(Binary Neural Network,簡稱BNN)達到極低的系統時延(60ms),可重構的CNN加速架構設計實現了并行加速和遠程升級的統一,使得算法模型的優化升級非常高效,适配智能汽車行業的快速發展。

  其次,作為與L2+級别自動駕駛時駕駛員接管緊密相關的系統,DMS的安規設計及系統可靠性問題在規模量産前變成了不可規避的問題。由于預警類的DMS功能不與車身控制聯動,所以功能安全等級按照QM設計和實現是可以接受的。如果與駕駛員接管相關,DMS的功能安全等級至少需要達到ISO26262的ASIL-B級别,此時,DMS系統被拆分成多個子系統,至少拆解為攝像頭模組子系統與控制子系統,不同子系統需要進行相應的失效分析,滿足不同的安全設計要求(例如,ASIL-B級别)。例如,對于攝像頭模組子系統,如何定義和監測攝像頭模組的各種異常(例如鏡頭污漬)及失效(數據凍結)。為此,自行科技DMS的硬件平台、軟件架構及系統全部參照ISO26262 ASIL-B級安規要求設計,确保系統達到相應的功能安全要求。

  最後,測試與驗證方法是另外一個非常重要卻極易被忽視的環節,優先滿足市場需求的急迫心态,使得某些DMS産品隻具備了基本功能和性能,而經不起實際工況的魯棒性考驗,也滿足不了前裝量産對性能指标的要求,導緻隻能服務後裝的預警類市場。此外,DMS國内外尚且沒有系統性,權威性的标準可以參考,也增大了DMS供應商和OEM對DMS系統的性能測試與功能驗證的難度。在這方面,自行科技經過持續的探索,歸納總結并積累了一整套相對嚴謹的測試與驗證方法,把不同的環境因素和人體場景交叉組合,去除不合理的測試場景後,得到了覆蓋150個不同測試場景的測試集,并獨自開發出自動化測試系統,可全天候的挂載DMS并輸出測試數據。

  對于精度要求極高的性能指标還開發了針對性的專項測試與驗證設備,确保性能指标的可靠和可信,并為算法的持續優化改進提供量化依據。以EyeGazeEstimation為例,如圖所示,自行科技開發的視線追蹤能夠基于人臉到儀表平面标定的二維坐标系(角度矢量)輸出駕駛員視線角度估計值,角度矢量θ由水平分量θx和垂直分量θy組成。為了得到高精度的Eye Gaze指标,需要特定精度的原始樣本,且覆蓋不同的眼部形狀和光照環境。自行科技自主開發了一套完整的視線測量與驗證系統,最高精度可達2°,并獲得了百萬級的優質樣本,這為實現不同Head Pose下的高性能的視線追蹤檢測性能提供了保證。

  基于長期的技術和産業經驗積累,自行科技DMS系統不僅在全球最大的客車企業宇通客車實現前裝量産,還逐漸進入多家乘用車OEM重要車型前裝項目。除了國内客戶,作為博世(Bosch)中國駕駛員監控系統軟件合作供應商以及賽靈思(Xilinx)在中國汽車行業唯一的CertifiedMember,自行科技也獲得了海外客戶的認可,并與北美、日本及歐洲的汽車行業客戶逐漸達成深度合作,共同開拓即将到來的DMS前裝市場。

  在剛剛閉幕的日本國際汽車技術展(日本最大的汽車技術B2B展)上,憑借檢測精度、功耗、成本、穩定性和魯棒性等方面的優勢,公司DMS系統不僅獲得了豐田(Toyota)、日産(Nissan)、三菱(Mitsubishi)、博世(Bosch)、奧托立夫(Autoliv)、電裝(Denso)、愛信精機(Aisin Seiki)等世界級企業産品與技術專家的肯定,還吸引了彭博社(Bloomberg)等多家權威媒體采訪。此外,在全國标準化技術委員會委托中汽協CATARC制定的“DMS駕駛員注意力監測系統”國家标準項目中,自行科技作為專業的DMS系統供應商,以标準工作項目組成員的身份直接參與到标準起草與制定中,為國家汽車駕駛安全貢獻自己的力量。

  随着越來越多的OEM廠商開始規劃将DMS系統列入新車型的配置清單中,DMS前裝市場将逐漸爆發,甚至在不遠的未來,DMS系統會成為衆多OEM品牌車型上的“标配”,甚至衍生出更多以駕駛員狀态感知為基礎的智能應用!“天行健,君子以自強不息”,自行科技将在自動駕駛道路上砥砺前行、矢志不渝!



相關閱讀:電子遊戲