艙內感知技術（In-Cabin Sensing，以下簡稱ICS），通過檢測追蹤包括頭部朝向、面部表情、視線方向、手勢及肢體關鍵點等人體視覺特征，分析駕駛員及乘客的身份信息、意圖和行為，同時關注駕艙內的人員活動以及與之相關的物品檢測，致力于提供更安全、智能的車內體驗。在這篇文章內，我們將介紹艙內感知技術。

功能應用

具體來說，ICS技術需要精確檢測出駕乘人員的身份、性別年齡、五官、視線方向、頭部朝向、手勢、肢體關節(jié)點等信息以及他們的隨身物品。通過對這些關鍵信息的檢測，ICS技術可以應用在不同的功能上，比如：駕駛員監(jiān)控、乘客監(jiān)控、艙內物品檢測和駕艙人機交互。



ICS技術的一個核心應用就是駕駛員行為監(jiān)測（Driver Monitor System, 以下簡稱DMS），監(jiān)測并分析駕駛員的狀態(tài)和行為，并提供對應的預警信息。其包含的主要功能有：疲勞分析、分神分析、動作分析（打電話、抽煙）等。



特征信息檢測

DMS最基礎也是最核心的，是要得到面部的特征信息，例如：眼睛的位置以及張閉程度、嘴巴的位置以及張閉程度、耳朵的位置、面部的朝向等等。這些信息直接決定了整個算法的準確性。

在檢測這些關鍵信息之前，首先需要完成駕駛員檢測，實現(xiàn)畫面中駕駛員的定位。我們采用的人臉檢測算法經過實測，精度指標AP（Average Precision）高達97.4%。第二步分析五官特征，我們基于神經網絡自主研發(fā)的臉部特征點回歸網絡，可以精確定位出臉部特征，比如眼睛、鼻子、嘴、眉毛等。最重要的是，我們的算法不僅僅只分析畫面中的人臉，他還會根據自己分析到的人臉信息進行迭代、演進和修正，保證了算法對不同特性人臉的適應性。


檢測算法能夠適應不同人種、膚色

臉部特征信息是作為行為/狀態(tài)分析的“原材料”。如果要判斷駕駛員是否處于疲勞駕駛狀態(tài)，我們需要分析出一系列的外部特征表現(xiàn)，比如眼睛開合度的變化、眨眼頻率的變化、打哈欠頻率的變化、頭部運動規(guī)律與節(jié)奏等。舉個例子，我們會統(tǒng)計司機開車時間內正常的眼睛開合度。當他疲勞時，眼睛的開合度會在一個時間段內緩慢地逐步變小，這就是疲勞的典型特征。

視線追蹤

我們ICS技術的亮點之一是視線追蹤，利用攝像頭分析眼球的成像信息，從而得到視線的朝向，從而精準地判斷司機的注意力。


下面是我們的視線追蹤Demo，從瞳孔中“發(fā)射”出的兩條線就代表著視線方向。這是通過構建眼球的3D模型，得到視線的原點；再通過分析眼睛的成像以及光斑信息得到目標點。原點到目標點的連線就是我們的視線方向。

視線精度的誤差我們能夠控制在3-5度，這是因為綜合利用了精確視線與魯棒視線兩種算法。當眼睛成像清晰、光斑穩(wěn)定可見的時候，會采用精確視線算法以提升算法的精度；當成像模糊時我們采用穩(wěn)定視線，通過犧牲精度的方式來保證算法的穩(wěn)定性以及不同場景的適應性。

• 精確視線:

視線矢量原點= 角膜虛擬球心 (由光斑推算得出)

精確度高但可獲得性低

• 穩(wěn)定視線:

視線矢量原點= 瞳孔中心 (由3D眼球模型推算得出)

精確度相對較低但可獲得性高



紅外補光燈照射人眼時，此時角膜相當于一個凸面鏡，紅外燈的反射像會形成一個可見亮斑

同時，我們的算法可以支持不同光源條件下的識別檢測，光源的變化會令司機的眼球形成亮瞳或暗瞳。當光源靠近成像裝置的視軸時，會產生亮瞳現(xiàn)象，就和拍照時出現(xiàn)的紅眼現(xiàn)象相同；反之會產生暗瞳現(xiàn)象，瞳孔的亮度比虹膜暗。



活體身份識別

活體身份識別是ICS的另一重要應用，系統(tǒng)需確認當前司機是否為車主，許多車隊利用這一功能來加強對司機的管理。然而一些人會利用漏洞，通過照片等手段蒙蔽攝像頭。

如Demo所展現(xiàn)，我們的算法能夠識別照片、銅版紙、3D假人模型等，識別率達到99%以上，避免司機對系統(tǒng)進行干擾。

并且，我們的活體檢測技術是非配合式的，也就是說不需要用戶進行點頭、搖頭、眨眼、張嘴等動作就能完成活體的判斷，在用戶體驗上來說節(jié)省了司機很多時間。



目前，這種駕駛員監(jiān)控技術已經廣泛運用在了許多商用車隊上，已為超過3萬臺巴士、物流車、網約車提供安全保障。在未來，ICS技術不僅可以完成對車內的人和物的監(jiān)控，還將引領座艙的智能化變革。

ICS對車內駕乘人員和物品的檢測、分析，可以看作是一種單向的行為；但在此基礎上，駕駛員和汽車可以利用ICS技術進行交互，實現(xiàn)雙向的溝通，這也是目前行業(yè)正在著力打造的產品。它可以通過駕駛員的視線、手勢、頭部動作等進行交互，比如通過視線方向開啟空調，通過手勢來切歌、靜音等等。


駕艙交互的應用示范：小手一比，立馬靜音