研究人員正在通過研究人類的步態(tài)，身體對稱性和腳部位置，來指導自動駕駛汽車如何更準確地識別和預測行人運動。



在自動駕駛應用中，理解、推斷和預測行人的意圖和未來行為非常重要。這種能力使車輛避免碰撞，提高行駛安全和質量。預行為理解即對對方可能產生的行為進行準確的預估和判斷，隨著深度學習網絡、長短期記憶、選擇性注意機制以及提取知覺物體等技術的發(fā)展，人體姿態(tài)估計得到了廣泛的研究。

姿態(tài)估計的目標是在RGB圖像或視頻中描繪出人體的形狀，這是一種多方面任務，其中包含了目標檢測、姿態(tài)估計、分割等等。有些需要在非水平表面進行定位的應用可能也會用到姿態(tài)估計，例如圖形、增強現(xiàn)實或者人機交互。姿態(tài)估計同樣包含許多基于3D物體的辨認。

目前比較流行的工作主要集中在，從當前幀中的單個靜態(tài)RGB圖像估計人體骨骼模型的關節(jié)位置，而沒有解決未來幀的位置預測問題。當然也有研究人員開始研究給定視頻序列的人體姿勢預測(預測和預測)，不過大部分工作都集中在基于骨架的關節(jié)位置表示上。


比如：Google的人體姿態(tài)估計，論文采用top-down的結構，分為兩個階段: 第一階段使用faster rcnn做detection，檢測出圖片中的多個人，并對bounding box進行image crop； 第二階段采用fully convolutional resnet對每一個bonding box中的人物預測dense heatmap和offset; 最后通過heatmap和offset的融合得到關鍵點的精確定位。

而密歇根大學的研究者提出了一種基于生物力學的循環(huán)神經網絡(biolstm)，該網絡可以在全局坐標系下，預測行人的位置和三維關節(jié)體位姿，但在已有坐標系下估計的三維位姿和位姿是不準確的。該網絡能夠同時預測多個行人的姿態(tài)和位置，距離攝像機45米以內的行人都可以預測到。據(jù)了解，該方法是基于一種新的目標函數(shù)，該目標函數(shù)包含了人體步行周期(步態(tài))、人體鏡像對稱性和人體步態(tài)周期中地面反作用力的變化。

“這方面的先前工作通常只看靜止圖像，并沒有真正關注人們如何在三個方向上移動，“密歇根大學機械工程助理教授 Ram Vasudevan說，“但如果這些車輛要在現(xiàn)實世界中運行和互動，我們需要確保對行人所在位置的預測與車輛下一步的位置是否有存在沖突。”

過去一臺計算機顯示了數(shù)百萬張停車標志的照片，通過機器學習的方法，最終會在現(xiàn)實世界中實時識別停車標志。但是通過利用運行幾秒鐘的視頻片段，系統(tǒng)可以利用研究片段的前半部分進行預測，然后通過后半部分驗證準確性。

為了解釋神經網絡做出的推斷，Vasudevan 描述了一個常見的景象。“如果一個行人正在玩手機，你知道他們會分心，”Vasudevan 說。“他們的姿勢和他們正在尋找的地方會告訴你他們的注意力分布，也會告訴了你很多關于他們下一步能做什么的事情。“

該模型在PedX 數(shù)據(jù)集進行了測試，PedX數(shù)據(jù)集是在真實的城市人行橫道交叉口采集的大規(guī)模野外數(shù)據(jù)集，于2017年在美國密歇根州安娜堡市中心的真實城市交叉口收集。該數(shù)據(jù)集包含三個四路交叉口的行人流量大的集合,包含10000多個行人姿勢和1800多個不同長度的連續(xù)序列(平均序列長度為6幀)。



PedX數(shù)據(jù)集由兩個立體聲RGB相機對和四個Velodyne激光雷達傳感器的數(shù)據(jù)組成。攝像機視頻以大約每秒6幀的速度采集。通過優(yōu)化人工標注的二維行人姿態(tài)和三維激光雷達點云，最終得到每幀的三維行人姿態(tài)。結果表明，該網絡能夠成功地學習行人步態(tài)特征，并能產生準確一致的三維姿態(tài)預測。

目前，該工作主要針對城市交叉口的行人姿態(tài)預測，僅僅分析了行人的行走和站立活動，但有可能通過這項工作來預測其他活動，比如跑步。新的目標函數(shù)在對行人步態(tài)預測方面，向生物力學約束邁出了第一步。然而，對于人類許多方面的步態(tài)特征仍需進一步研究。

未來，或許這種結合了姿態(tài)估計和端到端姿態(tài)預測分析系統(tǒng)可以整合到無人駕駛計算平臺上，用于無人車更準確的理解行人預行為。