本文來源：中科院自動化所認(rèn)知自動駕駛團(tuán)隊

引言

近年來，行人軌跡預(yù)測在多個領(lǐng)域中受到越來越多的關(guān)注，例如自動駕駛汽車、智能交通、智慧城市等領(lǐng)域。行人作為交通場景中的主要參與者，對其未來運動軌跡的合理推理和預(yù)測對于自動駕駛和道路安全至關(guān)重要。在交通場景中，行人的運動軌跡不僅會受到本身意圖的影響，還會受到周圍行人、車輛的影響，所以行人軌跡預(yù)測是一項極具挑戰(zhàn)性的工作。本文的內(nèi)容分為三個部分，首先將論文中常用的行人軌跡預(yù)測方法進(jìn)行分類，包括基于LSTM的軌跡預(yù)測方法、基于GCN網(wǎng)絡(luò)軌跡預(yù)測方法、基于GAN網(wǎng)絡(luò)的軌跡預(yù)測方法，接著對行人軌跡預(yù)測的難點進(jìn)行探討，最后對行人軌跡預(yù)測的發(fā)展趨勢做出總結(jié)與展望。

行人軌跡預(yù)測方法

目前廣泛應(yīng)用在行人軌跡預(yù)測領(lǐng)域的方法主要包括基于LSTM網(wǎng)絡(luò)、GCN網(wǎng)絡(luò)和GAN網(wǎng)絡(luò)的軌跡預(yù)測方法，這些網(wǎng)絡(luò)在訓(xùn)練完成后對同類型輸入具有很好的適用性，擁有較高的軌跡預(yù)測精度。下面對應(yīng)用以上網(wǎng)絡(luò)模型的方法分別展開介紹。

2.1 基于LSTM的行人軌跡預(yù)測方法

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）[1]是最早用于行人軌跡預(yù)測的模型，它通過輸入和存儲在歷史網(wǎng)絡(luò)中信息共同決定輸出，RNN通過這種特性使其能夠根據(jù)歷史序列信息去預(yù)測未來值。但傳統(tǒng)的RNN網(wǎng)絡(luò)面臨的一個缺點是會將所有歷史信息都存儲于網(wǎng)絡(luò)之中，在訓(xùn)練時會導(dǎo)致大型網(wǎng)絡(luò)產(chǎn)生梯度消失或者梯度爆炸。而在行人軌跡預(yù)測中，需要大量的網(wǎng)絡(luò)節(jié)點和龐大的數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練以提高預(yù)測的精度。因此傳統(tǒng)的RNN將不能滿足行人軌跡預(yù)測的需求。

為了解決RNN在復(fù)雜時序的預(yù)測問題，Hochreiter等人提出了長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory, LSTM），它是一種特殊的RNN結(jié)構(gòu)，能輕松地學(xué)習(xí)到長期依賴的信息。LSTM通過增加遺忘網(wǎng)絡(luò)層來丟棄導(dǎo)致錯誤預(yù)測結(jié)果的信息，在解決梯度消失問題的同時提升網(wǎng)絡(luò)預(yù)測的精度。

為了將LSTM應(yīng)用到行人軌跡預(yù)測的方法中，Alahi等[2]提出了一種Social LSTM網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。Social LSTM方法解決了以往工作中行人軌跡預(yù)測遇到的兩個難點：（1）現(xiàn)有的模型不能通過數(shù)據(jù)驅(qū)動的方式來展示交互關(guān)系，需要手工構(gòu)造函數(shù)來表現(xiàn)出來，導(dǎo)致模型只能捕捉簡單的交互情景。（2）現(xiàn)有的軌跡預(yù)測工作中所針對的任務(wù)通常是距離很相近的情景，而沒有考慮更遠(yuǎn)距離可能發(fā)生的交互問題。針對這兩個難點，論文提出了一種Social LSTM模型，通過為場景中的每個行人配備一個獨立的LSTM網(wǎng)絡(luò)，用于預(yù)測其運動軌跡；通過社交池(s-pooling)層相互連接來計算周圍其他行人交互產(chǎn)生的影響。Social LSTM填補(bǔ)早期工作的空白，實現(xiàn)了很好的行人軌跡預(yù)測效果。

圖1 social lstm模型結(jié)構(gòu)

Zhu等[3]提出了一種StarNet星型拓?fù)渚W(wǎng)絡(luò)，如圖2所示。通過對行人之間的全局交互建模實現(xiàn)高效的行人軌跡預(yù)測。該模型中Hub Network模塊是基于LSTM的全局時序交互計算網(wǎng)絡(luò),用于獲取所有行人的觀察軌跡。Host Network是基于LSTM的軌跡預(yù)測網(wǎng)絡(luò)，每個Host Network對應(yīng)一個行人，通過參考描述信息對未來軌跡進(jìn)行預(yù)測。在ETH和UCY數(shù)據(jù)集上，該網(wǎng)絡(luò)在80%的場景下都優(yōu)于其他算法，且實時性高。
由以上的分析可知，基于LSTM的神經(jīng)網(wǎng)絡(luò)模型主要解決行人本身對軌跡的影響問題，再根據(jù)社會交互模型的結(jié)論去修正目標(biāo)預(yù)測軌跡，進(jìn)而得出更加準(zhǔn)確的預(yù)測結(jié)果。

圖2 StarNet模型結(jié)構(gòu)

2.2 基于GCN的行人軌跡預(yù)測方法

圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Networks，GCN）是一種能對圖數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的方法，通過使用圖的邊和節(jié)點數(shù)據(jù)作為輸入進(jìn)行學(xué)習(xí)訓(xùn)練。在行人軌跡預(yù)測領(lǐng)域，GCN通過加入時空數(shù)據(jù)進(jìn)行行人軌跡預(yù)測，因而能夠理解行人行為從而加快社交互動的建模進(jìn)度，所以GCN在軌跡預(yù)測方向有很大的應(yīng)用前景。

為了將GCN應(yīng)用到行人軌跡預(yù)測的工作中，Shi等[4]提出一種用于行人軌跡預(yù)測的稀疏圖卷積網(wǎng)絡(luò)模型（SGCN），解決了行人密集無向交互中存在的建模冗余和忽略軌跡運動趨勢的問題。模型框架如圖3所示，通過使用稀疏有向空間圖對稀疏有向交互進(jìn)行建模，以捕獲自適應(yīng)交互行人；使用稀疏有向時間圖來建模運動趨勢，便于對觀測方向進(jìn)行預(yù)測。將上述兩種稀疏圖融合在一起，推算出用于軌跡預(yù)測的雙高斯分布參數(shù)進(jìn)行軌跡預(yù)測，最終在ETH和UCY數(shù)據(jù)集上實現(xiàn)了精準(zhǔn)的行人軌跡預(yù)測結(jié)果。

圖3 GCN網(wǎng)絡(luò)架構(gòu)

Bae等[5]研究了基于社會關(guān)系的行人軌跡預(yù)測，針對現(xiàn)有軌跡預(yù)測方法過多估計行人個體的社會力量，無法解決過度避碰的問題，提出了一種用于社會糾纏行人軌跡預(yù)測的解耦多關(guān)系圖卷積網(wǎng)絡(luò)（DMRGCN），模型框架如圖4所示。該模型中通過解耦的多尺度聚合區(qū)分相關(guān)的行人，使用多關(guān)系的GCN提取場景中復(fù)雜的社會交互行為，模型中加入全局的時間聚合函數(shù)用于補(bǔ)償因過度避撞而累積的誤差。實驗結(jié)果在平均位移誤差(ADE)和最終位移誤差(FDE)上分別超過了最先進(jìn)的方法，實現(xiàn)了準(zhǔn)確的預(yù)測效果。

由上述論文的分析可知，GCN網(wǎng)絡(luò)主要是將行人社交模型加入到預(yù)測模型之中，對行人歷史軌跡進(jìn)性優(yōu)化處理，進(jìn)而提升預(yù)測速度和預(yù)測精度，從而實現(xiàn)準(zhǔn)確預(yù)測行人軌跡的目的。其缺點是不能夠單獨使用完成軌跡預(yù)測任務(wù)。

圖4 DMRGCN網(wǎng)絡(luò)架構(gòu)

2.3 基于GAN的行人軌跡預(yù)測方法

生成式對抗網(wǎng)絡(luò)（GAN, Generative Adversarial Networks）是一種無監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)模型，主要結(jié)構(gòu)由兩部分組成：生成器，用于學(xué)習(xí)數(shù)據(jù)的分布并生成相似的數(shù)據(jù)。鑒別器，計算來自真實數(shù)據(jù)的可能性，并將其分類為真實或虛假。GAN通過生成器和鑒別器的相互博弈來達(dá)到使網(wǎng)絡(luò)相互學(xué)習(xí)的目的。在行人軌跡預(yù)測中加入GAN網(wǎng)絡(luò)，可以解決過去僅能預(yù)測一條“最優(yōu)”軌跡的缺陷，此網(wǎng)絡(luò)能夠預(yù)測多條可行的軌跡并通過博弈的思想進(jìn)一步優(yōu)化預(yù)測精度。

Gupta等[6]首次將GAN的對抗思想引入行人運動軌跡預(yù)測的任務(wù)中，提出一種Social GAN的軌跡預(yù)測方法。該網(wǎng)絡(luò)將LSTM用作“運動編碼器模塊”處理時間信息，并采用“位置編碼器模塊”對空間交互進(jìn)行建模，結(jié)合來自序列預(yù)測和生成對抗網(wǎng)絡(luò)的工具來解決行人軌跡預(yù)測問題。模型結(jié)構(gòu)如圖5所示。

圖5 Social GAN網(wǎng)絡(luò)架構(gòu)

由于GAN網(wǎng)絡(luò)易受模式崩潰和模式下降的影響，Amirian等[7]提出了Social Way網(wǎng)絡(luò)模型，通過加入info-GAN來改進(jìn)多模式軌跡預(yù)測，避免GAN出現(xiàn)的問題，模型框架如圖6所示。該模型是繼Social LSTM、Social GAN模型之后的進(jìn)一步提升，在理想的監(jiān)控俯瞰數(shù)據(jù)庫ETH、UCY上進(jìn)行數(shù)據(jù)的預(yù)測，通過引入注意力機(jī)制使模型自主分配對交互信息的關(guān)注，并且模型結(jié)構(gòu)上舍棄了L2代價函數(shù)，引入基于互信息的Information Loss，使得網(wǎng)絡(luò)在多模態(tài)行人軌跡預(yù)測上有著良好的訓(xùn)練效果。

圖6 Social Way模型框架

GAN網(wǎng)絡(luò)能夠在行人軌跡預(yù)測方面實現(xiàn)較好的預(yù)測效果，但也會存在一些缺點影響其網(wǎng)絡(luò)性能。比如，（1）網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定，容易出現(xiàn)梯度消失、模式崩潰等問題，進(jìn)而造成生成結(jié)果較差。（2）GAN訓(xùn)練時需要達(dá)到納什均衡才能夠擁有良好的預(yù)測精度，若不滿足則會導(dǎo)致網(wǎng)絡(luò)不收斂。（3）由于網(wǎng)絡(luò)訓(xùn)練過程中沒有使用損失函數(shù)，造成我們對當(dāng)前的訓(xùn)練效果處于一個未知的狀態(tài)，如果網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)生成器退化現(xiàn)象，則網(wǎng)絡(luò)將無法繼續(xù)訓(xùn)練。

行人軌跡預(yù)測難點

目前最先進(jìn)的論文方法中，對行人軌跡的預(yù)測會出現(xiàn)預(yù)測結(jié)果不準(zhǔn)確的現(xiàn)象。結(jié)合論文進(jìn)行分析可知，造成行人軌跡預(yù)測不準(zhǔn)確的難點主要包括以下兩個方面：
（1）行人運動方式靈活多變，預(yù)測其軌跡難度較大。在現(xiàn)實中，相對于自行車、汽車等運動學(xué)模型，行人運動更加靈活，例如正在加速奔跑的行人可能會突然停止下來或者突然掉頭再跑等動作，因此很難對行人建立合理的動力學(xué)模型，進(jìn)而增加了行人軌跡預(yù)測的難度。
（2）行人之間的交互關(guān)系復(fù)雜且抽象，很難精確的進(jìn)行建模。行人軌跡往往不僅僅由行人本身的意圖決定，很多時候也受周圍行人的影響。在實際場景中，某一行人未來的運動不僅受自己意圖支配，同樣也受周圍行人的影響。這種交互關(guān)系在算法中往往很難精確地建模出來。目前，大部分算法都是用相對空間關(guān)系來進(jìn)行建模，例如相對位置、相對朝向、相對速度大小等。
常規(guī)算法模型的實現(xiàn)是找到一個輸入到輸出的函數(shù)映射，對于軌跡預(yù)測的模型來說，其對應(yīng)著一個序列到另一個序列的映射，常規(guī)的模型或訓(xùn)練方式容易使模型預(yù)測結(jié)果陷入平均狀態(tài)（預(yù)測結(jié)果傾向于預(yù)測一種折中的軌跡），顯然使用常規(guī)的訓(xùn)練模型無法很好地對行人軌跡進(jìn)行有效的預(yù)測。

總結(jié)與展望

本文對近年來行人軌跡預(yù)測領(lǐng)域部分最先進(jìn)的方法進(jìn)行了分類，并對不同的方法的優(yōu)缺點進(jìn)行了總結(jié)。結(jié)合軌跡預(yù)測的發(fā)展趨勢可以看出，基于神經(jīng)網(wǎng)絡(luò)的行人軌跡預(yù)測算法能夠?qū)崿F(xiàn)較好的預(yù)測效果，也是論文中使用較為普遍的方法。而在實際場景的應(yīng)用過程中，需要同時保證軌跡預(yù)測算法運行的高效性及識別的高精度性，在當(dāng)前領(lǐng)域內(nèi)軌跡預(yù)測技術(shù)在實際場景應(yīng)用中還存在部分難點需要去克服。

軌跡預(yù)測技術(shù)在最近幾年發(fā)展速度較快，伴隨著傳感器技術(shù)的不斷發(fā)展，達(dá)到一個更加精準(zhǔn)的行人軌跡預(yù)測更加易于實現(xiàn)。未來的發(fā)展中，相信軌跡預(yù)測技術(shù)走進(jìn)實際生活的距離不會太遙遠(yuǎn)。

參考文獻(xiàn)：[1] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.[2] Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowded spaces[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 961-971.[3] Zhu Y, Qian D, Ren D, et al. Starnet: Pedestrian trajectory prediction using deep neural network in star topology[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 8075-8080.[4] Shi L, Wang L, Long C, et al. SGCN: Sparse graph convolution network for pedestrian trajectory prediction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8994-9003.[5] Bae I, Jeon H G. Disentangled multi-relational graph convolutional network for pedestrian trajectory prediction[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(2): 911-919.[6] Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 2255-2264.[7] Amirian J, Hayet J B, Pettré J. Social ways: Learning multi-modal distributions of pedestrian trajectories with gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.