編者按：自然駕駛數(shù)據(jù)作為研究典型場景和邊角場景的重要來源，對自動駕駛功能的測試與評價至關(guān)重要。相比于傳統(tǒng)的車載數(shù)據(jù)采集平臺，基于無人機的數(shù)據(jù)采集平臺可以獲得場景的全局視圖，并且可以較好的解決車輛相互遮擋的問題。本文結(jié)合無人機，提出了一種新的，完整的視頻流量參數(shù)估計分析框架。

摘要：近年來，無人機（UAV）的出現(xiàn)為智能交通應(yīng)用開辟了新的機遇，例如自動交通數(shù)據(jù)收集。在這樣的趨勢下，快速，準確地從無人機視頻中檢測車輛并提取交通參數(shù)變得至關(guān)重要。本文提出了一種無人機視頻流量參數(shù)估計分析框架。該框架被設(shè)計成四個階段，解決了無人機在無規(guī)律的自身運動、交通擁擠情況下的估計準確性低以及計算復(fù)雜度高等備受關(guān)注的問題。在前兩個階段中，開發(fā)了用于車輛檢測的集成分類器，在后兩個階段中，基于光流法和交通流理論開發(fā)了魯棒的交通流參數(shù)估計方法。本文提出的集成分類器已證明其性能優(yōu)于其他基于UAV的車輛檢測而設(shè)計的最新車輛檢測器。在車輛流動較為擁擠的交通狀況下，對交通流量參數(shù)估計值進行了評估，都取得了較好的結(jié)果。

關(guān)鍵字：卷積神經(jīng)網(wǎng)絡(luò)，集成分類器，Haar級聯(lián)，光流法，無人機視頻，交通流參數(shù)

1 引言

在交通監(jiān)控應(yīng)用中使用無人機（UAV）變得越來越普遍。與傳統(tǒng)的監(jiān)視設(shè)備相比，無人機被認為優(yōu)勢更大[1] – [3]。大多數(shù)傳統(tǒng)的交通監(jiān)控設(shè)備會捕獲固定位置的交通狀況，因此需要許多設(shè)備來監(jiān)控單個路段[4] – [7]。一些無人機可以覆蓋連續(xù)的道路甚至交通網(wǎng)絡(luò)。另外，無人機的視角是交通監(jiān)控的另一個優(yōu)勢：通過獲得俯視圖，常規(guī)監(jiān)視視頻中道路用戶之間的遮擋不太可能出現(xiàn)在無人機視頻中。

除了一些諸如電池壽命短之類的實際問題之外，基于無人機的交通監(jiān)控中最大的技術(shù)挑戰(zhàn)是自身的抖動問題，由無人機自身運動引起的視頻背景運動使得為固定監(jiān)控視頻設(shè)計的傳統(tǒng)車輛檢測和交通流量估算方法無法正常工作。為了簡化對無人機在交通監(jiān)控中的應(yīng)用的檢查，一些自身運動較少的無人機視頻被用于一些初步研究。例如，趙等人[35]應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)（CNN）并加速了魯棒特征（SURF）來從無抖動的無人機視頻中估計交通流參數(shù)。他們的方法在檢測和跟蹤方面實現(xiàn)了高精度，但不適用于運動背景變化的無人機視頻。Yamazki等[25]基于連續(xù)兩個無人機視頻估計車速。

在本文中，作者提出了一種基于無人機視頻的交通流參數(shù)估計框架，該框架結(jié)合了基于監(jiān)督學(xué)習(xí)的車輛檢測方法和光流法。該框架旨填補無人機在自身抖動的情況下交通流參數(shù)估計的空白。該框架包括四個階段：前兩個階段用于車輛檢測，后兩個階段用于估計交通流量參數(shù)（速度，車流量，車輛總數(shù)）。具體來說，此框架中的前兩個階段將Haar級聯(lián)和CNN合并為一個整體分類器。第三階段和第四階段被設(shè)計為在無人機視頻中估計交通流參數(shù)的一般過程。

2 相關(guān)工作

在交通工程領(lǐng)域，越來越多的研究是關(guān)于將無人機視頻用作新型數(shù)據(jù)源。最近的工作集中在以下三類之一：道路檢測[3],[8]-[10]，車輛檢測和跟蹤[11]-[22],[34]或交通參數(shù)估計[23]- [29],[35],[36]。

A.道路檢測

道路檢測對于無人機導(dǎo)航系統(tǒng)至關(guān)重要，尤其是基于視覺信息的導(dǎo)航系統(tǒng)。例如，Zhou等[3]設(shè)計了一種用于道路檢測和有效跟蹤的有效算法。金[9]進行了另一項代表性研究。他們提出的道路檢測算法相對簡單但實用：他們的算法首先從單個視頻幀中了解道路結(jié)構(gòu)，然后在其余視頻幀中識別道路。

B.車輛檢測與跟蹤

曹等[18]通過多運動層分析提出了一種魯棒的車輛檢測和跟蹤系統(tǒng)，這是使用無人機視頻數(shù)據(jù)進行車輛檢測/跟蹤方面最具代表性的研究之一。監(jiān)督學(xué)習(xí)方法已經(jīng)越來越多地被應(yīng)用。使用它們，可以根據(jù)車輛的模式識別車輛，因此可以在車輛檢測任務(wù)中跳過復(fù)雜的視頻背景運動問題。 諸如CNN或SVM之類的流行學(xué)習(xí)方法已經(jīng)被證明可以很好地用于基于無人機的車輛檢測[13],[35]。

C.交通參數(shù)估計

例如，McCord等[23]開發(fā)了一個使用衛(wèi)星圖像和航拍照片來估計年平均每日交通量的建?？蚣?。Shastry和Schowengerdt[27]利用圖像配準和運動信息成功估計了基本交通流參數(shù)。Ke等[29]提出了一種新穎的框架，該框架利用KLT跟蹤器，k-means聚類，連通圖和交通流理論基本方程來實時估計雙向交通速度，密度和交通量。

3 方法及實驗

框架包括四個主要階段（見圖1）。前兩個階段涉及車輛檢測，后兩個階段涉及交通流參數(shù)估計。


圖1 框架的四個階段

第一階段：Haar級聯(lián)分類器的訓(xùn)練

本文使用OpenCV 2.4.12庫[30]訓(xùn)練了Haar級聯(lián)分類器。除了如上所述需將訓(xùn)練圖像尺寸設(shè)置為60×40外，還需要在Haar級聯(lián)訓(xùn)練過程中設(shè)置其他幾個關(guān)鍵參數(shù)。首先，需要正確設(shè)置每個階段的訓(xùn)練樣本數(shù)量。每個階段抽取了2,500個樣本進行訓(xùn)練（1,000個陽性樣本和1,500個陰性樣本）。

訓(xùn)練所需的另外兩個參數(shù)是每個階段的最小命中率和最大假陽性率。將最小命中率設(shè)置為接近1，以確保召回所有車輛。每個階段的最大假陽性率應(yīng)設(shè)置為不大于0.5。但是，如果它太?。ɡ缃咏?），則訓(xùn)練時間和過度擬合的機會都會急劇增加。只要召回率很高，Haar級聯(lián)的每個階段都比隨機分類器稍好一點是完全可以接受的。因此，在訓(xùn)練中，這兩個參數(shù)設(shè)置為0.999和0.5。非最大抑制被用作階段1的最后部分，以進一步減少CNN需要檢查的候選窗口。

第二階段：用于車輛檢測的卷積神經(jīng)網(wǎng)絡(luò)

在第一階段Haar級聯(lián)分類器的基礎(chǔ)上，卷積神經(jīng)網(wǎng)絡(luò)或CNN被設(shè)計為車輛檢測的最終分類器。通過這種結(jié)合，很好地利用了Haar級聯(lián)的高效率和CNN的高精度，從而可以實現(xiàn)高檢測率的實時車輛檢測。

在本文的研究中，CNN是使用Keras在python中開發(fā)的，并在Nvidia GTX 1080 GPU上進行了培訓(xùn)。經(jīng)過反復(fù)試驗，本文的CNN架構(gòu)選擇包含兩個卷積層，一個池化層和一個隱藏FC層（參見圖2）。這兩個卷積層具有相同的尺寸，尺寸為32×2×2，具有S型激活函數(shù)；然后添加池化層，以縮放因子2對第二個卷積層的輸出進行下采樣；在池化層和最終輸出之間添加了具有128個節(jié)點的FC層。與其他更流行的CNN（例如AlexNet [42]或VGG [43]）具有更深的結(jié)構(gòu)和更多的輸出節(jié)點相比，該CNN結(jié)構(gòu)重量輕，具有更少的層和參數(shù)。這是由于本文對實時操作的要求和較少類別（即車輛和背景）的需求所致。發(fā)現(xiàn)兩個卷積層已經(jīng)可以滿足精度要求。值得注意的是，在兩個卷積層之間沒有池化層。這是因為訓(xùn)練和測試損失變得更高，而如果添加池化層，則總體檢測速度不會顯著提高。

圖2用于無人機視頻中車輛檢測的CNN模型

CNN的訓(xùn)練在18,000個樣本上進行，并在2,000個樣本上進行了測試。根據(jù)經(jīng)驗和測試，RMSprop（均方根傳播）[39]被選作優(yōu)化器是因為它在類似情況下的性能優(yōu)于傳統(tǒng)SGD（隨機梯度下降）[40]。優(yōu)化的批次大小設(shè)置為30。本文的CNN車輛分類器在100次訓(xùn)練中對測試數(shù)據(jù)的分類精度達到99.55％，結(jié)果非常好。訓(xùn)練過程中的模型精度曲線如圖3所示。


圖3 CNN模型在100步訓(xùn)練過程中的準確性曲線（訓(xùn)練和測試）

如前所述，圖4的頂部圖顯示了Haar級聯(lián)分類器提出的候選窗口?？梢钥闯鋈匀淮嬖谝恍┘訇栃?，但是與讓強分類器（即我們框架中的CNN）以不同比例滑動整個幀像素相比，Haar級聯(lián)分類器大大減少了候選窗口的數(shù)量。然后，將CNN應(yīng)用于檢查所有候選窗口，并給出最終的車輛檢測結(jié)果。車輛檢測結(jié)果的一個示例框架如圖4的底圖所示。


圖4 第一階段（頂部）和第二階段（底部）之后的車輛檢測結(jié)果

第三階段：基于KLT的運動估計

利用獲得的檢測結(jié)果，階段3和4定義了交通運動估計和交通流量參數(shù)估計的一般過程。KLT方法[32]是一種基于興趣點的跟蹤方法，因此它能夠估算在輕交通情況下的背景運動[18]。但是，在車流量較大的情況下，直接應(yīng)用KLT跟蹤器會導(dǎo)致運動估計中出現(xiàn)較大錯誤。本文高效的Haar + CNN車輛檢測流程經(jīng)過專門設(shè)計，可解決此問題。

車輛檢測結(jié)果將視頻幀分為兩種類型的區(qū)域：車輛（在檢測窗口內(nèi)）和背景（在檢測窗口外）。因此，在CNN檢測之后，可以將KLT應(yīng)用于估算車輛運動和背景運動。在圖5中，頂部圖像示出了在檢測窗口內(nèi)部提取的運動矢量，而底部圖像示出了在檢測窗口外部的運動矢量。同一類別（檢測窗口的內(nèi)部或外部）中所有運動矢量的平均值分別表示交通運動（添加了自我運動）和背景運動。


圖5 使用KLT跟蹤器進行交通運動估算

假設(shè)和分別表示針對交通量提取的第i個運動矢量和針對背景的第j個運動矢量，則按每幀像素計算的實際交通量如下在等式中（1）。



其中Nt是為流量提取的運動矢量的總數(shù)，Nb為其背景總和。

第四階段：交通流量參數(shù)估計

在運輸工程中，速度，車輛密度和車輛總數(shù)是描述交通流量的最重要的三個參數(shù)，它們的關(guān)系由等式（2）給出:



其中NOL表示車道數(shù)。在第2階段檢測到車輛并在第3階段估算交通流量后，可以使用參考標記計算車密度和速度。密度定義為每車道每單位高速公路長度（英里，公里等）的車輛計數(shù)。速度將從每幀像素轉(zhuǎn)換為每小時英里/公里。參考標記（例如標準校車和車道標記）能夠避免復(fù)雜的攝像機校準，并且通常足以計算無人機視頻中的實際尺寸[27]-[29]。

在起始幀處，我們假設(shè)已知對象的實際大小為l1，像素大小為l2，因此轉(zhuǎn)換率r = l1 / l2，路段長度為L個像素。初始像素長度l2和L離線測量。假定幀速率fr在監(jiān)視期間恒定。通過以上這些定義和計算，可以使用等式（4）-（5）計算速度和密度（車流量）。



其中N是當前幀中檢測到的車輛數(shù)量，r是上次更新的實際像素轉(zhuǎn)換率。使用等式（2）計算另一個基本交通流量參數(shù)，即車流量。

4 實驗結(jié)果

A.車輛檢測器評估

為了分析所提出框架的性能，本文首先測試了車輛檢測器的性能，并將其與針對無人機視頻數(shù)據(jù)開發(fā)的最新車輛檢測器進行了比較[13],[16],[34],[35],[38]。具體來說，測試了Haar級聯(lián)，CNN，MLP，HOG + SVM，Haar級聯(lián)+ MLP和Haar級聯(lián)+ CNN（本文提出的集成分類器），并使用收集的車輛樣本進行了比較。

所有檢測器均使用相同的訓(xùn)練樣本進行了訓(xùn)練（即從UAV視頻中收獲的18,000個車輛樣本），并對其余2,000個樣本進行了測試。在2,000個測試樣本中，其中814個被標記為陽性樣本（車輛）和1,186個陰性樣本（背景）。表I給出了詳細的檢測性能評估結(jié)果。精度（即相關(guān)實例在所檢索實例中所占的比例）和召回率（即已在全部相關(guān)實例中所獲得的相關(guān)實例所占的比例）通常用于檢測器性能評估。它們定義如下其中TP代表真陽性，F(xiàn)P代表假陽性，F(xiàn)N代表假陰性。精度和召回率分別在1和0時達到最佳值。

表1 檢測器性能評估和比較結(jié)果


由結(jié)果可知，Haar級聯(lián)保留了良好的召回率（0.957）和非?？斓奶幚硭俣龋?1 fps）。就準確性而言，獨立CNN是最好的檢測器，僅生成4個FP和1個FN。但是以0.29 fps的處理速度進行計算時非常慢。MLP實現(xiàn)了良好的精度和召回率，即精度為0.845，召回率為0.856。Haar級聯(lián)+ MLP方法[38]與所提出的集成分類器具有相似的處理邏輯，因此處理速度很快。HOG + SVM是另一種流行的探測器，已應(yīng)用于不同的任務(wù)，由Cao等人進行了研究[13]在基于無人機的車輛檢測中。與Haar級聯(lián)或MLP相比，它們產(chǎn)生的FP少得多，因而獲得了很高的精度值。它的處理速度也比CNN或MLP快。但其FN率很高，因此導(dǎo)致召回率低于0.80。本文提出的集成分類器達到了0.995的精度，0.957的查全率和67 fps的處理速度。Haar級聯(lián)和CNN的結(jié)合使我們的探測器性能出色。

B.流量參數(shù)估計結(jié)果

在實驗中，總共測試了大約30分鐘的視頻剪輯。視頻＃1是由無人機在高速公路路段上拍攝的，監(jiān)視三車道高速公路的交通順暢。視頻2是在交通繁忙的城市動脈上拍攝的另一個視頻剪輯。測試視頻中存在由無人機自身運動引起的連續(xù)背景運動，包括巡航，旋轉(zhuǎn)和振動。圖6顯示了兩個視頻剪輯中隨機選擇的樣本幀，其中標記了檢測窗口和運動矢量。左側(cè)的三個幀片段來自視頻＃1，右側(cè)的三個幀片段屬于視頻＃2。計算了對應(yīng)視頻中的車輛平均速度，車流量和平均車數(shù)，并列在表II中。視頻＃1中的平均交通速度為31.5英里/小時，對于中國北京的城市大動脈來說是合理的。平均密度為31.9 pc / mi /車道（每車道每英里客車），平均車數(shù)為3010.6 pc/ h（每小時客車）。視頻＃2的估計速度遠低于視頻＃1的速度，并且密度更高。從表II中可以看到，視頻＃2的速度僅為1.7 mph，密度為45.5 pc/mi/lane，速度為309.4 pc/h。


圖6 視頻＃1（左，自由流動）和視頻＃2（右，密集流量）中的示例幀顯示了檢測和運動估計結(jié)果

表2 估計的流量參數(shù)和性能評估結(jié)果


C. 系統(tǒng)性能評估與分析

為了驗證交通參數(shù)估計的準確性，選擇了車速和車數(shù)作為度量。圖7中的圖顯示了這兩種情況的估計計數(shù)，地面真實計數(shù)，估計速度和地面真實速度。表II中列出了平均速度，數(shù)量和精度。視頻＃1的估算準確性非常高，速度和車輛計數(shù)估算分別達到97.0％和95.8％。


圖7 交通流速度估計和車輛計數(shù)估計準確性

雖然本文提出的系統(tǒng)在正常交通流和擁塞交通流方面都實現(xiàn)了良好的交通流估計，但值得一提的有趣事實是，在擁塞情況下，速度估計精度和計數(shù)估計精度之間的差異比正常交通流要大（7.3％對1.2％）。這是因為假陽性和假陰性將導(dǎo)致較少的錯誤，從而在交通擁擠的無人機視頻中加快估計速度。具體來說，在交通擁堵的情況下，車輛的速度較低甚至為零。

在本文提出的框架中，錯誤檢測或丟失檢測對運動估計的影響較小。由于實時交通信息對于交通控制或路線指引非常重要，因此本文方法的處理速度被視為一項關(guān)鍵的性能衡量指標。

5 結(jié)論

在本文中，作者提出了一個新的四階段框架，該框架可從具有運動背景的無人機視頻中提取交通流參數(shù)（即速度，車流量和車數(shù)）。

在前兩個階段中，分別訓(xùn)練了Haar級聯(lián)分類器（階段1）和卷積神經(jīng)網(wǎng)絡(luò)（階段2），并將其組合為用于從俯視圖角度進行車輛檢測的集成分類器。Haar級聯(lián)有效地減少了搜索空間，而CNN則作為強分類器將剩余的候選窗口進行了檢查。在第三階段，采用KLT光流方法，根據(jù)檢測結(jié)果提取車輛（內(nèi)部檢測窗口）和視頻背景（外部檢測窗口）的運動矢量。然后，通過平均車輛運動減去平均背景運動來表示真實交通運動。在第四階段，開發(fā)了一種新算法，通過整合參考標記，高度變化檢測和交通流理論來估計交通流參數(shù)。

將本文提出的集成分類器與已有的針對基于UAV的車輛檢測進行了檢查的最新車輛檢測器進行了比較，并證明了其高效率和準確性。實驗結(jié)果表明，所提出的方法在交通暢通和交通擁堵的情況下均具有很好的估計精度和實時處理速度。

除方法部分外，還公開提供了包含20,000個圖像樣本的訓(xùn)練和測試數(shù)據(jù)集以進行基準測試。