日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

PointINet: 一種新型點(diǎn)云插幀網(wǎng)絡(luò)

2021-01-09 00:10:33·  來(lái)源：同濟(jì)智能汽車研究所  
　
編者按：激光雷達(dá)和攝像頭是智能駕駛車輛的主要感知器，針對(duì)于不同的任務(wù)，研究人員已經(jīng)提出了許多表現(xiàn)優(yōu)異的解決方案。但相較于圖像，點(diǎn)云的研究起步和進(jìn)展顯得
編者按：激光雷達(dá)和攝像頭是智能駕駛車輛的主要感知器，針對(duì)于不同的任務(wù)，研究人員已經(jīng)提出了許多表現(xiàn)優(yōu)異的解決方案。但相較于圖像，點(diǎn)云的研究起步和進(jìn)展顯得較為緩慢。許多圖像中已經(jīng)得到很好處理和應(yīng)用的領(lǐng)域，在點(diǎn)云中仍然少有人涉足。這里我們?yōu)榇蠹規(guī)?lái)的一篇AAAI2021論文就很好地借鑒圖像領(lǐng)域，提出了點(diǎn)云的一個(gè)全新方向：點(diǎn)云插幀。文本的出發(fā)點(diǎn)在于克服雷達(dá)的低幀率，作者通過(guò)使用場(chǎng)景流、自適應(yīng)架構(gòu)和注意力模塊成功地將低幀率的激光雷達(dá)點(diǎn)云流(10～20 Hz)上采樣為高幀率的點(diǎn)云流(50～100 Hz)。隨后作者通過(guò)詳細(xì)的實(shí)驗(yàn)證實(shí)了其有效性，并且給出了實(shí)際應(yīng)用實(shí)驗(yàn)展示此方向良好的使用前景。

本文譯自：
PointINet: Point Cloud frame Interpolation Network
文章來(lái)源：
AAAI 2021
作者：
Fan Lu，Guang Chen，Sanqing Qu，Zhijun Li，Yinlong Liu，Alois Knoll
原文鏈接：
https://arxiv.org/abs/2012.10066
項(xiàng)目網(wǎng)址：
https://ispc-group.github.io/pages/pointinet.html
*通訊聯(lián)系：guangchen@#edu.cn

摘要：受硬件性能的限制，激光雷達(dá)點(diǎn)云流在時(shí)間維度上通常是稀疏的。通常，機(jī)械激光雷達(dá)傳感器的幀率為10到20 Hz，這遠(yuǎn)低于其他常用的傳感器（如相機(jī)）。為了克服激光雷達(dá)傳感器的時(shí)間限制，本文研究了一種名為點(diǎn)云插幀的新的任務(wù)。給定兩個(gè)連續(xù)的點(diǎn)云幀，點(diǎn)云插幀的目的是在它們之間生成中間幀。為此，我們提出了一種新穎的框架，即點(diǎn)云插幀網(wǎng)絡(luò)（PointINet）。基于所提出的方法，我們可以將低幀率點(diǎn)云流上采樣到更高的幀率。我們首先估算兩個(gè)點(diǎn)云之間的雙向3D場(chǎng)景流，然后根據(jù)3D場(chǎng)景流將它們轉(zhuǎn)換到給定的時(shí)間步長(zhǎng)。為了融合兩個(gè)變換的幀并生成中間點(diǎn)云，我們提出了一種新穎的基于學(xué)習(xí)的點(diǎn)融合模塊，該模塊同時(shí)考慮了兩個(gè)變換的點(diǎn)云。我們?cè)O(shè)計(jì)了定量和定性實(shí)驗(yàn)來(lái)評(píng)估點(diǎn)云插幀方法的性能，并且在兩個(gè)大型室外LiDAR數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)證明了所提出的PointINet的有效性。我們的代碼發(fā)布在了https://github.com/ispc-lab/PointINet.git上。

關(guān)鍵詞：超像素，平面特征，RANSAC

1 引言

激光雷達(dá)是眾多應(yīng)用(例如、自主車輛和智能機(jī)器人)中最重要的傳感器之一。然而，典型的機(jī)械式激光雷達(dá)傳感器(例如、Velodyne HDL-64E、Hesai Pandar64等)的幀率受到硬件性能的極大限制。激光雷達(dá)的幀率一般為10～20 Hz，這會(huì)造成點(diǎn)云流的時(shí)空不連續(xù)。與激光雷達(dá)的低幀率相比，智能車輛和機(jī)器人上其他常用傳感器的幀率通常要高很多。例如，攝像頭和慣性測(cè)量單元（IMU）的幀率可以達(dá)到100Hz以上。幀率的巨大差異會(huì)給激光雷達(dá)與其他傳感器的同步帶來(lái)困難。將低幀率的激光雷達(dá)點(diǎn)云流上采樣到更高的幀率，可以有效地解決這一問(wèn)題。此外，更高的幀率可能會(huì)提升一些應(yīng)用的性能，比如物體跟蹤。值得注意的是，視頻插幀通常被用來(lái)從低幀率的視頻生成高幀率的視頻（例如，從30Hz到240Hz）。與目前得到廣泛注意的視頻插幀相比，3D點(diǎn)云的插幀還沒(méi)有得到很好的探索。因此，我們需要探索3D點(diǎn)云的插幀算法，以克服激光雷達(dá)傳感器的時(shí)間限制。
 
圖1 點(diǎn)云插幀的示意圖。 藍(lán)色和綠色的點(diǎn)云是兩個(gè)輸入幀，紅色的點(diǎn)云是四個(gè)插值幀。我們放大區(qū)域以顯示詳細(xì)信息，以實(shí)現(xiàn)更好的可視化。

基于以上考慮，本文研究了一個(gè)名為 "點(diǎn)云插幀 "的新型任務(wù)。給定兩個(gè)連續(xù)的點(diǎn)云，點(diǎn)云插幀的目的是根據(jù)給定的時(shí)間步長(zhǎng)預(yù)測(cè)中間點(diǎn)云幀，形成空間和時(shí)間上相干的點(diǎn)云流(見(jiàn)圖1)。因此，基于點(diǎn)云插幀，可以將低幀率的激光雷達(dá)點(diǎn)云流(10～20 Hz)上采樣為高幀率的點(diǎn)云流(50～100 Hz)。

具體來(lái)說(shuō)，為了實(shí)現(xiàn)點(diǎn)云流的時(shí)空插值，我們提出了一種新型的基于學(xué)習(xí)的框架，稱為PointINet（點(diǎn)云插幀網(wǎng)絡(luò)）。我們提出的PointINet主要由兩部分組成：點(diǎn)云變換模塊和點(diǎn)融合模塊。首先將兩個(gè)連續(xù)的點(diǎn)云輸入點(diǎn)云變換模塊，將兩個(gè)點(diǎn)云變換到給定的時(shí)間步長(zhǎng)。為此，我們首先估計(jì)兩個(gè)連續(xù)點(diǎn)云之間的雙向三維場(chǎng)景流以進(jìn)行運(yùn)動(dòng)估計(jì)。3D場(chǎng)景流代表了從一個(gè)點(diǎn)云到另一個(gè)點(diǎn)云的運(yùn)動(dòng)場(chǎng)。這里我們采用名為FlowNet3D的基于學(xué)習(xí)的場(chǎng)景流估計(jì)網(wǎng)絡(luò)來(lái)預(yù)測(cè)3D場(chǎng)景流。然后根據(jù)線性插值的3D場(chǎng)景流，將兩個(gè)點(diǎn)云變換到給定的時(shí)間步長(zhǎng)。此后，關(guān)鍵問(wèn)題是如何將兩幀融合，形成新的中間點(diǎn)云。3D點(diǎn)云是非結(jié)構(gòu)化且無(wú)序化的。因此，兩個(gè)點(diǎn)云中的點(diǎn)之間并不像兩幅圖像中的像素那樣存在直接的對(duì)應(yīng)關(guān)系。因而，要對(duì)兩個(gè)點(diǎn)云進(jìn)行融合是非易事。為了解決這個(gè)問(wèn)題，我們提出了一種新的點(diǎn)融合模塊。該點(diǎn)融合模塊自適應(yīng)地對(duì)兩個(gè)變換點(diǎn)云中的點(diǎn)進(jìn)行采樣，并根據(jù)時(shí)間步長(zhǎng)為每個(gè)采樣點(diǎn)構(gòu)建k最近鄰(kNN)聚類，以調(diào)整兩個(gè)點(diǎn)云的貢獻(xiàn)。之后，我們提出的注意點(diǎn)融合采用注意機(jī)制將每個(gè)聚類中的點(diǎn)聚集起來(lái)以生成中間點(diǎn)云。所提出的PointINet的整體架構(gòu)如圖2所示。

為了評(píng)估該方法，我們?cè)O(shè)計(jì)了定性和定量實(shí)驗(yàn)。 此外，還進(jìn)行了應(yīng)用實(shí)驗(yàn)，以評(píng)估生成的插值點(diǎn)云的質(zhì)量。在兩個(gè)大型室外激光雷達(dá)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明了所提出的PointINet的有效性。
總而言之，我們的主要貢獻(xiàn)如下：

·  為了克服激光雷達(dá)傳感器的時(shí)間限制，研究了一種新穎的任務(wù)——點(diǎn)云插幀。

·  提出了一種名為PointINet的基于學(xué)習(xí)的新框架，以有效地生成兩個(gè)連續(xù)點(diǎn)云之間的中間幀。

·  通過(guò)定性和定量實(shí)驗(yàn)，以驗(yàn)證所提出方法的有效性。

2 相關(guān)工作

在本節(jié)中，我們簡(jiǎn)要回顧與點(diǎn)云插幀有關(guān)的文獻(xiàn)。 我們從描述視頻插幀的常用方法開(kāi)始，然后回顧點(diǎn)云的3D場(chǎng)景流估計(jì)方法。

視頻插幀

當(dāng)前，大量視頻插幀方法基于光流估計(jì)。基于光流的方法最具代表性的工作之一是Super SloMo，它利用基于學(xué)習(xí)的方法來(lái)預(yù)測(cè)雙向光流來(lái)估計(jì)連續(xù)幀之間的運(yùn)動(dòng)。然后，將兩個(gè)輸入幀進(jìn)一步變換并與遮擋推理結(jié)合以生成最終的中間幀。Reda et al. 利用循環(huán)一致性來(lái)支持視頻插幀的無(wú)監(jiān)督學(xué)習(xí)。Xu et al.提出了一種二次視頻插值方法來(lái)利用視頻中的加速度信息。視頻插幀方法的另一部分是基于內(nèi)核的(Niklaus, Mai, and Liu 2017a,b)。(Niklaus, Mai, andLiu 2017a)估計(jì)每個(gè)位置的內(nèi)核，并通過(guò)對(duì)補(bǔ)丁進(jìn)行卷積來(lái)預(yù)測(cè)輸出像素的位置。Niklaus, Mai, and Liu 2017b通過(guò)使用一對(duì)一維內(nèi)核將插幀公式化為輸入幀上的局部可分卷積來(lái)進(jìn)一步改進(jìn)了該方法。最近，(Bao et al. 2019)結(jié)合了基于核和光流的方法。他們利用光流來(lái)預(yù)測(cè)像素的大致位置，然后使用估計(jì)的核來(lái)完善位置。

3D場(chǎng)景流估計(jì)

點(diǎn)云的3D場(chǎng)景流可以看作是3D場(chǎng)景中2D光流的推廣，它表示點(diǎn)的3D運(yùn)動(dòng)場(chǎng)。與研究者對(duì)2D光流估計(jì)的高度研究興趣相比，關(guān)于3D場(chǎng)景流估計(jì)的工作相對(duì)較少。FlowNet3D是基于深度學(xué)習(xí)的3D場(chǎng)景流估計(jì)的開(kāi)創(chuàng)性工作。(Liu,Qi, and Guibas 2019)提出了一個(gè)流嵌入層，以對(duì)不同點(diǎn)云中點(diǎn)的運(yùn)動(dòng)進(jìn)行建模。在FlowNet3D之后，F(xiàn)lowNet3D ++提出了幾何約束來(lái)進(jìn)一步提高精度。HPLFlowNet在場(chǎng)景流估計(jì)中引入了雙邊卷積層（BCL）。PointPWC-Net提出了一種新穎的成本方法，并以從細(xì)到精的方式估算了3D場(chǎng)景的流量。最近，(Mittal, Okorn, and Held 2020)提供了幾個(gè)不受監(jiān)督的損失函數(shù)，以支持在更真實(shí)的數(shù)據(jù)集上推廣預(yù)訓(xùn)練的場(chǎng)景流估計(jì)模型。在我們的實(shí)現(xiàn)中，由于簡(jiǎn)單性和有效性，我們選擇FlowNet3D在兩個(gè)點(diǎn)云之間執(zhí)行3D場(chǎng)景流估計(jì)。

3 點(diǎn)云插幀

圖2 PointINet的總體結(jié)構(gòu)。給定輸入兩個(gè)連續(xù)的點(diǎn)云，PointINet遵循由點(diǎn)云變換模塊和點(diǎn)融合模塊組成的通道。

在本節(jié)中，我們首先介紹了所提出的點(diǎn)云插幀網(wǎng)絡(luò)(PointINet)的整體架構(gòu)，然后詳細(xì)介紹了PointINet的兩個(gè)關(guān)鍵部分，即點(diǎn)云變換模塊和點(diǎn)融合模塊。

架構(gòu)總覽

PointINet的整體架構(gòu)如圖2所示。給定兩個(gè)連續(xù)的點(diǎn)云P0和P1，時(shí)間步長(zhǎng)t∈ (0,1)，PointINet的目標(biāo)是預(yù)測(cè)時(shí)間步長(zhǎng)t中的中間點(diǎn)云。PointINet由兩個(gè)關(guān)鍵模塊組成：點(diǎn)云變換模塊將兩個(gè)輸入的點(diǎn)云變換到給定的時(shí)間步t，點(diǎn)融合模塊將兩個(gè)變換的點(diǎn)云進(jìn)行融合。下面我們將詳細(xì)介紹這兩個(gè)模塊。

點(diǎn)云變換

給定兩個(gè)點(diǎn)云P0和P1，點(diǎn)云變換模塊旨在預(yù)測(cè)P0中每個(gè)點(diǎn)在的位置，其中是P0的在時(shí)間步長(zhǎng)t對(duì)應(yīng)的點(diǎn)云（對(duì)于點(diǎn)云P1我們也預(yù)測(cè)）。這里的關(guān)鍵是估計(jì)每個(gè)點(diǎn)從P0到的運(yùn)動(dòng)。我們首先預(yù)測(cè)兩個(gè)點(diǎn)云P0和P1之間的雙向3D場(chǎng)景流和來(lái)估計(jì)點(diǎn)的運(yùn)動(dòng)。3D場(chǎng)景流是指點(diǎn)的3D運(yùn)動(dòng)場(chǎng)，它可以看作是3D點(diǎn)云中光流的推廣。這里我們利用現(xiàn)有的基于學(xué)習(xí)的框架FlowNet3D來(lái)估計(jì)雙向的3D場(chǎng)景流。假設(shè)連續(xù)兩幀點(diǎn)云之間的點(diǎn)的運(yùn)動(dòng)是線性的，那么場(chǎng)景流和可以通過(guò)線性插值和來(lái)逼近，可以表示為：
 
 
 
然后P0和P1可以根據(jù)插值3D場(chǎng)景流和被變換為給定的時(shí)間步長(zhǎng)，
 
 
點(diǎn)云融合

點(diǎn)融合模塊的目標(biāo)是將兩個(gè)變換的點(diǎn)云進(jìn)行融合，生成中間點(diǎn)云。點(diǎn)融合模塊的架構(gòu)顯示在圖2的右欄中。該模塊的輸入是兩個(gè)變換的點(diǎn)云和，輸出是融合后的中間點(diǎn)云。在視頻插幀中，由于圖像可以表示為結(jié)構(gòu)化的2D網(wǎng)格，融合步驟大多集中在遮擋和缺失區(qū)域預(yù)測(cè)上。然而，由于點(diǎn)云是非結(jié)構(gòu)化和無(wú)序的，因此兩個(gè)點(diǎn)云的融合是不易的。在所提出的PointINet中，我們首先基于時(shí)間步長(zhǎng)t從兩個(gè)變換的點(diǎn)云中自適應(yīng)地采樣，然后以采樣點(diǎn)為中心構(gòu)建k最近鄰(kNN)聚類來(lái)進(jìn)行融合。之后，注意點(diǎn)融合模塊采用注意力機(jī)制，生成最終的中間點(diǎn)云。下面將詳細(xì)介紹點(diǎn)融合模塊的主要組成部分。
 
自適應(yīng)采樣 

點(diǎn)融合模塊的第一步是將兩個(gè)變換的點(diǎn)云合并成一個(gè)新的點(diǎn)云。直觀上，兩個(gè)點(diǎn)云對(duì)中間點(diǎn)云的貢獻(xiàn)并不總是相同的。例如，在t=0.2時(shí)的中間幀與第一幀P0應(yīng)該比第二幀P1更相似?；谏鲜鲇^察，我們從和中隨機(jī)抽取N0和N1個(gè)點(diǎn)，分別生成兩個(gè)采樣點(diǎn)云和。其中N0=（1-t）×N和N1=t×N。這種操作使得網(wǎng)絡(luò)能夠根據(jù)目標(biāo)時(shí)間步長(zhǎng)t自適應(yīng)地調(diào)整兩個(gè)變換點(diǎn)云的貢獻(xiàn)。接近時(shí)間步長(zhǎng)t的點(diǎn)云對(duì)中間幀的貢獻(xiàn)更大。之后，和合并成一個(gè)新的點(diǎn)云。
 
自適應(yīng)kNN聚類 

我們將輸入到自適應(yīng)的kNN聚類模塊中，生成k個(gè)最近鄰聚類，作為后續(xù)注意點(diǎn)融合模塊的輸入。對(duì)于中的每一個(gè)點(diǎn)，我們?cè)趦蓚€(gè)變換點(diǎn)云和中搜索K個(gè)鄰近點(diǎn)。與自適應(yīng)采樣類似，和中的鄰近點(diǎn)數(shù)也根據(jù)t進(jìn)行自適應(yīng)調(diào)整，以平衡兩個(gè)點(diǎn)云的貢獻(xiàn)。因此，我們?cè)?img src="https://img2.auto-testing.net/202101/08/235359211.png" alt="" />中查詢K0個(gè)鄰近點(diǎn)，在中查詢K1個(gè)鄰近點(diǎn)，其中K0= (1-t) ×K，K1=t×K。因此，我們得到N個(gè)聚類，每個(gè)聚類由K個(gè)鄰近點(diǎn)組成。將聚類的中心點(diǎn)表示為xi，鄰點(diǎn)表示為。然后將每個(gè)鄰點(diǎn)以的形式減去中心點(diǎn)，得到鄰點(diǎn)在聚類中的相對(duì)位置。此外，鄰點(diǎn)與中心點(diǎn)之間的歐氏距離作為聚類的附加通道被計(jì)算出來(lái)。因此，單個(gè)聚類的最終特征可以表示為。
 
圖3 注意點(diǎn)融合模塊的網(wǎng)絡(luò)架構(gòu)

注意點(diǎn)融合 注意力機(jī)制在3D點(diǎn)云學(xué)習(xí)中已經(jīng)得到了廣泛的應(yīng)用。在這里，我們采用注意機(jī)制來(lái)聚合相鄰點(diǎn)的特征來(lái)生成中間點(diǎn)云的新的點(diǎn)。注意力點(diǎn)融合模塊的網(wǎng)絡(luò)架構(gòu)可參見(jiàn)圖3。受PointNet和PointNet++的啟發(fā)，我們將單個(gè)聚類的特征Fi輸入共享多層感知器（Shared-MLP）以生成特征圖。然后應(yīng)用后續(xù)的maxpool層和Softmax函數(shù)對(duì)聚類中的所有鄰點(diǎn)預(yù)測(cè)一維注意權(quán)重Wi=
。之后，新點(diǎn)可以表示為鄰點(diǎn)的加權(quán)和。
 
 
最后，生成的中間點(diǎn)云可以表示為。直觀地講，所提出的注意點(diǎn)融合模塊可以給點(diǎn)集中與目標(biāo)點(diǎn)云更一致的點(diǎn)分配更高的權(quán)重。在點(diǎn)融合模塊之后，新的中間點(diǎn)云中的每一個(gè)生成點(diǎn)都是由其接受場(chǎng)中的兩個(gè)點(diǎn)云中的鄰點(diǎn)聚合而成。此外，借助自適應(yīng)采樣和自適應(yīng)kNN集群模塊，可以根據(jù)時(shí)間步長(zhǎng)t動(dòng)態(tài)調(diào)整兩個(gè)點(diǎn)云的貢獻(xiàn)。因此，生成的中間點(diǎn)云是兩個(gè)輸入點(diǎn)云的有效融合。
 
損失

倒角距離通常用于測(cè)量?jī)蓚€(gè)點(diǎn)云的相似度。在這里，我們利用倒角距離來(lái)監(jiān)督所提出的PointINet的訓(xùn)練。給定生成的中間點(diǎn)云和真值點(diǎn)云，倒角距離損失可以表示為
 
 
其中||·||代表L2歸一化。

4 實(shí)驗(yàn)

我們進(jìn)行定性和定量實(shí)驗(yàn)，以證明所提出的方法的性能。 此外，我們還在兩個(gè)應(yīng)用上（例如，關(guān)鍵點(diǎn)檢測(cè)和多幀迭代最近點(diǎn)（ICP））進(jìn)行了實(shí)驗(yàn)，以更好地評(píng)估生成的中間點(diǎn)云的質(zhì)量。

數(shù)據(jù)集

我們?cè)趦蓚€(gè)大型室外LiDAR數(shù)據(jù)集（即KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集）上評(píng)估了該方法。KITTI里程表數(shù)據(jù)集提供了11個(gè)具有地面真實(shí)性的序列（00-10），我們使用序列00訓(xùn)練網(wǎng)絡(luò)，使用01進(jìn)行驗(yàn)證，而使用其他序列進(jìn)行評(píng)估。NuScenes數(shù)據(jù)集包含850個(gè)訓(xùn)練場(chǎng)景，我們使用前100個(gè)場(chǎng)景進(jìn)行訓(xùn)練，其余750個(gè)場(chǎng)景進(jìn)行評(píng)估。由于缺乏高幀速LiDAR傳感器，我們簡(jiǎn)單的將KITTI里程表數(shù)據(jù)集中的10 Hz點(diǎn)云下采樣為2 Hz，將nuScenes數(shù)據(jù)集中的20 Hz點(diǎn)云下采樣為4 Hz，用于訓(xùn)練和定量實(shí)驗(yàn)。因此，在降采樣點(diǎn)云流的兩個(gè)連續(xù)幀之間有4個(gè)中間點(diǎn)云。

實(shí)施細(xì)節(jié)

我們首先在Flythings3D數(shù)據(jù)集上訓(xùn)練FlowNet3D，然后在KITTI場(chǎng)景流數(shù)據(jù)集上優(yōu)化網(wǎng)絡(luò)。我們直接使用(Liu, Qi, and Guibas 2019)預(yù)處理的數(shù)據(jù)來(lái)訓(xùn)練FlowNet3D。然后，我們分別在KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上分別完善預(yù)訓(xùn)練的FlowNet3D。在此過(guò)程中，將當(dāng)前幀與前后Ns幀內(nèi)隨機(jī)選擇的幀作為訓(xùn)練對(duì)。然后，以預(yù)測(cè)的場(chǎng)景流將第一幀變換到第二幀，并使用變換點(diǎn)云和第二點(diǎn)云之間的倒角距離（請(qǐng)參見(jiàn)公式4）損失函數(shù)進(jìn)行監(jiān)督FlowNet3D的完善。之后，在訓(xùn)練隨后的點(diǎn)融合模塊時(shí)，F(xiàn)lowNet3D的權(quán)重是固定的。在訓(xùn)練點(diǎn)融合模塊的過(guò)程中，將兩個(gè)連續(xù)的幀和來(lái)自4個(gè)中間點(diǎn)云的隨機(jī)采樣幀以及相應(yīng)的時(shí)間步長(zhǎng)用作訓(xùn)練樣本。我們?cè)谟?xùn)練期間將點(diǎn)云隨機(jī)降采樣為16384點(diǎn)，并且在我們的實(shí)現(xiàn)中將相鄰點(diǎn)的數(shù)量K設(shè)置為32。注意點(diǎn)融合模塊中Shared-MLP的層的通道設(shè)置為[64,64,128]。所有網(wǎng)絡(luò)均使用PyTorch實(shí)現(xiàn)，而Adam被用作優(yōu)化器。此外，點(diǎn)融合模塊僅在KITTI里程表數(shù)據(jù)集上進(jìn)行訓(xùn)練，我們僅將訓(xùn)練后的模型推廣到nuScenes數(shù)據(jù)集進(jìn)行評(píng)估。
 
圖4 PointINet的定性結(jié)果。從上至下是三對(duì)連續(xù)幀的插值結(jié)果。列從左到右的時(shí)間步長(zhǎng)t分別為0.25、0.50和0.75。藍(lán)色，綠色和紅色點(diǎn)云分別代表第一幀，第二幀和預(yù)測(cè)的中間幀。此外，我們放大點(diǎn)云的某個(gè)區(qū)域，然后將其旋轉(zhuǎn)到適當(dāng)?shù)慕嵌?，以更好地可視化插值點(diǎn)云的細(xì)節(jié)。

定性實(shí)驗(yàn)

提出的PointINet的目標(biāo)是從低幀率的流生成高幀率的激光雷達(dá)流。但是，沒(méi)有現(xiàn)有的高幀率LiDAR傳感器。因此，我們用Ns= 1訓(xùn)練FlowNet3D，以便為更近的點(diǎn)云提供適當(dāng)?shù)膱?chǎng)景流估計(jì)，然后將在降采樣點(diǎn)云流上訓(xùn)練的點(diǎn)融合模塊直接應(yīng)用于KITTI里程表數(shù)據(jù)集的10 Hz點(diǎn)云流上以生成高幀速率點(diǎn)云流。在這里，我們?cè)趫D4中提供定性可視化，其中此處的點(diǎn)數(shù)設(shè)置為32768。10Hz點(diǎn)云流被上采樣到40 Hz，中間幀的時(shí)間步長(zhǎng)設(shè)置為0.25、0.50和0.75。根據(jù)圖4，提出的PointINet很好地估計(jì)了兩個(gè)云之間的點(diǎn)的運(yùn)動(dòng)，并且融合算法可以保留點(diǎn)云的細(xì)節(jié)。除此之外，我們還在補(bǔ)充材料中提供了一些演示視頻，以比較高幀率點(diǎn)云流和低幀率點(diǎn)云流。根據(jù)演示視頻，高幀率點(diǎn)云流在時(shí)間和空間上明顯比低幀率點(diǎn)云平滑。

定量實(shí)驗(yàn)

評(píng)價(jià)指標(biāo) 我們使用兩個(gè)評(píng)估指標(biāo)：倒角距離（CD）和推土機(jī)距離（EMD）來(lái)評(píng)估降采樣點(diǎn)云流上生成的點(diǎn)云與地面真實(shí)云之間的相似性和一致性。CD先前在等式4中進(jìn)行了描述。EMD也是比較兩個(gè)點(diǎn)云(Weng et al. 2020)的常用度量，其是通過(guò)解決線性分配問(wèn)題來(lái)實(shí)現(xiàn)的。給定兩點(diǎn)云和，EMD可以被描述為：
 
 
其中，是一個(gè)雙映射。
 
基線 

為了演示建議的PointINet的性能，我們定義了3個(gè)基線與我們的方法進(jìn)行比較：（1）一致性方法 我們僅將第一點(diǎn)云框架復(fù)制為中間點(diǎn)云。（2）對(duì)齊ICP方法 我們首先使用迭代最近點(diǎn)（ICP）算法估計(jì)點(diǎn)云的兩個(gè)連續(xù)幀之間的剛性變換，然后對(duì)其進(jìn)行線性插值以獲得第一幀和中間幀之間的變換。之后，基于該變換將第一點(diǎn)云變換為中間幀。（3）場(chǎng)景流方法 我們使用FlowNet3D估計(jì)連續(xù)兩個(gè)幀之間的3D場(chǎng)景流，并通過(guò)線性插值計(jì)算從第一幀到中間幀的場(chǎng)景流，然后根據(jù)3D場(chǎng)景流對(duì)第一點(diǎn)云進(jìn)行變換得到中間點(diǎn)云。在定量實(shí)驗(yàn)中，通過(guò)隨機(jī)采樣將所有點(diǎn)云降采樣為16384點(diǎn)。

表1 在KITTI里程表數(shù)據(jù)集上對(duì)PointINet和其他基線進(jìn)行定量評(píng)估的結(jié)果
 
表2 在nuScenes數(shù)據(jù)集上對(duì)PointINet和其他基線進(jìn)行定量評(píng)估的結(jié)果
 
結(jié)果 

提議的PointINet的CD和EMD以及KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上的其他基線分別顯示在表1和表2中。根據(jù)結(jié)果，我們的方法的性能明顯優(yōu)于其他基準(zhǔn)。例如，建議的PointINet的倒角距離約為KITTI里程表上一致性方法，對(duì)齊ICP方法和場(chǎng)景流方法的 1/3 ，3/5 和2/3。值得注意的是，我們的方法明顯優(yōu)于場(chǎng)景流方法，這也反映了點(diǎn)融合模塊的有效性。注意，我們僅在KITTI里程表數(shù)據(jù)集上訓(xùn)練點(diǎn)融合模塊，而在nuScenes數(shù)據(jù)集上的結(jié)果也證明了網(wǎng)絡(luò)的泛化能力。

應(yīng)用

為了更好地評(píng)估生成的中間點(diǎn)云的質(zhì)量以及與原始點(diǎn)云的相似性，我們?cè)诓逯迭c(diǎn)云流和原始點(diǎn)云流上測(cè)試了兩個(gè)應(yīng)用的性能，即關(guān)鍵點(diǎn)檢測(cè)和多幀ICP。我們首先分別將KITTI里程表數(shù)據(jù)集中的10 Hz點(diǎn)云和nuScenes數(shù)據(jù)集中的20 Hz點(diǎn)云分別下采樣到5 Hz和10 Hz，然后將它們作為內(nèi)插點(diǎn)云流內(nèi)插到原始的幀率。比較了兩個(gè)不同點(diǎn)云流上兩個(gè)應(yīng)用程序的結(jié)果，以驗(yàn)證所提出的PointINet的有效性。

表3 KITTI里程表數(shù)據(jù)集上原始和插值點(diǎn)云的3個(gè)不同關(guān)鍵點(diǎn)的可重復(fù)性
 
關(guān)鍵點(diǎn)檢測(cè) 

我們?cè)趦蓚€(gè)點(diǎn)云流中執(zhí)行3D關(guān)鍵點(diǎn)檢測(cè)，并評(píng)估檢測(cè)到的關(guān)鍵點(diǎn)的可重復(fù)性。我們選擇了3個(gè)手工制作的3D關(guān)鍵點(diǎn)，即SIFT-3D，Harris-3D和ISS。使用PCL中的實(shí)現(xiàn)提取所有關(guān)鍵點(diǎn)。如果點(diǎn)云中的一個(gè)關(guān)鍵點(diǎn)到另一個(gè)點(diǎn)云中最近的關(guān)鍵點(diǎn)的距離（在基于地面真相姿勢(shì)進(jìn)行剛性變換之后）在閾值δr（δr設(shè)置為0.5 m）之內(nèi)，則該點(diǎn)被視為可重復(fù)。在此，可重復(fù)性是可重復(fù)關(guān)鍵點(diǎn)的比率。我們計(jì)算當(dāng)前點(diǎn)云中關(guān)鍵點(diǎn)在前后5幀中的平均可重復(fù)性，并將關(guān)鍵點(diǎn)的數(shù)量設(shè)置為256。由于nuScenes數(shù)據(jù)集中缺少每幀地面真相姿勢(shì)，因此關(guān)鍵點(diǎn)檢測(cè)實(shí)驗(yàn)為僅在KITTI里程表數(shù)據(jù)集上執(zhí)行，其結(jié)果顯示在表3中。根據(jù)結(jié)果，與原始點(diǎn)云流相比，插值點(diǎn)云流的可重復(fù)性僅稍有降低。例如，插值點(diǎn)云的Harris-3D的可重復(fù)性僅比原始點(diǎn)云的可重復(fù)性低0.017。結(jié)果從側(cè)面反映了生成的中間點(diǎn)云與地面真點(diǎn)云的高度一致性。

表4 KITTI里程表數(shù)據(jù)集上原始點(diǎn)和內(nèi)插點(diǎn)云流的多幀ICP性能。
 
表5 nuScenes數(shù)據(jù)集上原始和內(nèi)插點(diǎn)云流的多幀ICP性能。
 
多幀ICP 我們對(duì)Nm個(gè)連續(xù)幀執(zhí)行迭代最近點(diǎn)（ICP）算法，以估計(jì)第一幀與最后一幀之間的剛性變換。在KITTI里程表數(shù)據(jù)集上將Nm設(shè)置為10。對(duì)于nuScenes數(shù)據(jù)集，僅為關(guān)鍵幀（大約2 Hz）提供真實(shí)姿態(tài)。因此，將Nm設(shè)置為與nuScenes數(shù)據(jù)集上兩個(gè)關(guān)鍵幀之間的幀數(shù)相同。我們利用PCL中的實(shí)現(xiàn)來(lái)執(zhí)行ICP算法。累加一次轉(zhuǎn)換以獲得第一幀和最后一幀之間的轉(zhuǎn)換。計(jì)算相對(duì)平移誤差（RTE）和相對(duì)旋轉(zhuǎn)誤差（RRE），以評(píng)估多幀ICP估計(jì)變換的誤差。有關(guān)KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集的結(jié)果分別顯示在表4和表5中。我們還計(jì)算原始點(diǎn)和插值點(diǎn)云流的誤差之間的差異，并將結(jié)果顯示在表4和表5的右欄中，以便進(jìn)行更好的比較。根據(jù)結(jié)果，插值點(diǎn)云流上的多幀ICP算法的RTE和RRE非常接近原始點(diǎn)云流。例如，根據(jù)表5，兩個(gè)結(jié)果在nuScenes數(shù)據(jù)集上的RTE僅相差0.07 m。緊密的性能表明生成的中間點(diǎn)云與地面真實(shí)云之間的相似性。

根據(jù)這兩個(gè)應(yīng)用的實(shí)驗(yàn)，由于所提出的插值方法可能存在誤差，因此在插值點(diǎn)云上算法的性能略遜于原始點(diǎn)云流。盡管如此，這兩個(gè)應(yīng)用程序的緊密性能證明了生成的點(diǎn)云與原始應(yīng)用程序具有高度的相似性和一致性。

表6 PointINet及其組件針對(duì)不同數(shù)量的點(diǎn)的運(yùn)行時(shí)間（ms）。
 
表7 在KITTI里程表數(shù)據(jù)集上對(duì)消融研究的定量評(píng)估結(jié)果。
 
效率

在配備NVIDIA Geforce RTX 2060的PC上評(píng)估了擬議的PointINet的效率，并在表6中顯示了為包含16384、32768和65536點(diǎn)的點(diǎn)云生成一個(gè)中間幀的平均運(yùn)行時(shí)間。根據(jù)結(jié)果，大多數(shù)運(yùn)行時(shí)都用于變換點(diǎn)云，并且所提出的點(diǎn)融合模塊需要相對(duì)較少的時(shí)間進(jìn)行計(jì)算。然而，由于用于融合的每點(diǎn)計(jì)算，用于點(diǎn)融合模塊的計(jì)算時(shí)間隨著點(diǎn)的數(shù)量而增加?？傮w而言，建議的PointINet可以有效地生成中間幀。

消融實(shí)驗(yàn)
我們進(jìn)行了多次消融研究，以分析擬議PointINet的不同組成部分（例如，自適應(yīng)采樣，自適應(yīng)kNN聚類和注意點(diǎn)融合）對(duì)最終結(jié)果的影響。實(shí)驗(yàn)設(shè)置與定量實(shí)驗(yàn)一致，我們還使用倒角距離（CD）和推土機(jī)距離（EMD）來(lái)評(píng)估性能。所有消融研究均在KITTI里程表數(shù)據(jù)集上進(jìn)行。

自適應(yīng)采樣 

我們通過(guò)簡(jiǎn)單地隨機(jī)采樣兩個(gè)變換點(diǎn)云中一半的點(diǎn)以形成一個(gè)新點(diǎn)云作為自適應(yīng)kNN集群模塊的輸入來(lái)代替自適應(yīng)采樣策略。結(jié)果顯示在表7的第二行中。根據(jù)結(jié)果，在不進(jìn)行自適應(yīng)采樣的情況下，CD和EMD分別增加了0.123和8.54，這表明自適應(yīng)采樣策略顯著提高了性能。

自適應(yīng)kNN聚類 

我們從兩個(gè)變換的點(diǎn)云中固定地查詢 K / 2 個(gè)鄰居點(diǎn)，而不是根據(jù)時(shí)間步長(zhǎng) t 來(lái)查詢點(diǎn)。根據(jù)表7第三行中顯示的結(jié)果，沒(méi)有自適應(yīng)kNN聚類的CD和EMD分別從0.457增加到0.534，從39.46增加到41.66。結(jié)果證明了自適應(yīng)kNN集群模塊的有效性。

注意點(diǎn)融合 

為了演示注意點(diǎn)融合模塊的效果，我們直接使用自適應(yīng)采樣中的點(diǎn)云作為中間點(diǎn)云，并將結(jié)果顯示在表格7的底行中。根據(jù)結(jié)果，注意點(diǎn)融合模塊明顯提高了最終性能。

5 結(jié)論
本文研究了一種名為點(diǎn)云插幀的新穎任務(wù)，并為此任務(wù)設(shè)計(jì)了基于學(xué)習(xí)的框架PointINet。給定兩個(gè)連續(xù)的點(diǎn)云，該任務(wù)旨在預(yù)測(cè)它們之間在時(shí)間和空間上一致的中間幀。因此，使用所提出的方法可以將低幀率點(diǎn)云流上采樣到高幀率。為此，我們利用現(xiàn)有的場(chǎng)景流估計(jì)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)估計(jì)，然后將兩個(gè)點(diǎn)云變換到給定的時(shí)間步長(zhǎng)。然后提出了一種新穎的基于學(xué)習(xí)的點(diǎn)融合模塊，以有效地融合兩個(gè)點(diǎn)云。我們?yōu)榇巳蝿?wù)設(shè)計(jì)了定性和定量實(shí)驗(yàn)。在KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明了所提出的PointINet的性能和有效性。

6 道德聲明

提出的點(diǎn)云插幀方法可能對(duì)無(wú)人駕駛和智能機(jī)器人的發(fā)展產(chǎn)生積極影響，可以減輕駕駛員和工人的工作量，并減少交通事故的發(fā)生。 但是，這種發(fā)展也可能導(dǎo)致駕駛員和工人失業(yè)。此外，所提出的方法可能具有潛在的軍事應(yīng)用，例如軍用無(wú)人機(jī)，可能會(huì)威脅到人類的安全。我們應(yīng)該探索更多可以改善人類生活而不是有害生活的應(yīng)用。

7 致謝

這項(xiàng)工作由中國(guó)國(guó)家自然科學(xué)基金（ No. 61906138），歐盟根據(jù)特定撥款協(xié)議第945539號(hào)達(dá)成的Horizon 2020研究與創(chuàng)新框架計(jì)劃（人腦計(jì)劃SGA3）和 2 018上海AI創(chuàng)新發(fā)展計(jì)劃資助。


參考文獻(xiàn)：
 
 
 
 
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25