日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

RSKDD-Net: 基于隨機(jī)采樣的關(guān)鍵點(diǎn)檢測(cè)器和描述子

2020-10-27 23:52:04·  來源：同濟(jì)智能汽車研究所  
　
編者按：點(diǎn)云配準(zhǔn)的目的是求解出同一坐標(biāo)下不同姿態(tài)點(diǎn)云的變換矩陣，利用該矩陣實(shí)現(xiàn)多視掃描點(diǎn)云的精確配準(zhǔn)，最終獲取完整的3D數(shù)字模型、場(chǎng)景。而特征提取是點(diǎn)云
編者按：點(diǎn)云配準(zhǔn)的目的是求解出同一坐標(biāo)下不同姿態(tài)點(diǎn)云的變換矩陣，利用該矩陣實(shí)現(xiàn)多視掃描點(diǎn)云的精確配準(zhǔn)，最終獲取完整的3D數(shù)字模型、場(chǎng)景。而特征提取是點(diǎn)云配準(zhǔn)的關(guān)鍵部分，但目前現(xiàn)存的相關(guān)算法大都效率較低、計(jì)算量大，難以應(yīng)用于自動(dòng)駕駛上。而本篇架構(gòu)的網(wǎng)絡(luò)在有效提取特征的同時(shí)，大幅提高運(yùn)算速度，降低時(shí)間復(fù)雜度，能夠快速處理大規(guī)模點(diǎn)云，對(duì)相關(guān)領(lǐng)域的研究具有很高的參考與借鑒價(jià)值。
 
本文譯自：RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor
文章來源：NeurlPS 2020
作者：Fan Lu, Guang Chen, Yinlong Liu, Zhongnan Qu, Alois Knoll
 
通訊聯(lián)系:guangchen@#edu.cn
原文鏈接：http://arxiv.org/abs/2010.12394
 
摘要：關(guān)鍵點(diǎn)檢測(cè)器和描述子是點(diǎn)云配準(zhǔn)過程的兩個(gè)重要組成部分。過去基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)器依賴于對(duì)每個(gè)點(diǎn)的顯著性估計(jì)或?qū)蜻x點(diǎn)進(jìn)行最遠(yuǎn)點(diǎn)采樣（FPS）,但這些方法低效且不適用于大范圍的場(chǎng)景。本文提出了應(yīng)用于大規(guī)模點(diǎn)云匹配的網(wǎng)絡(luò)——基于隨機(jī)采樣的關(guān)鍵點(diǎn)檢測(cè)和描述網(wǎng)絡(luò)（RSKDD-Net）。主要思路是使用隨機(jī)采樣在候選點(diǎn)中進(jìn)行高效選擇，并使用基于深度學(xué)習(xí)的方法來同時(shí)生成關(guān)鍵點(diǎn)與描述子。為了解決隨機(jī)采樣造成的信息丟失，我們?cè)O(shè)計(jì)了一個(gè)新穎的隨機(jī)膨脹聚類策略并引入了注意力機(jī)制，分別用以增大每個(gè)被采樣點(diǎn)的感受野和匯總附近點(diǎn)的位置與特征。同時(shí)我們引入了匹配損失在弱監(jiān)督的情況下訓(xùn)練描述子。我們?cè)趦蓚€(gè)包含大規(guī)模戶外場(chǎng)景的激光雷達(dá)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明RSKDD-Net達(dá)到了目前的最高水平，比現(xiàn)存方法快15倍以上?？捎趆ttps://github.com/ispc-lab/RSKDD-Net獲取本文相關(guān)代碼。
 
1 前言
點(diǎn)云配準(zhǔn)是三維計(jì)算機(jī)視覺中一個(gè)重要的研究課題，主要研究?jī)蓚€(gè)點(diǎn)云間的理想剛性變換過程。而三維關(guān)鍵點(diǎn)的檢測(cè)和描述是點(diǎn)云配準(zhǔn)的基礎(chǔ)。在傳統(tǒng)二維關(guān)鍵點(diǎn)特征提取方法的基礎(chǔ)上[1-3]，研究人員為點(diǎn)云手工設(shè)計(jì)了一些三維關(guān)鍵點(diǎn)檢測(cè)器[4-6]和描述子[7-11]。然而，圖片的RGB通道相較于點(diǎn)云的笛卡爾坐標(biāo)提供了更豐富的信息，這使得手工設(shè)計(jì)的三維關(guān)鍵點(diǎn)檢測(cè)器和描述子不如二維的特征提取可靠。
 
而隨著深度學(xué)習(xí)的迅猛發(fā)展，許多文獻(xiàn)對(duì)運(yùn)用深度學(xué)習(xí)對(duì)點(diǎn)云進(jìn)行三維特征提取進(jìn)行了探究[12-15]。然而，只有少部分文獻(xiàn)研究了在缺乏真值的情況下，如何基于深度學(xué)習(xí)進(jìn)行三維關(guān)鍵點(diǎn)檢測(cè)[16]。3DFeatNet[17]和USIP[16]是兩篇基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)的前沿文章，但他們的算法在效率上略有欠缺。3DFeatNet預(yù)測(cè)了每個(gè)輸入點(diǎn)的顯著性并基于預(yù)測(cè)的顯著性提取關(guān)鍵點(diǎn)。而輸入點(diǎn)的顯著性估計(jì)需要花費(fèi)大量的時(shí)間，使得這個(gè)方法的實(shí)用性較差。USIP依靠FPS來生成候選關(guān)鍵點(diǎn)，考慮到FPS具有O（N2）的時(shí)間復(fù)雜度，這個(gè)算法無疑是低效和耗時(shí)的。因此上述的兩種方法都不能有效處理大規(guī)模的點(diǎn)云，這也就限制了它們?cè)陬愃朴谧詣?dòng)駕駛這種需要實(shí)時(shí)反饋場(chǎng)景中的應(yīng)用。
 
基于上述的結(jié)論，我們提出了新的網(wǎng)絡(luò)架構(gòu)——基于隨機(jī)采樣的關(guān)鍵點(diǎn)檢測(cè)和描述網(wǎng)絡(luò)（RSKDD-Net），它能高效地在大規(guī)模點(diǎn)云中提取關(guān)鍵點(diǎn)和生成相應(yīng)的描述子。在RSKDD-Net中我們引入了隨機(jī)采樣概念以提高網(wǎng)絡(luò)的效率，這正是3DFeatNet和USIP中所欠缺的。使用隨機(jī)采樣能夠提高點(diǎn)云語義分割的效率，但也會(huì)導(dǎo)致巨大的信息丟失。受到二維圖像處理過程中膨脹卷積的啟發(fā)，我們提出了隨機(jī)膨脹策略來聚類附近點(diǎn)，從而顯著擴(kuò)大感受野。同時(shí)我們利用注意力機(jī)制來匯總附近點(diǎn)的位置和特征并生成注意力特征圖，以提取關(guān)鍵點(diǎn)并估計(jì)每個(gè)關(guān)鍵點(diǎn)的顯著不確定性。這個(gè)框架避免了3DFeatNet中低效的逐點(diǎn)顯著性估計(jì)。為了同時(shí)學(xué)習(xí)關(guān)鍵點(diǎn)的檢測(cè)器和描述子，聚類和注意力特征圖被送入描述網(wǎng)絡(luò)來生成描述子。而為了在弱監(jiān)督情況下訓(xùn)練描述子，我們引入了匹配損失，使用軟分類策略來估計(jì)關(guān)鍵點(diǎn)的一致性。網(wǎng)絡(luò)架構(gòu)見圖1。
 
圖1：RSKDD-Net的網(wǎng)絡(luò)架構(gòu)。第一行是整個(gè)網(wǎng)絡(luò)的整體架構(gòu)，中間一行是檢測(cè)網(wǎng)絡(luò)，最后一行是描述網(wǎng)絡(luò)。
 
我們進(jìn)行了大量的實(shí)驗(yàn)來評(píng)估RSKDD-Net。結(jié)果顯示我們的網(wǎng)絡(luò)僅用了遠(yuǎn)低于其他方法的運(yùn)行時(shí)間，就達(dá)到了目前的最高水平。
貢獻(xiàn)  本文的主要貢獻(xiàn)總結(jié)如下：
  • 提出了一個(gè)基于深度學(xué)習(xí)的方法，用于在大規(guī)模點(diǎn)云匹配中檢測(cè)關(guān)鍵點(diǎn)并生成描述子。這個(gè)方法在達(dá)到最高水平的同時(shí)，將運(yùn)算速度提高了15倍以上。
  • 運(yùn)用了一個(gè)獨(dú)特的隨機(jī)膨脹策略來擴(kuò)大感受野，使得關(guān)鍵點(diǎn)檢測(cè)器和描述子的性能得到了大規(guī)模地提升。除此以外，我們還引入了注意力機(jī)制來匯總附近點(diǎn)的位置與特征。
  • 基于軟分類策略設(shè)計(jì)了匹配損失，從而實(shí)現(xiàn)了在弱監(jiān)督的情況下對(duì)描述子進(jìn)行訓(xùn)練。
2 相關(guān)文獻(xiàn)
 
現(xiàn)存的針對(duì)點(diǎn)云檢測(cè)器和描述子的方法可以分為手工設(shè)計(jì)和基于深度學(xué)習(xí)兩類。
手工設(shè)計(jì)的方法  如今手工設(shè)計(jì)的三維關(guān)鍵點(diǎn)檢測(cè)和特征提取方法，主要是建立在大量二維手工提取特征方法的基礎(chǔ)上。SIFT-3D[5]和Harris-3D[6]就是廣泛應(yīng)用的二維檢測(cè)器SIFT[2]和Harris[3]的三維拓展。內(nèi)在特征描述算法（ISS）選擇球形區(qū)域內(nèi)的附近點(diǎn)沿主軸方向有大幅變動(dòng)的點(diǎn)作為特征點(diǎn)。同時(shí)，研究人員也提出了一些基于點(diǎn)的幾何特征的三維描述子，例如點(diǎn)特征直方圖（PFH）[7]，快速點(diǎn)特征直方圖（FPFH）[8]和方向特征直方圖（SHOT）[9]。關(guān)于手工設(shè)計(jì)的三維檢測(cè)器和描述子進(jìn)一步的詳細(xì)介紹可以參考[20,21]。
基于深度學(xué)習(xí)的方法  近年來，基于深度學(xué)習(xí)的方法已經(jīng)廣泛用于點(diǎn)云分析中[22-29]。與我們的研究主題關(guān)聯(lián)最為密切的是3DFeatNet[17]和USIP[16]。與以往依賴于真值進(jìn)行訓(xùn)練的網(wǎng)絡(luò)不同，3DFeatNet設(shè)計(jì)了一個(gè)弱監(jiān)督的三維描述子。網(wǎng)絡(luò)根據(jù)點(diǎn)云的距離采樣得到正負(fù)樣本對(duì)，之后使用三元組網(wǎng)絡(luò)來訓(xùn)練描述子。而對(duì)于關(guān)鍵點(diǎn)檢測(cè)，他們預(yù)測(cè)了點(diǎn)云中每個(gè)點(diǎn)的注意力權(quán)重，并選出顯著點(diǎn)而不做進(jìn)一步的優(yōu)化處理。不同于3DFeatNet，USIP關(guān)注的是關(guān)鍵點(diǎn)的檢測(cè)以及如何在完全無監(jiān)督的情況下訓(xùn)練檢測(cè)器。通過預(yù)測(cè)初始候選點(diǎn)的偏移和顯著不確定性來選擇關(guān)鍵點(diǎn)。USIP利用似然倒角損失和點(diǎn)對(duì)點(diǎn)損失在完全無監(jiān)督的情況下訓(xùn)練網(wǎng)絡(luò)。然而，3DFeatNet和USIP中使用FPS對(duì)于逐點(diǎn)進(jìn)行顯著性估計(jì)，這使得他們的效率都很低。
3 樣本數(shù)據(jù)
RSKDD-Net的網(wǎng)絡(luò)架構(gòu)已經(jīng)在圖1中得到了詳細(xì)地展示。點(diǎn)云P∈RNx(3+C)（三維笛卡爾坐標(biāo)和C個(gè)額外通道）首先進(jìn)入檢測(cè)網(wǎng)絡(luò)，通過隨機(jī)膨脹聚類模塊用于聚集附近點(diǎn)，然后通過注意力點(diǎn)匯總模塊提取關(guān)鍵點(diǎn)X∈RMx3、顯著不確定性Σ∈RM和注意力特征圖，同時(shí)聚類和注意力特征圖被送入描述網(wǎng)絡(luò)來生成相應(yīng)的描述子。我們使用似然倒角損失和點(diǎn)對(duì)點(diǎn)損失來訓(xùn)練檢測(cè)網(wǎng)絡(luò)，使用匹配損失來訓(xùn)練描述網(wǎng)絡(luò)。
3.1 檢測(cè)器
隨機(jī)膨脹聚類  對(duì)于每個(gè)輸入的點(diǎn)云P∈RNx(3+C)，我們首先對(duì)M個(gè)候選點(diǎn)進(jìn)行隨機(jī)采樣。通常我們使用k最近鄰（kNN）算法來聚集以候選點(diǎn)為中心的M個(gè)簇。雖然這個(gè)方法很有效，但隨機(jī)采樣同時(shí)也會(huì)導(dǎo)致信息丟失，而增大感受野可以有效減弱這種負(fù)面影響。然而，簡(jiǎn)單地增加附近點(diǎn)的數(shù)量K會(huì)引起時(shí)間空間復(fù)雜度的增加。在許多領(lǐng)域，膨脹都是擴(kuò)大感受野的替代策略[30,19]。[31]介紹了應(yīng)用于三維點(diǎn)云的點(diǎn)膨脹卷積網(wǎng)絡(luò)（DPC）。不同于DPC，我們采用了隨機(jī)膨脹策略來生成聚類，圖2是該方法的可視化展示。假設(shè)K個(gè)附近點(diǎn)被選中為一個(gè)單獨(dú)的聚類，膨脹比記為αd。我們首先搜索圍繞著中心點(diǎn)的αd×K個(gè)附近點(diǎn)，然后從它們中隨機(jī)選擇K個(gè)點(diǎn)。這個(gè)策略是簡(jiǎn)單而高效的，在幾乎不增加計(jì)算成本的前提下，將感受野從K增大為αd×K。
 
圖2：隨機(jī)膨脹聚類的可視化。紅色點(diǎn)代表中心點(diǎn)，藍(lán)色點(diǎn)代表被選中的附近點(diǎn)。左圖是基于標(biāo)準(zhǔn)kNN算法的聚類，右圖是隨機(jī)膨脹聚類?？梢钥闯?，右圖的感受野明顯增大。
注意力點(diǎn)匯總  注意力機(jī)制在點(diǎn)云學(xué)習(xí)中有著優(yōu)越的性能[32-36]。與USIP中預(yù)測(cè)偏移不同[16]，本文中我們提出了一個(gè)簡(jiǎn)單的注意力機(jī)制來匯總附近點(diǎn)以便直接提取關(guān)鍵點(diǎn)。從隨機(jī)膨脹聚類中，我們獲得了M個(gè)簇且每簇都包含K個(gè)點(diǎn)。考慮其中一個(gè)簇，我們將中心點(diǎn)和K個(gè)附近點(diǎn)分別記為pi和{pi1，…，pik，…，piK}∈RK×（3+C），附近點(diǎn)與中心點(diǎn)的笛卡爾坐標(biāo)相減，就可以得到每個(gè)附近點(diǎn)的相對(duì)位置，把計(jì)算得到的附近點(diǎn)與中心點(diǎn)的相對(duì)距離作為簇的額外通道。因此，一個(gè)簇的特征可以記為Fi={ fi1，…，fik，…，fiK }∈RK×（4+C）。之后簇被送入共享多層感知器（MLP）并輸出特征圖∈RK×C，之后通過最大池化層和softmax函數(shù)來預(yù)測(cè)每個(gè)附近點(diǎn)的一維注意力權(quán)重{wi1，…，wik，…，wiK}∈RK×1。通過附近點(diǎn)笛卡爾坐標(biāo)的加權(quán)和來計(jì)算關(guān)鍵點(diǎn)，附近點(diǎn)的笛卡爾坐標(biāo)記為{xi1，…，xik，…，xiK}∈RK×3，那么該簇的關(guān)鍵點(diǎn)∈R3為
 
不同于USIP的偏移預(yù)測(cè)，注意力點(diǎn)匯總確保了提取的關(guān)鍵點(diǎn)位于輸入簇的凸包內(nèi)。而且每個(gè)特征都有相應(yīng)的注意力權(quán)重wik，因此注意力特征圖∈RK×Ca為
 
 
 
注意力特征圖進(jìn)一步求和可得到每簇的全局特征∈RCa。之后通過MLP與softplus函數(shù)預(yù)測(cè)每個(gè)關(guān)鍵點(diǎn)的顯著不確定性σi。檢測(cè)網(wǎng)絡(luò)的輸出為M個(gè)包含相應(yīng)的顯著不確定性的關(guān)鍵點(diǎn)和包含注意力特征圖的聚類{F1,…，F(xiàn)M}。最后不使用非極大值抑制（NMS）直接選出具有低顯著不確定性的關(guān)鍵點(diǎn)。
 
 
 
3.2 描述子
描述子的網(wǎng)絡(luò)架構(gòu)詳見圖1的最后一行。描述網(wǎng)絡(luò)的輸入是來自檢測(cè)網(wǎng)絡(luò)的隨機(jī)膨脹聚類{F1,…,FM}和注意力特征圖。每簇Fi首先進(jìn)入共享MLP提取出每個(gè)附近點(diǎn)單獨(dú)的特征，之后通過最大池化層獲得簇的Cf維整體特征。將整體特征和附近點(diǎn)單獨(dú)特征以及注意力特征圖結(jié)合，送入帶有最大池化層的共享MLP，獲得d維描述子。從檢測(cè)網(wǎng)絡(luò)中獲得的注意力特征圖極大提升了描述子的性能，對(duì)此我們將在后文的消融研究中進(jìn)行詳細(xì)闡述。
 
3.3 損失
將原始點(diǎn)云和目標(biāo)點(diǎn)云分別記為S、T，其中的關(guān)鍵點(diǎn)分別記為XS、XT，相應(yīng)的顯著不確定性記為ΣS、ΣT，描述子記為QS、QT。相對(duì)旋轉(zhuǎn)矩陣R和平移向量t的真值也已知。在檢測(cè)器訓(xùn)練過程中，我們采用了USIP[16]的似然倒角損失和點(diǎn)對(duì)點(diǎn)損失。似然倒角損失用來最小化原始點(diǎn)云和目標(biāo)點(diǎn)云中關(guān)鍵點(diǎn)的距離，而點(diǎn)對(duì)點(diǎn)損失用來限制關(guān)鍵點(diǎn)與初始點(diǎn)云的距離。關(guān)于似然倒角距離和點(diǎn)對(duì)點(diǎn)距離的詳細(xì)信息，可以參考[16]。
匹配損失  我們定義了匹配損失用來在弱監(jiān)督情況下訓(xùn)練描述子。3DFeatNet中使用三元組損失根據(jù)點(diǎn)云間距離而不是關(guān)鍵點(diǎn)之間的幾何距離，采樣正負(fù)描述子對(duì)。與3DFeatNet不同，匹配損失是一種用于估計(jì)描述子間相似性的軟分類策略。對(duì)于每個(gè)來自原始點(diǎn)云的關(guān)鍵點(diǎn)∈XS和相應(yīng)的描述子屬于qiS∈QS，所有目標(biāo)關(guān)鍵點(diǎn)描述子間的距離可以計(jì)算得到，記為diS={di1S，…，dijS ，…，diMS },其中dijS=||qiS-qiT||22。匹配的分?jǐn)?shù)向量記為siS={si1S，…，sijS，…，siMS}，可通過下式進(jìn)行計(jì)算。
 
其中t是用于銳化匹配分?jǐn)?shù)分布的溫度參數(shù)。相應(yīng)的關(guān)鍵點(diǎn)可通過所有目標(biāo)關(guān)鍵點(diǎn)的加權(quán)和計(jì)算得到。
 
軟分類是最近鄰搜索在描述子上的近似可導(dǎo)形式。顯而易見的是，原始關(guān)鍵點(diǎn)與目標(biāo)關(guān)鍵點(diǎn)之間的描述子相似性越高，匹配分?jǐn)?shù)也就越高。當(dāng)t—>0時(shí)，軟分類將退化為確定的最近鄰搜索。當(dāng)然我們也能依賴軟分類策略確定每個(gè)目標(biāo)關(guān)鍵點(diǎn)對(duì)應(yīng)的原始關(guān)鍵點(diǎn)。根據(jù)每個(gè)關(guān)鍵點(diǎn)的顯著不確定性σi∈Σ，我們引入了關(guān)鍵點(diǎn)的權(quán)重。
 
 其中σmax是顯著不確定性預(yù)設(shè)的上界。最后的匹配損失用于最小化對(duì)應(yīng)關(guān)鍵點(diǎn)之間的距離，可通過下式進(jìn)行計(jì)算。
 
 
 很明顯可以看出來，為了最小化匹配損失，軟分類將選擇空間中更為靠近的點(diǎn)作為匹配點(diǎn)，從而使匹配描述子更加相似。除此之外，關(guān)鍵點(diǎn)權(quán)重的引入使得具有低顯著不確定性的關(guān)鍵點(diǎn)在匹配損失中有更高的權(quán)重。
4 試驗(yàn)結(jié)果
4.1 實(shí)驗(yàn)設(shè)置
數(shù)據(jù)集 我們使用了兩個(gè)大規(guī)模的戶外場(chǎng)景激光雷達(dá)數(shù)據(jù)集來評(píng)估RSKDD-Net，分別是KITTI Odometry數(shù)據(jù)集[37]（KITTI數(shù)據(jù)集）和Ford Campus Vision and Lidar數(shù)據(jù)集（Ford數(shù)據(jù)集）。KITTI數(shù)據(jù)集提供了11組帶有真值的車輛位姿序列，我們使用00序列進(jìn)行訓(xùn)練，01序列進(jìn)行驗(yàn)證，其他序列用于測(cè)試（由于08序列的車輛位姿真值存在較大錯(cuò)誤，我們不使用該序列）。包含兩個(gè)序列的Ford數(shù)據(jù)集僅用于測(cè)試。訓(xùn)練時(shí)，將當(dāng)前點(diǎn)云與其后第十個(gè)點(diǎn)云作為一個(gè)訓(xùn)練對(duì)，測(cè)試時(shí)，將當(dāng)前點(diǎn)云與前后連續(xù)5幀作為測(cè)試數(shù)據(jù)。因而我們可以在KITTI和Ford數(shù)據(jù)集中構(gòu)建超過100000個(gè)測(cè)試對(duì)。
評(píng)估指標(biāo)  我們采用和3DFeatNet[17]和USIP[16]中一樣的評(píng)估指標(biāo)來評(píng)價(jià)關(guān)鍵點(diǎn)檢測(cè)器和描述子，也就是重復(fù)性、準(zhǔn)確性和配準(zhǔn)性能。
USIP中引入了重復(fù)性用于評(píng)價(jià)被檢測(cè)關(guān)鍵點(diǎn)的穩(wěn)定性。考慮到原始點(diǎn)云和目標(biāo)點(diǎn)云間的真值的轉(zhuǎn)換，如果原始點(diǎn)云中的一個(gè)關(guān)鍵點(diǎn)到目標(biāo)點(diǎn)云中最近關(guān)鍵點(diǎn)的距離小于距離的閾值εr，那么這個(gè)關(guān)鍵點(diǎn)就是可重復(fù)的。重復(fù)性指的是所有被檢測(cè)點(diǎn)云中可重復(fù)的關(guān)鍵點(diǎn)所占的比例。
3DFeatNet中使用準(zhǔn)確性來一同評(píng)估關(guān)鍵點(diǎn)檢測(cè)器和描述子。對(duì)于一個(gè)原始關(guān)鍵點(diǎn)，我們通過描述子的最近鄰搜索算法找到對(duì)應(yīng)的目標(biāo)點(diǎn)云。同時(shí)，目標(biāo)點(diǎn)云中對(duì)應(yīng)的關(guān)鍵點(diǎn)真值可以通過真值轉(zhuǎn)換得到。如果和在距離閾值εp內(nèi)，那么認(rèn)為存在有效的相似性。準(zhǔn)確性被定義為具有有效相似性的關(guān)鍵點(diǎn)所占的比例。
 
 
配準(zhǔn)性能通過RANSAC算法進(jìn)行計(jì)算。根據(jù)3DFeatNet，RANSAC的迭代次數(shù)需要達(dá)到99%的置信度，上限為10000。與3DFeatNet一樣，我們也使用相對(duì)位移誤差（RTE）和相對(duì)旋轉(zhuǎn)誤差（RRE）進(jìn)行評(píng)估。如果RTE<2m且RRE<5°，則認(rèn)為配準(zhǔn)成功。除此之外，我們也計(jì)算了RANSAC算法的平均內(nèi)點(diǎn)比例和迭代次數(shù)。
基線算法  我們將我們的方法與三個(gè)手工設(shè)計(jì)的三維關(guān)鍵點(diǎn)檢測(cè)器ISS[4]、Harris-3D[6]和SIFT-3D[5]，手工設(shè)計(jì)的關(guān)鍵點(diǎn)描述子FPFH[8]和兩個(gè)基于深度學(xué)習(xí)的三維關(guān)鍵點(diǎn)探測(cè)器和描述子：3DFeatNet[17]和USIP[16]進(jìn)行比較。對(duì)于手工設(shè)計(jì)的探測(cè)器和描述子我們使用了PCL中的實(shí)現(xiàn)版本。對(duì)于USIP，我們使用了提供的源碼，但由于描述子預(yù)訓(xùn)練模型的缺失，在KITTI數(shù)據(jù)集上進(jìn)行了重新訓(xùn)練。對(duì)于3DFeatNet，我們直接使用了預(yù)訓(xùn)練模型并在KITTI和Ford數(shù)據(jù)集上進(jìn)行了測(cè)試。除此以外，我們也對(duì)隨機(jī)采點(diǎn)的重復(fù)性進(jìn)行了評(píng)價(jià)以作參考。對(duì)于在其他手工設(shè)計(jì)的描述子上進(jìn)行的實(shí)驗(yàn)，請(qǐng)參考我們的補(bǔ)充材料。
實(shí)現(xiàn)細(xì)節(jié)  在預(yù)處理過程中，我們首先用0.1m網(wǎng)格的體素濾波器對(duì)輸入點(diǎn)云進(jìn)行下采樣，并根據(jù)USIP將每個(gè)點(diǎn)的表面法線和曲率作為額外特征。之后從下采樣的點(diǎn)云中隨機(jī)采樣16384個(gè)點(diǎn)作為輸入點(diǎn)云。膨脹率設(shè)為2，附近點(diǎn)的數(shù)量設(shè)為128。網(wǎng)絡(luò)的實(shí)現(xiàn)基于PyTorch[40]，使用SGD作為優(yōu)化器，學(xué)習(xí)率為0.001，動(dòng)量為0.9，匹配損失中的溫度參數(shù)t為0.1。我們分為兩個(gè)階段訓(xùn)練網(wǎng)絡(luò)，首先通過似然倒角損失和點(diǎn)對(duì)點(diǎn)損失訓(xùn)練檢測(cè)網(wǎng)絡(luò)，之后在訓(xùn)練好的檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上通過匹配損失訓(xùn)練描述網(wǎng)絡(luò)，同時(shí)也會(huì)對(duì)檢測(cè)網(wǎng)絡(luò)進(jìn)行微調(diào)。網(wǎng)絡(luò)在NVIDIA GeForce 1080Ti上進(jìn)行訓(xùn)練，在裝有Intel i7-9750H和NVIDIA GeForce RTX 2060的電腦上進(jìn)行評(píng)估。
4.2 評(píng)估
效率  我們?cè)贙ITTI數(shù)據(jù)集上評(píng)估了RSKDD-Net和另外兩個(gè)基于深度學(xué)習(xí)的方法，運(yùn)算時(shí)間見表1。表1的第一行為輸入點(diǎn)的個(gè)數(shù)，第二行為關(guān)鍵點(diǎn)的個(gè)數(shù)。由于隨機(jī)采樣策略和不需要提前進(jìn)行顯著性估計(jì)，我們的方法相較于另外兩個(gè)，效率有了極大地提升?？梢钥吹剑?DFeatNet和USIP的運(yùn)算時(shí)間分別受到輸入點(diǎn)個(gè)數(shù)和關(guān)鍵點(diǎn)個(gè)數(shù)的影響。相較而言，RSKDD-Net的運(yùn)算時(shí)間受輸入點(diǎn)和關(guān)鍵點(diǎn)個(gè)數(shù)影響較小。值得注意的是，在從16384個(gè)點(diǎn)中檢測(cè)512個(gè)關(guān)鍵點(diǎn)的過程中，我們的方法比USIP和3DFeatNet快30倍以上。
表1：運(yùn)算時(shí)間（ms）
 
重復(fù)性  我們計(jì)算了0.5m的距離閾值下128、256和512個(gè)關(guān)鍵點(diǎn)的重復(fù)性。除此之外，我們也計(jì)算了不同距離閾值下512個(gè)關(guān)鍵點(diǎn)的重復(fù)性以作參考。結(jié)果見圖3。從結(jié)果可以看出，在128和512個(gè)關(guān)鍵點(diǎn)上，RSKDD-Net的重復(fù)性以巨大的差距遠(yuǎn)超其他方法。值得一提的是，0.5m距離閾值下512個(gè)關(guān)鍵點(diǎn)的情況下，RSKDD-Net的重復(fù)性超出USIP約20%，這說明我們選擇的關(guān)鍵點(diǎn)具有高的穩(wěn)定性。
圖3：（a）和（b）：不同個(gè)數(shù)關(guān)鍵點(diǎn)的重復(fù)性。（c）和（d）不同距離閾值的重復(fù)性
 
準(zhǔn)確性  我們?cè)诓煌嚯x閾值下評(píng)估了512個(gè)關(guān)鍵點(diǎn)的準(zhǔn)確性以及在1.0m的距離閾值下評(píng)估了不同個(gè)數(shù)關(guān)鍵點(diǎn)的準(zhǔn)確性。從圖4的結(jié)果可以看出，RSKDD-Net在兩種情況下都比其他方法的準(zhǔn)確度高。我們注意到，RSKDD-Net在KITTI數(shù)據(jù)集上的表現(xiàn)優(yōu)于Ford數(shù)據(jù)集，可能的原因是KITTI數(shù)據(jù)集上的點(diǎn)云更加結(jié)構(gòu)化，因而可以依賴更多的幾何信息來檢測(cè)關(guān)鍵點(diǎn)。
圖4：（a）和（b）：不同個(gè)數(shù)關(guān)鍵點(diǎn)的準(zhǔn)確性。（c）和（d）不同距離閾值的準(zhǔn)確性
 
配準(zhǔn)性能  用于評(píng)估配準(zhǔn)性能的關(guān)鍵點(diǎn)的個(gè)數(shù)是512個(gè)。實(shí)驗(yàn)結(jié)果見表2。從結(jié)果可以看出，相較于手工設(shè)計(jì)和其他基于深度學(xué)習(xí)的方法，我們的方法有更好的RTE。雖然RRE和成功率稍遜色于USIP，但我們的內(nèi)點(diǎn)比例是USIP的兩倍多，而且由于高準(zhǔn)確性和重復(fù)性我們的平均迭代次數(shù)也遠(yuǎn)遠(yuǎn)低于USIP。綜合來說，我們的方法優(yōu)于其他所有方法。
表2：KITTI數(shù)據(jù)集和Ford數(shù)據(jù)集上的配準(zhǔn)性能
 
定性可視化  我們提供了一些定性可視化結(jié)果。圖5左邊兩列展示了兩次配準(zhǔn)結(jié)果，關(guān)鍵點(diǎn)的個(gè)數(shù)為512?？梢暬Y(jié)果展示了，我們?cè)O(shè)計(jì)的關(guān)鍵點(diǎn)檢測(cè)器和描述子所實(shí)現(xiàn)的高的內(nèi)點(diǎn)比例。除此以外，我們?cè)趫D5的右邊一列提供了關(guān)鍵點(diǎn)檢測(cè)結(jié)果的樣例。雖然我們的方法沒能準(zhǔn)確地移除地面點(diǎn)，但檢測(cè)到的關(guān)鍵點(diǎn)自動(dòng)避開了地面點(diǎn)，并根據(jù)平面和角等幾何信息將點(diǎn)連接起來。我們?cè)谘a(bǔ)充材料中提供了更多定性可視化結(jié)果。
圖5：左邊兩張圖片是兩次配準(zhǔn)結(jié)果，點(diǎn)云間的紅線代表成功匹配。右邊圖片是關(guān)鍵點(diǎn)檢測(cè)結(jié)果的樣例，紅色點(diǎn)代表被檢測(cè)到的關(guān)鍵點(diǎn)。
 
4.3 消融研究
我們提供了消融研究以說明隨機(jī)膨脹聚類策略、注意力特征圖和匹配損失的有效性。消融研究的所有實(shí)驗(yàn)都是在KITTI數(shù)據(jù)集上進(jìn)行的。重復(fù)性和準(zhǔn)確性在128、256和512個(gè)關(guān)鍵點(diǎn)的條件下進(jìn)行評(píng)估。重復(fù)性和準(zhǔn)確性的距離閾值分別固定為0.5m和1.0m。
隨機(jī)膨脹聚類  我們比較了隨機(jī)膨脹聚類和DPC[31]的性能，相應(yīng)的重復(fù)性和準(zhǔn)確性見圖6（a）和（b）。結(jié)果顯示隨機(jī)膨脹聚類策略顯著提高了網(wǎng)絡(luò)的重復(fù)性和準(zhǔn)確性。而且其性能與DPC近似，甚至在一些場(chǎng)景下略微優(yōu)于DPC（例如128和512個(gè)關(guān)鍵點(diǎn)的準(zhǔn)確性）。同時(shí)，我們的方法更加簡(jiǎn)單，不需要對(duì)附近點(diǎn)進(jìn)行分類，這將降低附近點(diǎn)搜索的時(shí)間復(fù)雜度。
注意力特征圖  為了說明注意力特征圖在描述網(wǎng)絡(luò)學(xué)習(xí)過程中的有效性，我們?cè)诿枋鼍W(wǎng)絡(luò)中移除了注意力特征圖并評(píng)估了準(zhǔn)確性。結(jié)果見圖6（c）。從結(jié)果可以看出，注意力特征圖的引入使得準(zhǔn)確性大大提升。在引入注意力特征圖的情況下，不同個(gè)數(shù)的關(guān)鍵點(diǎn)的準(zhǔn)確性均提升了大約0.1。
匹配損失  我們將匹配損失與3DFeatNet的三元組損失進(jìn)行了比較。根據(jù)3DFeatNet，我們基于兩點(diǎn)云間距離采樣了正負(fù)點(diǎn)云對(duì)，同時(shí)顯著不確定性也包含在三元組損失中。之后將匹配損失替換為三元組損失，并重新進(jìn)行訓(xùn)練。兩個(gè)損失函數(shù)導(dǎo)致的準(zhǔn)確性變化見圖6（d）。從實(shí)驗(yàn)結(jié)果可以看出，在其他條件不變的情況下，匹配損失遠(yuǎn)遠(yuǎn)優(yōu)于3DFeatNet的三元組損失。值得注意的是，包含匹配損失的網(wǎng)絡(luò)的準(zhǔn)確性是三元組損失的兩倍。除此之外，我們也對(duì)匹配損失中的溫度系數(shù)t和權(quán)重進(jìn)行了實(shí)驗(yàn)。正如圖6（e）所示，t=0.5時(shí)的準(zhǔn)確性明顯低于另外兩個(gè)，這是由于在溫度系數(shù)t較大的時(shí)候，軟分類的近似效果不好導(dǎo)致的。當(dāng)t<0.1時(shí)，性能不會(huì)有明顯地改變。從圖6（f）可以看出，匹配損失中權(quán)重的引入提升了描述子的性能。
圖6：（a）不同膨脹策略的重復(fù)性（b）不同膨脹策略的準(zhǔn)確性（c）有無注意力特征圖情況下的準(zhǔn)確性（d）匹配損失和三元組損失的準(zhǔn)確性（e）不同溫度參數(shù)t的準(zhǔn)確性（f）有無權(quán)重情況下的準(zhǔn)確性
 
 
5 結(jié)論
本文設(shè)計(jì)了一種基于深度學(xué)習(xí)的方法，用以在大規(guī)模點(diǎn)云中同時(shí)檢測(cè)關(guān)鍵點(diǎn)和生成描述子。本文設(shè)計(jì)的RSKDD-Net達(dá)到了當(dāng)前最優(yōu)水平，且擁有極快的推理速度。為了克服隨機(jī)采樣的缺點(diǎn)，提出了隨機(jī)膨脹聚類策略和注意力機(jī)制來分別擴(kuò)大感受野和匯總位置和特征。本文采用了基于匹配損失的軟分類以便描述網(wǎng)絡(luò)能夠在弱監(jiān)督的情況下進(jìn)行訓(xùn)練。大量的實(shí)驗(yàn)結(jié)果說明了RSKDD-Net以巨大的優(yōu)勢(shì)在重復(fù)性、準(zhǔn)確性和配準(zhǔn)性能上優(yōu)于其他現(xiàn)存的方法。
廣泛影響
RSKDD-Net提供了有效的框架，用于在針對(duì)大規(guī)模點(diǎn)云配準(zhǔn)中檢測(cè)關(guān)鍵點(diǎn)和生成描述子。這個(gè)方法極有可能應(yīng)用在自動(dòng)駕駛的定位和建圖部分，以降低點(diǎn)云配準(zhǔn)的計(jì)算量，來推動(dòng)自動(dòng)駕駛的發(fā)展。自動(dòng)駕駛能夠降低人類駕駛員的工作負(fù)擔(dān)和交通事故的發(fā)生率，但也有可能導(dǎo)致交通事故責(zé)任難以劃分和人類駕駛員的失業(yè)。除此之外，我們的方法也可以用于無人機(jī)上，然而應(yīng)用于軍事領(lǐng)域的無人機(jī)，有可能對(duì)人類生命安全造成威脅。因此我們應(yīng)該將它推廣到對(duì)人類有益的領(lǐng)域去，例如推動(dòng)自動(dòng)駕駛的發(fā)展以提高生活質(zhì)量和降低交通事故的發(fā)生以保護(hù)人身安全。
致謝與資金來源
本作受到中國(guó)國(guó)家自然科學(xué)基金（No.61906138）、歐盟地平線2020科研框架特定撥款協(xié)議No.945539（人類大腦計(jì)劃SGA3）和2018年度上海市人工智能創(chuàng)新發(fā)展專項(xiàng)資金資助。同時(shí)我們也十分感謝與李國(guó)豪的有益討論。
參考文獻(xiàn)
 
 
 
 
 
 
 
END
 
聯(lián)系人：唐老師  
電話：021-69589116
郵箱：20666028@#edu.cn 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25