摘要：自動(dòng)駕駛領(lǐng)域最近的發(fā)展表明，這些車輛在不久的將來(lái)會(huì)出現(xiàn)在每個(gè)城市的街道上，而這些城市不會(huì)容忍交通事故的發(fā)生。為了保證安全需求，自動(dòng)駕駛汽車和被使用的軟件必須在盡可能多的條件下進(jìn)行詳盡的測(cè)試。通常被考慮的影響因素越多，測(cè)試越全面，一般情況下，汽車就越安全。然而，在每次產(chǎn)生或希望產(chǎn)生特定的場(chǎng)景之前，都要反復(fù)地記錄相同的測(cè)試集，這是一種非常耗費(fèi)時(shí)間和資源的過(guò)程，特別是在使用真實(shí)車輛測(cè)試的時(shí)候。這就需要用環(huán)境模擬進(jìn)行仿真測(cè)試。

本課題通過(guò)對(duì)環(huán)境的仿真模擬，研究了影響自動(dòng)駕駛車輛傳感器的環(huán)境因素。主要模擬了下雨環(huán)境中，擋風(fēng)玻璃上的雨滴是如何影響攝像頭成像的。我們提出了一種新的方法，利用基于R-樹連續(xù)最近鄰查詢算法來(lái)渲染雨滴。攝像頭前的3D場(chǎng)景由立體圖像生成，這些水滴被設(shè)置了真實(shí)的物理特性。所構(gòu)建的模擬環(huán)境真實(shí)，派生的圖像可以用來(lái)擴(kuò)展用于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集，而不必強(qiáng)制獲取新的真實(shí)圖像。

這篇論文的第一作者為 Alexander von Bernuth, 來(lái)自德國(guó)圖賓根大學(xué)Wilhelm Schickard計(jì)算機(jī)科學(xué)研究所計(jì)算機(jī)工程系主任。



Rendering Physically Correct Raindrops on Windshields for Robustness Verification of Camera-based Object Recognition

Alexander von Bernuth, Georg Volk and Oliver Bringmann University of Tubingen, ¨ {bernuth, volkg, bringmann}@informatik.uni-tuebingen.de

惡劣天氣狀況仿真模擬測(cè)試的必要性

自動(dòng)駕駛汽車將使世界各地的研究人員和制造商在很長(zhǎng)一段時(shí)間內(nèi)都處于忙碌的狀態(tài)。這是因?yàn)樽詣?dòng)駕駛汽車在未來(lái)可能會(huì)成為公共交通的主導(dǎo)，而且必須經(jīng)過(guò)徹底的安全驗(yàn)證。如果像車輛或行人檢測(cè)這樣的關(guān)鍵系統(tǒng)沒有進(jìn)行最全面的測(cè)試，這個(gè)檢測(cè)覆蓋所有能想到的環(huán)境影響，以及所有可能的組合，難以想象會(huì)發(fā)生什么。比如在陰天的陽(yáng)光下，有背光和臟鏡頭的情況。

在測(cè)試過(guò)程中希望隨機(jī)遇到或者刻意設(shè)計(jì)所有這些邊緣場(chǎng)景的組合，看起來(lái)都非常愚蠢的。根據(jù)分析師的觀點(diǎn)，一輛載有所有待測(cè)試技術(shù)的汽車必須以109公里的速度駕駛沒有出錯(cuò)，才有資格獲得ISO 26262 [1]標(biāo)準(zhǔn)。此外，車輛的任何部分接收到更新時(shí)，都需要重新運(yùn)行所有測(cè)試。

因此，許多制造商面臨的主要挑戰(zhàn)之一是時(shí)間密集型測(cè)試，特別是在原型車中調(diào)度大量的測(cè)試驅(qū)動(dòng)程序。一種可能的解決方案是依靠一個(gè)相對(duì)較短的驅(qū)動(dòng)器，并通過(guò)模擬不同的環(huán)境影響因素通過(guò)隨機(jī)組合來(lái)生成多個(gè)版本。雖然目前已經(jīng)有人對(duì)這些環(huán)境影響因素進(jìn)行了一些模擬研究，但尚未探索的天氣條件和影響仍然很多。

我們自己的調(diào)查得出的結(jié)論是，下雨時(shí)，如果不是暴雨，不會(huì)影響目標(biāo)或交通標(biāo)志檢測(cè)算法。因此，本文研究了在相機(jī)或相機(jī)鏡頭前擋風(fēng)玻璃上放置被渲染的雨滴以及這些雨滴對(duì)物體識(shí)別算法的影響。 本文的第一部分將綜述了其他學(xué)者的研究，重點(diǎn)研究在攝像機(jī)前和攝像機(jī)上模擬雨和塵埃等影響。第二部分關(guān)注的是水滴的產(chǎn)生，從場(chǎng)景重建開始，到我們的射線追蹤法結(jié)束。之后，第三部分將介紹結(jié)果和應(yīng)用。在第四部分中，我們討論調(diào)查結(jié)果并提出可以改善方法和未來(lái)工作。

下雨場(chǎng)景天氣模擬研究現(xiàn)狀

大多數(shù)與天氣和環(huán)境相關(guān)的模擬研究都集中在游戲中的直接使用或合成場(chǎng)景的渲染，只有很少的研究考慮到環(huán)境的物理特性。到目前為止，所有的論文作品都沒有研究雨滴在鏡頭前的影響，但在某些情況下，他們對(duì)水滴的描述非常準(zhǔn)確。Starik 和 Werman 的工作使用了3D場(chǎng)景，該場(chǎng)景假設(shè)在任何地方都具有相同深度[2]。他們從視頻中提取雨的特征，并將學(xué)習(xí)過(guò)的蒙版應(yīng)用到?jīng)]有下雨的圖像上。然而他們忽略了單個(gè)雨滴的物理特性，如果從視差圖中提取場(chǎng)景的深度，考慮更確切的情況可能會(huì)有更好的結(jié)果[3]，[4]。實(shí)現(xiàn)上述這些是可行的，因?yàn)樽髡咴谝曨l采集時(shí)使用的是立體相機(jī)，他們用攝像頭和物體把空間分隔成小部分，通過(guò)計(jì)算這些部分的正確雨量并在OpenGL中渲染雨滴。

Hospach和Muller研究把雨滴抽象成非常薄的三角形，它們呈現(xiàn)出多彩的白色，并且他們混合比例基于降雨強(qiáng)度。這個(gè)技巧需要快速顯卡來(lái)支持渲染。他們忽略了折射等效果，因?yàn)椴町惡苄　?br />
Wang等人使用光線追蹤來(lái)渲染雨滴，這種方法依賴于光源精確位置信息[5]。作者將來(lái)自不同光源的光線射向所有雨滴，并根據(jù) Phong 照明模型計(jì)算像素顏色。不發(fā)光的物體被篩掉，而且不會(huì)在雨滴中發(fā)生折射。

與本文相比，最相似的論文是T. Sato的論文，但是他們?yōu)榱藵M足實(shí)時(shí)約束做了許多簡(jiǎn)化的假設(shè)[6]。作者將視頻圖像映射到攝像頭的前面單個(gè)半球，而不管物體與攝像頭的真實(shí)距離如何。然后，他們向雨滴占領(lǐng)的每個(gè)像素投射光線，并檢查這些光線與半球接觸形成的圖像。相應(yīng)的像素值將在渲染雨滴時(shí)用作紋理元素。

許多研究雨滴在擋風(fēng)玻璃上的研究人員關(guān)注的是它們的定位、合并和移動(dòng)。不同的工作大都集中在模擬流體動(dòng)力學(xué)[7]-[11]。 Extrand等人研究放置在傾斜表面上的水滴的形狀，如玻璃板[12]。 Garg和Nayar [13]做了更多有關(guān)下落過(guò)程水形狀的研究。此外，還有人在竭盡全力描述水滴的物理和光學(xué)特性[14]。不同的研究人員采用了完全不同的方法，有人通過(guò)檢測(cè)并去除圖像中的雨滴，而不是創(chuàng)建這些雨滴[15]，[16]。由于所描述的方法利用了一些有趣的物理性質(zhì)，因此可以從移除雨滴的方法中學(xué)到很多東西。

之前發(fā)表的論文都局限于單一的雨滴，靜止和下降，忽略了相機(jī)的環(huán)境是三維場(chǎng)景。要么他們完全忽略了深度，要么作出廣泛的假設(shè)，也忽略了水滴中場(chǎng)景物體的正確折射。我們的方法將所有這些考慮在內(nèi)。仿真結(jié)果接近于真實(shí)照片，這對(duì)于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集來(lái)說(shuō)是非常必要的。

點(diǎn)云渲染的方法

關(guān)于點(diǎn)云的渲染，現(xiàn)有許多不同的方法。一種是創(chuàng)建一個(gè)表示曲面的網(wǎng)格，并將圖像作為紋理映射到它們上[17]。 其他人也使用大量的預(yù)處理來(lái)創(chuàng)建多個(gè)深度圖并逐步細(xì)化渲染[18]。但即使網(wǎng)格劃分簡(jiǎn)單且便宜，我們也不得不填補(bǔ)出現(xiàn)在樹木或汽車等物體后面的間隙。如果不是固定的，這些縫隙可能會(huì)導(dǎo)致黑點(diǎn)，因?yàn)樗鼈兛赡軙?huì)將光線折射到通?？床灰姷膮^(qū)域。

Schaufler和Jensen將光線射入點(diǎn)云并搜索超過(guò)某個(gè)閾值的點(diǎn)密度[19]。在一個(gè)范圍內(nèi)的所有點(diǎn)都被用于表面法線和位置的插值。這樣就避免了昂貴的3D重建。不幸的是，如果沒有足夠的點(diǎn)或沒有足夠密集地采樣，表面上可能會(huì)出現(xiàn)孔。這些孔將表現(xiàn)為黑色區(qū)域，并且尤其出現(xiàn)在具有非常不同深度的物體的邊緣附近，例如在天空的前方看到一個(gè)交通標(biāo)志。 Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]。它們?cè)诟呔S搜索時(shí)使用近似值。

Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]，它們?cè)诟呔S搜索時(shí)使用近似值。這不一定適用于我們的用例，并且涉及復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，這對(duì)我們做三維來(lái)說(shuō)太難了。

上面提到的所有論文都沒有將雨滴的真實(shí)渲染環(huán)境和有限場(chǎng)景中找到相應(yīng)的對(duì)象并用最先進(jìn)的目標(biāo)檢測(cè)算法結(jié)合起來(lái)。本文將完成以上所有內(nèi)容，并額外展示了訓(xùn)練渲染圖片的神經(jīng)網(wǎng)絡(luò)模型，這可能會(huì)給現(xiàn)代物體識(shí)別帶來(lái)幫助。

基于最近鄰查詢算法的雨滴下落仿真

為了描述出物體折射和雨滴渲染相結(jié)合的場(chǎng)景，必須將其作為點(diǎn)云以3D形式再現(xiàn)。這個(gè)過(guò)程需要了解場(chǎng)景的深度。可以使用對(duì)極幾何（對(duì)應(yīng)于深度的視差圖）或利用LiDAR或其他傳感器來(lái)計(jì)算每個(gè)像素與相機(jī)距離的深度圖。場(chǎng)景計(jì)算完成后，必須對(duì)擋風(fēng)玻璃上的雨滴進(jìn)行建模。我們用一個(gè)簡(jiǎn)單而強(qiáng)大的抽象模型：每一滴水都被擋風(fēng)玻璃切斷的球體所代表。




這就看起像一個(gè)球形帽，起碼在幾何上很容易處理。然后，光線會(huì)投射到由投影面積的每個(gè)圖像像素上，并在這些像素中發(fā)生折射。產(chǎn)生的射線被發(fā)送到場(chǎng)景中，并搜索點(diǎn)云中最近的位置。這一點(diǎn)的顏色決定了降落的像素顏色。搜索兩百萬(wàn)個(gè)點(diǎn)中的其中一個(gè)點(diǎn)的最近鄰點(diǎn)可能是微不足道而且是快速的，用同樣的方法搜索空間中的一條線就顯得非常費(fèi)勁。只有使用連續(xù)最近鄰搜索才能使此方法可行。

1.場(chǎng)景重建

第一步是攝像機(jī)前場(chǎng)景的三維重建。在處理來(lái)自（校準(zhǔn)過(guò)的）立體相機(jī)的圖像時(shí)，可以使用立體重建計(jì)算相機(jī)到每個(gè)像素的距離[21]。其他方法也可以用額外的傳感器，如LiDAR來(lái)捕捉深度。我們用的數(shù)據(jù)集是Cityscapes[22]中的圖像。它由數(shù)千張包含各種街景的圖片組成，使用立體相機(jī)拍攝，并帶有預(yù)先計(jì)算的視差圖。這些可以很容易地轉(zhuǎn)換成深度圖。 VIRES虛擬測(cè)試驅(qū)動(dòng)軟件[23]是我們使用的具有相應(yīng)深度圖像的另一個(gè)來(lái)源。深度圖非常精確，因?yàn)樗鼈兓诘孛鎸?shí)況數(shù)據(jù)。此外，可以使用汽車（用戶或計(jì)算機(jī)控制的），行人和其他障礙物快速構(gòu)建自定義場(chǎng)景。我們用于物體檢測(cè)的圖像來(lái)源是KITTI數(shù)據(jù)集[24]。深度圖使用Hirschmuller匹配算法 [25] 的OpenCV來(lái)計(jì)算。

結(jié)合深度和顏色信息，我們可以定位攝像頭的三維位置。通過(guò)公式可以求得所有像素組成的3D點(diǎn)云，如圖1所示。這些點(diǎn)云呈現(xiàn)了在渲染雨滴場(chǎng)景中物體的圖像。

2.下落模型

一旦完成3D表示，就有必要在虛擬擋風(fēng)玻璃上創(chuàng)建和分配雨滴。 單個(gè)雨滴被模擬為球帽狀。這個(gè)帽子的特點(diǎn)是它的中心c，半徑r，高度和法線n（從基座指向圓頂）。生成雨滴意味著設(shè)置固定的z值（從相機(jī)到擋風(fēng)玻璃的距離），隨機(jī)或故意設(shè)置每個(gè)雨滴的x和y坐標(biāo)，高度和半徑。當(dāng)高度和半徑相關(guān)時(shí)，一個(gè)值就能通過(guò)另一個(gè)值求得[26]。 我們選擇h = tan（θ/ 2）·d，其中h表示液滴高度，θ表示液滴的接觸角，d表示液滴直徑。 Park等人在觀察半徑為2mm的液滴時(shí)，接觸角θ被確定為大約87° [27]。 相應(yīng)的法線簡(jiǎn)單地指向與相機(jī)視角矢量相同的方向。當(dāng)向前傾斜擋風(fēng)玻璃時(shí)，所有下降中心和法線也圍繞x軸旋轉(zhuǎn)。

3.折射

在折射場(chǎng)景形成之前，我們將從相機(jī)發(fā)出的光線照射到圖像平面中的每個(gè)像素。為了減少計(jì)算工作量，只有光線落在圓點(diǎn)的后面（具有中心，半徑和法線的圓）才被跟蹤。所有其他光線都被丟棄，并且來(lái)自原始圖像的像素值被用于最終的圖像。在雨滴下落的過(guò)程中，我們折射的射線遵循斯奈爾定律。有關(guān)折射的更多信息，請(qǐng)參閱已建立的文獻(xiàn)[28]。折射的光線落在雨滴內(nèi)， 然后，通過(guò)生成垂直于法線的隨機(jī)矢量并且只要下降半徑來(lái)計(jì)算球體的中心。加上正?？s放到半徑長(zhǎng)度，我們現(xiàn)在有四個(gè)點(diǎn)位于球體上，足以計(jì)算球體的中心[29]。在全內(nèi)反射的情況下，所得到的光線不會(huì)被進(jìn)一步折射。每種折射的視覺表示可以在圖2中找到。

4.最近鄰查詢算法

接下來(lái)，我們將計(jì)算光線中最近鄰的像素來(lái)推遲光線等效像素的顏色。此點(diǎn)的顏色分配給相應(yīng)的像素，并在展示位置中可見。找到神經(jīng)網(wǎng)絡(luò)的一個(gè)非常簡(jiǎn)單的方法是查看每條射線的每個(gè)點(diǎn)，計(jì)算從該點(diǎn)到射線的距離并取最近的點(diǎn)。即使在允許快速最近鄰（NN）查詢的R樹中組織點(diǎn)后，也可以對(duì)光進(jìn)行采樣，并搜索每個(gè)樣本的NN。最后，我們選擇了連續(xù)最近鄰搜索[31]，因?yàn)樗粌H提供了一個(gè)精確的最近鄰點(diǎn)，而且在包含超過(guò)兩百萬(wàn)個(gè)點(diǎn)的大型點(diǎn)云中，很短時(shí)間內(nèi)（僅僅是毫秒）就能完成搜索。



在數(shù)據(jù)集里評(píng)估該算法的質(zhì)量

為了評(píng)估我們的光線跟蹤算法的質(zhì)量，我們用完全渲染場(chǎng)景，忽略雨滴和拍攝光線通過(guò)每個(gè)像素進(jìn)行對(duì)比。這允許進(jìn)行詳細(xì)的錯(cuò)誤檢測(cè)。在圖4中可以由相減圖像和取絕對(duì)值的差分圖像。像素越亮，兩個(gè)圖像之間的差異越高。顯然，不同深度的物體的邊緣顯示出不同的差異。這是因?yàn)榍懊嫣岬降腪值問(wèn)題，但遠(yuǎn)好于完全沒有修正情況下的識(shí)別。




作為雨滴渲染的例子，我們從Cityscapes數(shù)據(jù)集中獲取一幅圖像，隨機(jī)生成雨滴并渲染了這些圖像。結(jié)果可以在圖5中找到。

為了測(cè)試物體識(shí)別算法的能力，我們將其應(yīng)用于KITTI數(shù)據(jù)集中排名最高的神經(jīng)網(wǎng)絡(luò)模型算法中。可以預(yù)料到的是，大雨滴可能會(huì)遮擋像行人的小物體或行駛車輛的部分外觀，可能會(huì)讓在完美圖像上訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)產(chǎn)生混淆。

我們使用的網(wǎng)絡(luò)是一個(gè)單階段對(duì)象檢測(cè)網(wǎng)絡(luò)[31]的循環(huán)滾動(dòng)卷積（RRC）網(wǎng)絡(luò)。它目前在KITTI數(shù)據(jù)集中排名第四。利用相應(yīng)的立體圖像重建了450個(gè)KITTI數(shù)據(jù)集的模擬雨滴場(chǎng)景。這些圖像用作RRC網(wǎng)絡(luò)的輸入。使用沒有雨滴的相同圖像做為對(duì)比。這個(gè)過(guò)程的概述可以在圖6中找到。

通過(guò)計(jì)算中[35]常用的測(cè)量平均精度（mAP）來(lái)評(píng)估結(jié)果。表I中的結(jié)果表明，當(dāng)圖像中存在雨滴時(shí)，總體平均精度下降了1.18％，整體平均精度下降了0.37％。 此外，我們發(fā)現(xiàn)像行人這樣的小物體更容易被雨滴遮擋（mAP減少4％），而不像汽車這樣的大物體。在頂部神經(jīng)網(wǎng)絡(luò)的識(shí)別率相差百分之零點(diǎn)幾的時(shí)候，即使是很小的改進(jìn)，也會(huì)給予其他人很多幫助。






該研究的結(jié)果與應(yīng)用

這項(xiàng)研究提出了僅基于一對(duì)立體圖像的人為創(chuàng)建雨滴方法。物理上正確的折射和反射包含在我們的模型中，以及一些允許更快開發(fā)的簡(jiǎn)化。然而，結(jié)果是顯著的。我們?cè)谝粋€(gè)傾斜的擋風(fēng)玻璃上實(shí)現(xiàn)了照片真實(shí)的雨滴下落，并呈現(xiàn)了他們折射出的所有物體。盡管雨滴用球帽狀做了簡(jiǎn)化，但我們的水滴看起來(lái)很逼真。

我們的光線跟蹤方法產(chǎn)生了一個(gè)3D場(chǎng)景的近乎完美的渲染，沒有昂貴的網(wǎng)格和紋理的預(yù)計(jì)算。甚至像交通標(biāo)志這樣的小物體也不會(huì)在整個(gè)場(chǎng)景中丟失；車牌中的字母也是可讀的。這是可能的，而3D場(chǎng)景重建依賴于特征匹配和具有離散值的視差圖。神經(jīng)網(wǎng)絡(luò)處理的對(duì)象檢測(cè)，另外訓(xùn)練與雨滴準(zhǔn)備的圖像可以獲得更好的結(jié)果，并超越其他競(jìng)爭(zhēng)對(duì)手。這項(xiàng)工作可以導(dǎo)致更好的整體得分和魯棒性的傳感器缺陷，這些機(jī)器學(xué)習(xí)算法。

處理目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)還額外使用雨滴制作的圖像進(jìn)行訓(xùn)練，取得良好的效果。這項(xiàng)工作可以為這些機(jī)器學(xué)習(xí)算法提供更好的總體分?jǐn)?shù)和魯棒性。

到目前為止，我們的連續(xù)NN搜索運(yùn)行在最多8個(gè)CPU內(nèi)核上（這是我們的CPU，Intel i7-7700K提供的最高線程數(shù)）。在那里，每個(gè)KITTI圖像的運(yùn)行時(shí)間大約3分鐘。雨滴越小越少，計(jì)算速度越快。

該算法的一個(gè)有趣的應(yīng)用可能是使用它生成圖像，作為Iseringhausen等人工作的輸入[37]。他們?cè)趫?chǎng)景前面的玻璃板上使用水滴作為光場(chǎng)照相機(jī)，這些水滴在不同位置上用作多個(gè)鏡頭。通過(guò)逆向工程設(shè)計(jì)投影形狀，他們可以推斷出背后的場(chǎng)景，并能從不同的角度創(chuàng)建3D渲染圖，這正好與我們的工作相反。

REFERENCES

[1] A. Weitzel, H. Winner, C. Peng, S. Geyer, F. Lotz, and M. Sefati, Absicherungsstrategien fuer Fahrerassistenzsysteme mit Umfeldwahrnehmung. Fachverlag NW in der Carl Schuenemann Verlag GmbH, 2014. [Online]. Available: https://trid.trb.org/view/ 1339882
[2] S. Starik and M. Werman, “Simulation of rain in videos,” Texture Workshop, International Conference on Computer Vision, 2003 (ICCV), vol. 2, pp. 406–409, 2003. [Online]. Available: http://www.cs.huji.ac.il/∼werman/Papers/Rain.pdf
[3] D. Hospach, S. Mueller, O. Bringmann, J. Gerlach, and W. Rosenstiel, “Simulation and evaluation of sensor characteristics in vision based advanced driver assistance systems,” 17th International IEEE Conference on Intelligent Transportation Systems (ITSC), pp. 2610– 2615, 2014. [Online]. Available: http://ieeexplore.ieee.org/lpdocs/ epic03/wrapper.htm?arnumber=6958108
[4] D. Hospach, S. Mueller, W. Rosenstiel, and O. Bringmann, “Simulation of Falling Rain for Robustness Testing of Video-based Surround Sensing Systems,” Proceedings of the 2016 Design, Automation & Test in Europe Conference & Exhibition (DATE), pp. 233–236, 2016.
[5] C. Wang, M. Yang, X. Liu, and G. Yang, “Realistic Simulation for Rainy Scene,” Journal of Software, vol. 10, no. 1, pp. 106–115, 2015.
[6] T. Sato, Y. Dobashi, and T. Yamamoto, “A Method for Real-Time Rendering of Water Droplets Taking Into Account Interactive Depth of Field Effects,” in Iwec 2002, 2002, pp. 110–117.
[7] H. Wang, P. J. Mucha, and G. Turk, “Water drops on surfaces,” ACM Transactions on Graphics, vol. 24, no. 3, p. 921, 2005. [Online]. Available: http://portal.acm.org/citation.cfm?doid=1073204.1073284
[8] K. Kaneda, Y. Zuyama, H. Yamashita, and T. Nishita, “Animation of Water Droplet Flow on Curved Surfaces,” PACIFIC GRAPHICS, pp. 50–65, 1996. [9] K. Kaneda, S. Ikeda, and H. Yamashita, “Animation of water droplets moving down a surface,” The Journal of Visualization and Computer Animation, vol. 10, no. 1, pp. 15–26, 1999.
[10] S. Takenaka, Y. Mizukami, and K. Tadamura, “A Fast Rendering Method for Water Droplets on Glass Surfaces,” The 23rd International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), vol. 23, pp. 13–16, 2008.
[11] M. Jonsson and A. Hast, “Animation of Water Droplet Flow on Structured Surfaces,” Special Effects and Rendering. Proceedings from SIGRAD 2002, pp. 17–22, 2002.
[12] C. W. Extrand and Y. Kumagai, “Liquid Drops on an Inclined Plane: The Relation between Contact Angles, Drop Shape, and Retentive Force,” Journal of Colloid and Interface Science, vol. 170, no. 2, pp. 515–521, 1995. [Online]. Available:
http: //www.sciencedirect.com/science/article/pii/S0021979785711307
[13] K. Garg and S. K. Nayar, “Vision and rain,” International Journal of Computer Vision, vol. 75, no. 1, pp. 3–27, 2007.
[14] ——, “Photometric Model for Raindrops,” Columbia University Technical Report, 2003.
[15] S. You, R. T. Tan, R. Kawakami, Y. Mukaigawa, and K. Ikeuchi, “Raindrop detection and removal from long range trajectories,” Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 9004, pp. 569–585, 2015.
[16] J. C. Halimeh and M. Roser, “Raindrop detection on car windshields using geometric-photometric environment construction and intensitybased correlation,” IEEE Intelligent Vehicles Symposium, Proceedings, pp. 610–615, 2009.
[17] M. Bolitho, M. Kazhdan, R. Burns, and H. Hoppe, “Multilevel streaming for out-of-core surface reconstruction,” Proceedings of the fifth Eurographics symposium on Geometry processing, pp. 69–78, 2007. [Online]. Available: http://portal.acm.org/citation.cfm? id=1282001
[18] M. Arikan, R. Preiner, and M. Wimmer, “Multi-depth-map raytracing for efficient large-scene reconstruction,” IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 2, pp. 1127–1137, 2016.
[19] G. Schaufler and H. Jensen, “Ray tracing point sampled geometry,” In Rendering Techniques 2000: 11th Eurographics Workshop on Rendering, pp. 319—-328, 2000. [Online]. Available: https://www.cs.princeton.edu/courses/archive/spring01/cs598b/ papers/schaufler00a.pdf
[20] A. Andoni, P. Indyk, R. Krauthgamer, and H. L. Nguyen, “Approximate line nearest neighbor in high dimensions,” Symposium on Discrete Algorithms, pp. 293–301, 2009. [Online]. Available: http://portal.acm.org/citation.cfm?id=1496770.1496803
[21] M. Sonka, V. Hlavac, and R. Boyle, Image Processing, Analysis, and Machine Vision, 2nd ed. Pacific Grove: Cengage Learning, 1998.
[22] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The Cityscapes Dataset for Semantic Urban Scene Understanding,” Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. [Online]. Available: http://arxiv.org/abs/1604.01685
[23] M. Dupuis and W. Karl, “VTD - VIRES Virtual Test Drive,” 2017. [Online]. Available: https://vires.com/vtd-vires-virtual-test-drive/
[24] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The KITTI dataset,” International Journal of Robotics Research, vol. 32, no. 11, pp. 1231–1237, 2013.
[25] H. Hirschmuller, “Stereo Processing by Semiglobal Matching and Mutual Information,” Ieee Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 328–341, 2008.
[26] G. Bracco and B. Holst, Surface science techniques. Springer-Verlag Berlin Heidelberg, 2013, vol. 51, no. 1.
[27] J. Park, H. S. Han, Y. C. Kim, J. P. Ahn, M. R. Ok, K. E. Lee, J. W. Lee, P. R. Cha, H. K. Seok, and H. Jeon, “Direct and accurate measurement of size dependent wetting behaviors for sessile water droplets,” Scientific Reports, vol. 5, no. June, pp. 1–13, 2015. [Online]. Available: http://dx.doi.org/10.1038/srep18150
[28] P. Shirley, Fundamentals of computer graphics. Natick (Mass.): Peters, 2002.
[29] W. H. Beyer, CRC handbook of mathematical sciences. CRC press, 1987.
[30] D. H. Eberly, 3D game engine design: a practical approach to realtime computer graphics. CRC Press, 2006.
[31] Y. Tao, D. Papadias, and Q. Shen, “Continuous Nearest Neighbor Search,” VLDB ’02 Proceedings of the 28th international conference on Very Large Data bases, pp. 287–298, 2002.
[32] N. Roussopoulos, S. Kelley, and F. Vincent, “Nearest neighbor queries,” Proceedings of the 1995 ACM SIGMOD International Conference on Management of Data - SIGMOD ’95, pp. 71–79, 1995. [Online]. Available: http://portal.acm.org/citation.cfm?doid= 223784.223794
[33] H. G. Dietz, “Out-of-focus point spread functions,” Proceedings of SPIE, vol. 9023, pp. 1–11, 2014. [Online]. Available: http: //dx.doi.org/10.1117/12.2040490
[34] J. S. J. Ren, X. Chen, J. Liu, W. Sun, J. Pang, Q. Yan, Y.-W. Tai, and L. Xu, “Accurate Single Stage Detector Using Recurrent Rolling Convolution,” CoRR, vol. abs/1704.0, 2017. [Online]. Available: http://arxiv.org/abs/1704.05776
[35] M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The Pascal Visual Object Classes (VOC) Challenge,” International Journal of Computer Vision, vol. 88, no. 2, pp. 303–338, jun 2010. [Online]. Available: https://doi.org/10.1007/ s11263-009-0275-4
[36] A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the KITTI vision benchmark suite,” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 3354–3361, 2012.
[37] J. Iseringhausen, M. B. Hullin, B. Goldlucke, N. Pesheva, S. Iliev, ¨ A.-d. Wender, and M. Fuchs, “4D Imaging through Spray-On Optics,” ACM Trans. Graph. Article, vol. 36, no. 35, 2017. [Online]. Available: http://dx.doi.org/10.1145/3072959.3073589