12月28日下午，由DISCOVER實驗室主辦的第18期AIR青年科學家論壇順利開展。本期活動榮幸地邀請到了浙江大學特聘研究員廖依伊博士，為我們線上做題為《面向自動駕駛仿真平臺的混合現(xiàn)實圖像生成》的精彩報告。

講者介紹

廖依伊，浙江大學特聘研究員。2013年獲西安交通大學學士學位，2018年獲浙江大學博士學位。2018至2021年，她在德國馬克思普朗克智能系統(tǒng)研究所 (MPI-IS) 及德國圖賓根大學從事三年博士后研究，師從CVPR PAMI青年研究員獎得主Andreas Geiger教授。期間，她作為第一負責人搭建了國際上首個包含大規(guī)模語義及樣例標簽、面向自動駕駛的近1TB大規(guī)模數(shù)據(jù)集KITTI-360。她的研究興趣為三維視覺，包括場景重建、場景語義理解、可控圖像生成。累計發(fā)表文章二十余篇，包括TPAMI、TIP、CVPR、ICCV、NeurIPS等多篇國際頂尖期刊/會議論文。擔任CVPR2023、3DV 2022、BMVC 2021-2022的領域主席。

報告內(nèi)容

廖博士為我們介紹了為構建自動駕駛仿真平臺的最終目標所展開的一系列工作。報告開始，廖博士為我們介紹了現(xiàn)有面向自動駕駛仿真平臺的研究現(xiàn)狀。其中，CARLA以及Virtual KITTI雖然能夠提供逐像素標簽信息，但是仍然構建成本高并且與現(xiàn)實世界存在Domain Gap。

因此，廖博士設想直接從現(xiàn)實世界數(shù)據(jù)直接構建自動駕駛仿真平臺，這樣做有兩個優(yōu)點：

1. 不再有Domain Gap的問題；

2. 不再需要投入大量人力物力設計場景和物體。

但是仍然存在三個挑戰(zhàn)：

1. 如何從現(xiàn)實世界數(shù)據(jù)直接構建仿真平臺逐像素高精度場景信息；

2. 假如我們已經(jīng)構建了高精度場景，那么如何獲取場景逐像素語義信息也是一項非常具有挑戰(zhàn)的任務；

3. 對于一些現(xiàn)實世界數(shù)據(jù)沒有出現(xiàn)的物體，仿真平臺很難重建出來。

基于這三個挑戰(zhàn), 廖博士團隊展開了一系列工作。

一、自由視角高精度實時渲染

這個方向的研究主要是要實現(xiàn)對現(xiàn)實世界采集的數(shù)據(jù)直接進行任意視點的高精度實時渲染。
要解決這個問題，廖博士團隊主要采用的是NeRF方案，不過NeRF在渲染一張圖需要百萬次的查詢來實現(xiàn)自由視點的高精度渲染，導致渲染效率極低。基于這個問題，廖博士團隊提出了KiloNeRF方案，大幅提升了NeRF的渲染速度從而使其滿足自動駕駛仿真平臺需求。 KiloNeRF通過將大MLP換成多個獨立的小MLP，并且在渲染的時候，采用Empty Space Skipping（ESS）和Early Ray Termination（ERT），從而提升NeRF渲染速度。

定量結(jié)果和定性結(jié)果表明KiloNeRF渲染速度和以及渲染的圖像質(zhì)量均優(yōu)于傳統(tǒng)方法，并且顯存占用少于基于制表緩存的加速方法。 而后，廖博士為我們分析常用加速NeRF渲染速度的策略。

加速渲染本質(zhì)上就是降低渲染需要的浮點運算次數(shù)。假如每個像素光線需要采樣Ｋ個點，渲染每個像素需要Ｌ次運算，那么渲染一張高為Ｈ寬為Ｗ像素的圖像需要的浮點運算次數(shù)就是

。要提升渲染速度，主要是從減少Ｋ（ERT, ESS和 Adaptive Sampling）和減少Ｌ（制表緩存類的方法　或者更小的MLP）入手。通過分析，廖博士團隊發(fā)現(xiàn)現(xiàn)有的NeRF加速方法都需要消耗比較大的內(nèi)存。為了解決內(nèi)存和渲染時間之間的沖突，廖博士團隊基于視角之間的變化是連續(xù)這一發(fā)現(xiàn)提出SteerNeRF，充分挖掘視角時間的時序關系從而減低W,H和K提升渲染速度且保持較低內(nèi)存占用。

SteerNeRF先用Volume Rendering渲染低分辨率的特征圖，再用Neural Rendering結(jié)合前幀和當前幀來渲染高分辨率的圖像。

實驗定性結(jié)果和定量結(jié)果表明　SteerNeRF不僅在大分辨率數(shù)據(jù)集（Tanks ＆Temples）能夠達到實時渲染而且占用內(nèi)存較小。

二、自由視點高精度語義遷移

KiloNeRF或者SteerNeRF搭建仿真器很自然的就能解決仿真器的domain gap問題。但是這兩個工作還是沒辦法提供自由視點的語義信息。因此，廖博士為我們介紹了其團隊最新的工作：Panoptic NeRF。

Panoptic NeRF 主要通過一個固定的語義場來提升幾何重建質(zhì)量，通過一個可學習的語義場來解決三維標注框相交區(qū)域的歧義。

三、仿真器新物體生成

這個研究方向主要解決如何在仿真器里生成新物體。

廖博士團隊提出了GRAF方案，即輸入像素點x和相機Pose D以及從高斯分布采樣的隱變量z來生成渲染新物體。

GRAF在高分辨率渲染的圖像質(zhì)量還是有些許不足，于是廖博士團隊又提出了VoxGRAF技術，不僅渲染分辨率高、渲染速度快，而且能夠保證多視角的一致性。

廖博士又為我們介紹其發(fā)表在ECCV2022的一篇利用GRAF等生成模型進行位姿估計的工作。任務定義為給定一個初始圖像，找到一個latent code來生成目標圖像，廖博士介紹了用不同搜索策略找目標狀態(tài)從而克服收斂到局部最優(yōu)解的問題。

最后廖博士展望了實現(xiàn)自動駕駛仿真平臺未來三個極具價值的探索方向：城市級別的自由視點渲染，虛實圖像融合以及基于仿真器訓練測試自動駕駛下游任務的模型。報告結(jié)束后，廖博士與參會的老師和同學對報告所涉及的領域進行了熱烈的討論。

四、報告總結(jié)

文稿撰寫 / 許少聰

排版編輯 / 王影飄

校對責編 / 黃   妍