廣告
算力限制場景下的目標檢測實戰(zhàn)淺談
2019-01-21 23:39:47·
現(xiàn)在我們要開始裁剪網(wǎng)絡(luò)結(jié)構(gòu)了，雖然這部分最前沿的研究工作表示完全可以有NAS來完成。比如Google 2017年的NasNet 和2018年的MNasNet，不過我倒是覺得一般情況下一般人可能也部署不起能快速進行網(wǎng)絡(luò)結(jié)構(gòu)搜索的分布式搜索框架。右圖即為NasNet 搜索出來的網(wǎng)絡(luò)結(jié)構(gòu)，確實看起來也不像是設(shè)計出來的。
我們還是在baseline 的基礎(chǔ)上逐步手工調(diào)整吧，可能確實相比搜索達不到最優(yōu)，但是因為有跡可循，有經(jīng)驗的時候還是有可能會比nas 上使用強化學習學出來的過程快一點。不過這塊不敢說大話，說不好未來有可能就不行了。
根據(jù)mobilenet-v1 論文，有幾個方向可以調(diào)整：寬度、深度、分辨率。
先說寬度，這塊有兩篇比較相關(guān)的論文，主要是ADC和AMC，是同一個組做的。這兩篇論文可以做到逐層選擇最優(yōu)的層寬度，效果還不錯。這里我們還是跟mobilenet-v1一樣進行等比例的寬度壓縮，不過有的時候也可能會進行一些相應層的區(qū)別性調(diào)整。
深度，就是加減層。這里的問題是，既然是壓縮為什么還要加層，因為可能寬度下來了，計算量已經(jīng)大幅下來了，增加深度還可以在計算量和運行時間上達標。
深度這里還有一個很重要的就是選擇幾個stage 的問題，一般的分類網(wǎng)都是32x downsampling ，5個stage，曠視在2018年提出DetNet 中使用了16x downsampling ，4個標準stage。這樣的好處是，224x224 輸入下檢測頭的featuremap 是14x14 的，可以兼顧細節(jié)和語義，同時速度也不慢。
對于語義信息和細節(jié)信息保持更好的檢測方法，F(xiàn)PN 是個不錯的選擇，但是FPN 在算力限制的條件下略顯笨重，實時運行壓力有點大。
對于分辨率，我們則大膽的假設(shè)這是一個可以暫時忽略的維度，原因是高分辨率可能帶來的只是小目標和邊框精度的提升。一般的，可以在一個可行的分辨率下面專注于其他超參數(shù)的調(diào)整。
這里還會涉及一些其他微調(diào)，例如使用其他形狀或者大小的卷積核，提升感受野等。例如有孔卷積和5x5 卷積。不過有孔卷積在移動設(shè)備的性能一般般。
接下來就是在各種調(diào)整中找一個最優(yōu)的tradeoff 點了，如圖是我在mobilenet-v2 這個網(wǎng)絡(luò)結(jié)構(gòu)上嘗試的結(jié)果，嘗試了一些不同寬度、深度和微調(diào)結(jié)構(gòu)等調(diào)整。左半側(cè)的點基本是3/8這個寬度的，右半側(cè)的點是3/4這個寬度的。箭頭指向的是簡單按stage裁剪完深度之后的baseline。
廣告 編輯推薦
最新資訊
-
開年豪擲1.8億搶用戶，又一車企加入“價格
2026-03-04 16:05
-
聯(lián)合國法規(guī)R60對兩輪車操縱件與指示裝置的
2026-03-04 12:08
-
標準立項|《汽車異種材料鉚接接頭拉伸性能
2026-03-04 11:40
-
“汽車大角度座椅 第1部分：通用要求”將有
2026-03-04 11:39
-
“汽車大角度座椅 第2部分：可靠性要求”將
2026-03-04 11:39
