日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

一文讀懂自動駕駛數(shù)據(jù)閉環(huán)

2021-09-21 18:17:01·  來源：智駕最前沿  
　
5）自動機器學(xué)習(xí)（AutoML）/元學(xué)習(xí)（學(xué)習(xí)如何學(xué)習(xí)）
一個機器學(xué)習(xí)建模的工程還有幾個方面需要人工干預(yù)和可解釋性，即機器學(xué)習(xí)落地流水線的兩個主要組件：預(yù)-建模和后-建模（如圖）。
預(yù)-建模影響算法選擇和超參數(shù)優(yōu)化過程的結(jié)果。預(yù)-建模步驟包括多個步驟，包括數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)驗證。
后-建模模塊涵蓋了其他重要方面，包括機器學(xué)習(xí)模型的管理和部署。
 
為了降低這些繁重的開發(fā)成本，出現(xiàn)了自動化整個機器學(xué)習(xí)流水線的新概念，即開發(fā)自動機器學(xué)習(xí)（automated machine learning，AutoML) 方法。AutoML 旨在減少對數(shù)據(jù)科學(xué)家的需求，并使領(lǐng)域?qū)＜夷軌蜃詣訕?gòu)建機器學(xué)習(xí)應(yīng)用程序，而無需太多統(tǒng)計和機器學(xué)習(xí)知識。
值得特別一提的是谷歌方法“神經(jīng)架構(gòu)搜索”（Neural Architecture Search，NAS），其目標(biāo)是通過在預(yù)定義搜索空間中選擇和組合不同的基本組件來生成穩(wěn)健且性能良好的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
 
NAS的分布式訓(xùn)練實現(xiàn)
NAS的總結(jié)從兩個角度了解：模型結(jié)構(gòu)類型和采用超參數(shù)優(yōu)化（hyperparameter optimization，HPO）的模型結(jié)構(gòu)設(shè)計。最廣泛使用的 HPO 方法利用強化學(xué)習(xí) (RL)、基于進化的算法 (EA)、梯度下降 (GD) 和貝葉斯優(yōu)化 (BO)方法。
如圖是AutoML在機器學(xué)習(xí)平臺的應(yīng)用實例：
 
注：在谷歌云、微軟云Azure和亞馬遜云AWS都支持AutoML。
深度學(xué)習(xí)（DL）專注于樣本內(nèi)預(yù)測，元學(xué)習(xí)（meta learning）關(guān)注樣本外預(yù)測的模型適應(yīng)問題。元學(xué)習(xí)作為附加在原始 DL 模型的泛化部分。
元學(xué)習(xí)尋求模型適應(yīng)與訓(xùn)練任務(wù)大不相同的未見過的任務(wù)（unseen tasks）。元強化學(xué)習(xí) (meta-RL) 考慮代理與不斷變化的環(huán)境之間的交互過程。元模仿學(xué)習(xí) (meta-IL) 將過去類似的經(jīng)驗應(yīng)用于只有稀疏獎勵的新任務(wù)。
元學(xué)習(xí)與 AutoML 密切相關(guān)，二者有相同的研究目標(biāo)，即學(xué)習(xí)工具和學(xué)習(xí)問題?，F(xiàn)有的元學(xué)習(xí)技術(shù)根據(jù)在 AutoML 的應(yīng)用可分為三類：
  • 1）用于配置評估（對于評估者）；
  • 2）用于配置生成（用于優(yōu)化器）；
  • 3) 用于動態(tài)配置的自適應(yīng)。
元學(xué)習(xí)促進配置生成，例如，針對特定學(xué)習(xí)問題的配置、生成或選擇配置策略或細化搜索空間。元學(xué)習(xí)檢測概念漂移（concept drift）并動態(tài)調(diào)整學(xué)習(xí)工具實現(xiàn)自動化機器學(xué)習(xí)（AutoML）過程。
6）半監(jiān)督學(xué)習(xí)
半監(jiān)督學(xué)習(xí)（semi-supervised learning）是利用未標(biāo)記數(shù)據(jù)生成具有可訓(xùn)練模型參數(shù)的預(yù)測函數(shù)，目標(biāo)是比用標(biāo)記數(shù)據(jù)獲得的預(yù)測函數(shù)更準(zhǔn)確。由于混合監(jiān)督和無監(jiān)督方法，半監(jiān)督學(xué)習(xí)的損失函數(shù)可以具有多種形狀。一種常見的方法是添加一個監(jiān)督學(xué)習(xí)的損失項和一個無監(jiān)督學(xué)習(xí)的損失項。
已經(jīng)有一些經(jīng)典的半監(jiān)督學(xué)習(xí)方法：
  • “Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks”
  • “Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results“
  • “Self-training with Noisy Student improves ImageNet classification“
最近出現(xiàn)一些新實例方法：
  • “Unbiased Teacher for Semi-Supervised Object Detection“
 
  • “Pseudoseg: Designing Pseudo Labels For Semantic Segmentation“
 
  • “Semantic Segmentation of 3D LiDAR Data in Dynamic Scene Using Semi-supervised Learning“
 
  • “ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection“
 
  • “3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection“
 
7）自監(jiān)督學(xué)習(xí)
自監(jiān)督學(xué)習(xí)（self supervised learning）算是無監(jiān)督學(xué)習(xí)的一個分支，其目的是恢復(fù)，而不是發(fā)現(xiàn)。自監(jiān)督學(xué)習(xí)基本分為：生成（generative）類, 對比（contrastive）類和生成-對比（generative-contrastive）混合類，即對抗（adversarial）類。
自監(jiān)督使用借口任務(wù)（pretext task）來學(xué)習(xí)未標(biāo)記數(shù)據(jù)的表示。借口任務(wù)是無監(jiān)督的，但學(xué)習(xí)的表示通常不能直接給下游任務(wù)（downstream task），必須進行微調(diào)。因此，自監(jiān)督學(xué)習(xí)可以被解釋為一種無監(jiān)督、半監(jiān)督或自定義策略。下游任務(wù)的性能用于評估學(xué)習(xí)特征的質(zhì)量。
一些著名的自監(jiān)督學(xué)習(xí)方法有：
  • “SimCLR-A Simple framework for contrastive learning of visual representations“
  • “Momentum Contrast for Unsupervised Visual Representation Learning“
  • “Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning“
  • “Deep Clustering for Unsupervised Learning of Visual Features“
  • “Unsupervised Learning of Visual Features by Contrasting Cluster Assignments“

分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25