日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

首頁 > 汽車技術 > 正文

一文讀懂自動駕駛數(shù)據(jù)閉環(huán)

2021-09-21 18:17:01·  來源：智駕最前沿  
　
3 訓練數(shù)據(jù)標注工具
 
其實AWS的機器學習平臺本身也提供了數(shù)據(jù)標注工具Amazon SageMaker Ground Truth。
如圖是微軟開源標注工具VOTT（Video Object Tagging Tool）：
 
標注工具可以是全自動、半自動和手工等3類。
比如人工標注工具：攝像頭圖像LabelMe和激光雷達點云PCAT
還有半自動標注工具：攝像頭CVAT、VATIC，激光雷達3D BAT、SAnE，圖像點云融合Latte
自動標注工具：基本沒有開源（商用也沒有吧）的工具可用。
這里有一些自動標注方面的論文：
  • “Beat the MTurkers: Automatic Image Labeling from Weak 3D Supervision“
 
  • “Auto-Annotation of 3D Objects via ImageNet“
 
  • “Offboard 3D Object Detection from Point Cloud Sequences“
 
這里是Nvidia在會議報告中給出的端到端標注流水線：它需要人工介入
 
在這里順便提一下“數(shù)據(jù)可視化”的問題，各種傳感器數(shù)據(jù)除了標注，還需要一個重放、觀察和調(diào)試的平臺。如圖是Uber提供的開源可視化工具 Autonomous Visualization System (AVS)：
 
其中”XVIZ“是提出的自動駕駛數(shù)據(jù)實時傳輸和可視化協(xié)議：
 
另外，“streetscape.gl“是一個可視化工具包，在XVIZ 協(xié)議編碼自動駕駛和機器人數(shù)據(jù)。它提供了一組可組合的 React 組件，對 XVIZ 數(shù)據(jù)進行可視化和交互。
4 大型模型訓練平臺
 
模型訓練平臺，主要是機器學習（深度學習）而言，前面亞馬遜AWS提供了自己的ML平臺SageMaker。我們知道最早有開源的軟件Caffe，目前最流行的是Tensorflow和Pytorch（Caffe2并入）。
 
Tensorflow
 
Pytorch
在云平臺部署深度學習模型訓練，一般采用分布式。按照并行方式，分布式訓練一般分為數(shù)據(jù)并行和模型并行兩種。當然，也可采用數(shù)據(jù)并行和模型并行的混合。
模型并行：不同GPU負責網(wǎng)絡模型的不同部分。例如，不同網(wǎng)絡層被分配到不同的GPU，或者同一層不同參數(shù)被分配到不同GPU。
數(shù)據(jù)并行：不同GPU有模型的多個副本，每個GPU分配不同的數(shù)據(jù)，將所有GPU計算結(jié)果按照某種方式合并。
模型并行不常用，而數(shù)據(jù)并行涉及各個GPU之間如何同步模型參數(shù)，分為同步更新和異步更新。同步更新等所有GPU的梯度計算完成，再計算新權(quán)值，同步新值后，再進行下一輪計算。異步更新是每個GPU梯度計算完無需等待，立即更新權(quán)值，然后同步新值進行下一輪計算。
分布式訓練系統(tǒng)包括兩種架構(gòu)：Parameter Server Architecture（PS，參數(shù)服務器）和Ring -AllReduce Architecture（環(huán)-全歸約）。
如下圖是PS結(jié)構(gòu)圖：
 
這個圖是Ring AllReduce的架構(gòu)圖：
 
Pytorch現(xiàn)在和多個云平臺建立合作關系，可以安裝使用。比如AWS，在AWS Deep Learning AMIs、AWS Deep Learning Containers和Amazon SageMaker，都可以訓練Pytorch模型，最后采用TorchServe進行部署。
Pytorch提供兩種方法在多GPU平臺切分模型和數(shù)據(jù)：
  • DataParallel
  • distributedataparallel
DataParallel更易于使用。不過，通信是瓶頸，GPU利用率通常很低，而且不支持分布式。DistributedDataParallel支持模型并行和多進程，單機/多機都可以，是分布訓練。
PyTorch 自身提供幾種加速分布數(shù)據(jù)并行的訓練優(yōu)化技術，如 bucketing gradients、overlapping computation with communication 以及 skipping gradient synchronization 等。
Tensorflow在模型設計和訓練使用也方便，可以使用高階 Keras API；對于大型機器學習訓練任務，使用 Distribution Strategy API 在不同的硬件配置上進行分布式訓練，而無需更改模型定義。
其中Estimator API 用于編寫分布式訓練代碼，允許自定義模型結(jié)構(gòu)、損失函數(shù)、優(yōu)化方法以及如何進行訓練、評估和導出等內(nèi)容，同時屏蔽與底層硬件設備、分布式網(wǎng)絡數(shù)據(jù)傳輸?shù)认嚓P的細節(jié)。
tf.distribute.MirroredStrategy支持在一臺機器的多個 GPU 上進行同步分布式訓練。該策略會為每個 GPU 設備創(chuàng)建一個副本。模型中的每個變量都會在所有副本之間進行鏡像。這些變量將共同形成一個名為MirroredVariable的單個概念變量。這些變量會通過應用相同的更新彼此保持同步。
tf.distribute.experimental.MultiWorkerMirroredStrategy與MirroredStrategy非常相似。它實現(xiàn)了跨多個工作進程的同步分布式訓練，而每個工作進程可能有多個 GPU。與MirroredStrategy類似，它也會跨所有工作進程在每個設備的模型中創(chuàng)建所有變量的副本。
tf.distribute.experimental.ParameterServerStrategy支持在多臺機器上進行參數(shù)服務器PS訓練。在此設置中，有些機器會被指定為工作進程，有些會被指定為參數(shù)服務器。模型的每個變量都會被放在參數(shù)服務器上。計算會被復制到所有工作進程的所有 GPU 中。(注：該策略僅適用于 Estimator API。)
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
廣告
滬ICP備11026917號-25