日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號(hào)

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

一文讀懂自動(dòng)駕駛數(shù)據(jù)閉環(huán)

2021-09-21 18:17:01·  來源：智駕最前沿  
　
2 云計(jì)算平臺(tái)的基建和大數(shù)據(jù)處理技術(shù)
 
數(shù)據(jù)閉環(huán)需要一個(gè)云計(jì)算/邊緣計(jì)算平臺(tái)和大數(shù)據(jù)的處理技術(shù)，這個(gè)不可能在單車或單機(jī)實(shí)現(xiàn)的。大數(shù)據(jù)云計(jì)算發(fā)展多年，在資源管理調(diào)度、數(shù)據(jù)批處理/流處理、工作流管理、分布式計(jì)算、系統(tǒng)狀態(tài)監(jiān)控和數(shù)據(jù)庫存儲(chǔ)等方面提供了數(shù)據(jù)閉環(huán)的基礎(chǔ)設(shè)施支持，比如亞馬遜AWS、微軟Azure和谷歌云等。
Amazon Elastic Compute Cloud（EC2）是亞馬遜云服務(wù)AWS的一部分，而Amazon Elastic MapReduce（EMR） 是其大數(shù)據(jù)云平臺(tái)，可使用多種開放源代碼工具處理大量數(shù)據(jù)，例如數(shù)據(jù)流處理Apache Spark、數(shù)據(jù)倉庫Apache Hive和Apache Hbase、數(shù)據(jù)流處理Apache Flink、數(shù)據(jù)湖Apache Hudi和大數(shù)據(jù)分布式SQL查詢引擎Presto。
下圖是亞馬遜云AWS提供的自動(dòng)駕駛數(shù)據(jù)處理服務(wù)平臺(tái)例子：其中標(biāo)明1-10個(gè)任務(wù)環(huán)節(jié)
  1. 使用 AWS Outposts （運(yùn)行本地 AWS 基礎(chǔ)設(shè)施和服務(wù)）從車隊(duì)中提取數(shù)據(jù)以進(jìn)行本地?cái)?shù)據(jù)處理。
  2. 使用 AWS IoT Core （將 IoT 設(shè)備連接到 AWS 云，而無需配置或管理服務(wù)器）和 Amazon Kinesis Data Firehose （將流數(shù)據(jù)加載到數(shù)據(jù)湖、數(shù)據(jù)存儲(chǔ)和分析服務(wù)中）實(shí)時(shí)提取車輛T-box數(shù)據(jù)，該服務(wù)可以捕獲和轉(zhuǎn)換流數(shù)據(jù)并將其傳輸給 Amazon S3（AWS全球數(shù)據(jù)存儲(chǔ)服務(wù)）、Amazon Redshift（用標(biāo)準(zhǔn) SQL 在數(shù)據(jù)倉庫、運(yùn)營數(shù)據(jù)庫和數(shù)據(jù)湖中查詢和合并 EB 級(jí)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)）、Amazon Elasticsearch Service（部署、保護(hù)和運(yùn)行 Elasticsearch，是一種在 Apache Lucene 上構(gòu)建的開源 RESTful 分布式搜索和分析引擎）、通用 HTTP 終端節(jié)點(diǎn)和服務(wù)提供商（如 Datadog、New Relic、MongoDB 和 Splunk），這里Amazon Kinesis 提供的功能Data Analytics， 可通過 SQL 或 Apache Flink （開源的統(tǒng)一流處理和批處理框架，其核心是分布流處理數(shù)據(jù)引擎）的實(shí)時(shí)處理數(shù)據(jù)流。
  3. 刪除和轉(zhuǎn)換低質(zhì)量數(shù)據(jù)。
  4. 使用 Apache Airflow （開源工作流管理工具）安排提取、轉(zhuǎn)換和加載 (ETL) 作業(yè)。
  5. 基于 GPS 位置和時(shí)間戳，附加天氣條件來豐富數(shù)據(jù)。
  6. 使用 ASAM OpenSCENARIO （一種駕駛和交通模擬器的動(dòng)態(tài)內(nèi)容文件格式）提取元數(shù)據(jù)，并存儲(chǔ)在Amazon DynamoDB （NoSQL 數(shù)據(jù)庫服務(wù)）和 Amazon Elasticsearch Service中。
  7. 在 Amazon Neptune （圖形數(shù)據(jù)庫服務(wù)，用于構(gòu)建查詢以有效地導(dǎo)航高度互連數(shù)據(jù)集）存儲(chǔ)數(shù)據(jù)序列，并且使用 AWS Glue Data Catalog（管理ETL服務(wù)的AWS Glue提供數(shù)據(jù)目錄功能）對(duì)數(shù)據(jù)建立目錄。
  8. 處理駕駛數(shù)據(jù)并深度驗(yàn)證信號(hào)。
  9. 使用 Amazon SageMaker Ground Truth （構(gòu)建訓(xùn)練數(shù)據(jù)集的標(biāo)記工具用于機(jī)器學(xué)習(xí)，包括 3D 點(diǎn)云、視頻、圖像和文本）執(zhí)行自動(dòng)數(shù)據(jù)標(biāo)記，而Amazon SageMaker 整合ML功能集，提供基于 Web 的統(tǒng)一可視化界面，幫助數(shù)據(jù)科學(xué)家和開發(fā)人員快速準(zhǔn)備、構(gòu)建、訓(xùn)練和部署高質(zhì)量的機(jī)器學(xué)習(xí) (ML) 模型。
  10. AWS AppSync 通過處理與 AWS DynamoDB、AWS Lambda（事件驅(qū)動(dòng)、自動(dòng)管理代碼運(yùn)行資源的計(jì)算服務(wù)平臺(tái)） 等數(shù)據(jù)源之間連接任務(wù)來簡化數(shù)據(jù)查詢/操作GraphQL API 的開發(fā)，在此使用是為特定場景提供搜索功能。
下圖是AWS給出的一個(gè)自動(dòng)駕駛數(shù)據(jù)流水線框架：數(shù)據(jù)收集、注入和存儲(chǔ)、模型訓(xùn)練和部署；其中Snowball是AWS的邊緣計(jì)算系列之一，負(fù)責(zé)車輛和AWS S3之間的數(shù)據(jù)傳輸；其他還有兩個(gè)，是AWS Snowcone和 AWS Snowmobile。
 
可以看到，AWS使用了數(shù)據(jù)存儲(chǔ)S3、數(shù)據(jù)傳輸Snowball、數(shù)據(jù)庫DynamoDB、數(shù)據(jù)流處理Flink和Spark、搜索引擎Elasticsearch、工作流管理Apache Airflow和機(jī)器學(xué)習(xí)開發(fā)平臺(tái)SageMaker等。
其他開源的使用，比如流處理的實(shí)時(shí)數(shù)據(jù)饋送平臺(tái)Apache Kafka、資源管理&調(diào)度Apache Mesos和分布NoSQL數(shù)據(jù)庫Apache Cassandra。
如圖是國內(nèi)自動(dòng)駕駛公司Momenta基于亞馬遜AWS建立的系統(tǒng)架構(gòu)實(shí)例圖：
 
其中AWS IoT Greengrass 提供邊緣計(jì)算及機(jī)器學(xué)習(xí)推理功能，可以實(shí)時(shí)處理車輛中的本地規(guī)則和事件，同時(shí)最大限度地降低向云傳輸數(shù)據(jù)的成本。
其中P3實(shí)例和C5實(shí)例是Amazon EC2提供的。Amazon CloudFront是AWS的CDN，Amazon Glacier是在線文件存儲(chǔ)服務(wù)，而Amazon FSx for Lustre 是可擴(kuò)展的高性能文件存儲(chǔ)系統(tǒng)。
除此之外，亞馬遜指出的，Momenta采用的AWS服務(wù)還包括：監(jiān)控可觀測性服務(wù)Amazon CloudWatch、關(guān)系數(shù)據(jù)庫Amazon Relational Database Service (Amazon RDS)、實(shí)時(shí)流數(shù)據(jù)處理和分析服務(wù)Amazon Kinesis（包括Video Streams、Data Streams、Data Firehose和Data Analytics）和消息隊(duì)列服務(wù)Amazon Simple Queue Service (Amazon SQS)等。
最近Momenta還采用Amazon Elastic Kubernetes Service (EKS) 運(yùn)行容器Kubernetes。此外亞馬遜也推薦了Kubernetes服務(wù)，AWS Fargate。
 
Apache Kafka
 
Apache Spark
 
Apache Flink
 
Apache Hbase
 
Apache Cassandra
 
Presto
 
Apache Hudi
 
Apache Airflow
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
廣告
滬ICP備11026917號(hào)-25