日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

車聯(lián)網(wǎng)大數(shù)據(jù)后處理系列文章（一）

2021-11-03 08:58:13·  來源：上海山外山機電工程科技有限公司  作者：許東波  
　
nCode軟件實現(xiàn)CSV數(shù)據(jù)轉(zhuǎn)時域信號關(guān)鍵字：車聯(lián)網(wǎng)；大數(shù)據(jù)；信息提取類別：nCode GlyphWorks 軟件使用1 背景介紹 根據(jù)政府法規(guī)要求和企業(yè)自身的需要，各新能源汽車
nCode軟件實現(xiàn)CSV數(shù)據(jù)轉(zhuǎn)時域信號
關(guān)鍵字：車聯(lián)網(wǎng)；大數(shù)據(jù)；信息提取
類別：nCode GlyphWorks 軟件使用

1 背景介紹
根據(jù)政府法規(guī)要求和企業(yè)自身的需要，各新能源汽車企業(yè)均已建立了車輛運行監(jiān)控數(shù)據(jù)庫。這類數(shù)據(jù)信息多樣，數(shù)量龐大，且每天都在積累。如何從如此龐大的數(shù)據(jù)中分析出各細(xì)分專業(yè)所關(guān)注的信息（例如電池使用特征、電控系統(tǒng)實時參數(shù)、車速變化特點、駕駛操縱規(guī)律等），是每個整車企業(yè)及相關(guān)零部件供應(yīng)商都感興趣且在關(guān)注的話題。
不同的數(shù)據(jù)管理和存儲系統(tǒng)，數(shù)據(jù)的存儲格式會有所不同。數(shù)據(jù)使用的第一步，是將數(shù)據(jù)格式統(tǒng)一成標(biāo)準(zhǔn)化的時域信號，供專業(yè)的分析軟件進(jìn)行下一步的針對性分析。本文通過實際的案例，詳細(xì)闡述了將*.csv格式數(shù)據(jù)轉(zhuǎn)化為nCode軟件數(shù)據(jù)格式的方法，供讀者參考。

2 典型CSV數(shù)據(jù)樣式
雖然不同的數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)的存儲格式有所不同，但均可以轉(zhuǎn)換為*.csv格式供其他專業(yè)的數(shù)據(jù)分析軟件讀取。少量的*.csv數(shù)據(jù)文件，可以手工導(dǎo)入nCode軟件中轉(zhuǎn)換為nCode文件用于分析。但大批量的數(shù)據(jù)文件，手工導(dǎo)入不僅效率低，而且有些時候不好實施。因此，大家希望能對*.csv文件轉(zhuǎn)nCode文件格式進(jìn)行自動化批處理。
Comma-Separated Values，CSV文件以純文本形式存儲表格數(shù)據(jù)，可以被大多數(shù)軟件讀取。文件可能以每日或每隔一個設(shè)定的時間周期自動上傳一個文件夾，圖1為某一天的典型車輛數(shù)據(jù)。數(shù)據(jù)是以功能模塊為單位形成單獨文件保存，每個文件中又包含采樣時間和不同數(shù)據(jù)通道。進(jìn)行數(shù)據(jù)挖掘的首要任務(wù)便是把這些CSV數(shù)據(jù)轉(zhuǎn)換成時域信號，合并成一個單獨的文件便于后期處理。






圖1 車輛典型原始CSV數(shù)據(jù)

3 CSV數(shù)據(jù)轉(zhuǎn)換時域數(shù)據(jù)
CSV數(shù)據(jù)轉(zhuǎn)換時域信號數(shù)據(jù)使用的是x-BigData 2020[1] 流程包中的“原始數(shù)據(jù)轉(zhuǎn)nCode多列”和“nCode多列轉(zhuǎn)時域”這兩個流程。x-BigData 2020是上海山外山機電科技有限公司在 nCode GlyphWorks 2020平臺上開發(fā)的一個流程包，該流程包可專門用于處理車輛測試監(jiān)控大數(shù)據(jù)的轉(zhuǎn)換和分析計算。x-BigData 2020由9個流程組成，如圖２所示，各個分析流程已經(jīng)設(shè)定了分析屬性的默認(rèn)值，但用戶可以修改這些屬性，并可另存為不同名稱的流程。




圖2 x-BigData 2020流程菜單
流程１中輸入的CSV數(shù)據(jù)第一行是數(shù)據(jù)名稱頭文件，但也可以沒有頭行，數(shù)據(jù)應(yīng)包含時間數(shù)據(jù)列（第一列），可選擇的時間數(shù)據(jù)格式如圖３所示。




圖3 流程1中時間戳格式
流程２可以將標(biāo)準(zhǔn)化的CSV數(shù)據(jù)轉(zhuǎn)換為時域數(shù)據(jù)，可設(shè)定采樣速率，同時輸出nCode時域S3T文件。這樣便生成了單個文件的時域信號如圖４所示。




圖4 轉(zhuǎn)換后的時域信號

4 時域信號的合并

在對每個文件生成時域信號后，可能需要把所有的時域信號進(jìn)行合并處理形成一個時域文件。這里將使用到的流程是x-Utils-2020[2]流程包中的“數(shù)據(jù)合并并轉(zhuǎn)換為nCode格式”。合并后的時域數(shù)據(jù)如圖５所示。




圖5 合并后的時域信號文件
x-Utils-2020 也是一個上海山外山公司基于nCode GlyphWorks軟件平臺所開發(fā)的流程包，可用于測試數(shù)據(jù)的操作檢查修正比較等，主要功能包含了數(shù)據(jù)的合并、常用數(shù)據(jù)格式的轉(zhuǎn)換、通道名單位名重定義或修正、通道元數(shù)據(jù)添加、指定通道的提取、數(shù)據(jù)通道的替換、自動分析報告、典型數(shù)據(jù)異常探測修正，以及多個測試數(shù)據(jù)計算比較報告和統(tǒng)計值的比較分析等。這一流程包無論對于結(jié)構(gòu)耐久或傳動或其它應(yīng)用的數(shù)據(jù)處理都是一個必備的標(biāo)準(zhǔn)化通用分析工具。

5 自動化批處理功能
上述每一步流程中都已經(jīng)實現(xiàn)自動化處理，即選中待處理文件后運行流程出結(jié)果。但是在步驟之間，仍需手動選擇上一步驟處理好的文件，作為下個步驟的輸入。如果處理以月計的數(shù)據(jù)會略顯繁瑣。我們可以針對需求開發(fā)批處理工具，只需指定輸入輸出文件路徑，便可實現(xiàn)一鍵化全自動處理，是大數(shù)據(jù)批量處理的必備工具。
自動批處理功能實現(xiàn)的核心是基于nCode Flowproc [3]功能。Flowproc是以命令行提示符批處理模式運行GlyphWorks和DesignLife流程。該過程通過生成*.bat和*.script文件來調(diào)用運行流程，同時控制參數(shù)設(shè)置等。在此基礎(chǔ)之上，編寫程序自動生成*.bat和*.script文件，配合程序打包的*.exe可執(zhí)行文件，無需打開nCode軟件便可一鍵式全自動運行流程。該方法特別適用于流程復(fù)雜且固定，同時流程使用頻率高的情況。
讀者如果有任何疑問，歡迎在評論區(qū)留言討論。
參考文獻(xiàn)
[1] x-BigData-2020_installation_swins, SWINS, 2020
[2] x-Utils-2020_user_guide_swins, SWINS, 2020
[3] Batch Operation User Guide, HBM-nCode, 2020
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25