日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號(hào)

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

針對車載終端數(shù)據(jù)項(xiàng)異常值的檢測方法

2020-11-03 22:52:35·  來源：北京理工新源  
　
背景介紹隨著遠(yuǎn)程排放監(jiān)控車載終端的發(fā)展和普及，重型貨車的關(guān)鍵信息流數(shù)據(jù)不斷數(shù)字化、持久化，為后續(xù)的監(jiān)管和分析工作奠定了較好的基礎(chǔ)。但為當(dāng)前終端監(jiān)管的發(fā)
背景介紹
隨著遠(yuǎn)程排放監(jiān)控車載終端的發(fā)展和普及，重型貨車的關(guān)鍵信息流數(shù)據(jù)不斷數(shù)字化、持久化，為后續(xù)的監(jiān)管和分析工作奠定了較好的基礎(chǔ)。但為當(dāng)前終端監(jiān)管的發(fā)展水平處于初級(jí)階段所限，信息流數(shù)據(jù)的質(zhì)量層次不齊，限制了后續(xù)的監(jiān)管分析工作。所以加強(qiáng)信息流數(shù)據(jù)質(zhì)量監(jiān)控勢在必行。

現(xiàn)行的數(shù)據(jù)質(zhì)量要求總體上分為兩種：1.缺失率；2.無效率。由于本文探討的是針對數(shù)據(jù)異常值檢測的方法，所以上述兩種方法本文不再贅述。實(shí)際在車輛上傳的報(bào)文數(shù)據(jù)中，缺失和無效的問題能夠較好的進(jìn)行識(shí)別，真正亟待解決的問題是如何判定數(shù)據(jù)是否異常。異常值通常會(huì)造成測量誤差或異常系統(tǒng)條件的結(jié)果，因此不具有描述底層系統(tǒng)的特征。實(shí)際上，最佳做法是在分析之前，就應(yīng)該進(jìn)行異常值去除處理。
這里的異常主要有兩層意思：一、數(shù)據(jù)在現(xiàn)實(shí)中是否符合邏輯，這方面的異?？梢砸蕾嚇I(yè)務(wù)邏輯進(jìn)行判斷，符合規(guī)則的屬于正常，反之則是異常；二、數(shù)據(jù)分布中的噪聲點(diǎn)，這種異常獨(dú)立于業(yè)務(wù)邏輯，無法通過簡單的規(guī)則進(jìn)行判斷，本文將著重介紹針對此種異常進(jìn)行檢測的方法——四分位數(shù)法。

四分位數(shù)法介紹
四分位數(shù)法又叫Tukey’s test，是統(tǒng)計(jì)學(xué)中成熟、使用較為廣泛的異常值檢測方法。其計(jì)算的過程大概為：
1）把數(shù)據(jù)從小到大排列。
2）計(jì)算中位數(shù)。
3）計(jì)算下四分位數(shù)，這里設(shè)置為Q1，表示總數(shù)據(jù)最小的25%的數(shù)據(jù)在這個(gè)點(diǎn)以下；計(jì)算上四分位數(shù)，設(shè)置為Q3，表示最大的25%數(shù)據(jù)都在這個(gè)點(diǎn)以上。
4）找出數(shù)據(jù)的“內(nèi)圍”。第一步是把四分位差乘以參數(shù)k，k一般取值1.5。加上Q3 ，用Q1 減去這個(gè)和，得到內(nèi)圍。
5）找出數(shù)據(jù)外圍。和內(nèi)圍方法類似，不過這里要將四分位差乘的參數(shù)要大于內(nèi)圍的取值一般為3。
6）最終超過內(nèi)圍或者外圍的值為異常值。

傳統(tǒng)的異常值檢測方法例如：

式中：
T——一個(gè)車輛登入與車輛登出時(shí)間段內(nèi)的總秒數(shù),s；
win——窗口時(shí)間，s；
i——一個(gè)車輛登入與車輛登出時(shí)間段T被窗口時(shí)間win劃分的段數(shù)；
AVG_i——第i段數(shù)據(jù)的算術(shù)平均值；
STD_i——第i段數(shù)據(jù)的標(biāo)準(zhǔn)差；
P——標(biāo)準(zhǔn)差參數(shù)；
X_(i,k)——第i段數(shù)據(jù)的第k個(gè)值；
R——距離參數(shù)。
這種假設(shè)數(shù)據(jù)符合正態(tài)分布的正確性難以得到保證，而四分位數(shù)法較于其他異常值檢測的方法計(jì)算簡單，但能夠有效篩選數(shù)據(jù)中的離群點(diǎn)，適合大規(guī)模數(shù)據(jù)的計(jì)算；同時(shí)靈活的參數(shù)設(shè)置可以針對不同情況、不同字段進(jìn)行調(diào)節(jié)使得四分位數(shù)法能夠有效的適應(yīng)多變的車輛報(bào)文數(shù)據(jù)。
四分位數(shù)法不會(huì)是異常值檢測的終極解決方案，但是隨著遠(yuǎn)程排放監(jiān)控車載終端的迭代更新，與之匹配對應(yīng)的算法也將持續(xù)發(fā)展，不斷適應(yīng)新的業(yè)務(wù)需求，為重型貨車的監(jiān)管夯實(shí)基礎(chǔ)。 
分享到：
 
反對 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25