前言

在整車(chē)開(kāi)發(fā)過(guò)程中，基于isight的多目標(biāo)優(yōu)化可以有效平衡車(chē)輛各性能及重量等指標(biāo)。isight多目標(biāo)優(yōu)化的基本流程為通過(guò)DOE生成實(shí)驗(yàn)數(shù)據(jù)后，由近似算法對(duì)剛度、模態(tài)、重量等多個(gè)性能進(jìn)行擬合，擬合后的近似模型用于后續(xù)的遺傳算法優(yōu)化。

可以說(shuō)，性能擬合模型的好壞直接決定了最終的優(yōu)化結(jié)果是否可靠。isight中常用的近似模型有RBF函數(shù)、克里金模型和多項(xiàng)式回歸等，在不同的性能擬合任務(wù)中，用戶(hù)需要根據(jù)工程經(jīng)驗(yàn)選擇合適的擬合算法，并定義其超參。

圖1 isight多目標(biāo)優(yōu)化流程

本文針對(duì)isight多目標(biāo)優(yōu)化過(guò)程中的近似階段，嘗試了Sklearn中與之匹配或相似的機(jī)器學(xué)習(xí)算法，通過(guò)自定義算法循環(huán)尋優(yōu)策略，同時(shí)基于GridsearchCV實(shí)現(xiàn)超參的自動(dòng)調(diào)節(jié)，最終定義了一套融合算法，在對(duì)不同性能目標(biāo)進(jìn)行訓(xùn)練的過(guò)程中，可以自動(dòng)尋找最優(yōu)近似算法及其超參。

第一節(jié) 算法簡(jiǎn)介

本文設(shè)計(jì)的融合算法中用到的基本機(jī)器學(xué)習(xí)算法有內(nèi)核嶺回歸、高斯隨機(jī)過(guò)程回歸和多項(xiàng)式回歸等。其中，內(nèi)核嶺回歸是在線(xiàn)性回歸基礎(chǔ)上增加了“核”和“嶺”，“核”是為了增加線(xiàn)性回歸的非線(xiàn)性擬合能力，“嶺”是L2正則項(xiàng)，是為了控制模型的復(fù)雜度，防止模型過(guò)擬合。Sklearn的KernelRidge模型提供了RBF、sigmoid、laplacian、cosine等多種核函數(shù)選擇，實(shí)踐表明RBF核、laplacian核有較好的非線(xiàn)性擬合能力。高斯過(guò)程回歸本質(zhì)上與克里金模型一樣，是一種非參數(shù)模型，該模型本身并沒(méi)有需要學(xué)習(xí)的參數(shù)。模型先驗(yàn)認(rèn)為，對(duì)于N個(gè)數(shù)據(jù)點(diǎn)（X）對(duì)應(yīng)的N個(gè)函數(shù)值（Y）服從N維高斯分布，這個(gè)高斯分布的均值是0，協(xié)方差矩陣是K，K是通過(guò)核函數(shù)來(lái)表達(dá)，從而保證模型的平滑。Sklearn的GaussianProcessRegressor支持包括RBF在內(nèi)的多種核函數(shù)，通過(guò)gridsearch可以選擇合適的核函數(shù)。多項(xiàng)式回歸在Sklearn中可以通過(guò)pipeline流水線(xiàn)的方式實(shí)現(xiàn)，即先通過(guò)特征處理模塊對(duì)特征X進(jìn)行多項(xiàng)式組合，再基于組合后生成的新特征進(jìn)行線(xiàn)性回歸擬合。

圖2 GridsearchCV基本原理

超參調(diào)節(jié)的方式，目前主要有隨機(jī)搜索、網(wǎng)格搜索和貝葉斯優(yōu)化。隨機(jī)搜索速度快，但是可能遺漏最優(yōu)解。網(wǎng)格搜索更全面，但是效率低，本項(xiàng)目各算法中需要調(diào)節(jié)的超參數(shù)并不多，在效率上并不會(huì)損失太多，因此本文選擇了網(wǎng)格搜索的方式，通過(guò)Sklearn的GridsearchCV實(shí)現(xiàn)。在大規(guī)模超參調(diào)節(jié)場(chǎng)景中，最適合的是貝葉斯優(yōu)化算法，主流的工具有基于GPR的BayesianOptimization和基于TPR的optuna。

除了以上近似算法，本文也對(duì)Xgboost、神經(jīng)網(wǎng)絡(luò)和支持向量回歸做了一定嘗試，實(shí)踐表明xgboost在小批量數(shù)據(jù)及以上的擬合效果并不出眾，在對(duì)常見(jiàn)超參進(jìn)行調(diào)節(jié)后，測(cè)試數(shù)據(jù)的R2能達(dá)到0.85左右，而同任務(wù)下內(nèi)核嶺回歸或高斯隨機(jī)過(guò)程回歸往往能達(dá)到0.9以上。

對(duì)于多層神經(jīng)網(wǎng)絡(luò)的應(yīng)用，在不同任務(wù)上，通過(guò)調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，一般都能達(dá)到非常好的擬合效果，但是考慮到樣本集數(shù)量偏少（一般在150個(gè)樣本左右），過(guò)擬合的風(fēng)險(xiǎn)不可忽視，而且超參調(diào)整的策略不具備普適性，如果要用網(wǎng)格搜索尋找合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，計(jì)算時(shí)間會(huì)偏長(zhǎng)。同時(shí)本文還比較了SVR（支持向量回歸）算法，效果對(duì)比內(nèi)核嶺回歸沒(méi)有明顯的差異，并且偶爾還有運(yùn)算速度過(guò)慢的現(xiàn)象。綜上，本文的融合算法中未集成xgboost、神經(jīng)網(wǎng)絡(luò)和SVR方法。

第二節(jié) 結(jié)果對(duì)比

本文的近似問(wèn)題本質(zhì)上是回歸任務(wù)，因此本文選擇了回歸任務(wù)常用的評(píng)價(jià)指標(biāo)R2，并在15個(gè)性能擬合任務(wù)中，對(duì)比了isight內(nèi)置擬合算法與機(jī)器學(xué)習(xí)融合算法的效果。整體來(lái)看，isight近似算法經(jīng)過(guò)適當(dāng)?shù)慕M合嘗試，對(duì)各個(gè)性能的擬合都能取得較好的效果，而基于機(jī)器學(xué)習(xí)的融合算法無(wú)需手動(dòng)選擇算法和超參，運(yùn)行一次即可達(dá)到相近的效果，兩者的R2均能達(dá)到0.9左右。同時(shí)，由于融合算法經(jīng)過(guò)了多折交叉驗(yàn)證（本文取了10折），算法的魯棒性更強(qiáng)，有利于提高后續(xù)優(yōu)化結(jié)果的可靠度。

圖3部分任務(wù)結(jié)果對(duì)比

小結(jié)

在同樣的性能前提下，本文設(shè)計(jì)的基于sklearn的融合算法無(wú)需用戶(hù)定義具體算法類(lèi)型及其超參，擁有更好的靈活性，同時(shí)多折交叉驗(yàn)證提高了模型的魯棒性，使得后續(xù)的優(yōu)化結(jié)果更加可靠。在isight的優(yōu)化階段，常用的優(yōu)化算法為各種遺傳算法，如NSGA、MIGA等。在python環(huán)境下，目前最流行的遺傳算法工具包為geatpy，后續(xù)本文將從統(tǒng)計(jì)檢驗(yàn)的角度，對(duì)geatpy遺傳算法和isight內(nèi)置優(yōu)化算法的效果進(jìn)行對(duì)比，敬請(qǐng)期待。