支持向量機(jī)的核心思想是最大化分類間隔。簡單的支持向量機(jī)就是讓分類間隔最大化的線性分類器，找到多維空間中的一個(gè)超平面。它在訓(xùn)練是求解的問題為：

這從點(diǎn)到超平面的距離方程導(dǎo)出，通過增加一個(gè)約束條件消掉了優(yōu)化變量的冗余?？梢宰C明，這個(gè)問題是凸優(yōu)化問題，并且滿足Slater條件。這個(gè)問題帶有太多的不等式約束，不易求解，因此通過拉格朗日對偶轉(zhuǎn)換為對偶問題求解：

同樣的，這個(gè)問題也是凸優(yōu)化問題。此時(shí)支持向量機(jī)并不能解決非線性分類問題，通過使用核函數(shù)，將向量變換到高維空間，使它們更可能是線性可分的。而對向量先進(jìn)行映射再做內(nèi)積，等價(jià)于先做內(nèi)積再做映射，因此核函數(shù)并不用顯式的對向量進(jìn)行映射，而是對兩個(gè)向量的內(nèi)積進(jìn)行映射，這是核函數(shù)的精髓。要理解核函數(shù)，可以閱讀SIGAI之前的公眾號(hào)文章“【實(shí)驗(yàn)】理解SVM的核函數(shù)和參數(shù)”。
加入核函數(shù)K之后的對偶問題變?yōu)椋?

預(yù)測函數(shù)為：

其中b通過KKT條件求出。如果使用正定核，這個(gè)問題也是凸優(yōu)化問題。求解采用了SMO算法，這是一種分治法，每次挑選出兩個(gè)變量進(jìn)行優(yōu)化，其他變量保持不動(dòng)。選擇優(yōu)化變量的依據(jù)是KKT條件，對這兩個(gè)變量的優(yōu)化是一個(gè)帶等式和不等式約束的二次函數(shù)極值問題，可以直接得到公式解。另外，這個(gè)子問題同樣是一個(gè)凸優(yōu)化問題。
標(biāo)準(zhǔn)的支持向量機(jī)只能解決二分類問題。對于多分類問題，可以用這種二分類器的組合來解決，有以下幾種方案：
1對剩余方案。對于有k個(gè)類的分類問題，訓(xùn)練k個(gè)二分類器。訓(xùn)練時(shí)第i個(gè)分類器的正樣本是第i類樣本，負(fù)樣本是除第i類之外其他類型的樣本，這個(gè)分類器的作用是判斷樣本是否屬于第i類。在進(jìn)行分類時(shí)，對于待預(yù)測樣本，用每個(gè)分類器計(jì)算輸出值，取輸出值最大那個(gè)作為預(yù)測結(jié)果。
1對1方案。如果有k個(gè)類，訓(xùn)練Ck2個(gè)二分類器，即這些類兩兩組合。訓(xùn)練時(shí)將第i類作為正樣本，其他各個(gè)類依次作為負(fù)樣本，總共有k (k ? 1) / 2種組合。每個(gè)分類器的作用是判斷樣本是屬于第i類還是第j類。對樣本進(jìn)行分類時(shí)采用投票的方法，依次用每個(gè)二分類器進(jìn)行預(yù)測，如果判定為第m類，則m類的投票數(shù)加1，得票最多的那個(gè)類作為最終的判定結(jié)果。
除了通過二分類器的組合來構(gòu)造多類分類器之外，還可以通過直接優(yōu)化多類分類的目標(biāo)函數(shù)得到多分類器。
SVM是一種判別模型。它既可以用于分類問題，也可以用于回歸問題。標(biāo)準(zhǔn)的SVM只能支持二分類問題，使用多個(gè)分類器的組合，可以解決多分類問題。如果不使用核函數(shù)，SVM是一個(gè)線性模型，如果使用非線性核，則是非線性模型，這可以從上面的預(yù)測函數(shù)看出。如果想更詳細(xì)的了解支持向量機(jī)，可以閱讀SIGAI之前的公眾號(hào)文章“用一張圖理解SVM的脈絡(luò)”。 

logistic回歸

logistic回歸是一種二分類算法，直接為樣本估計(jì)出它屬于正負(fù)樣本的概率。先將向量進(jìn)行線性加權(quán)，然后計(jì)算logistic函數(shù)，可以得到[0,1]之間的概率值，它表示樣本x屬于正樣本的概率：

正樣本標(biāo)簽值為1，負(fù)樣本為0。使用logistic函數(shù)的原因是它單調(diào)增，并且值域在(0, 1)之間，剛好符合概率的要求。訓(xùn)練時(shí)采用最大似然估計(jì)，求解對數(shù)似然函數(shù)的極值：

可以證明這是一個(gè)凸優(yōu)化問題，求解時(shí)可以用梯度下降法，也可以用牛頓法。如果正負(fù)樣本的標(biāo)簽為+1和-1，則可以采用另外一種寫法：

訓(xùn)練時(shí)的目標(biāo)同樣是最大化對數(shù)似然函數(shù)：

同樣的，這也是一個(gè)凸優(yōu)化問題。預(yù)測時(shí)并不需要計(jì)算logistic函數(shù)，而是直接計(jì)算：

Logistic回歸是一種二分類算法，雖然使用了概率，但它是一種判別模型！另外要注意的是，logistic回歸是一種線性模型，這從它的預(yù)測函數(shù)就可以看出。它本身不能支持多分類問題，它的擴(kuò)展版本softmax回歸可以解決多分類問題。 

K均值算法

K均值算法是一種聚類算法，把樣本分配到離它最近的類中心所屬的類，類中心由屬于這個(gè)類的所有樣本確定。
k均值算法是一種無監(jiān)督的聚類算法。算法將每個(gè)樣本分配到離它最近的那個(gè)類中心所代表的類，而類中心的確定又依賴于樣本的分配方案。
在實(shí)現(xiàn)時(shí)，先隨機(jī)初始化每個(gè)類的類中心，然后計(jì)算樣本與每個(gè)類的中心的距離，將其分配到最近的那個(gè)類，然后根據(jù)這種分配方案重新計(jì)算每個(gè)類的中心。這也是一種分階段優(yōu)化的策略。
與k近鄰算法一樣，這里也依賴于樣本之間的距離，因此需要定義距離的計(jì)算方式，最常用的是歐氏距離，也可以采用其他距離定義。算法在實(shí)現(xiàn)時(shí)要考慮下面幾個(gè)問題：
1.類中心向量的初始化。一般采用隨機(jī)初始化。最簡單的是Forgy算法，它從樣本集中隨機(jī)選擇k個(gè)樣本作為初始類中心。第二種方案是隨機(jī)劃分，它將所有樣本隨機(jī)的分配給k個(gè)類中的一個(gè)，然后按照這種分配方案計(jì)算各個(gè)類的類中心向量。
2.參數(shù)k的設(shè)定?？梢愿鶕?jù)先驗(yàn)知識(shí)人工指定一個(gè)值，或者由算法自己確定。
3.迭代終止的判定規(guī)則。一般做法是計(jì)算本次迭代后的類中心和上一次迭代時(shí)的類中心之間的距離，如果小于指定閾值，則算法終止。 

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是對全連接神經(jīng)網(wǎng)絡(luò)的發(fā)展，它使用卷積層，池化層自動(dòng)學(xué)習(xí)各個(gè)尺度上的特征。卷積運(yùn)算為：

在這里需要注意多通道卷積的實(shí)現(xiàn)，它的輸入圖像，卷積核都有多個(gè)通道，分別用各個(gè)通道的卷積核對輸入圖像的各個(gè)通道進(jìn)行卷積，然后再累加。這里也使用了激活函數(shù)，原因和全連接神經(jīng)網(wǎng)絡(luò)相同。池化運(yùn)算最常見的有均值池化，max池化，分別用均值和最大值代替圖像的一塊矩形區(qū)域。使用池化的原因是為了降維，減小圖像的尺寸，另外，它還帶來了一定程度的平移和旋轉(zhuǎn)的不變性。Max池化是非線性操作，現(xiàn)在用的更多。
對于經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，包括LeNet-5網(wǎng)絡(luò)，AlexNet，VGG網(wǎng)絡(luò)，GoogLeNet，殘差網(wǎng)絡(luò)等經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)新點(diǎn)，要熟記于心。
自Alex網(wǎng)絡(luò)出現(xiàn)之后，各種改進(jìn)的卷積網(wǎng)絡(luò)不斷被提出。這些改進(jìn)主要在以下幾個(gè)方面進(jìn)行：卷積層，池化層，激活函數(shù)，損失函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)。對于這些典型的改進(jìn)，也要深刻理解。
由于引入了卷積層和池化層，因此反向傳播算法需要為這兩種層進(jìn)行考慮。卷積層誤差項(xiàng)的反向傳播的公式為

根據(jù)誤差項(xiàng)計(jì)算卷積核梯度值的公式為：

如果采用均值池化，池化層的誤差項(xiàng)反向傳播計(jì)算公式為：

如果使用max池化，則為：

注意，池化層沒有需要訓(xùn)練得到的參數(shù)。如果對卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法的推導(dǎo)感興趣，可以閱讀SIGAI之前的公眾號(hào)文章“反向傳播算法推導(dǎo)-卷積神經(jīng)網(wǎng)絡(luò)”。
卷積神經(jīng)網(wǎng)絡(luò)具有遷移學(xué)習(xí)的能力，我們可以把這個(gè)網(wǎng)絡(luò)的參數(shù)作為訓(xùn)練的初始值，在新的任務(wù)上繼續(xù)訓(xùn)練，這種做法稱為fine-tune，即網(wǎng)絡(luò)微調(diào)。大量的實(shí)驗(yàn)結(jié)果和應(yīng)用結(jié)果證明，這種微調(diào)是有效的。這說明卷積神經(jīng)網(wǎng)絡(luò)在一定程度上具有遷移學(xué)習(xí)的能力，卷積層學(xué)習(xí)到的特征具有通用性。VGG網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上的訓(xùn)練結(jié)果在進(jìn)行微調(diào)之后，被廣泛應(yīng)用于目標(biāo)檢測、圖像分割等任務(wù)。
和全連接神經(jīng)網(wǎng)絡(luò)一樣，卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)判別模型，它既可以用于分類問題，也可以用用于回歸問題，并且支持多分類問題。 

循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有記憶功能的神經(jīng)網(wǎng)絡(luò)，每次計(jì)算時(shí)，利用了上一個(gè)時(shí)刻的記憶值，特別適合序列數(shù)據(jù)分析。網(wǎng)絡(luò)接受的是一個(gè)序列數(shù)據(jù)，即一組向量，依次把它們輸入網(wǎng)絡(luò)，計(jì)算每個(gè)時(shí)刻的輸出值。記憶功能通過循環(huán)神層實(shí)現(xiàn)：

它同時(shí)利用了本時(shí)刻的輸入值和上一個(gè)時(shí)刻的記憶值。輸出層的變換為：

這和普通神經(jīng)網(wǎng)絡(luò)沒什么區(qū)別。由于引入了循環(huán)層，因此反向傳播算法有所不同，稱為BPTT，即時(shí)間軸上的反向傳播算法。算法從最后一個(gè)時(shí)刻算起，沿著時(shí)間軸往前推。誤差項(xiàng)的遞推公式為：

遞推的終點(diǎn)為最后一個(gè)時(shí)刻。

根據(jù)誤差項(xiàng)計(jì)算對權(quán)重和偏置的梯度值的公式為：

循環(huán)神經(jīng)網(wǎng)絡(luò)同樣存在梯度消失問題，因此出現(xiàn)了LSTM，GRU等結(jié)構(gòu)。
以循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)造出了兩類通用的框架，分別是連接主義時(shí)序分類（CTC），以及序列到序列學(xué)習(xí)（seq2seq）。用于解決語音識(shí)別，自然語言處理中的問題。其中，seq2seq采用了編碼器-解碼器結(jié)構(gòu)，用兩個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)組合起來完成計(jì)算，一個(gè)充當(dāng)編碼器，一個(gè)充當(dāng)解碼器。

和其他類型的神經(jīng)網(wǎng)絡(luò)一樣，循環(huán)神經(jīng)網(wǎng)絡(luò)是一個(gè)判別模型，既支持分類問題，也支持回歸問題，并且支持多分類問題。 

高斯混合模型

高斯混合模型通過多個(gè)正態(tài)分布的加權(quán)和來描述一個(gè)隨機(jī)變量的概率分布，概率密度函數(shù)定義為：

其中x為隨機(jī)向量，k為高斯分布的個(gè)數(shù)，wi為權(quán)重，

為高斯分布的均值向量，

為協(xié)方差矩陣。所有權(quán)重之和為1，即：

任意一個(gè)樣本可以看作是先從k個(gè)高斯分布中選擇出一個(gè)，選擇第i個(gè)高斯分布的概率為wi，再由第i個(gè)高斯分布

產(chǎn)生出這個(gè)樣本數(shù)據(jù)x。高斯混合模型可以逼近任何一個(gè)連續(xù)的概率分布，因此它可以看做是連續(xù)性概率分布的萬能逼近器。之所有要保證權(quán)重的和為1，是因?yàn)楦怕拭芏群瘮?shù)必須滿足在

內(nèi)的積分值為1。
指定高斯分布的個(gè)數(shù)，給定一組訓(xùn)練樣本，可以通過期望最大化EM算法確定高斯混合模型的參數(shù)。每次迭代時(shí)，在E步計(jì)算期望值，在M步最大化期望值，如此循環(huán)交替。 

EM算法

EM算法是一種迭代法，其目標(biāo)是求解似然函數(shù)或后驗(yàn)概率的極值，而樣本中具有無法觀測的隱含變量。因?yàn)殡[變量的存在，我們無法直接通過最大化似然函數(shù)來確定參數(shù)的值。可以采用一種策略，構(gòu)造出對數(shù)似然函數(shù)的一個(gè)下界函數(shù)，這個(gè)函數(shù)不含有隱變量，然后優(yōu)化這個(gè)下界。不斷的提高這個(gè)下界，使原問題達(dá)到最優(yōu)解，這就是EM算法所采用的思路。算法的構(gòu)造依賴于Jensen不等式。
算法在實(shí)現(xiàn)時(shí)首先隨機(jī)初始化參數(shù)

的值，接下來循環(huán)迭代，每次迭代時(shí)分為兩步：
E步，基于當(dāng)前的參數(shù)估計(jì)值

，計(jì)算在給定x時(shí)對z的條件概率的數(shù)學(xué)期望：

M步，求解如下極值問題，更新

的值：

實(shí)現(xiàn)Qi 時(shí)可以按照下面的公式計(jì)算：

迭代終止的判定規(guī)則是相鄰兩次函數(shù)值之差小于指定閾值。需要注意的是，EM算法只能保證收斂到局部極小值。