↑ 點擊上方藍字" 奶糖貓 ",加個關注如何

非線性支持向量機

對於線性分類問題，線性分類支持向量機是一種非常有效的方法。但是有的分類問題是非線性的，這時就可以使用非線性支持向量機對分類問題求解，其主要的特點是利用 核技巧(kernel trick) ，下面通過一個通俗的小栗子介紹核技巧。

核方法與核技巧

假設有一個二維平面上有4個點，兩個紅色點、兩個綠色點，這4個點位於一條直線上，如下：

對於這個問題，我們是無法利用一條直線準確將紅色點和綠色點分隔開，但是可以利用 一條曲線 實現分類，如下：

這時可以改變一下我們固有的思想，如果 將二維平面映射至三維立體空間中 ，並且將一類別的點在縱軸上 提高或者下降 ，這樣不就可以利用一個超平面將其分隔開了嘛！如下：

現在只需要考慮一個問題，就是將同一類別在縱軸上同時提高或下降的操作應該如何實現。先回到開始的二維平面，如果將這些點添至座標軸中，會不會存在某個函數的圖像可以將其分隔開呢？

這裏利用 一個函數 區 分兩類點，可以看出紅色點的橫縱座標乘積爲0，即 ，綠色點的橫縱座標乘積爲2，即 ,那麼利用曲線 不就可以將兩類點準確分類嘛！如下：

其中 也就是我們非常熟悉的 反比例函數 。

解決了二維平面的問題，那麼再將其映射至三維空間就可以解決前文提出的問題了。可以將算出的新值作爲點在三維空間的z軸的座標，綠色的點就可以 沿z軸正方向提高 ，兩類點就可以利用一個超平面實現分類，如下：

上面這個栗子也稱作 異或問題 ，求解這個問題利用的思想就是核方法。

這個栗子說明用線性分類方法求解分線性分類問題大致可分爲兩步：首先使用一個變換將原空間的數據映射至新空間；然後在新空間裏用線性分類學習方法對數據進行分類，核技巧就屬於這樣的方法。

核技巧的基本思想就是通過一個 非線性變換 將輸入空間映射至特徵空間，使得輸入空間的超曲面模型對應於特徵空間的超平面模型，這樣，就可以通過在特徵空間利用線性支持向量機求解分類問題。

核函數

在知道核技巧的基本思想後，我們可以對之前求出的 對偶問題 做出相應的處理，即通過輸入空間向特徵空間的映射，將，如下：

若按照這種方法對問題求解，必須在特徵空間中求 出 和的內積 ，但是特徵空間的維度往往是比較大的，這就使內積的運算極其複雜，有沒有另一種方法可以簡化這個求解方式呢？

假設有一個二維平面，我們需要將其映射至一個三維特徵空間中，那麼二維平面上的兩類樣本點分爲用和;則在三維特徵空間中兩類點可以用和表示。

若要對三維特徵空間做內積操作，可以將其做以下推導，可以看到三維特徵空間中的內積是可以由二維平面的內積表示的，最後得到的這個函數就被稱爲 核函數 。

所以對於每一個映射至特徵空間中的函數，都可以找到一個 相應的核函數 對其運算進行優化，表達式也可以做出相應的更改，如下：

在此基礎上可以瞭解一下核函數的定義，設是輸入空間，又設爲特徵空間(希爾伯特空間)，如果存在一個到的映射

使得對所有 ，函數 滿足條件

則稱爲核函數，爲映射函數，其中爲和的內積。

綜上，如果有一個 待求解的非線性分類問題 ，我們沒有必要去計算其對應特徵空間中的內積，只需要找到這個非線性分類問題對應的核函數，將輸入空間的數據代入核函數中，便可求得該問題的解。

於是，“ 核函數的選擇 ”就成了支持向量機的最大變數，若核函數的選擇不合適，則意味着將樣本映射到了一個不合適的特徵空間，很可能導致分類效果不佳。而只是起到一箇中間的 過渡作用 ，並沒有什麼實際意義。

下圖給出了幾個常用的核函數，其中 高斯核函數 是最爲重要的，也稱作徑向基核函數。

正定核

在已知映射函數，可以通過和的內積求得核函數，但這個過程是比較複雜的，能否 直接判斷 一個給定的函數是不是核函數呢？或者一個函數需要滿足什麼條件才能成爲核函數？

我們通常所說的核函數是叫作 正定核函數 ，先了解一下正定核的 兩個概念 。

其一，若輸入空間映射至特徵空間的關係爲

則稱爲正定核函數。

R代表數學中的實數域

其二，對於輸入空間內的樣本點

如果滿足 對稱性和正定性 ，則稱爲正定核函數。

概念一很好理解，並且前文也應用到了，所以這裏着重講述一下概念二。概念二的對稱性：

由於 內積運算具有對稱性 ，而核函數包含內積運算，所以核函數具有對稱性。

正定性表示對於任意,對應的Gram矩陣

是 半正定矩陣 。如果在對稱性成立的情況下，那麼正定性是一個核函數爲正定核的 充要條件 ，即

則表明 關於的Gram矩陣是半正定的。

總結

對於分類問題而言，可以利用核技巧，將線性分類的學習方法應用至非線性分類問題中。將線性支持向量機擴展至非線性支持向量機， 只需將線性支持向量機對偶問題中的內積利用轉化成核函數 即可。

歡迎各位給奶糖貓留言 呀       在線陪聊

看到這點個“在看”吧         謝謝大爺呀

End

往期推薦：

1. 機器學習筆記(十)——這樣推導SMO算法才易理解

2. 機器學習筆記(九)——手撕支持向量機之間隔、對偶、KKT條件詳細推導

3. 機器學習筆記(八)——隨機梯度上升(下降)算法調優

4. 機器學習筆記(七)——初識邏輯迴歸、兩種方法推導梯度公式

相關文章