您當前位置：首頁 > php開源 > 綜合技術 > [Python] 機器學習庫 Scikit-learn之SVM

[Python] 機器學習庫 Scikit-learn之SVM

來源：程序員人生發布時間：2015-06-04 08:11:56 閱讀次數：14473次

0. SVM簡介

SVM是最經常使用的分類器之1，其可以用來做分類，回歸和異常檢測。
其模型定義和學習以下：
原始問題:

$min_ {w, b, zeta} frac{1}{2} w^T w + C sum_{i=1}^{n} zeta_i$

$extrm {subject to } y_i (w^T phi (x_i) + b) geq 1 - zeta_i,$

$zeta_i geq 0, i=1, ..., n$

對偶問題：

$min_{alpha} frac{1}{2} alpha^T Q alpha - e^T alpha$

subject to $y^T alpha = 0$

$0 leq alpha_i leq C, i=1, ..., n$

決策函數：

$operatorname{sgn}(sum_{i=1}^n y_i alpha_i K(x_i, x) + ho)$

其中 $e$ 是全為1的向量, $C > 0$ 是上邊界, $Q$ 是 $n$ $imes$ $n$ 半正定矩陣, $Q_{ij} equiv K(x_i, x_j) = phi (x_i)^T phi (x_j)$ 是核，訓練數據通過 $phi$ 被映照到高緯空間中.

svm的優點：

在高緯空間的有效性。
在特點維度高于樣本維度的情況下，仍然有效。
它的決策函數只使用訓練數據的1部份，通常把這1部份數據稱之為支持向量，所以它是比較節省內存的。
可以提供各種各樣的核函數來擴大SVM的功能。

SVM的缺點：

如果特點的維度遠大于樣本的數目，那末性能將大大的下降。
SVM不直接提供幾率估計。

1. SVM用來做分類：

SVC, NuSVC，LinearSVC

這3類都能用來做多類分類，SVC 和 NuSVC 類似，但是在1些參數上有所不同，LinearSVC 則是另外1種svm的實現，它是線性核。
這里寫圖片描述

輸入：

SVC, NuSVC 和LinearSVC的輸入訓練數據：[n_samples, n_features] ，標簽數據：[n_samples]，標簽可以是整數或是字符串都可以。

#訓練svm：
>>> from sklearn import svm
>>> X = [[0, 0], [1, 1]]
>>> y = [0, 1]
>>> clf = svm.SVC()
>>> clf.fit(X, y) `
#測試svm`
>>> clf.predict([[2., 2.]

成員變量：

由于svm模型只需要用到訓練數據中的1部份，也就是支持向量的部份。
support_vectors_：寄存模型的支持向量。
support_ ：寄存模型的支持向量的索引。
n_support: 寄存模型每類的支持向量的數目。

多類分類

原始的svm只能支持2類的分類，而多類分類是通過量次2分類來實現的，具體有兩種方式，即1對1和1對多兩種方式。
SVC 和 NuSVC是采取1對1的方式，如果 n_class 是總的種別的數目，那末共需要訓練n_class * (n_class - 1) / 2 個不同的2分類器。

#獲得分類器的數目：
X = [[0], [1], [2], [3]]
Y = [0, 1, 2, 3]
clf = svm.SVC()
clf.fit(X, Y)
dec = clf.decision_function([[1]])
print dec.shape[1]

不同的是， LinearSVC 是采取1對多的方式來進行多分類，具體來講，有 n_class 個種別就訓練n_class 個分類器，明顯，在了種別數目比較多的情況下，這樣更節省空間和時間。

不平衡數據：

SVC實現了不平衡訓練數據集上的處理，通過設置class_weight參數來給每一個種別設置不同的權重，具體的使用還得看文檔。

2. SVM用來做回歸

SVM分類器可以很自然的被擴大用來做回歸，被稱之為支持向量回歸。
SVR跟SVC1樣，模型只斟酌支持向量的數據，那些原理分界邊際的點將被忽視。
跟SVC類似，其也有3個類來顯示它，對應的是： SVR, NuSVR ， LinearSVR，

>>> from sklearn import svm
>>> X = [[0, 0], [2, 2]]
>>> y = [0.5, 2.5]
>>> clf = svm.SVR()
>>> clf.fit(X, y) 
SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=0.1, gamma=0.0,
    kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False)
>>> clf.predict([[1, 1]])
array([ 1.5])

3. 密度估計，異常檢測

種別：OneClassSVM 來實現異常檢測，這是1種無監督的方法，它的訓練數據只需要 $X$ ,而無需 $Y$ 。

4. 復雜度分析

SVM是1個2次計劃問題（QP問題），其實重訓練數據集合中分離出支持向量的數據點，在基于libsvm的實現中，其復雜度介于： $O(n_{features} imes n_{samples}^2)$ 和 $O(n_{features} imes n_{samples}^3)$ 之間。

5. 核函數

? 線性核: $langle x, x' angle$ .

? 多項式核: (γ?x,x′?+r)

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
程序員人生

------分隔線----------------------------

上一篇 文件流程的操作

下一篇 java操作svn【svnkit】實操

分享到: