開1個機(jī)器學(xué)習(xí)方法科普系列，也做基礎(chǔ)回顧之用。學(xué)而時習(xí)之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap（修改前面的blog）
SVM
C3、C4.5
Apriori，F(xiàn)P
PageRank
minHash, LSH
Manifold Ranking，EMR
待補(bǔ)充
…
…

開始幾篇將詳細(xì)介紹1下線性回歸linear regression，和加上L1和L2的正則的變化。后面的文章將介紹邏輯回歸logistic regression，和Softmax regression。為何要先講這幾個方法呢？由于它們是機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的基石（building block）之1，而且在大量教學(xué)視頻和教材中反復(fù)被提到，所以我也記錄1下自己的理解，方便以后翻閱。這3個方法都是有監(jiān)督的學(xué)習(xí)方法，線性回歸是回歸算法，而邏輯回歸和softmax本質(zhì)上是分類算法（從離散的分類目標(biāo)導(dǎo)出），不過有1些場合下也有混著用的――如果目標(biāo)輸出值的取值范圍和logistic的輸出取值范圍1致。

ok，空話不多說。

1、Linear Regression

可以說基本上是機(jī)器學(xué)習(xí)中最簡單的模型了，但是實(shí)際上其地位很重要（計(jì)算簡單、效果不錯，在很多其他算法中也能夠看到用LR作為1部份）。

定義1下1些符號表達(dá)，我們通常習(xí)慣用X=(x1,x2,...,xn)T∈Rn×p$X=(x_1, x_2, ...,x_n)^T in mathbb{R}^{n imes p}$表示數(shù)據(jù)矩陣，其中xi∈Rp$x_i in mathbb{R}^p$表示1個p維度長的數(shù)據(jù)樣本；y=(y1,y2,...,yn)T∈Rn$y=(y_1, y_2, ...,y_n)^T in mathbb{R}^{n}$表示數(shù)據(jù)的label，這里只斟酌每一個樣本1類的情況。

線性回歸的模型是這樣的，對1個樣本xi$x_i$，它的輸出值是其特點(diǎn)的線性組合：

$$egin{equation} f(x_i) = sum_{m=1}^{p}w_m x_{im}+w_0={w}^T{x_i} end{equation}$$
其中，w0$w_0$稱為截距，或bias，上式中通過增加xi0=1$x_{i0}=1$把w0$w_0$也吸收到向量表達(dá)中了，簡化了情勢，因此實(shí)際上xi$x_i$有p+1$p+1$維度。

線性回歸的目標(biāo)是用預(yù)測結(jié)果盡量地?cái)M合目標(biāo)label，用最多見的Least square作為loss function：

$$egin{equation} J(w)=frac{1}{n}sum_{i=1}^{n}(y_i - f(x_i))^2=frac{1}{n}|y-Xw|^2 end{equation}$$
也就是很多中文教材中提到的最小2乘；線性回歸是convex的目標(biāo)函數(shù)，并且有解析解：
$$egin{equation} hat{w}=(X^{T}X)^{⑴}X^{T}y end{equation}$$
線性回歸到這里就訓(xùn)練完成了，對每個樣本點(diǎn)的預(yù)測值是f(xi)=yi^=w^Txi$f(x_i)=hat{y_i}=hat{w}^{T}x_i$。所以：
$$egin{equation} hat{y} = Xhat{w} = X(X^{T}X)^{⑴}X^{T}y end{equation}$$

接下來看1下我們尋覓到的預(yù)測值的1個幾何解釋：從上面的解析解w^=(XTX)?1X 生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈