回歸概述（個人理解的總結）

回歸是數學中的1種摹擬離散數據點的數學模型的方法，擬合1個連續的函數從而可以對未知的離散數據點進行分類或預測。這類方法有1個統1的情勢，給定n$n$維特點的數據集合，對任意1個數據點Xi={x(1)i，x(2)i，...,x(n)i}$X_i={x_i^{(1)}，x_i^{(2)}，...,x_i^{(n)}}$的每一個維度都有1個回歸系數wi$w_i$與之對應，全部模型就存在1個系數向量w={w1,w2...wn}$w={w_1,w_2...w_n}$。如果是系數向量w$w$與特點Xi$X_i$的線性組合，那末就是1個n$n$空間下的超平面，如果對應分類問題，那末這個超平面就是分類器的決策平面（分類超平面）。由于線性組合存在常數項，1般為了情勢統1，將常數項b$b$通過1個x0=1$x_0=1$加進系數向量成為w0$w_0$。
Lotistic回歸是經典分類方法，與感知機算法、SVM算法等都是上述的對每一個維度的特點進行線性組合，找出決策平面，從而也都是辨別式方法。這些方法在訓練數據下分別使用不同的決策函數，然后歸結為最優化問題，1般使用迭代方法進行，經常使用的有梯度降落法、牛頓法、擬牛頓法等。

Logistic回歸模型

Sigmoid函數

在之前的博客中感知機方法使用的是符號函數f(x)=sign(x)$f(x)=sign(x)$，Logistic回歸方法使用的是階躍函數，函數輸出的是的兩個不同種別的幾率值{0,1}${0,1}$，中斷的階躍函數使用最多的就是Heaviside Step函數，但是不連續的特性對最優化求解中的求導數不方便。因此使用的是連續的具有階躍函數類似性質Sigmoid函數：

$$Sigmoid(z) = frac{1}{1+e^{-z}}$$
該函數定義域為全實數域，任意次連續可微，以點（0,0.5）$（0,0.5）$為對稱點。當任意1個輸入z$z$很大時函數值趨于1，反之趨于0，在z=0$z=0$時為0.5代表對輸入值在兩個種別的可能性相當，這些性質是的它非常合適作為分類決策函數。因此，1般當輸出值大于或等于0.5時就分類到正類，否則就分到負類。

2分類Logistic模型

分類模型由條件幾率P(Y|X)$P(Y|X)$表示，其中Y∈{0,1}$Yin{0,1}$代表兩個種別，對給定輸入X=x$X=x$：

$$P(Y=1|X=x)= frac{1}{1+e^{-wx}}$$
$$P(Y=0|X=x)= 1-frac{1}{1+e^{-wx}}=frac{1}{1+e^{wx}}$$
其中w={w0,w1.....wn},w0$w={w_0,w_1.....w_n},w_0$代表常數項，x={x0,x1...xn},x0=1$x={x_0,x_1...x_n},x_0=1$。對給定的輸入，可以分別求得上述兩個幾率值，通過比較上述哪一個幾率值更大，就將輸入分到相應種別。也就是Logistic回歸模型將特點的線性組合轉換為兩個種別的幾率，線性組合的值越接近于正無窮，幾率值越接近1；線性組合的值越接近負無窮，幾率值越接近0。
另外，1個事件產生的幾率與不產生的幾率比值稱為概率（odds ratio），取對數以后稱為log-odds-ratio，而Logistic回歸模型對正類（事件產生）幾率和負類（事件不產生）幾率的比值以下：