在分類模型中，我們常常以聯合幾率$P(X,\omega)$或后驗幾率$P(\omega|X)$建模，$X=\lbrace x^1,x^2,\ldots ,x^d\rbrace表示1個d維向量，\omega=\omega_1,\omega_2,\ldots,\omega_k 表示種別。$其中，

$P(X,\omega)=P(X|\omega)\cdot P(\omega)$
$P(\omega|X)=\frac{P(X|\omega)\cdot P(\omega)}{P(X)}$

進行轉換后，都出現了先驗幾率$P(\omega)$和類條件幾率$P(X|\omega)$。先驗幾率可以通過對樣本數據進行統計得出，而類條件幾率直接統計則不是那末容易得出，緣由有兩個：1）已有訓練樣本量總是顯得太少，比如在垃圾郵件分類中，1個詞向量$x=\lbrace 拍賣，惠購，不容錯過，商場， 大降價\rbrace$,可以看出包括該詞向量的文檔很有多是1封垃圾郵件，但很有可能在我們統計了1000封垃圾郵件后恰恰沒有出現該詞向量的組合，造成估計毛?。?）當特點向量維度d較大的時候，直接會帶來計算量上的問題。例如d=100的時候，我們在統計需要對每一個樣本的100個維度比較統計，計算量非常大。

斟酌上面的問題，在實際中我們是通過在先驗知識的幫助下估計條件幾率服從的幾率散布參數來解決問題的。例如根據先驗知識，條件幾率$P(X|\omega_i)$服從正態散布$N(\mu_i,\Sigma_i)$，參數未知。我們可以將參數$\mu_i,\Sigma_i$估計出來，從而條件幾率散布可以肯定，進而條件幾率值可以求出。

在對參數進行估計時，主要有兩種思想，1個是認為參數1個未知的肯定量，即該參數是肯定的，只是值是多少我們還未知；1個是認為參數也是1個隨機變量，并服從某種先驗幾率散布，我們需要根據先驗與樣本學習到參數關于樣本的后驗幾率散布，進而求得類條件幾率。

根據第1種思想來進行參數估計的方法主要是最大似然估計和最大后驗估計。

1、 最大似然估計
首先來講最大似然估計，即通過最大化似然函數來求得參數值。以條件幾率$P(X|\omega)$服從單個參數$\theta$的散布為例，每一個$\omega_i$對應1個$\theta_i$，求$P(X|\omega_i)即等價于P(X|\theta_i)$，參數估計值為：

$\hat \theta_{ML}=argmax \sum\limits_{i=1}^nlog p(x_i|\theta)$

2、最大后驗估計
最大后驗估計與最大似然估計類似，但以最大化后驗幾率$P(\theta|X)$為目標，情勢以下：

θ^MAP=argmaxP(θ|X)

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈