評分卡模型剖析之一（woe、IV、ROC、信息熵）

信用評分卡模型在國外是一種成熟的預(yù)測方法，尤其在信用風(fēng)險評估以及金融風(fēng)險控制領(lǐng)域更是得到了比較廣泛的使用，其原理是將模型變量WOE編碼方式離散化之后運用logistic回歸模型進(jìn)行的一種二分類變量的廣義線性模型。

       本文重點介紹模型變量WOE以及IV原理，為表述方便，本文將模型目標(biāo)標(biāo)量為1記為違約用戶，對于目標(biāo)變量為0記為正常用戶；則WOE(weight of Evidence)其實就是自變量取某個值的時候?qū)`約比例的一種影響，怎么理解這句話呢？我下面通過一個圖標(biāo)來進(jìn)行說明。

Woe公式如下：

    表中以age年齡為某個自變量，由于年齡是連續(xù)型自變量，需要對其進(jìn)行離散化處理，假設(shè)離散化分為5組（至于如何分組，會在以后專題中解釋），#bad和#good表示在這五組中違約用戶和正常用戶的數(shù)量分布，最后一列是woe值的計算，通過后面變化之后的公式可以看出，woe反映的是在自變量每個分組下違約用戶對正常用戶占比和總體中違約用戶對正常用戶占比之間的差異；從而可以直觀的認(rèn)為woe蘊(yùn)含了自變量取值對于目標(biāo)變量（違約概率）的影響。再加上woe計算形式與logistic回歸中目標(biāo)變量的logistic轉(zhuǎn)換(logist_p=ln(p/1-p))如此相似，因而可以將自變量woe值替代原先的自變量值；

講完WOE下面來說一下IV：

IV公式如下：

其實IV衡量的是某一個變量的信息量，從公式來看的話，相當(dāng)于是自變量woe值的一個加權(quán)求和，其值的大小決定了自變量對于目標(biāo)變量的影響程度；從另一個角度來看的話，IV公式與信息熵的公式極其相似。

事實上，為了理解WOE的意義，需要考慮對評分模型效果的評價。因為我們在建模時對模型自變量的所有處理工作，本質(zhì)上都是為了提升模型的效果。在之前的一些學(xué)習(xí)中，我也總結(jié)了這種二分類模型效果的評價方法，尤其是其中的ROC曲線。為了描述WOE的意義，還真的需要從ROC說起。仍舊是先畫個表格。

數(shù)據(jù)來自于著名的German credit dataset，取了其中一個自變量來說明問題。第一列是自變量的取值，N表示對應(yīng)每個取值的樣本數(shù)，n1和n0分別表示了違約樣本數(shù)與正常樣本數(shù)，p1和p0分別表示了違約樣本與正常樣本占各自總體的比例，cump1和cump0分別表示了p1和p0的累計和，woe是對應(yīng)自變量每個取值的WOE（ln(p1/p0)），iv是woe*(p1-p0)。對iv求和(可以看成是對WOE的加權(quán)求和)，就得到IV(information value信息值)，是衡量自變量對目標(biāo)變量影響的指標(biāo)之一(類似于gini,entropy那些)，此處是0.666，貌似有點太大了，

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈