您當(dāng)前位置：首頁(yè) > 服務(wù)器 > 深度學(xué)習(xí)與自然語(yǔ)言處理(4)_斯坦福cs224d 大作業(yè)測(cè)驗(yàn)1與解答

深度學(xué)習(xí)與自然語(yǔ)言處理(4)_斯坦福cs224d 大作業(yè)測(cè)驗(yàn)1與解答

來(lái)源：程序員人生發(fā)布時(shí)間：2016-07-20 08:19:56 閱讀次數(shù)：4155次

深度學(xué)習(xí)與自然語(yǔ)言處理(4)_斯坦福cs224d 大作業(yè)測(cè)驗(yàn)1與解答

作業(yè)內(nèi)容翻譯：@胡楊(superhy199148@hotmail.com) && @胥可(feitongxiaoke@gmail.com)
解答與編排：寒小陽(yáng) && 龍心塵
時(shí)間：2016年6月
出處：
http://blog.csdn.net/han_xiaoyang/article/details/51760923
http://blog.csdn.net/longxinchen_ml/article/details/51765418

說(shuō)明：本文為斯坦福大學(xué)CS224d課程的中文版內(nèi)容筆記，已得到斯坦福大學(xué)課程@Richard Socher教授的授權(quán)翻譯與發(fā)表

0 前言

前面1個(gè)接1個(gè)的Lecture，看得老衲自己也是1臉懵逼，不過(guò)你以為你做1個(gè)安安靜靜的美男子(總感覺(jué)有勇氣做deep learning的女生也是1條漢紙)就可以在Stanford這樣的學(xué)校順利畢業(yè)啦？圖樣圖森破，除掉極高的內(nèi)容學(xué)習(xí)梯度，這類頂尖大學(xué)的作業(yè)和考試1樣會(huì)讓你突(tong)飛(bu)猛(yu)進(jìn)(sheng)。

說(shuō)起來(lái)，怎樣也是堂堂斯坦福的課，這類最看重前言研究在實(shí)際工業(yè)利用的學(xué)校，1定是理論和利用并進(jìn)，對(duì)動(dòng)手能力要求極強(qiáng)的，因而乎，我們把作業(yè)和小測(cè)驗(yàn)(MD你這也敢叫小測(cè)驗(yàn)！！)也扒過(guò)來(lái)，整理整理，讓大家都來(lái)體驗(yàn)體驗(yàn)。反正博主君自己每次折騰完這些大學(xué)的assignment以后，都會(huì)感慨1句，“還好不生在水生火熱的萬(wàn)惡資本主義國(guó)家，才能讓我大學(xué)和研究僧順利畢業(yè)(甚么？phd？呵呵…博主是渣渣，智商終年處于欠費(fèi)狀態(tài)，我就不參與你們高端人士的趴體了)”。

不能再BB了，直接開始造作業(yè)考試吧…

1 Softmax (10 分)

(part a) (5分)
證明針對(duì)任何輸入向量x和常數(shù)c，softmax函數(shù)的輸出不會(huì)隨著輸入向量偏移（也就是常數(shù)c）而改變。即：

s o f t m a x (x) = s o f t m a x (x + c)

其中x+c就是給x每個(gè)元素加上常數(shù)c。注意：

s o f t m a x (x) i = e x i \sum j e x j

提示：在實(shí)際利用中，常常會(huì)用到這個(gè)性質(zhì)。為了穩(wěn)定地計(jì)算softmax幾率，我們會(huì)選擇c=?maxixi。（行將x的每一個(gè)元素減去最大的那個(gè)元素）。

博主：熬過(guò)了高中，竟然又看見(jiàn)證明了，也是驚(ri)喜(le)萬(wàn)(gou)分(le)，答案拿來(lái)！！！

解答：

證明，針對(duì)所有維度1≤i≤dim(x)：

(s o f t m a x (x + c)) i = exp ( x i + c ) \sum d i m ( x ) j = 1 exp ( x j + c ) = exp ( c ) exp ( x i ) exp ( c ) \sum d i m ( x ) j = 1 exp ( x j ) = exp ( x i ) \sum d i m ( x ) j = 1 exp ( x j ) = (s o f t m a x (x)) i

(part b) (5 分)
已知1個(gè)N行d列的輸入矩陣，計(jì)算每行的softmax幾率。在q1_softmax.py中寫出你的實(shí)現(xiàn)進(jìn)程，并使用python q1_softmax.py履行。

要求：你所寫的代碼應(yīng)當(dāng)盡量的有效并以向量化的情勢(shì)來(lái)實(shí)現(xiàn)。非向量化的實(shí)現(xiàn)將不會(huì)得到滿分。

博主：簡(jiǎn)直要哭暈在廁所了，當(dāng)年畢業(yè)設(shè)計(jì)也是加論文1星期都可以寫完的節(jié)奏，這里1個(gè)5分的作業(yè)，還這么多要求…社會(huì)主義好…答案拿來(lái)！！！

import numpy as np

def softmax(x):
    """
        Softmax 函數(shù)
    """
    assert len(x.shape) > 1, "Softmax的得分向量要求維度高于1"
    x -= np.max(x, axis=1, keepdims=True)
    x = np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)

    return x

2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)（30分）

(part a) (3 分)
推導(dǎo)sigmoid函數(shù)的導(dǎo)數(shù)，并且只以sigmoid函數(shù)值的情勢(shì)寫出來(lái)（導(dǎo)數(shù)的表達(dá)式里只包括σ(x)，不包括x）。證明針對(duì)這個(gè)問(wèn)題沒(méi)必要單獨(dú)斟酌x。方便回想：下面給出sigmoid函數(shù)情勢(shì)：