本文轉(zhuǎn)自：http://www.199it.com/archives/167397.html

在寫(xiě)這篇文章之前，我發(fā)現(xiàn)身旁很多IT人對(duì)這些熱門的新技術(shù)、新趨勢(shì)常常趨之若鶩卻又很難說(shuō)的透徹，如果你問(wèn)他大數(shù)據(jù)和你有甚么關(guān)系？估計(jì)很少能說(shuō)出123來(lái)。究其緣由，1是由于大家對(duì)新技術(shù)有著相同的原始渴求，最少知其然在聊天時(shí)不會(huì)顯得很“土鱉”；2是在工作和生活環(huán)境中真正能參與實(shí)踐大數(shù)據(jù)的案例實(shí)在太少了，所以大家沒(méi)有必要花時(shí)間去知其所以然。

我希望有些不1樣，所以對(duì)該如何去認(rèn)識(shí)大數(shù)據(jù)進(jìn)行了1番思索，包括查閱了資料，翻閱了最新的專業(yè)書(shū)籍，但我其實(shí)不想把那些零散的資料碎片或不同理解論述簡(jiǎn)單規(guī)整并堆積起來(lái)構(gòu)成毫無(wú)價(jià)值的轉(zhuǎn)述或評(píng)論，我很真誠(chéng)的希望進(jìn)入事物探訪本質(zhì)。

如果你說(shuō)大數(shù)據(jù)就是數(shù)據(jù)大，或侃侃而談4個(gè)V，或許很有深度的談到BI或預(yù)測(cè)的價(jià)值，又或拿Google和Amazon舉例，技術(shù)流可能會(huì)聊起Hadoop和Cloud Computing，不管對(duì)錯(cuò)，只是沒(méi)法勾畫(huà)對(duì)大數(shù)據(jù)的整體認(rèn)識(shí)，不說(shuō)是片面，但最少有些管窺蠡測(cè)、隔衣瘙癢了。……或許，“解構(gòu)”是最好的方法。

怎樣結(jié)構(gòu)大數(shù)據(jù)？

首先，我認(rèn)為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到當(dāng)今階段的1種表象或特點(diǎn)而已，沒(méi)有必要神話它或?qū)λ３治肪粗模谝栽朴?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些本來(lái)很難搜集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐漸為人類創(chuàng)造更多的價(jià)值。

其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，我著手從3個(gè)層面來(lái)展開(kāi)：

第1層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。我會(huì)從大數(shù)據(jù)的特點(diǎn)定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；從對(duì)大數(shù)據(jù)的現(xiàn)在和未來(lái)去洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的久長(zhǎng)博弈。

第2層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、散布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)講明大數(shù)據(jù)從收集、處理、存儲(chǔ)到構(gòu)成結(jié)果的全部進(jìn)程。

第3層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的終究?jī)r(jià)值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)4個(gè)方面來(lái)描繪大數(shù)據(jù)已展現(xiàn)的美好景象及行將實(shí)現(xiàn)的藍(lán)圖。

 和大數(shù)據(jù)相干的理論

? 特點(diǎn)定義

最早提出大數(shù)據(jù)時(shí)期到來(lái)的是麥肯錫：“數(shù)據(jù)，已滲透到現(xiàn)今每個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)海量數(shù)據(jù)的發(fā)掘和應(yīng)用，預(yù)示著新1波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。”

業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特點(diǎn)歸納為4個(gè)“V”（量Volume，多樣Variety，價(jià)值Value，速Velocity），或說(shuō)特點(diǎn)有4個(gè)層面：第1，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位最少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T）；第2，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第3，價(jià)值密度低，商業(yè)價(jià)值高。第4，處理速度快。最后這1點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)發(fā)掘技術(shù)有著本質(zhì)的不同。

其實(shí)這些V其實(shí)不能真正說(shuō)清楚大數(shù)據(jù)的所有特點(diǎn)，下面這張圖對(duì)大數(shù)據(jù)的1些相干特性做出了有效的說(shuō)明。

古語(yǔ)云：3分技術(shù)，7分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰(shuí)說(shuō)的，但是這句話的正確性已不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時(shí)期》1書(shū)及第了百般例證，都是為了說(shuō)明1個(gè)道理：在大數(shù)據(jù)時(shí)期已到來(lái)的時(shí)候要用大數(shù)據(jù)思惟去發(fā)掘大數(shù)據(jù)的潛伏價(jià)值。書(shū)中，作者提及最多的是Google如何利用人們的搜索記錄發(fā)掘數(shù)據(jù)2次利用價(jià)值，比如預(yù)測(cè)某地流感爆發(fā)的趨勢(shì)；Amazon如何利用用戶的購(gòu)買和閱讀歷史數(shù)據(jù)進(jìn)行有針對(duì)性的書(shū)籍購(gòu)買推薦，以此有效提升銷售量；Farecast如何利用過(guò)去10年所有的航線機(jī)票價(jià)格打折數(shù)據(jù)，來(lái)預(yù)測(cè)用戶購(gòu)買機(jī)票的時(shí)機(jī)是不是適合。

那末，甚么是大數(shù)據(jù)思惟？維克托·邁爾-舍恩伯格認(rèn)為，1-需要全部數(shù)據(jù)樣本而不是抽樣；2-關(guān)注效力而不是精確度；3-關(guān)注相干性而不是因果關(guān)系。

阿里巴巴的王堅(jiān)對(duì)大數(shù)據(jù)也有1些獨(dú)特的見(jiàn)解，比如，

“今天的數(shù)據(jù)不是大，真正成心思的是數(shù)據(jù)變得在線了，這個(gè)恰正是互聯(lián)網(wǎng)的特點(diǎn)。”
“非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品，功能1定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)1定是它的價(jià)值。”
“你千萬(wàn)不要想著拿數(shù)據(jù)去改進(jìn)1個(gè)業(yè)務(wù)，這不是大數(shù)據(jù)。你1定是去做了1件之前做不了的事情。”

特別是最后1點(diǎn)，我是非常認(rèn)同的，大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造，在于彌補(bǔ)無(wú)數(shù)個(gè)還未實(shí)現(xiàn)過(guò)的空白。

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭依照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的發(fā)掘本錢又不1樣。與此類似，大數(shù)據(jù)其實(shí)不在“大”，而在于“有用”。價(jià)值含量、發(fā)掘本錢比數(shù)量更加重要。

? 價(jià)值探討

大數(shù)據(jù)是甚么？投資者眼里是金光閃閃的兩個(gè)字：資產(chǎn)。比如，F(xiàn)acebook上市時(shí)，評(píng)估機(jī)構(gòu)評(píng)定的有效資產(chǎn)中大部份都是其社交網(wǎng)站上的數(shù)據(jù)。

如果把大數(shù)據(jù)比作1種產(chǎn)業(yè)，那末這類產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

Target 超市以20多種懷孕期間孕婦可能會(huì)購(gòu)買的商品為基礎(chǔ)，將所有用戶的購(gòu)買記錄作為數(shù)據(jù)來(lái)源，通過(guò)構(gòu)建模型分析購(gòu)買者的行動(dòng)相干性，能準(zhǔn)確的推斷出孕婦的具體臨盆時(shí)間，這樣Target的銷售部門就能夠有針對(duì)的在每一個(gè)懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷。

Target的例子是1個(gè)很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過(guò)的1個(gè)很有指點(diǎn)意義的觀點(diǎn)：通過(guò)找出1個(gè)關(guān)聯(lián)物并監(jiān)控它，就能夠預(yù)測(cè)未來(lái)。Target通過(guò)監(jiān)測(cè)購(gòu)買者購(gòu)買商品的時(shí)間和品種來(lái)準(zhǔn)確預(yù)測(cè)顧客的孕期，這就是對(duì)數(shù)據(jù)的2次利用的典型案例。如果，我們通過(guò)收集駕駛員手機(jī)的GPS數(shù)據(jù)，就能夠分析出當(dāng)前哪些道路正在堵車，并可和時(shí)發(fā)布道路交通提示；通過(guò)收集汽車的GPS位置數(shù)據(jù)，就能夠分析城市的哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)合適賣給廣告投放商。

不管大數(shù)據(jù)的核心價(jià)值是否是預(yù)測(cè)，但是基于大數(shù)據(jù)構(gòu)成決策的模式已為很多的企業(yè)帶來(lái)了盈利和名譽(yù)。

從大數(shù)據(jù)的價(jià)值鏈條來(lái)分析，存在3種模式：

1- 手握大數(shù)據(jù)，但是沒(méi)有益用好；比較典型的是金融機(jī)構(gòu)，電信行業(yè)，政府機(jī)構(gòu)等。

2- 沒(méi)有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢和服務(wù)企業(yè)，比如，埃森哲，IBM，Oracle等。

3- 既有數(shù)據(jù)，又有大數(shù)據(jù)思惟；比較典型的是Google，Amazon，Mastercard等。

未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物：1-具有大數(shù)據(jù)思惟的人，這類人可以將大數(shù)據(jù)的潛伏價(jià)值轉(zhuǎn)化為實(shí)際利益；2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。這些是還未被發(fā)掘的油井，金礦，是所謂的藍(lán)海。

Wal-Mart作為零售行業(yè)的巨頭，他們的分析人員會(huì)對(duì)每一個(gè)階段的銷售記錄進(jìn)行了全面的分析，有1次他們無(wú)意中發(fā)現(xiàn)雖不相干但很有價(jià)值的數(shù)據(jù)，在美國(guó)的颶風(fēng)來(lái)臨季節(jié)，超市的蛋撻和抵抗颶風(fēng)物品居然銷量都有大幅增加，因而他們做了1個(gè)明智決策，就是將蛋撻的銷售位置移到了颶風(fēng)物品銷售區(qū)域旁邊，看起來(lái)是為了方便用戶挑選，但是沒(méi)有想到蛋撻的銷量因此又提高了很多。

還有1個(gè)有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進(jìn)行例常的“逐日軍情匯報(bào)”，由值班顧問(wèn)讀出下屬各個(gè)縱隊(duì)、師、團(tuán)用電臺(tái)報(bào)告確當(dāng)日戰(zhàn)況和緝獲情況。那幾近是重復(fù)著千篇1律枯燥無(wú)味的數(shù)據(jù)：每支部隊(duì)殲敵多少、俘虜多少;緝獲的火炮、車輛多少，槍枝、物質(zhì)多少……有1天，顧問(wèn)照例匯報(bào)當(dāng)日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個(gè)戰(zhàn)役的緝獲，你們聽(tīng)到了嗎?”大家都很茫然，由于如此戰(zhàn)役每天都有幾10起，不都是差不多1模1樣的枯燥數(shù)字嗎?林彪掃視1周，見(jiàn)無(wú)人回答，便接連問(wèn)了3句：“為何那里緝獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)役略高?”“為何那里緝獲和擊毀的小車與大車的比例比其它戰(zhàn)役略高?”“為何在那里俘虜和擊斃的軍官與兵士的比例比其它戰(zhàn)役略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個(gè)點(diǎn)說(shuō)：“我料想，不，我判定!敵人的指揮所就在這里!”果然，部隊(duì)很快就捉住了敵方的指揮官廖耀湘，并獲得這場(chǎng)重要戰(zhàn)役的成功。

這些例子真實(shí)的反應(yīng)在各行各業(yè)，探求數(shù)據(jù)價(jià)值取決于掌控?cái)?shù)據(jù)的人，關(guān)鍵是人的數(shù)據(jù)思惟；與其說(shuō)是大數(shù)據(jù)創(chuàng)造了價(jià)值，不如說(shuō)是大數(shù)據(jù)思惟觸發(fā)了新的價(jià)值增長(zhǎng)。

? 現(xiàn)在和未來(lái)

我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：

• 大數(shù)據(jù)幫助政府實(shí)現(xiàn)市場(chǎng)經(jīng)濟(jì)調(diào)控、公共衛(wèi)生安全防范、災(zāi)害預(yù)警、社會(huì)輿論監(jiān)督；
• 大數(shù)據(jù)幫助城市預(yù)防犯法，實(shí)現(xiàn)智慧交通，提升緊急應(yīng)急能力；
• 大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物；
• 大數(shù)據(jù)幫助航空公司節(jié)省運(yùn)營(yíng)本錢，幫助電信企業(yè)實(shí)現(xiàn)售后服務(wù)質(zhì)量提升，幫助保險(xiǎn)企業(yè)辨認(rèn)訛詐騙保行動(dòng)，幫助快遞公司監(jiān)測(cè)分析運(yùn)輸車輛的故障險(xiǎn)情以提早預(yù)警維修，幫助電力公司有效辨認(rèn)預(yù)警行將產(chǎn)生故障的裝備；
• 大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游線路，幫助2手市場(chǎng)的買賣雙方找到最適合的交易目標(biāo)，幫助用戶找到最適合的商品購(gòu)買時(shí)期、商家和最優(yōu)惠價(jià)格；
• 大數(shù)據(jù)幫助企業(yè)提升營(yíng)銷的針對(duì)性，下降物流和庫(kù)存的本錢，減少投資的風(fēng)險(xiǎn)，和幫助企業(yè)提升廣告投放精準(zhǔn)度；
• 大數(shù)據(jù)幫助文娛行業(yè)預(yù)測(cè)歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評(píng)估拍1部電影需要投入多少錢才最適合，否則就有可能收不回本錢；
• 大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶提供更精準(zhǔn)的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲和合適購(gòu)買的商品。

其實(shí)，這些還遠(yuǎn)遠(yuǎn)不夠，未來(lái)大數(shù)據(jù)的身影應(yīng)當(dāng)無(wú)處不在，就算沒(méi)法準(zhǔn)確預(yù)測(cè)大數(shù)據(jù)終會(huì)將人類社會(huì)帶往到哪一種終究形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒(méi)地球的每個(gè)角落。

比如，Amazon的終究期望是：“最成功的書(shū)籍推薦應(yīng)當(dāng)只有1本書(shū)，就是用戶要買的下1本書(shū)。”

Google也希望當(dāng)用戶在搜索時(shí)，最好的體驗(yàn)是搜索結(jié)果只包括用戶所需要的內(nèi)容，而這其實(shí)不需要用戶給予Google太多的提示。

而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)1定范圍時(shí)，借助條形碼、2維碼、RFID等能夠唯1標(biāo)識(shí)產(chǎn)品，傳感器、可穿著裝備、智能感知、視頻收集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息收集和分析，這些數(shù)據(jù)能夠支持智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的收集數(shù)據(jù)來(lái)源和服務(wù)范圍。

未來(lái)的大數(shù)據(jù)除將更好的解決社會(huì)問(wèn)題，商業(yè)營(yíng)銷問(wèn)題，科學(xué)技術(shù)問(wèn)題，還有1個(gè)可預(yù)感的趨勢(shì)是以人為本的大數(shù)據(jù)方針。人材是地球的主宰，大部份的數(shù)據(jù)都與人類有關(guān)，要通過(guò)大數(shù)據(jù)解決人的問(wèn)題。

比如，建立個(gè)人的數(shù)據(jù)中心，將每一個(gè)人的平常生活習(xí)慣，身體體征，社會(huì)網(wǎng)絡(luò)，知識(shí)能力，愛(ài)好性情，疾病嗜好，情緒波動(dòng)……換言之就是記錄人從誕生那1刻起的每分每秒，將除思惟外的1切都貯存下來(lái)，這些數(shù)據(jù)可以被充分的利用：

• 醫(yī)療機(jī)構(gòu)將實(shí)時(shí)的監(jiān)測(cè)用戶的身體健康狀態(tài)；
• 教育機(jī)構(gòu)更有針對(duì)的制定用戶喜歡的教育培訓(xùn)計(jì)劃；
• 服務(wù)行業(yè)為用戶提供即時(shí)健康的符適用戶生活習(xí)慣的食品和其它服務(wù)；
• 社交網(wǎng)絡(luò)能為你提供適合的交友對(duì)象，并為志同道合的人群組織各種集會(huì)活動(dòng)；
• 政府能在用戶的心理健康出現(xiàn)問(wèn)題時(shí)有效的干預(yù)，防范自殺，刑事案件的產(chǎn)生；
• 金融機(jī)構(gòu)能幫助用戶進(jìn)行有效的理財(cái)管理，為用戶的資金提供更有效的使用建議和計(jì)劃；
• 道路交通、汽車租賃及運(yùn)輸行業(yè)可以為用戶提供更適合的出行線路和路途服務(wù)安排；

……

固然，上面的1切看起來(lái)都很美好，但是不是是以犧牲了用戶的自由為條件呢？只能說(shuō)當(dāng)新鮮事物帶來(lái)了革新的同時(shí)也一樣帶來(lái)了“病菌”。比如，在手機(jī)未普及前，大家喜歡聚在1起聊天，自從手機(jī)普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在1起也能夠隨時(shí)隨地的聊天，只是“病菌”滋生了另外1種情形，大家漸漸習(xí)慣了和手機(jī)共渡時(shí)光，人與人之間情感交換恍如永久隔著1張“網(wǎng)”。

? 大數(shù)據(jù)隱私

你也許其實(shí)不敏感，當(dāng)你在不同的網(wǎng)站上注冊(cè)了個(gè)人信息后，可能這些信息已被分散出去了，當(dāng)你稀里糊涂的接到各種郵件，電話，短信的滋擾時(shí)，你不會(huì)想到自己的電話號(hào)碼，郵箱，生日，購(gòu)買記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機(jī)構(gòu)非法存儲(chǔ)或賤賣給其它任何有需要的企業(yè)或個(gè)人了。

更可怕的是，這些信息你永久沒(méi)法刪除，它們永久存在于互聯(lián)網(wǎng)的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價(jià)太大了。

用戶隱私問(wèn)題1直是大數(shù)據(jù)利用難以繞開(kāi)的1個(gè)問(wèn)題，如被央視暴光過(guò)的分眾無(wú)線、羅維鄧白氏和網(wǎng)易郵箱都觸及侵犯用戶隱私。目前，中國(guó)并沒(méi)有專門的法律法規(guī)來(lái)界定用戶隱私，處理相干問(wèn)題時(shí)多采取其他相干法規(guī)條例來(lái)解釋。但隨著民眾隱私意識(shí)的日趨增強(qiáng)，合法合規(guī)地獲得數(shù)據(jù)、分析數(shù)據(jù)和利用數(shù)據(jù)，是進(jìn)行大數(shù)據(jù)分析時(shí)必須遵守的原則。

說(shuō)到隱私被侵犯，愛(ài)德華?斯諾登應(yīng)當(dāng)占據(jù)1席之地，這位前美國(guó)中央情報(bào)局（CIA）雇員1手引爆了美國(guó)“棱鏡計(jì)劃”（PRISM）的內(nèi)幕消息。“棱鏡”項(xiàng)目是1項(xiàng)由美國(guó)國(guó)家安全局（NSA）自2007年起開(kāi)始實(shí)行的絕密電子監(jiān)聽(tīng)計(jì)劃，年耗資近2000億美元，用于監(jiān)聽(tīng)全美電話通話記錄，據(jù)稱還可使情報(bào)人員通過(guò)“后門”進(jìn)入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國(guó)在線、Skype、YouTube、蘋果。這個(gè)事件引發(fā)了人們對(duì)政府使用大數(shù)據(jù)時(shí)對(duì)公民隱私侵犯的擔(dān)心。

再看看我們身旁，當(dāng)微博，微信，QQ空間這些社交平臺(tái)肆意的吞噬著數(shù)億用戶的各種信息時(shí)，你就不要期望你還有隱私權(quán)了，就算你在某個(gè)地方刪除，但或許這些信息已被其他人轉(zhuǎn)載或保存了，更有可能已被百度或Google存為快照，早就提供給任意用戶搜索了。
因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無(wú)底線的數(shù)字化，這類大數(shù)據(jù)和個(gè)體之間的博弈還會(huì)1直繼續(xù)下去……

專家給予了我們1些如何有效保護(hù)大數(shù)據(jù)背景下隱私權(quán)的建議：1-減少信息的數(shù)字化；2-隱私權(quán)立法；3-數(shù)字隱私權(quán)基礎(chǔ)設(shè)施（類似DRM數(shù)字版權(quán)管理）；4-人類改變認(rèn)知（接受疏忽過(guò)去）；5-創(chuàng)造良性的信息生態(tài)；6-語(yǔ)境化。

但是這些都很難立即見(jiàn)效或有實(shí)質(zhì)性的改良。

比如，現(xiàn)在有1種職業(yè)叫刪帖人，專門負(fù)責(zé)幫人到各大網(wǎng)站刪帖，刪除評(píng)論。其實(shí)這些人就是通過(guò)黑客技術(shù)侵入各大網(wǎng)站，破獲管理員的密碼然落后行手工定向刪除。只不過(guò)他們保護(hù)的不是客戶的隱私，而大多是丑聞。還有1種職業(yè)叫人肉專家，他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到1個(gè)與他們根本就無(wú)關(guān)系用戶的任意信息。這是很可怕的事情，也就是說(shuō)，如果有人想找到你，只需要兩個(gè)條件：1-你上過(guò)網(wǎng)，留下過(guò)痕跡；2-你的親朋好友或僅僅是認(rèn)識(shí)你的人上過(guò)網(wǎng)，留下過(guò)你的痕跡。這兩個(gè)條件滿足其1，人肉專家就能夠很輕松的找到你，可能還知道你現(xiàn)在正在某個(gè)餐廳和誰(shuí)1起共進(jìn)晚飯。

當(dāng)很多互聯(lián)網(wǎng)企業(yè)意想到隱私對(duì)用戶的重要性時(shí)，為了繼續(xù)得到用戶的信任，他們采取了很多辦法，比如google許諾僅保存用戶的搜索記錄9個(gè)月，閱讀器廠商提供了無(wú)痕沖浪模式，社交網(wǎng)站謝絕公共搜索引擎的爬蟲(chóng)進(jìn)入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。

在這類復(fù)雜的環(huán)境里面，很多人仍然沒(méi)有建立對(duì)信息隱私的保護(hù)意識(shí)，讓自己1直處于被滋擾，被精心設(shè)計(jì)，被利用，被監(jiān)視的處境中。可是，我們能做的幾近微不足道，由于個(gè)人隱私數(shù)據(jù)已沒(méi)法由我們自己掌控了，就像1首詩(shī)里說(shuō)到的：“如果你現(xiàn)在繼續(xù)麻痹，那就別期望這麻痹能抵擋得住被”扒光”那1刻的驚駭和失望……”

 和大數(shù)據(jù)相干的技術(shù)

? 云技術(shù)

大數(shù)據(jù)常和云計(jì)算聯(lián)系到1起，由于實(shí)時(shí)的大型數(shù)據(jù)集分析需要散布式處理框架來(lái)向數(shù)10、數(shù)百或乃至數(shù)萬(wàn)的電腦分配工作。可以說(shuō)，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。

云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為1種像水和電1樣的公用事業(yè)提供給用戶。

如今，在Google、Amazon、Facebook等1批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，1種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)利用運(yùn)行在這個(gè)平臺(tái)上。

業(yè)內(nèi)是這么形容二者的關(guān)系：沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那末大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？

這里暫且羅列1些，比如虛擬化技術(shù)，散布式處理技術(shù)，海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù)，NoSQL、實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)（類似模式辨認(rèn)和自然語(yǔ)言理解）等。

云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的1張圖來(lái)講明，二者之間結(jié)合后會(huì)產(chǎn)生以下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過(guò)云計(jì)算技術(shù)的不斷發(fā)展下降大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新本錢。

如果將云計(jì)算與大數(shù)據(jù)進(jìn)行1些比較，最明顯的辨別在兩個(gè)方面：

第1，在概念上二者有所不同，云計(jì)算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。但是大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營(yíng)。

第2，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是CIO等關(guān)心的技術(shù)層，是1個(gè)進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。

? 散布式處理技術(shù)

散布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或具有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通訊網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)1管理控制下，調(diào)和地完成信息處理任務(wù)—這就是散布式處理系統(tǒng)的定義。

以Hadoop（Yahoo）為例進(jìn)行說(shuō)明，Hadoop是1個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行散布式處理的軟件框架，是以1種可靠、高效、可伸縮的方式進(jìn)行處理的。

而MapReduce是Google提出的1種云計(jì)算的核心計(jì)算模式，是1種散布式運(yùn)算技術(shù)，也是簡(jiǎn)化的散布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要履行的問(wèn)題（例如程序）拆解成map（映照）和reduce（化簡(jiǎn)）的方式， 在數(shù)據(jù)被分割后通過(guò)Map 函數(shù)的程序?qū)?shù)據(jù)映照成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理到達(dá)散布式運(yùn)算的效果，在通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。

再來(lái)看看Hadoop的特性，第1，它是可靠的，由于它假定計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它保護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新散布處理。其次，Hadoop 是高效的，由于它以并行的方式工作，通過(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。另外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的本錢比較低，任何人都可使用。

你也能夠這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相干）+Hbase（數(shù)據(jù)庫(kù)）+MapReduce（數(shù)據(jù)處理）+……Others

Hadoop用到的1些技術(shù)有：

• HDFS: Hadoop散布式文件系統(tǒng)(Distributed File System) － HDFS (HadoopDistributed File System)
• MapReduce：并行計(jì)算框架
• HBase: 類似Google BigTable的散布式NoSQL列數(shù)據(jù)庫(kù)。
• Hive：數(shù)據(jù)倉(cāng)庫(kù)工具，由Facebook貢獻(xiàn)。
• Zookeeper：散布式鎖設(shè)施，提供類似Google Chubby的功能，由Facebook貢獻(xiàn)。
• Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐漸取代Hadoop原本的IPC機(jī)制。
• Pig:大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口。
• Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。
• Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。

說(shuō)了這么多，舉個(gè)實(shí)際的例子，雖然這個(gè)例子有些陳腐，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對(duì)大數(shù)據(jù)的運(yùn)作處理機(jī)制:

如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為5個(gè)層次，從上至下來(lái)看它們分別是：數(shù)據(jù)源，計(jì)算層，存儲(chǔ)層，查詢層和產(chǎn)品層。

數(shù)據(jù)來(lái)源層。寄存著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過(guò)DataX，DbSync和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)较旅娴?點(diǎn)所述的“云梯”。
計(jì)算層。在這個(gè)計(jì)算層內(nèi)，淘寶采取的是Hadoop集群，這個(gè)集群，我們暫且稱之為云梯，是計(jì)算層的主要組成部份。在云梯上，系統(tǒng)每天會(huì)對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算。
存儲(chǔ)層。在這1層，淘寶采取了兩個(gè)東西，1個(gè)使MyFox，1個(gè)是Prom。MyFox是基于MySQL的散布式關(guān)系型數(shù)據(jù)庫(kù)的集群，Prom是基于Hadoop Hbase技術(shù)的1個(gè)NoSQL的存儲(chǔ)集群。
查詢層。在這1層中，Glider是以HTTP協(xié)議對(duì)外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過(guò)1個(gè)唯1的URL來(lái)獲得到它想要的數(shù)據(jù)。同時(shí)，數(shù)據(jù)查詢即是通過(guò)MyFox來(lái)查詢的。

最后1層是產(chǎn)品層，這個(gè)就不用解釋了。

? 存儲(chǔ)技術(shù)

大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這二者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支持大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)大至PB乃至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái)；大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。

提到存儲(chǔ)，有1個(gè)著名的摩爾定律相信大家都聽(tīng)過(guò)：18個(gè)月集成電路的復(fù)雜性就增加1倍。所以，存儲(chǔ)器的本錢大約每18⑵4個(gè)月就降落1半。本錢的不斷降落也造就了大數(shù)據(jù)的可存儲(chǔ)性。

比如，Google大約管理著超過(guò)50萬(wàn)臺(tái)服務(wù)器和100萬(wàn)塊硬盤，而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力，其中很多的擴(kuò)大都是基于在便宜服務(wù)器和普通存儲(chǔ)硬盤的基礎(chǔ)上進(jìn)行的，這大大下降了其服務(wù)本錢，因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。

以Amazon舉例，Amazon S3 是1種面向 Internet 的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開(kāi)發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)范圍計(jì)算。Amazon S3 提供1個(gè)簡(jiǎn)明的 Web 服務(wù)界面，用戶可通過(guò)它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。 此服務(wù)讓所有開(kāi)發(fā)人員都能訪問(wèn)同1個(gè)具有高擴(kuò)大性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施，Amazon 用它來(lái)運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。再看看S3的設(shè)計(jì)指標(biāo)：在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。

S3很成功也確切卓有成效，S3云的存儲(chǔ)對(duì)象已到達(dá)萬(wàn)億級(jí)別，而且性能表現(xiàn)相當(dāng)良好。S3云已擁萬(wàn)億跨地域存儲(chǔ)對(duì)象，同時(shí)AWS的對(duì)象履行要求也到達(dá)百萬(wàn)的峰值數(shù)量。目前全球范圍內(nèi)已有數(shù)以10萬(wàn)計(jì)的企業(yè)在通過(guò)AWS運(yùn)行自己的全部或部份平常業(yè)務(wù)。這些企業(yè)用戶遍及190多個(gè)國(guó)家，幾近世界上的每一個(gè)角落都有Amazon用戶的身影。

? 感知技術(shù)

大數(shù)據(jù)的收集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋辨認(rèn)技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升一樣是物聯(lián)網(wǎng)發(fā)展的基石。全球的工業(yè)裝備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)丈量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物資的變化，都會(huì)產(chǎn)生海量的數(shù)據(jù)信息。

而隨著智能手機(jī)的普及，感知技術(shù)可謂迎來(lái)了發(fā)展的高峰期，除地理位置信息被廣泛的利用外，1些新的感知手段也開(kāi)始登上舞臺(tái)，比如，最新的”iPhone 5S”在home鍵內(nèi)嵌指紋傳感器，新型手機(jī)可通過(guò)呼氣直接檢測(cè)燃燒脂肪量，用于手機(jī)的嗅覺(jué)傳感器面世可以監(jiān)測(cè)從空氣污染到危險(xiǎn)的化學(xué)藥品，微軟正在研發(fā)可感知用戶當(dāng)前心情智能手機(jī)技術(shù)，谷歌眼鏡InSight新技術(shù)可通過(guò)穿著進(jìn)行人物辨認(rèn)。

除此以外，還有很多與感知相干的技術(shù)革新讓我們線人1新：比如，牙齒傳感器實(shí)時(shí)監(jiān)控口腔活動(dòng)及飲食狀態(tài)，嬰兒穿著裝備可用大數(shù)據(jù)去養(yǎng)育寶寶，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開(kāi)發(fā)新型可監(jiān)控用戶心率的紡織材料，業(yè)界正在嘗試將生物測(cè)定技術(shù)引入支付領(lǐng)域等。

其實(shí)，這些感知被逐步捕獲的進(jìn)程就是就世界被數(shù)據(jù)化的進(jìn)程，1旦世界被完全數(shù)據(jù)化了，那末世界的本質(zhì)也就是信息了。

就像1句名言所說(shuō)，“人類之前延續(xù)的是文明，現(xiàn)在傳承的是信息。”

大數(shù)據(jù)的實(shí)踐

? 互聯(lián)網(wǎng)的大數(shù)據(jù)

互聯(lián)網(wǎng)上的數(shù)據(jù)每一年增長(zhǎng)50%，每?jī)赡瓯銓⒎?番，而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。據(jù)IDC預(yù)測(cè)，到2020年全球?qū)⒖偣簿哂?5ZB的數(shù)據(jù)量。互聯(lián)網(wǎng)是大數(shù)據(jù)發(fā)展的前哨陣地，隨著WEB2.0時(shí)期的發(fā)展，人們似乎都習(xí)慣了將自己的生活通過(guò)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)化，方便分享和記錄并回想。

互聯(lián)網(wǎng)上的大數(shù)據(jù)很難清晰的界定分類界限，我們先看看BAT的大數(shù)據(jù)：

百度具有兩種類型的大數(shù)據(jù)：用戶搜索表征的需求數(shù)據(jù)；爬蟲(chóng)和阿拉丁獲得的公共web數(shù)據(jù)。搜索巨頭百度圍繞數(shù)據(jù)而生。它對(duì)網(wǎng)頁(yè)數(shù)據(jù)的爬取、網(wǎng)頁(yè)內(nèi)容的組織和解析，通過(guò)語(yǔ)義分析對(duì)搜索需求的精準(zhǔn)理解進(jìn)而從海量數(shù)據(jù)中找準(zhǔn)結(jié)果，和精準(zhǔn)的搜索引擎關(guān)鍵字廣告，實(shí)質(zhì)上就是1個(gè)數(shù)據(jù)的獲得、組織、分析和發(fā)掘的進(jìn)程。搜索引擎在大數(shù)據(jù)時(shí)期面臨的挑戰(zhàn)有：更多的暗網(wǎng)數(shù)據(jù)；更多的WEB化但是沒(méi)有結(jié)構(gòu)化的數(shù)據(jù)；更多的WEB化、結(jié)構(gòu)化但是封閉的數(shù)據(jù)。

阿里巴巴具有交易數(shù)據(jù)和信譽(yù)數(shù)據(jù)。這兩種數(shù)據(jù)更容易變現(xiàn)，發(fā)掘出商業(yè)價(jià)值。除此以外阿里巴巴還通過(guò)投資等方