您當前位置：首頁 > 互聯(lián)網(wǎng) > 騰訊自曝：大數(shù)據(jù)平臺的秘密

騰訊自曝：大數(shù)據(jù)平臺的秘密

來源：程序員人生發(fā)布時間：2014-09-29 08:00:01 閱讀次數(shù)：3529次

【編者按】只看用戶數(shù)量和產(chǎn)品數(shù)量，我們就不難猜測騰訊每天需要處理非常大的數(shù)據(jù)，而在這個首次對外開放的商業(yè)智能日上，通過騰訊的分享，我們了解了這個數(shù)據(jù)究竟有多大：從業(yè)務(wù)的角度，總記錄達到375萬億條，日接入5千億條，覆蓋移動設(shè)備數(shù)7.7億；從平臺的角度，騰訊數(shù)據(jù)平臺設(shè)備8400臺，單集群5600臺，總存儲100PB+；日新增數(shù)據(jù)200TB+，月數(shù)據(jù)增長率10%，日均JOB數(shù)100萬，日均計算量5PB。下面我們一起看BLUES的報道。

以下為原文：

大數(shù)據(jù)，這個詞越來越熱，很多人都在談大數(shù)據(jù)，其實很多張口閉口大數(shù)據(jù)的人，或許都不知道數(shù)據(jù)是如何產(chǎn)生、傳遞、存儲、運算到應用。有段時間，看到一些大數(shù)據(jù)文章，就感覺純屬湊熱鬧，小數(shù)據(jù)都沒搞明白，成天扯大數(shù)據(jù)。大數(shù)據(jù)，真的不是普通公司可以做的。

早上9點開始到晚上18點，7個小時，都是關(guān)于數(shù)據(jù)的演講，騰訊、華為、京東、大眾點評等公司的數(shù)據(jù)專家分別講述各自的數(shù)據(jù)理論與實踐，當天簡直是信息爆炸，我用手機拍下200多張PPT，即使原來對數(shù)據(jù)有些研究，對騰訊數(shù)據(jù)平臺也比較了解，要整理出來和大家分享，也需要一些時間消化整理。

曾經(jīng)是騰訊內(nèi)部舉辦的商業(yè)智能日，如今走向開放。

騰訊數(shù)據(jù)平臺的思路，早已熟悉，這次算復習，再次感受騰訊數(shù)據(jù)平臺的成長，技術(shù)性已經(jīng)是領(lǐng)先水平，在產(chǎn)品與業(yè)務(wù)發(fā)展的指導與支撐并轉(zhuǎn)化為生產(chǎn)力方面，仍有非常大的想象空間。

當天幾家公司的大數(shù)據(jù)應用，相對局限于個性化推薦，例如廣告精準投放、推薦商品、推薦用戶、推薦應用等等。或許，國內(nèi)的大數(shù)據(jù)應用由于商業(yè)公司功利性的限制，當天幾家演講的公司，大數(shù)據(jù)的商業(yè)化目標明確，而精準個性推薦是其中最有效的手段。

騰訊大數(shù)據(jù)現(xiàn)狀

IBM將“大數(shù)據(jù)”理念定義為4個V：大量化（Volume）、多樣化（Variety）、快速化（Velocity）以及產(chǎn)生的價值（Value）。我們可以從這幾個方面一起看看騰訊大數(shù)據(jù)現(xiàn)狀。

從業(yè)務(wù)角度

騰訊數(shù)據(jù)真的夠大。騰訊數(shù)據(jù)平臺自研的TDW替換了商業(yè)數(shù)據(jù)庫，實現(xiàn)公司級數(shù)據(jù)集中存儲，總記錄達到375萬億條，日接入5千億條，覆蓋移動設(shè)備數(shù)7.7億。

從平臺角度看

騰訊數(shù)據(jù)平臺設(shè)備8400臺，單集群5600臺，總存儲100PB+；日新增數(shù)據(jù)200TB+，月數(shù)據(jù)增長率10%，日均JOB數(shù)100萬，日均計算量5PB，量夠大，速度也夠快。

從用戶角度看

這里的用戶，指的是騰訊內(nèi)部員工。騰訊員工2萬多人，騰訊數(shù)據(jù)門戶的月活躍是2500左右，也就是說訪問騰訊數(shù)據(jù)門戶的人占比公司10%+；每月處理數(shù)據(jù)提取分析的任務(wù)數(shù)是1萬個，如果訪問者每人都會提數(shù)據(jù)任務(wù)，平均就是一個人提4個左右的分析提取任務(wù)；用戶畫像分析任務(wù)為1.2萬，可以看出騰訊對用戶畫像的重視程度。

騰訊大數(shù)據(jù)的多樣性

下面的圖，騰訊數(shù)據(jù)平臺已經(jīng)接入100多個產(chǎn)品的各類數(shù)據(jù)，例如：用戶行為、賬號屬性、收入數(shù)據(jù)等等。

騰訊數(shù)據(jù)平臺產(chǎn)品架構(gòu)

騰訊數(shù)據(jù)平臺從五個方面進行產(chǎn)品設(shè)計，分別是：數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析、數(shù)據(jù)可視化、數(shù)據(jù)挖掘。

這也是我曾經(jīng)在騰訊、YY語做過的數(shù)據(jù)產(chǎn)品運營工作的主線，五個方面分別通過各種數(shù)據(jù)產(chǎn)品落地，為公司內(nèi)部產(chǎn)品策劃、產(chǎn)品運營、產(chǎn)品營收、客服、財務(wù)等提供數(shù)據(jù)支撐。

騰訊業(yè)務(wù)平臺與數(shù)據(jù)服務(wù)

下面這張圖非常清晰的闡明了騰訊數(shù)據(jù)平臺的數(shù)據(jù)服務(wù)與業(yè)務(wù)平臺的關(guān)系。數(shù)據(jù)服務(wù)的核心是分布式存儲、實時計算（TRC）、離線計算（TDW），以數(shù)據(jù)產(chǎn)品的方式對外呈現(xiàn)于應用，業(yè)務(wù)平臺則考慮用戶接入、業(yè)務(wù)邏輯、關(guān)系型存儲的工作。