2. 孫元浩：基于Spark引擎的高速內(nèi)存分析和挖掘工具應(yīng)用

孫元浩，2003年加入英特爾，曾是英特爾亞太研發(fā)有限公司數(shù)據(jù)中心軟件部亞太區(qū)CTO，負(fù)責(zé)英特爾Hadoop發(fā)行版的研發(fā)和產(chǎn)品化工作。 2013年離開(kāi)英特爾創(chuàng)辦星環(huán)科技，推出國(guó)內(nèi)首個(gè)基于Spark的大數(shù)據(jù)平臺(tái)產(chǎn)品，在中國(guó)成功建立數(shù)個(gè)Spark成功案例。

孫元浩認(rèn)為現(xiàn)在把Spark作為M/R執(zhí)行引擎內(nèi)嵌在我們的產(chǎn)品中，在兩大類(lèi)應(yīng)用實(shí)踐中比較成功，一類(lèi)是通過(guò)PL/SQL進(jìn)行交互式數(shù)據(jù)統(tǒng)計(jì)和分析，結(jié)合可視化工具為用戶(hù)提供了高速的大數(shù)據(jù)探索能力。另一類(lèi)應(yīng)用是做數(shù)據(jù)挖掘，因?yàn)镾park充分利用內(nèi)存進(jìn)行緩存，利用DAG消除不必要的步驟，所以比較合適做迭代式的運(yùn)算。而有相當(dāng)一部分機(jī)器學(xué)習(xí)算法是通過(guò)多次迭代收斂的算法，所以適合用Spark來(lái)實(shí)現(xiàn)。我們把一些常用的算法并行化用Spark實(shí)現(xiàn)，可以從R語(yǔ)言中方便地調(diào)用，降低了用戶(hù)進(jìn)行數(shù)據(jù)挖掘的學(xué)習(xí)成本。

他表示Spark目前在技術(shù)上已經(jīng)不存在大的困難了，我們已經(jīng)在一些用戶(hù)的核心業(yè)務(wù)系統(tǒng)中部署我們自己的Spark版本，而且是7x24小時(shí)不間斷運(yùn)行，穩(wěn)定性已得到驗(yàn)證。我們也把Spark成功地應(yīng)用到數(shù)據(jù)倉(cāng)庫(kù)中，無(wú)需編程幾乎全程可視化。如果說(shuō)目前面臨的最大困難，主要是在客戶(hù)認(rèn)知上，還需要更多的成功案例和技術(shù)推廣。

3. Redis大冒險(xiǎn)：如何跳出SQL這個(gè)坑

隨著數(shù)據(jù)體積的激增，MySQL+memcache已經(jīng)滿(mǎn)足不了大型互聯(lián)網(wǎng)類(lèi)應(yīng)用的需求，許多機(jī)構(gòu)也紛紛選擇Redis作為其架構(gòu)上的補(bǔ)充，然而Redis的使用門(mén)檻并不低，比如不支持SQL等，這里為大家分享Redis的使用全攻略。

Redis的一個(gè)重要特性就是它并非通常意義上的數(shù)據(jù)庫(kù)，雖然稱(chēng)之為數(shù)據(jù)庫(kù)是因?yàn)樗梢詾槟愦鎯?chǔ)和維護(hù)數(shù)據(jù)，但它并不像關(guān)系數(shù)據(jù)庫(kù)那樣提供任何的SQL方言。不過(guò)不用擔(dān)心，Redis并不是吞噬數(shù)據(jù)的黑洞，它只是不支持SQL及相關(guān)功能，但卻提供了穩(wěn)健的協(xié)議用于與之交互。

Redis是基于key-value范式存儲(chǔ)數(shù)據(jù)，不像RDBMS中的字段名稱(chēng)，這里的key是Redis中的重要組成部分，所以我們必須在處理key時(shí)多加小心。在下面的講述中，Redis并沒(méi)有table的概念，所以像"SELECT username from users WHERE user_id=123;"這種簡(jiǎn)單任務(wù)都只能換種方式實(shí)現(xiàn)，為了達(dá)到這種目的，在Redis上，一種方式是通過(guò)key "user:123:username"來(lái)獲取結(jié)果value。如你所見(jiàn)，key的定義中攜帶了神秘信息(像user ids)。在Redis中，key的重要性可見(jiàn)一斑。

4. 搭建高可用的MongoDB集群（上）：MongoDB的配置與副本集

NOSQL有以下優(yōu)勢(shì)：

• 大數(shù)據(jù)量，可以通過(guò)廉價(jià)服務(wù)器存儲(chǔ)大量的數(shù)據(jù)，輕松擺脫傳統(tǒng)mysql單表存儲(chǔ)量級(jí)限制。
• 高擴(kuò)展性，Nosql去掉了關(guān)系數(shù)據(jù)庫(kù)的關(guān)系型特性，很容易橫向擴(kuò)展，擺脫了以往老是縱向擴(kuò)展的詬病。
• 高性能，Nosql通過(guò)簡(jiǎn)單的key-value方式獲取數(shù)據(jù)，非常快速。還有NoSQL的Cache是記錄級(jí)的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來(lái)說(shuō)就要性能高很多。
• 靈活的數(shù)據(jù)模型，NoSQL無(wú)需事先為要存儲(chǔ)的數(shù)據(jù)建立字段，隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫(kù)里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡(jiǎn)直就是一個(gè)噩夢(mèng)。
• 高可用，NoSQL在不太影響性能的情況，就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如mongodb通過(guò)mongos、mongo分片就可以快速配置出高可用配置。

                   

MongoDB是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中最像關(guān)系數(shù)據(jù)庫(kù)的。支持類(lèi)似于面向?qū)ο蟮牟樵?xún)語(yǔ)言，幾乎可以實(shí)現(xiàn)類(lèi)似關(guān)系數(shù)據(jù)庫(kù)單表查詢(xún)的絕大部分功能，而且還支持對(duì)數(shù)據(jù)建立索引。所以這個(gè)非常方便，我們可以用sql操作MongoDB，從關(guān)系型數(shù)據(jù)庫(kù)遷移過(guò)來(lái)，開(kāi)發(fā)人員學(xué)習(xí)成本會(huì)大大減少。如果再對(duì)底層的sql API做一層封裝，開(kāi)發(fā)基本可以感覺(jué)不到mongodb和關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別。同樣MongoDB也是號(hào)稱(chēng)自己能夠快速搭建一個(gè)高可用可擴(kuò)展的分布式集群。

5. 軟硬件協(xié)同創(chuàng)新，共建未來(lái)數(shù)據(jù)中心

2014年3月26日，LSI加速技術(shù)創(chuàng)新峰會(huì)（AIS）首次登陸中國(guó)，這也是LSI首次選擇在美國(guó)之外的地區(qū)召開(kāi)峰會(huì)，本次峰會(huì)主題為“數(shù)據(jù)即商機(jī)”。參展的產(chǎn)品主要是針對(duì)數(shù)據(jù)中心的存儲(chǔ)解決方案，包括針對(duì)企業(yè)級(jí)大型數(shù)據(jù)中心的12 Gb/s SAS MegaRAID解決方案，針對(duì)中小企業(yè)的Syncro CS解決方案以及Nytro閃存解決方案，雖然沒(méi)有新品發(fā)布，每種解決方案對(duì)傳統(tǒng)存儲(chǔ)市場(chǎng)來(lái)說(shuō)都是一場(chǎng)變革。

LSI公司CTO辦公室高級(jí)技術(shù)專(zhuān)家Robert Ober則將其進(jìn)一步細(xì)化為數(shù)據(jù)中心三大硬件創(chuàng)新和六大趨勢(shì)，三大創(chuàng)新分別為：硬件的智能化、整個(gè)數(shù)據(jù)中心的可靠性以及大數(shù)據(jù)分析所需的分布式系統(tǒng)架構(gòu)。六大趨勢(shì)分別為：

• 數(shù)據(jù)中心開(kāi)發(fā)時(shí)間不斷縮短，大幅增加了硬件廠(chǎng)商制定和實(shí)施計(jì)劃的難度。
• 終端客戶(hù)尤其是大型數(shù)據(jù)中心客戶(hù)與硬件廠(chǎng)商直接對(duì)接。
• 超大規(guī)模數(shù)據(jù)中心或云數(shù)據(jù)中心等新參與者加入數(shù)據(jù)中心市場(chǎng)。
• 開(kāi)源計(jì)劃。Open Compute和Open Stack等新型開(kāi)源項(xiàng)目正在重新改寫(xiě)數(shù)據(jù)中心架構(gòu) 。
• 新架構(gòu)和新算法。
• 市場(chǎng)變化。筆記本在從HDD轉(zhuǎn)向SSD；云端存儲(chǔ)對(duì)大容量HDD的需求在急劇增長(zhǎng)等。