圣何塞Hadoop Summit 2014看點(diǎn)

在數(shù)據(jù)為王的時代，數(shù)據(jù)挖掘能力已成為衡量企業(yè)競爭力的重要指標(biāo)之一。如何利用好通用大數(shù)據(jù)平臺Hadoop，如何選擇一款適合企業(yè)業(yè)務(wù)的Hadoop發(fā)行版也毫無疑問成為了企業(yè)的必備技能。在這個成本高昂的探索過程中，大數(shù)據(jù)行業(yè)內(nèi)各個頂級盛會無疑就成為了各個機(jī)構(gòu)一個重要的認(rèn)知和學(xué)習(xí)途徑。在這里，我們一起走進(jìn)Hadoop Summit 2014。

2014年Hadoop峰會于6月3日至5日在美國圣何塞舉行，會議匯聚了Hortonworks、Cloudera、MapR、Gartner、微軟、AT&T、Teradata、Red Hat、Yahoo!、SAP等眾多知名機(jī)構(gòu)，從技術(shù)與實(shí)踐的角度描繪了圍繞大數(shù)據(jù)處理的整個Hadoop生態(tài)圈。

Hadoop市場態(tài)勢

Allied Market Research調(diào)查報告顯示，2013至2020，全球Hadoop市場份額將以58.2%的復(fù)合年增長率，從20億美元增長至502億美元，增長幅度超25倍。其中大數(shù)據(jù)分析需求是整個Hadoop市場的主要驅(qū)動力，也吸引了眾多IT淘金者參與。縱觀本次Hadoop峰會，筆者盤點(diǎn)了3個代表性事件，這里給大家分享。

1. IT傳統(tǒng)巨頭和新貴聯(lián)合，Hadoop生態(tài)圈烽火再燃

微軟SQL Server市場推廣總經(jīng)理Eron Kelly與Hortonworks戰(zhàn)略營銷副總裁John Kreisa宣布了微軟與Hortonworks的合作關(guān)系，并表示微軟將與Hortonworks一起打造用戶熟悉的Hadoop數(shù)據(jù)處理工具。

Kelly表示，在數(shù)據(jù)解決方案不停演變的過程中，微軟一直追求著利用Windows工具實(shí)現(xiàn)數(shù)據(jù)訪問，旨在降低解決方案中的專有特性。在專有與Hadoop之間，微軟選擇了Hadoop并與Hortonworks合作。

Kreisa同樣贊成了微軟期望使用Excel就可以處理大數(shù)據(jù)的愿景，愿意與微軟一起將Hadoop這項(xiàng)技術(shù)帶入主流的IT市場。

2.傳統(tǒng)行業(yè)駐足，Hadoop生態(tài)圈活力倍增

Hadoop峰會期間，Hortonworks主持召開了一個分析師會議，旨在聽取他們的實(shí)踐經(jīng)驗(yàn)，在這個會議上，讓他們驚訝的是一些老牌公司已經(jīng)擁抱了Hadoop。

• British Gas是一個250年歷史的老牌公司，他們正在給百萬家庭安裝智能電表
• TrueCar也在積極擁抱Hadoop，雖然他們并沒有任何Hadoop使用經(jīng)驗(yàn)和傳統(tǒng)
• 取代技術(shù)層面，Sprint的Hadoop之旅開始于業(yè)務(wù)和分析師，他們一起負(fù)責(zé)收集大量數(shù)據(jù)，找出可能的藝術(shù)

Hortonworks戰(zhàn)略副總裁Shaun Connelly指出，時代在變遷，市場在變化，在許多年前你根本不會想到IBM、Cisc、Sprint等公司會簽署支持開源平臺的協(xié)議。Hadoop的真正價值在于實(shí)踐以及將它作為推進(jìn)業(yè)務(wù)本身變革的工具，就像從British Gas朋友描述的愿景來猜測，你根本不可能想到這是一個燃?xì)夤尽?/span>

3. 一招鮮，吃遍天，Actian詮釋快的意義

Actian公司顧問兼阿姆斯特丹大學(xué)高級研究科學(xué)家Peter Boncz表示，成熟度并不是SQL的第一關(guān)注，將SQL/Hadoop解決方案作為組件添加到傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中的設(shè)計思路往往根本沒有考慮到分析型工作負(fù)載的具體要求，而Vortex恰恰彌補(bǔ)了這一點(diǎn)，它不僅是Hadoop基礎(chǔ)設(shè)施的原生組成部分，在遠(yuǎn)超于當(dāng)下系統(tǒng)的速度上，分流更新機(jī)制更避免了系統(tǒng)更新對底層HDFS的影響。

Hadoop生態(tài)圈的衍變

就像Hortonworks戰(zhàn)略副總裁Shaun所說，時代在變遷，市場在變化，在企業(yè)業(yè)務(wù)需求的刺激下，Hadoop生態(tài)圈也在不停的衍變，這里我們主要從Hadoop Summit 2014大會上展現(xiàn)的3個大變化入手。

1.  從技術(shù)到應(yīng)用，消除特定類型人才的依賴

歷經(jīng)數(shù)年的發(fā)展，各大解決方案供應(yīng)商已開始關(guān)注非技術(shù)人員的使用體驗(yàn)及挖掘數(shù)據(jù)的有效性。Pentaho公司指出，如今數(shù)據(jù)科學(xué)家需要把80%多的工作時間用在錯誤過濾、解決一致性以及兼容性處理上，當(dāng)下已經(jīng)有眾多解決方案提供商開始關(guān)注這個點(diǎn)，比如Pentaho和Talent。

除下進(jìn)一步提高平臺的生產(chǎn)力，消除技術(shù)方案對于特定類型人才的高度依賴也是亟待解決的問題之一，而Actian和Altoscale正是致力于此的兩家公司。前者致力于降低數(shù)據(jù)科學(xué)家在提取價值過程中所占的比重，后者則是致力解決非技術(shù)人員使用平臺的難度。

2.  安全挑戰(zhàn)，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸

Hadoop的發(fā)展一直受貨幣化、多競爭對手、技術(shù)差距、安全等眾多因素掣肘，數(shù)據(jù)安全無疑是最重要的一環(huán)。為了提供一個安全的數(shù)據(jù)傳輸環(huán)境，各個公司可謂是絞盡腦汁――Hortonworks收購安全初創(chuàng)公司XA Secure，Cloudera捕獲Gazzang。

WANdisco CTO Jagane Sundar指出，隨著機(jī)構(gòu)建立更多的數(shù)據(jù)中心，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸已成為必然趨勢，在高可用性保證之上，各個機(jī)構(gòu)還需要切實(shí)的保障用戶數(shù)據(jù)安全，WANdisco通過單HDFS和單點(diǎn)認(rèn)證解決。

3. 成果為王，敏捷、用戶體驗(yàn)必不可少

Teradata公司軟件業(yè)務(wù)高級副總裁Oliver Ratzesberger表示，企業(yè)需要掌握新型市場與新型客戶的實(shí)際需求，如果無法真正從數(shù)據(jù)及分析中獲取價值，所有的努力都是無用功。他認(rèn)為，在價值提取的過程中，敏捷是重中之重，如果無法在最短的時間內(nèi)得到切實(shí)、有效的信息，平臺將會被用戶拋棄。在被問及敏捷基礎(chǔ)設(shè)施打造時，Oliver表示， CIO是敏捷化的發(fā)起者，CMO，CEO，甚至董事會的決策至關(guān)重要。

頂級碰撞：Hortonworks vs. Cloudera

在會議上，WANdisco CTO Jagane曾指出，雖然Cloudera和Hortonworks是這個市場上兩個最強(qiáng)大的玩家，但是關(guān)注點(diǎn)的不同，注定這個領(lǐng)域會有兩個最大的贏家。其中Cloudera更關(guān)注企業(yè)本身，而Hortonworks更關(guān)注開源。同時，受歡迎的發(fā)行版也絕對不止是這兩家公司，上百公司的創(chuàng)新無疑讓Hadoop生態(tài)圈更加繁榮。

然而在市場的成熟、競爭白熱化的當(dāng)下，情況卻并非如此。在Hadoop Summit上，Cloudera宣布的收購一家專注于Hadoop安全事務(wù)的企業(yè)Gazzang無疑就是一次針尖對麥芒的戰(zhàn)略。

Wikibon分析師Jeff Kelly指出，兩個收購直指Hadoop業(yè)務(wù)重點(diǎn)所在，也就是企業(yè)級需求的滿足。一旦Hadoop運(yùn)行在敏感數(shù)據(jù)環(huán)境中，安全上所做的任何舉措都有可能是成敗的關(guān)鍵，而他們這么做只是為了抵消優(yōu)勢。

Kelly還表示，雖然未來有著502億美元的市場，但是新的大數(shù)據(jù)市場同樣極為殘酷，兩家公司最后的結(jié)局必然以收購或被收購結(jié)束。而在這個過程中，雙方持有的資金，與各個領(lǐng)域巨頭的合作將左右結(jié)果的發(fā)展。

寫在最后

在這個多金的市場，各個解決方案提供商可謂是“八仙過海，各顯神通”，白熱化的競爭確實(shí)描繪出了一個令人興奮的積極態(tài)勢，然而如果這個市場可以容納多個巨頭，那么更關(guān)注市場的需求和用戶的體驗(yàn)，未來似乎更加令人向往。（文/仲浩 審校/魏偉）

免費(fèi)訂閱“CSDN云計算”微信公眾號，實(shí)時掌握第一手云中消息！

CSDN作為國內(nèi)最專業(yè)的云計算服務(wù)平臺，提供云計算、大數(shù)據(jù)、虛擬化、數(shù)據(jù)中心、OpenStack、CloudStack、Hadoop、Spark、機(jī)器學(xué)習(xí)、智能算法等相關(guān)云計算觀點(diǎn)，云計算技術(shù)，云計算平臺，云計算實(shí)踐，云計算產(chǎn)業(yè)資訊等服務(wù)。

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈