【云先鋒】訊之智RSBASE：實現(xiàn)PB級數(shù)據(jù)的實時查詢和分析平臺

大數(shù)據(jù)洶涌來襲，一個大規(guī)模生產(chǎn)、分享和應用數(shù)據(jù)的時代正在開啟。每個人，每個企業(yè)和機構(gòu)都同時是數(shù)據(jù)的制造者和消費者。高速增長是大數(shù)據(jù)的一個重要特征，每時每刻，數(shù)據(jù)從各個渠道以驚人的速度源源不斷地生成。信息具有時效性，各種重要的商機轉(zhuǎn)瞬即逝，各種問題和危機需要實時的應對能力，以閃電的速度傳遞商業(yè)智能，幫助企業(yè)在瞬息萬變的現(xiàn)代商業(yè)競爭中把握稍縱即逝的黃金機遇，游刃有余地應對各種突發(fā)問題和危機，是訊之智大數(shù)據(jù)分析產(chǎn)品努力追求的目標。 

開源架構(gòu)Hadoop是批處理架構(gòu)，不具有實時分析能力。目前流行的一些實時分析系統(tǒng)例如HANA都是基于純內(nèi)存計算，實時分析的數(shù)據(jù)量比較有限。由美國海歸博士團隊創(chuàng)立的南京訊之智公司自主研發(fā)的大數(shù)據(jù)實時分析平臺RSBASE是基于工作集的內(nèi)存需求，可用資源和系統(tǒng)的實時性可進行靈活調(diào)整，能夠輕松實現(xiàn)千億條信息的實時查詢和分析。以下是對訊之智創(chuàng)始人謝晚霞的采訪實錄：

謝晚霞

南京訊之智創(chuàng)始人，畢業(yè)于美國佐治亞理工學院。

在美國擁有多年工作經(jīng)驗，曾經(jīng)在美國成功創(chuàng)立一家致力于互聯(lián)網(wǎng)實時搜索和分析技術(shù)的公司，公司憑借其突破性的創(chuàng)新技術(shù)入圍美國著名的IT界創(chuàng)新大賽TechCrunch Disrupt。

CSDN： 首先給大家介紹一下你和你的公司？團隊結(jié)構(gòu)？

訊之智：南京訊之智由美國海歸博士團隊創(chuàng)立。公司從2013年起開始全面開拓中國市場。團隊技術(shù)核心人物為創(chuàng)始人謝晚霞博士，他畢業(yè)于美國佐治亞理工學院，在美國擁有多年工作經(jīng)驗。曾經(jīng)在美國成功創(chuàng)立一家致力于互聯(lián)網(wǎng)實時搜索和分析技術(shù)的公司。該公司憑借其突破性的創(chuàng)新技術(shù)在美國著名的IT界創(chuàng)新大賽TechCrunch Disrupt中獲得過決賽入圍的榮譽。團隊中另有多名來自中美領(lǐng)域的一流軟件人才。同時公司在美國設(shè)有研發(fā)分支機構(gòu)，以保持公司技術(shù)和世界領(lǐng)先水平的同步性。

CSDN：為什么選擇大數(shù)據(jù)實時分析行業(yè)？是看到什么樣的市場機會？

訊之智：首先在大數(shù)據(jù)實時分析領(lǐng)域，我們的團隊在多年的工作中積累了豐富的經(jīng)驗。在搜索引擎技術(shù)、大規(guī)模分布式計算、數(shù)據(jù)庫、數(shù)據(jù)挖掘等領(lǐng)域都擁有深厚的理論基礎(chǔ)和豐富的實踐經(jīng)驗。大數(shù)據(jù)技術(shù)是當前IT領(lǐng)域中最有潛力的分支，是各國政府和企業(yè)界都非常看重的具有戰(zhàn)略意義的產(chǎn)業(yè)。Web2.0 、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)時代的來臨，更加凸顯大數(shù)據(jù)技術(shù)的重大意義和應用價值。

中國是天然的數(shù)據(jù)大國。中國擁有全世界最多的網(wǎng)民和手機用戶，也擁有非常多的信息化企業(yè)。在過去二十多年內(nèi)，中國在信息化進程方面取得了巨大的進展，各行各業(yè)的領(lǐng)先企業(yè)以及政府機構(gòu)都實現(xiàn)了現(xiàn)代信息化辦公和管理，政府機構(gòu)的電子政務(wù)建設(shè)也蓬勃發(fā)展。在這場規(guī)模浩大的信息化進程中，企業(yè)和政府機構(gòu)積累了海量的數(shù)據(jù)。這些數(shù)據(jù)中往往蘊含著價值潛力巨大的信息，需要運用先進的數(shù)據(jù)分析技術(shù)予以充分挖掘，才能充分利用。大數(shù)據(jù)技術(shù)在中國市場上一定可以創(chuàng)造出巨大的價值，其發(fā)展空間不可限量，這就是我們看到的市場機會。

CSDN：你們的RSBASE大數(shù)據(jù)實時分析管理平臺最大的技術(shù)優(yōu)勢有哪些？

訊之智：

1． 對海量流式數(shù)據(jù)的實時分析能力。自主研發(fā)的分布式存儲、索引和分析平臺，處于國際一流水平。國內(nèi)外流行的開源架構(gòu)Hadoop是批處理架構(gòu)，不具有實時分析能力。目前流行的一些實時分析系統(tǒng)例如HANA都是基于純內(nèi)存計算，實時分析的數(shù)據(jù)量比較有限。RSBASE是基于工作集的內(nèi)存需求，可用資源和系統(tǒng)的實時性可進行靈活調(diào)整。

2． 系統(tǒng)性能優(yōu)化率高，對計算資源的利用率高，達到國際先進水平。行列式混合存儲，數(shù)據(jù)壓縮率高，同時數(shù)據(jù)裝載和實時分析速度不受影響。

3． 穩(wěn)定性和可靠性高，可以在公有云平臺上穩(wěn)定運行處理高速海量數(shù)據(jù)。目前國內(nèi)外能做到這一點的廠商屬于鳳毛麟角。比如說，國內(nèi)絕大多數(shù)的Hadoop技術(shù)供應商目前只提供基于專用計算機集群的解決方案。

4． 對非結(jié)構(gòu)化數(shù)據(jù)的分析挖掘能力。訊之智的受專利保護的多維度非結(jié)構(gòu)化數(shù)據(jù)分析模型，以及自主研發(fā)的功能強大的機器學習算法和知識庫，支持對非結(jié)構(gòu)化數(shù)據(jù)的深度挖掘，將非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)在一起進行綜合全面的分析。

CSDN：貴公司的RSBASE大數(shù)據(jù)實時分析管理平臺的應用場景有哪些？

訊之智：目前的主要應用場景有電信行業(yè)大數(shù)據(jù)分析，主要是對手機用戶上網(wǎng)行為數(shù)據(jù)的分析；

零售行業(yè)顧客購物足跡數(shù)據(jù)分析，采集和分析線下數(shù)據(jù)并關(guān)聯(lián)線上數(shù)據(jù)，為傳統(tǒng)零售業(yè)提供O2O的運營智能和推薦引擎。

機器軌跡實時監(jiān)控和分析，針對計算機網(wǎng)絡(luò)、物聯(lián)網(wǎng)環(huán)境中產(chǎn)生的海量機器數(shù)據(jù)提供實時監(jiān)控和分析。通過對計算機網(wǎng)絡(luò)系統(tǒng)日志數(shù)據(jù)的實時監(jiān)控和分析，可以預測系統(tǒng)性能瓶頸和實時發(fā)現(xiàn)黑客入侵行為。

CSDN：有好的客戶案例和大家分享一下嗎？

訊之智：例如在電信行業(yè)領(lǐng)域，我們的方案幫助了中國電信兩大省公司解決了長期以來不能有效解決的用戶上網(wǎng)行為數(shù)據(jù)分析問題。在采用我們的方案以前，電信省公司一直為持續(xù)高速增長的海量用戶上網(wǎng)數(shù)據(jù)所困擾，因為傳統(tǒng)的分析框架已經(jīng)完全不能支持對超大規(guī)模數(shù)據(jù)的分析需求。對于持續(xù)增長的超大規(guī)模數(shù)據(jù)，必須采用可擴展的分布式大數(shù)據(jù)分析架構(gòu)。我們在電信內(nèi)部的公共云平臺上成功部署了RSBASE， 以非常經(jīng)濟的計算資源投入實現(xiàn)了對幾千億條記錄的實時查詢和分析。和國內(nèi)絕大多數(shù)同類競爭產(chǎn)品相比，我們具有非常顯著的性價比優(yōu)勢。對用戶上網(wǎng)數(shù)據(jù)的精準查詢和分析能力，使得電信部門不僅能更好的解決流量爭議問題，更重要的是，電信部門可以通過對用戶行為數(shù)據(jù)的分析，更好的理解電信客戶的上網(wǎng)習慣，從而更好地服務(wù)客戶。基于用戶的上網(wǎng)行為分析，還可以應用在精準化營銷領(lǐng)域。同時，基于上網(wǎng)行為的數(shù)據(jù)分析，也對網(wǎng)絡(luò)質(zhì)量管理提供了新的視角。

在零售領(lǐng)域，目前我們正在向合作伙伴提供基于O2O的數(shù)據(jù)采集和分析服務(wù)。我們不僅提供顧客購物足跡的采集，更為重要的是，我們提供基于顧客購物足跡的BI分析，傳統(tǒng)零售業(yè)的百貨店、購物中心等經(jīng)營商可以從中獲得重要的運營智能，以及對顧客消費行為習慣和喜好的全方面了解，是現(xiàn)代零售業(yè)布局O2O，迎接全渠道銷售時代必需的核心能力。

CSDN：關(guān)于貴公司的數(shù)據(jù)可視化模塊，能否和大家詳細說說？

訊之智：在數(shù)據(jù)可視化方面，我們主要強調(diào)信息展示的實時性、動態(tài)性和交互性。我們可以有效地剔除信息噪音，以非常簡約和直觀的方式向用戶傳遞大量的信息，讓數(shù)據(jù)中暗藏的規(guī)律、數(shù)據(jù)之間的關(guān)聯(lián)性、依賴性，以及數(shù)據(jù)的趨勢性變得一目了然。我們認為，可視化不僅是一種信息展示技術(shù)，更是一種允許用戶交互的探索式分析技術(shù)，我們希望將這兩點目標完美地融合并實現(xiàn)。

CSDN：您覺得目前大數(shù)據(jù)實時分析面臨的挑戰(zhàn)有哪些？

訊之智：

• 實時數(shù)據(jù)分析中的數(shù)據(jù)海量性
• 實時的復雜分析 (關(guān)聯(lián)分析、模糊匹配)
• 實時的非結(jié)構(gòu)化數(shù)據(jù)處理 （NLP處理相對較慢， 比方說part-of-speech tagging）
• 實時分析中數(shù)據(jù)/信息的篩選（權(quán)威性，真實性，相關(guān)性）
• 實時分析預測技術(shù)

從技術(shù)上來講，對海量數(shù)據(jù)的吞吐和分析能力一直以來都是非常具有挑戰(zhàn)性的技術(shù)，目前國內(nèi)外廠商可以提供相對完善的方案，但是還有很大的可提升空間；在非結(jié)構(gòu)化數(shù)據(jù)分析方面，還存在不少等待突破的技術(shù)障礙等等。

CSDN：公司未來有什么規(guī)劃？能和我們談?wù)劥髷?shù)據(jù)分析的前景嗎？

訊之智：我們未來的規(guī)劃就是持續(xù)推進大數(shù)據(jù)實時分析技術(shù)在各行業(yè)的深層次應用，并且在定制行業(yè)應用的同時希望能夠探索出一些新的商業(yè)模式，研發(fā)出一些具有創(chuàng)新意義的通用產(chǎn)品。

關(guān)于大數(shù)據(jù)分析的前景，業(yè)界已經(jīng)有許多精彩的討論，我就不在此贅述了。如果一定要談，我想總結(jié)一句，大數(shù)據(jù)技術(shù)是已經(jīng)在發(fā)生的，IT產(chǎn)業(yè)發(fā)展進化的必然趨勢，是繼個人電腦、互聯(lián)網(wǎng)、搜索引擎技術(shù)之后對人類生活具有最大沖擊力的新一波技術(shù)革命。

更多云先鋒系列文章：

【云先鋒】國云：2億打造的云操作系統(tǒng)G-Cloud架構(gòu)及應用

【云先鋒】SSO365：提供專業(yè)IAM解決方案的云身份認證公司 

【云先鋒】ClouDil云方案：PB級大數(shù)據(jù)解決方案 

【云先鋒】多備份：云端數(shù)據(jù)物流平臺為企業(yè)提供云備份服務(wù) 

【云先鋒 】上海越誠：基于云服務(wù)的建站類iService軟件超市 

【云先鋒】圣荷賽：來自硅谷的新一代IT交付模式實踐者

備注：云先鋒系列文章是由CSDN云計算頻道打造的，主要報道國內(nèi)外在云計算、大數(shù)據(jù)方面具有獨特競爭優(yōu)勢的企業(yè)，以傳播技術(shù)為目的，推動中國云計算技術(shù)的發(fā)展，歡迎投稿。

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學習有所幫助,可以手機掃描二維碼進行捐贈