【編者按】Ely Kahn曾任職于NSA,在國家安全領(lǐng)域有十年以上的工作經(jīng)歷,后在Boston創(chuàng)立Sqrrl,提供基于Apache Accumulo的產(chǎn)品,2013年Sqrrl被CRN評為“年度最cool供應(yīng)商”。Accumulo作為一種可靠、可伸縮、高性能排序分布式的鍵值存儲解決方案,逐漸成為美國政府級應(yīng)用,Hadoop供應(yīng)商Cloudera和Hortonworks也加大了對Accumulo的支持,著名GigaOM分析師Derrick Harris為我們做了詳細(xì)分析。
以下為譯文:
Sqrrl聯(lián)合創(chuàng)始人兼業(yè)務(wù)發(fā)展副總裁Ely Kahn在Structure
Show詳細(xì)介紹了美國國防部的網(wǎng)絡(luò)安全狀態(tài)和數(shù)據(jù)分析的尖端技術(shù)。
Ely Kahn在國家安全領(lǐng)域已有十年以上的工作經(jīng)歷,包括在交通安全管理、國土安全部和總統(tǒng)行政辦公室,那時他是網(wǎng)絡(luò)安全部門的負(fù)責(zé)人。2012年,他加入了一個由前國家安全局工程師組成的團(tuán)隊,一起創(chuàng)建了Sqrrl(一個基于開源Accumulo技術(shù)的數(shù)據(jù)庫公司)。Kahn在Structure Show上談?wù)摿诵畔⒓夹g(shù)在國家安全領(lǐng)域的一些問題,包括信息技術(shù)的作用、信息技術(shù)的使用者,以及在國家安全領(lǐng)域用到了哪些數(shù)據(jù)和技術(shù)。
這次讓人印象深刻的采訪涵蓋了軟件實現(xiàn)到基礎(chǔ)設(shè)施各個方面,其中有一些亮點,包括強(qiáng)化Accumulo的安全性,以及此類基于Hadoop的技術(shù)、對關(guān)鍵基礎(chǔ)設(shè)施故障的應(yīng)對、用先進(jìn)分析技術(shù)改善網(wǎng)絡(luò)安全、用大數(shù)據(jù)打擊網(wǎng)絡(luò)犯罪等。
棱鏡?其實它只是個數(shù)據(jù)庫
Kahn說:“Accumulo是NSA企業(yè)架構(gòu)的核心。NSA的大部分分析應(yīng)用程序都運行在Accumulo上,我不可能對每一個應(yīng)用都做詳細(xì)介紹,因為那樣可能三天三夜也說不完,但最重要的部分,也是人們都已經(jīng)了解的那些部分都應(yīng)用Accumulo作為后端。”
Accumulo作為NSA企業(yè)架構(gòu)的核心部分,甚至可以說是國家安全戰(zhàn)略的關(guān)鍵。雖然檢測可疑行為并定位目標(biāo)、檢查網(wǎng)絡(luò)中已知疑犯這些在技術(shù)上很容易實現(xiàn),不過對Kahn所說的“生命分析模式”(patterns of life analysis),NSA還有更大膽的想法:
這些被歸結(jié)為異常檢測,也是我們關(guān)注的一個重點。如何去建立一種常規(guī)模式然后從正常狀態(tài)基線檢測異常數(shù)據(jù)?那確實需要大量的用例......
目前我們在做的很多事情都圍繞著圖分析,建立大量的數(shù)據(jù)圖使其看起來像特定的用例,然后尋找隨時間變化正常行為模式中的偏差。
更多關(guān)于Accumulo和NSA的圖分析功能,請參看以下鏈接:
整個國防部都在改革
Accumulo不僅應(yīng)用于NSA,而且整個國防部都將使用它。NSA的使命是構(gòu)建多用途云計算和數(shù)據(jù)基礎(chǔ)設(shè)施以整合整個機(jī)構(gòu)的資源,Accumulo是該使命的一部分。國防部想要將大量的數(shù)據(jù)資源整合到一個單獨的數(shù)據(jù)分析系統(tǒng),包括了從無人機(jī)視頻到醫(yī)療信息各個方面的數(shù)據(jù)。
Kahn解釋:“國防部正投入大量精力建設(shè)聯(lián)合信息環(huán)境(Joint Information Environment),在整個國防部為大量用例集發(fā)展多功能云和數(shù)據(jù)云基礎(chǔ)設(shè)施,這些用例包括從網(wǎng)絡(luò)安全到戰(zhàn)場情報領(lǐng)域各個方面,甚至還包括醫(yī)療用例。”
Sqrrl聯(lián)合創(chuàng)始人兼業(yè)務(wù)發(fā)展副總裁Ely Kahn
企業(yè)可能不喜歡NSA,但要尊重它的技術(shù)
Kahn在被問及NSA的背景對Sqrrl發(fā)展是否有幫助時回答:“無論人們對于NSA的政策有什么樣看法,我認(rèn)為人們都應(yīng)該認(rèn)識到NSA在大數(shù)據(jù)技術(shù)應(yīng)用和數(shù)據(jù)安全領(lǐng)域一直走在最前列,所以從這個意義上說,NSA對推動技術(shù)發(fā)展起到了很好的作用,當(dāng)然,我還要和Pandora、Facebook的人或web應(yīng)用的用戶見個面,底層群眾可能也會對我們過去的一些做法有疑問,但我認(rèn)為決策者會把這當(dāng)作一件好事。”
決策者關(guān)心的Sqrrl安全方面進(jìn)展得怎么樣呢?Kahn說:“20強(qiáng)企業(yè)中已有三家安裝了我們的系統(tǒng)、50強(qiáng)企業(yè)中也有5家,其他大大小小的企業(yè)還有幾十家。”后來提到了Hadoop供應(yīng)商Cloudera和Hortonworks對Accumulo加大了支持力度,Kahn又補(bǔ)充道:“我覺得一些大的Hadoop供應(yīng)商如果想要在政府中有所作為,它們必須支持Accumulo。”
網(wǎng)絡(luò)安全的狀態(tài):目前很糟糕,但未來會越來越好
首先,告訴大家一些好消息,也就是剛剛過去幾個星期取得的新成果:
通過行政命令......美國國土安全部和國家標(biāo)準(zhǔn)化和技術(shù)研究所合作努力創(chuàng)建一個網(wǎng)絡(luò)安全框架,可以用來提高網(wǎng)絡(luò)安全性,至少在開始階段建立在自愿的基礎(chǔ)上。所以,現(xiàn)在確實是第一次,對于這樣一份公文,人們可以說:“這是每一個利用這些關(guān)鍵基礎(chǔ)設(shè)施的人都應(yīng)遵守的標(biāo)準(zhǔn)。”可能聽起來簡單,但對于復(fù)雜的網(wǎng)絡(luò)安全領(lǐng)域,確實是邁出了一大步。
然而,Kahn又補(bǔ)充說,“邁出的一大步”還不夠好,“僅僅堅持底線是遠(yuǎn)遠(yuǎn)不夠的”。
他還指出,“有一些關(guān)于別國探查我們電網(wǎng)的報告,紐約時報也報告過,目前是沒有發(fā)生什么災(zāi)難性事件,但我認(rèn)為這給我們國家埋下來一顆定時炸彈,我們還是祈禱不要發(fā)生吧。”
原文鏈接:The Defense Department’s data strategy: Huge, massive and distributed(編譯/毛夢琪 審校/魏偉)