Per Brashers：硬件改造將對軟件產(chǎn)生重大影響

云計算和大數(shù)據(jù)的產(chǎn)業(yè)頂級盛會，“ 第六屆中國云計算大會 ”將于2014年5月20-23日在北京國家會議中心隆重召開。

本屆大會的主題是“  云計算大數(shù)據(jù) 推動智慧中國  ”，以國際化視野，把握全球云計算發(fā)展趨勢；通過培訓(xùn)課程、專題論壇和項目評選等方式，深度剖析云計算與大數(shù)據(jù)的核心技術(shù)；從應(yīng)用出發(fā)，探討云計算和大數(shù)據(jù)在交通、制造、醫(yī)療、教育、金融、數(shù)字娛樂等領(lǐng)域?qū)嵺`經(jīng)驗(yàn)。大會歷時四天，涵蓋“突出行業(yè)應(yīng)用、分享技術(shù)趨勢、促進(jìn)國際合作、打造共贏平臺”四大特性，內(nèi)容更加精益求精，預(yù)計參會者將大大超過上一屆的12000多人次。

第六屆中國云計算大會 已邀Yttibrium公司創(chuàng)始人Per Brashers（曾總管Facebook整個存儲部門）為演講嘉賓。

---

Per Brashers，現(xiàn)Yttibrium公司創(chuàng)始人。2012年1月至2013年8月，Per任Data Direct Networks公司存儲解決方案部門的總技術(shù)架構(gòu)師。2011年5月至2012年11月，Per總管Facebook的整個存儲部門。

Per 曾在EMC任職11年。2010年6月至2011年5月，Per擔(dān)任EMC公司備份和數(shù)據(jù)恢復(fù)領(lǐng)域的高級技術(shù)專家，為客戶的復(fù)雜難題設(shè)計了解決方案。2006年11月-2010年6月，Per作為EMC NAS工程設(shè)計部門的總監(jiān)，率領(lǐng)MPFS開發(fā)團(tuán)隊實(shí)現(xiàn)了1億美元的營收。2000年1月-2006年11月，Per 擔(dān)任EMC公司美國西部面向客戶的技術(shù)商務(wù)顧問。

---

關(guān)于Per Brashers

Per是一位極具遠(yuǎn)見的存儲戰(zhàn)略家。他發(fā)明創(chuàng)造了若干對業(yè)界具有深遠(yuǎn)影響的存儲平臺，其中包括用于Facebook引領(lǐng)的Open Compute Project系統(tǒng)下的OpenVault及Cold Storage解決方案。他設(shè)計了多個適用于數(shù)據(jù)中心中的互聯(lián)系統(tǒng)。Per還是pNFS-Block的作者，也是現(xiàn)今最快的Hadoop存儲陣列系統(tǒng)的架構(gòu)師。Per還將傳統(tǒng)的3X復(fù)制策略轉(zhuǎn)化為糾刪碼（erasure code）的存儲方案，從而最大化使用效率。
 
Per的名下共擁有21項（含待發(fā)）專利發(fā)明，多數(shù)在存儲領(lǐng)域，擅長解決存儲及存儲網(wǎng)絡(luò)連接、數(shù)據(jù)塊、文件及對象存儲等方面的問題，并擅長于利用糾刪碼來實(shí)現(xiàn)數(shù)據(jù)分布，彈性調(diào)度及提升效率。Per在刪除重復(fù)存儲以降低存儲成本方面也是專家。他善于將用戶的需要轉(zhuǎn)化為切實(shí)可行的執(zhí)行方案，專長于在Hadoop及BigData應(yīng)用領(lǐng)域的性能改善。他身兼數(shù)任，工作在NAS、SAN、IP網(wǎng)絡(luò)連接、備份及恢復(fù)方案、應(yīng)用性能分析等多個領(lǐng)域，并兼負(fù)標(biāo)準(zhǔn)起草/編輯、難題專家、發(fā)明人等多重身份。
 
Per的興趣與關(guān)注點(diǎn)還不僅限于此，他竭力為了改善人們的居住環(huán)境獻(xiàn)計獻(xiàn)策，如為住家提供空氣效能方面的的相關(guān)發(fā)明作出了不懈努力。Per的業(yè)余愛好之一是有機(jī)種植，同時也是一位家庭啤酒釀造師，曾獲得UC Davis 釀酒科學(xué)的榮譽(yù)碩士學(xué)位。同時，Per 還在不斷學(xué)習(xí)改進(jìn)其葡萄酒釀造技藝！

Per有著豐富的存儲系統(tǒng)設(shè)計經(jīng)驗(yàn)，對軟硬件結(jié)合有著清晰的思路，下面是Per在2013年9月XLDB（第七屆超大型數(shù)據(jù)庫大會）上發(fā)表的看法，雖然有些趨勢可能已經(jīng)被實(shí)現(xiàn)，但是其中存在的價值仍不可忽視。

硬件的改造將對軟件行業(yè)產(chǎn)生重大影響

Per從存儲、控制器（或網(wǎng)絡(luò)）、內(nèi)存、CPU、數(shù)據(jù)中心環(huán)境五個點(diǎn)著手，分享了硬件領(lǐng)域的變革趨勢，并分析了這些變革對應(yīng)用程序的影響：

一、 存儲

1. 存儲的趨勢：SATA-4被IETF否決、混合類型磁盤將大有可為、對象存儲正在侵蝕整個世界、SSD在短期之內(nèi)仍然得不到完全利用、云存儲將減少機(jī)構(gòu)的內(nèi)部磁盤采購、移動計算將完全建立在SSD上、專為大數(shù)據(jù)設(shè)計的新類型磁盤將誕生、機(jī)構(gòu)將被新類型的磁盤密度問題困擾。

2. 磁盤耗電將影響到采用。相信不久后，2.5英寸磁盤就會被廣泛的用于大數(shù)據(jù)場景，除下有人能找到優(yōu)化3.5英寸磁盤的電能消耗方法。

3. 磁盤性能增加遙遙無期。在過去，磁盤訪問速度增長相當(dāng)可觀，但是在2000年后，整整13年都毫無提升。

4. 基于歷史的推測。在過去，容量增長呈線性增加，但是當(dāng)下基本上已到一個瓶頸。

5. 磁盤密度未來堪憂。隨著密度增加放緩，游戲規(guī)則已經(jīng)被改變：首先，當(dāng)下的探索已轉(zhuǎn)變?yōu)閿?shù)據(jù)的壽命，同時減少運(yùn)維已經(jīng)成為大家追逐的目標(biāo)；其次，在之前，磁盤技術(shù)迭代時間是3年，然而當(dāng)下已轉(zhuǎn)變?yōu)?年，磁盤使用壽命也必須隨之增加，毫無疑問，這將對RMA值和銷售增量產(chǎn)生影響；最后，新的控制器需要針對現(xiàn)有數(shù)據(jù)集的數(shù)據(jù)存放空間及啟動性能設(shè)計。

在數(shù)據(jù)爆發(fā)的當(dāng)下，如此堪憂的前景將會對應(yīng)用程序設(shè)計產(chǎn)生眾多影響，這里主要從發(fā)展情況和數(shù)據(jù)持久上看：

1. 發(fā)展情況

• 不要期待存儲容量在短時間內(nèi)的爆發(fā)增長
• 對閃存的依賴增加，然而API還不能完全的成熟使用閃存
• 針對大數(shù)據(jù)的磁盤設(shè)計可能成為一條出路，然而持久性將成為致命缺陷

2. 數(shù)據(jù)持久

• 新的替代方案可能不會帶來本質(zhì)性提升，除非應(yīng)用開始就針對其設(shè)計
• 拆分RAID將提供類似DEC的效果，機(jī)架和層布局需要設(shè)計成為為系統(tǒng)的一部分
• 針對RV和緩解bit-error速度設(shè)計可能會有助于性能提升。如果應(yīng)用可以糾正一些bitwise錯誤，并重試那些無法被修復(fù)的，系統(tǒng)的IOPS將會顯著增加

二、 控制器/網(wǎng)絡(luò)

控制器及網(wǎng)絡(luò)發(fā)展趨勢：性能更強(qiáng)，體積更小；12GBb可能是最終狀態(tài)；SAS和PCiE將是這個領(lǐng)域的角逐者；PHY add-ins將需求更復(fù)雜的配置；芯片銷售將被拆分；DMA/RDMA已經(jīng)成熟落地；設(shè)備級的合作將增加，機(jī)構(gòu)的目標(biāo)將放到RAID拆分上；T10-diff及其他校驗(yàn)/安全特性；傳統(tǒng)的RAID仍然是主要收入來源；網(wǎng)絡(luò)將會有巨大的改變，比如SAS/PCiE/Silicon Photonics及OpenFlow/“Agnostic Networks”。

基于控制器/網(wǎng)絡(luò)的改變又會給應(yīng)用程序帶來什么樣的影響？這里同樣從發(fā)展情況和數(shù)據(jù)持久兩方面來看：

飛速發(fā)展

• 新類型的通信渠道將出現(xiàn)，Open Socket，可增加設(shè)計，封閉的Socket將會被取代
• 控制器的智能化，新的應(yīng)用程序和驅(qū)動可以從中獲益
• 新的密度解決方案將帶來IOPS并節(jié)約電能，閃存的輔助將彌補(bǔ)轉(zhuǎn)速的不足

數(shù)據(jù)持久

• 數(shù)據(jù)最終將變得可以移動，非分層拓?fù)鋵⑻峁└玫膸?/li>
• 許多持久性任務(wù)可能會被下壓，比如加密、錯誤處理等
• 網(wǎng)絡(luò)的聚合意味著更多的預(yù)留容量，QOS已老，新的思想需要被建立

PS：內(nèi)存、CPU、數(shù)據(jù)中心環(huán)境發(fā)展對軟件產(chǎn)生的影響請見下一頁

三、 內(nèi)存

1. 這是一個變革的時代：許多玩家都在引進(jìn)新的、密集的、更慢的DRAM替代方案；所有人都在期待內(nèi)存的可持久化。

2. 3D NAND的實(shí)現(xiàn)：Toshiba的演示、其他供應(yīng)商準(zhǔn)備在2014年發(fā)布產(chǎn)品及以移除DRAM為目標(biāo)（更密集的“dimm”及主機(jī)內(nèi)存的持久化）。

那么，內(nèi)存的改變對應(yīng)用程序設(shè)計又意味著什么，下面從發(fā)展和數(shù)據(jù)持久兩個方面解讀：

發(fā)展趨勢

• 主板上允許更大容量的內(nèi)存，特別有利于內(nèi)存數(shù)據(jù)庫發(fā)展
• 訪問時間將增加，這點(diǎn)對內(nèi)存數(shù)據(jù)庫可能會有一定的影響
• 成本曲線仍然很高

數(shù)據(jù)持久

• 更多的寫入周期、散熱和恢復(fù)問題被解決
• “自愈”固件將對錯誤處理起到幫助
• 有助于防止數(shù)據(jù)丟失，但是在舊數(shù)據(jù)處理上會存在問題

四、 CPU

CPU趨勢：頻率上的文章已經(jīng)消失；多核和offload的關(guān)注繼續(xù)增加；庫和其他編譯時輔助變得普及；移動市場驅(qū)動的低功率組建提供了許多有趣的拆分選擇，按需組裝和釋放網(wǎng)絡(luò)組件，軟件定義計算機(jī)的時代來臨。

對應(yīng)用的影響。發(fā)展方面：越來越多的in-card運(yùn)算，性能增加帶來的極端密度，新的庫需要驗(yàn)證應(yīng)用性。數(shù)據(jù)持久方面：更多的線程、更多的核心，更多的碎片，需要注意門檻；拆分意味著更多的錯誤檢查，offload可能有所幫助，但是你可能還是期望對方法進(jìn)行更嚴(yán)格的校驗(yàn)。

五、 數(shù)據(jù)中心

數(shù)據(jù)中心環(huán)境主要涉及3個部分，數(shù)據(jù)中心設(shè)計、電力分布及機(jī)架/服務(wù)器/存儲。據(jù)統(tǒng)計，21%公司都運(yùn)營了一個智能數(shù)據(jù)中心，數(shù)據(jù)中心在新項目的投資超過50%。隨著數(shù)據(jù)中心占整個IT界計算比重的增加，更多的二氧化碳（電能供應(yīng)）、熱量、污水等被排出。同時，鑒于高熱等因素，更多的銅、銀等材料被腐蝕，而存儲介質(zhì)故障率增加更是亟待解決的問題之一。如此情況下，應(yīng)用成熟又會受到什么樣的影響？

首先，發(fā)展

1. 數(shù)據(jù)中心環(huán)境并不可以一朝一夕被解決，但是設(shè)備供應(yīng)商會努力的克服這一點(diǎn)，它們并不希望看到更多RMA上的開銷。
2. 更大的設(shè)備意味著靈活的工作負(fù)載轉(zhuǎn)移，與DCiM工具的整合將有助于數(shù)據(jù)中心的正常運(yùn)行。

其次，數(shù)據(jù)持久

應(yīng)用程序?qū)⒊袚?dān)更多的可用性職責(zé)，數(shù)據(jù)中心故障不可避免。DCiM有助于轉(zhuǎn)移負(fù)載，從而避免宕機(jī)。