【CSDN在線培訓QA】小米崔建偉答疑HBase在小米中的應用實踐

2014年3月25日，CSDN在線培訓：HBase在小米中的應用實踐圓滿結束，本次培訓講師是來自小米的崔建偉，他表示隨著小米業務的逐漸擴展，特別是大數據時代的到來，原有的關系型數據庫MySQL已經逐漸無法滿足需求，因此向NoSQL遷移是很自然的事情。

CSDN在線培訓是專為廣大技術從業人員準備的在線實時互動技術培訓，邀請各個行業一線技術工程師分享他們工作中遇見的各種問題以及解決方案，同時給大家帶來一些新技術、思路、解決方案！

CSDN在線培訓以“經典性、實戰性、系統性、前瞻性、專業性”的特色課程為主，通過視頻授課、文檔共享、白板共享、屏幕共享、講師在線QA等多種形式的學習方法，幫助一線工程師們利用碎片化時間加強實戰能力，提升實踐水平，并實現與技術高手的溝通與互動。

由于本次培訓的時間有限，問答環節有很多問題講師沒有時間進行回復，CSDN特別準備了本次培訓QA總結，幫助大家更好的復習和總結此次培訓中學到的技術點，讓各位學員更快的掌握相關技術要點，少走彎路。以下是整理的一些QA，更多問題可以到CSDN本次活動討論帖進行互動：http://bbs.csdn.net/topics/390742064。

Q：部署集群是用Hadoop還是CDH？

目前使用的是HBase社區的0.94分支。

Q：小米基礎平臺組都做哪些事情？

負責小米的存儲和計算平臺開發。

Q：Hive性能不及自己寫的MapReduce吧？

Hive的優點在于用類SQL的方式進行大數據分析和處理，學習成本比較低。Hive轉化的MR作業會做優化，有時甚至比自己寫的MR作業更高效。也有HQL語句寫的不好而導致效率低下的例子，需要具體分析轉換后的MR作業邏輯。

Q：我有個HBase集群，有讀和寫操作。寫操作每天都有峰值，每次平穩運行一個月時間后查詢就會非常慢。我的問題是為什么每次碰到這種情況重啟不能解決問題？但經過手動compaction和split后就解決了這個問題。幫忙分析一下吧。

查詢慢的原因可能很多。Compaction會合并HFile，真刪除數據、刪除過期數據，對于查詢效率的提高作用很大；Split Region之后，會觸發Region的Compact，因此也能幫助提高查詢效率。一般來講重啟集群對于查詢效率的提高沒有直接關系。另外HBase的讀性能應該主要與內存和硬盤的比例有關，硬盤讀延時較大。你們的數據訪問是完全隨機的還是訪問最近寫入的數據更多？如果是訪問近期寫入數據更多，一般命中內存概率很大，讀效率不會隨數據量增長而很快下降；如果是完全隨機讀，數據量變大后，需要從硬盤讀的比例同步變大，讀性能下降可能比較明顯，讀性能差的時候ioutil可能很高吧。

Q：你們在使用HBase的時候遇到過的最大難題是什么，是怎么一點一點解決的？

應該遇到過很多難題，比如高可用性、性能方面。主要是通過輸入了解代碼，優化實現，加入更多的調試信息明確問題以及故障總結等方式來逐漸解決。

Q：在使用HBase的過程中gc是怎么優化的？

結合gc log重點關注Xmn/SurvivorRatio/MaxTenuringThreshold以及并發gc線程數即可，gc靠tuning參數只能緩解問題，最終還是得關注從代碼層面減少內存垃圾和碎片。

Q：你們現在用的jdk的版本是多少？

1.6.3x，未正式使用1.7。

Q：之前講到了多個集群浪費的問題，想問問小米在節能方面做了哪些工作？

對于離線業務，建設大的離線集群讓業務共享資源。統計cpu/磁盤的利用率，尋找優化的可能。

Q:二級索引在HBase怎么實現？

局部二級索引會借助于同region跨行事務的原子性，Key Delimiter Prefix Region Split Policy的Split Policy；全局二級索引會基于全局跨行事務（我們實驗了全局二級事務，原理同google percolator）。

Q：能否介紹下HBase compaction優化方面？

compaction方面我們規劃了一些優化工作，參見：https://issues.apache.org/jira/browse/HBase-9528

Q：如果集群的region個數已經達到5000個，每次上下線時間較長，不知道小米對region上線時間有沒有優化？

對于集群升級，我們會做rolling_update；每臺升級關閉region server前，會通過腳本將上面的region move到其它region server，這個過程中region 在內存的數據會flush，減少后面HLog replay的時間。另外，后面也會做region server并發restart。

Q：小米集群每臺機器的配置都是一樣的，都有哪些典型配置（CPU核數、內存、硬盤、硬盤轉速）？

某些讀多寫少的業務嘗試過ssd。機器典型的配置參見PPT的page5。采用定制機器還是購買廠家如聯想、華為等的機器。

Q:小米的結構化存儲服務有什么優勢？

基于HBase，具有高可擴展性和高可用性；同時支持服務器端和客戶端兩種模式的訪問。

Q：目前你們公司的集群響應速度怎么樣？能大概介紹一下嗎？

隨機速度在2到5ms左右；隨機讀速度在3-10ms左右。

Q：HBase的實時讀取不是很好，有什么改進的方案嗎？

讀性能主要是看緩存命中率，只要這個命中率高實時讀性能還是不錯的，我們優化了HBase的block cache淘汰算法，對熱點數據的命中率也會有幫助。當讀請求擊穿到HDFS層面或是更下面的物理磁盤層面，那實際的讀性能就可能取決于底層磁盤IO能力了，目前在HDFS我們實現了Hedged Read特性可以優化讀請求的時延，還有個多block reader在開發計劃中，而在OS的緩存命中率上我們還沒開展相關的分析和優化指導工作。

Q:Hadoop 2中的Yarn對HBase是否有性能上的影響？如果配合spark可以嗎？

第一個問題，是指在Yarn上運行HBase，還是MR處理HBase數據？前者沒有實踐，后者和MR1應該沒有明顯差異。
第二個問題，目前Spark支持運行在Yarn上，也可以處理HBase的數據，但Spark0.9.0對于安全集群(Kerberos)支持的不夠完善。

Q：運維監控時數據是怎么采集和存儲的？

集群指標通過jmx上報，我們通過程序定期采集，然后存儲到OpenTsdb。

Q：請問在HLog的新寫模型下，還可以保證強一致性嗎？

可以保證，writeHandler會等待底層的AsyncSyncer sync的maxTxid大于自身的txid后才會返回。

Q：請問小米當時 在選擇數據庫的時候，有沒有考慮過MongoDB？為什么最后選擇了HBase而棄用MongoDB？

HBase在Scalability、Reliability、Fault Tolerance上有優勢，更適合大規模數據場景下使用。

Q：問一個關于HBase版本的問題。一個單元的版本數量如果過多，會不會造成讀取性能下降？比如存儲一萬版本？（這樣的需求來自于我需要在一個單元中，存儲一個IDLIST。）

如果一行是一次rpc讀回，如果行太大，可能會影響到讀性能；目前我們更傾向于瘦長型的行。

本次培訓視頻以及PPT報名后即可享有！報名地址：http://huiyi.csdn.net/module/meeting/meeting/info/766/biz

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈