日本搞逼视频_黄色一级片免费在线观看_色99久久_性明星video另类hd_欧美77_综合在线视频

國內最全IT社區平臺 聯系我們 | 收藏本站
阿里云優惠2
您當前位置:首頁 > php框架 > 框架設計 > HBase作為存儲方案

HBase作為存儲方案

來源:程序員人生   發布時間:2016-08-22 08:33:27 閱讀次數:3643次

HBase存儲特點

hbase
* Client
1. 包括訪問HBase的接口,并保護cache來加快對HBase的訪問,比如region的位置信息。
* Zookeeper:
1. 選舉集群中的Master,Master與RegionServers 啟動時會向ZooKeeper注冊。
2. 存儲所有Region的尋址入口。
3. 實時監控Region server狀態并實時通知Master。
4. 存儲HBase的schema和table元數據。
5. 使Master不存在單點故障。
* Master
1. 在Region Split后,為Region server分配region。
2. 管理HRegionServer的負載均衡,調劑Region散布。
3. 發現失效的Region server后重新分配其上的region,并負責Regions遷移。。
4. 管理用戶對table的增刪改查操作。
* Region Server
1. Regionserver保護region,處理對這些region的IO要求,向HDFS文件系統讀寫數據。
2. Regionserver負責切分在運行進程中變得過大的region。
* Region
1. table依照行分割成若干Region,每一個Region對應table中的1個Region。
2. Region由多個HStore組成。
* HLog
1. 類似mysql的binlog,數據會先寫到WAL上,然后再放到內存中,數據恢復。
2. 已持久化到StoreFile的HLog會定期被刪除。
* HStore
1. HBase的存儲核心,由MemStore和StoreFile組成。
2. 每一個HStore對應Table的1個列族的存儲。
* MemStore
1. 數據不直接寫磁盤而是先寫到MemStore,當滿了才會Flush到StoreFile中。
2. 底層由HFile實現。
3. 數據只需寫入到此內存便可返回,快速的插入操作。
* StoreFile
1. StoreFile文件數到1定閥值會觸發Compact合并操作,多個StoreFile變成1個StoreFile。
2. 所有數據操作都是添加操作,保證I/O,而對數據更新/刪除都是在后續compact進程中完成。

底層存儲

HBase支持很多文件系統的存儲。
1. 操作系統原生文件系統。
2. HDFS文件系統。
3. 其他文件系統。

HDFS可靠性高及其同屬同個生態,選擇HDFS作為存儲。

HBase 如何尋址

尋址進程大致為client -> -ROOT- -> .META. -> RS ->region -> rowkey。

  1. client通過zookeeper的root-region-server節點獲得哪一個Server管理-ROOT-表,包括該機器的IP地址和端口。
  2. 接著訪問-ROOT-表,該表只有1個Region且不會split,每行記錄了.META.表的1個region信息,和這個region的startkey和endkey,查找到.META.表包括要查的rowkey記錄的Region的ip和端口。
  3. 接著訪問該ip和端口的.META.表,根據rowkey找到用戶表數據寄存對應的Region的機器信息,根據rowkey查找對應的regionserver和region。最后到對應的region找到value。
  4. 根據查到的用戶表信息到對應機器上查找數據。

客戶端會緩存查詢過的rowkey的地址。

client訪問hbase上數據的進程其實不需要master參與(尋址訪問zookeeper和region server,數據讀寫訪問region server),master僅僅保護table和region的元數據信息,負載很低。

HBase 的性能、如何擴大

HBase的插入性能很好,查詢還不錯,騰訊給出的數據是經過調優在百億數據級別80%以上數據能在20ms查到。

詳細的1些數據后面在寫代碼階段會給出。

當數據峰值接近系統設計容量時,可以簡單的通過增加服務器的方式來擴大容量。某種程度上來講,這個動態擴容進程無需停機,HBase系統可以照舊運行并提供讀寫服務,完全實現動態無縫無宕機擴容。

balance模式下,會自動將數據遷移到新機器上,合適中小集群,遷移進程大量消耗機器資源。

非balance模式下,新寫入文件寫到新機器上。

運維

  1. 官方的命令行或2次開發,rest接口。官方有原生監控平臺。
  2. BigInsights。

最后的說明

hbase優勢在于接近線性的任意水平擴大,沒必要在單機上與redis性能太叫真,看自己場景選擇。

生活不易,碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
程序員人生
------分隔線----------------------------
分享到:
------分隔線----------------------------
關閉
程序員人生
主站蜘蛛池模板: 欧美a影院 | 久久午夜精品 | 播五月综合| 日本欧美中文字幕 | 黄色网页免费看 | 色婷婷激情一区二区三区 | 日本免费高清一区二区 | av免费观看网址 | 日韩国产 | 久久综合爱 | 福利视频一二三在线视频免费观看 | 亚洲青涩网 | 中文字幕不卡一区 | 欧美一区二区三区的 | 中文字幕日本视频 | 国产一区二区三区四区五区 | 51ⅴ精品国产91久久久久久 | 美女航空一级毛片在线播放 | 精品一区二区三区在线视频 | 欧美日韩在线一区二区三区 | 欧美专区亚洲专区 | 欧美日韩一 | 欧美高清dvd| 天天揉久久久久亚洲精品 | 99re在线| 久久精品久久久久久 | 特黄网站| 自拍偷拍福利视频 | 免费的av片| 国产精品18 | 欧美日韩免费做爰视频 | 亚洲成人中文 | 久久99国产精品久久99大师 | 日韩精品在线观看视频 | 黑人中文字幕一区二区三区 | 成年人网站免费看 | 久久se精品一区精品二区 | 成人福利| 一区二区三区久久久 | 成人在线视频网站 | 91精品国产综合久久精品图片 |