Hbase集群搭建的配置.docx
《Hbase集群搭建的配置.docx》由会员分享,可在线阅读,更多相关《Hbase集群搭建的配置.docx(1页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Hbase集群搭建的配置参考1 . 如果主机足够强大(10台小集群),可以将Hadoop JobTracker、NameNode Secondary NameNode配置在这台机器上,但Secondary NameNode尽量不要。2 .如果Hbase和MapReduce的负载都很重的话,通常将他们分开到两个集群上。3 . 小集群(10 台机器左右)可以把 HBase Master、Hadoop NameNode、JobTracker 并行部 署在一个节点上,ZooKeeper也可以装在这个节点上(46核CPU, 2432G内存,4块 SATA硬盘)。4 .如果集群更大一些(1020台),可以
2、将NameNode和JobTracker配置在同一台机器上, 但HBase Master和ZooKeeper配置在另一台机器上,但Zookeeper要一个单独的磁盘。5 .中型集群(50台左右)NameNode和JobTracker应该部署到不同的机器上,NameNode 和Secondary NameNode不能用太次的硬件,(应为它一挂掉,全挂)并确保他们有足 够的内存。但HBase Master和ZooKeeper还可以在一台机器上,也可以增加HBase Master 和ZooKe叩er的数量。6 .大型集群(超过50台)中NameNode和Secondary NameNode很重要,要
3、用双电源、 RAID 1、好一点的网卡、足够的内存(8核,至少16G内存,1Gb网卡)。HBase Master和 ZooKeeper要5个以上。7 .中型集群中,如果可能,可以将HBase Master配置在单独的一台机器上。(46核,816G 内存,两块硬盘,一块系统,一块日志,1Gb网卡)。8 . DataNode和RegionServer总部署在一起,最好不要让他们运行MapReduce(812核, 2432G内存,12块1TB硬盘)。9 . ZooKeeper可以和HBase Master配置在一起,她们都是轻量级进程。但ZooKeeper对延 迟更加敏感,所以耍有单独的硬盘。10 .部署软件可以用自动化的软件:Cloudera Manager Puppet Chef等。建议用Hadoop 专业的 Cloudera Manager。11 .更多的冗余和更好的配置是为了增加其可用性。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hbase 集群 搭建 配置
限制150内