一、Hbase概述 Apache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储。 当您需要对大数据进行随机,实时读/写访问时,请使用Apache HBase™。该项目的目标是托 管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的,分布式 的,版本化的非关系数据库,模仿Google的Bigtable: Chang等人的结构化数据分布式存储系 统。正如Bigtable利用Google文件系统提供的分布式数据存储一样,Apache HBase在Hadoop和 HDFS之上提供类似Bigtable的功能。 2006年-google发表了bigtable的白皮书 2006年-开始开发hbase 2008年-hbase正式成为apache的子项目 2010年-正式成为apache的顶级项目二、Hbase架构三、Hbase集群安装部署 集群配置: zk集群3台 hadoop集群3台 hbase集群3台 1、上传hbase-1.3.0-bin.tar.gz到/root下 2、解压 cd ~ tar -zxvf hbase-1.3.0-bin.tar.gz -C hd 3、修改配置文件 cd /root/hd/hbase-1.3.0/conf (1)hbase-env.sh--修改环境变量 vi hbase-env.sh export JAVA_HOME=/root/hd/jdk1.8.0_144 # 修改java环境变量 export HBASE_MANAGES_ZK=false # 关闭hbase自带的Zookeeper集群,换成自己集群的Zookeeper集群 (2)hbase-site.xml--加入配置信息(在标签内) vi hbase-site.xml hbase.rootdir hdfs://hd09-1:9000/hbase hbase.cluster.distributed true hbase.master.port 16000 hbase.zookeeper.quorum hd09-1:2181,hd09-2:2181,hd09-3:2181 (3)regionservers--加入从节点 vi regionservers hd09-1 hd09-2 hd09-3 4、解决依赖问题 (1)删除hbase自带的jar包 cd /root/hd/hbase-1.3.0/lib rm -rf hadoop-* rm -rf zookeeper-3.4.6.jar (2)进入放置zookeeper和hadoop的依赖包的文件夹,通过 cp ./* /root/hd/hbase-1.3.0/lib/ 把相关版本的zookeeper和hadoop的依赖包导入到hbase/lib下 (3)软连接hadoop配置 ln -s /root/hd/hadoop-2.8.4/etc/hadoop/core-site.xml /root/hd/hbase-1.3.0/conf/ ln -s /root/hd/hadoop-2.8.4/etc/hadoop/hdfs-site.xml /root/hd/hbase-1.3.0/conf/ 5、分发hbase安装文件到其他节点 cd /root/hd scp -r hbase-1.3.0/ hd09-2:/root/hd scp -r hbase-1.3.0/ hd09-3:/root/hd 6、启动集群 首先要启动hdfs集群,yarn集群和zookeeper集群(其中括号内的是启动命令所在的节点主机名,不包含在命令中) start-dfs.sh (hd09-1) start-yarn.sh (hd09-1) zkServer.sh start (hd09-1,hd09-2,hd09-3) cd /root/hd/hbase-1.3.0 bin/hbase-daemon.sh start master (hd09-1) bin/hbase-daemon.sh start regionserver (hd09-2,hd09-3) 7、启动终端 cd /root/hd/hbase-1.3.0 bin/hbase shell 8、ui界面 http://hd09-1:16010/master-status hbase.zookeeper.property.dataDir /root/hd/zookeeper-3.4.10/zkData
HBase架构
Hadoop和ZooKeeper依赖