HBase的安装和部署(2)_伪分布模式

说明:

平台基于CentOS 7.x操作系统。用户名及软件安装目录如下:

环境 设置或路径
用户名 hduser
用户主目录 /home/hduser
软件安装包位于 /home/hduser/software
软件安装位置 /home/hduser/bigdata/

HBase具有多种部署模式。

  • 独立模式:使用本地文件系统作为存储,它在同一个JVM中运行所有HBase守护进程和本地ZooKeeper。
  • 伪分布模式:使用HDFS系统或者本地作为存储,守护进程都在单个节点上运行。
  • 完全分布式:只能使用HDFS存储系统,HBase守护程序的多个实例在群集中的多个服务器上运行。

接下来我们学习HBase伪分布模式安装。

分布式安装又分为伪分布式和完全分布式。 伪分布式安装,指的是所有守护进程都在单个节点上运行,数据既可以存储在本地文件系统中,也可以存储在HDFS中。 伪分布式模式只是在单个主机上运行的完全分布式模式。 使用此HBase配置仅用于测试和原型设计。请勿将此配置用于生产或性能评估。

一、安装HBase

请按以下步骤下载和安装HBase。

1、从以下地址下载HBase压缩包到本地文件系统:下载HBase安装包

注意,选择合适的版本。这里我们选择长期稳定版2.3.5(您下载时也许版本有所变化),如下图所示:

将下载的.tar.gz结尾的文件,放在/home/hduser/software/目录下。

2、解压缩下载的压缩包到用户主目录:

$ cd ~/bigdata
$ tar -zxvf ~/software/hbase-2.3.5-bin.tar.gz

3、配置hbase环境变量:

$ sudo nano /etc/profile

在文件的最后,加上如下内容:

export HBASE_HOME=/home/hduser/bigdata/hbase-2.3.5
export PATH=$PATH:$HBASE_HOME/bin

4、执行/etc/profile文件,使环境变量生效:

$ source /etc/profile

5、测试环境变量配置:

$ hbase version

出现hbase版本信息,就说明hbase环境变量配置正确。

二、配置HBase

配置$HBASE_HOME/conf/中的文件,包括:

  • hbase-env.sh
  • hbase-site.xml

1、打开$HBASE_HOME/conf/hbase-env.sh文件,将下面配置项前的注释取消,并修改JAVA_HOME变量值为你自己的jdk安装主目录:

export JAVA_HOME=/usr/local/jdk1.8.0_251
export HBASE_MANAGES_ZK=true

上面第二个配置项的含义是,使用HBase自带的Zookeeper。

2、打开$HBASE_HOME/conf/hbase-site.xml文件配置如下属性:

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
    <property> 
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:8020/hbase</value> 
    </property> 
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>localhost</value>
    </property>
    <property> 
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hduser/bigdata/hbase-2.3.5/zoodata</value> 
    </property> 
    <property>
        <name>hbase.tmp.dir</name>
        <value>/home/hduser/bigdata/hbase-2.3.5/tmp</value>
    </property>
</configuration>

三、启动和测试HBase

1、启动HDFS集群:

$ start-dfs.sh

2、启动HBase:

$ start-hbase.sh

3、查看进程:

$ jps

如果系统配置正确,jps命令应该显示HMaster和HRegionServer进程正在运行。

4、检查HDFS上的hbase数据目录。如果一切正常,HBase会创建该目录。

在上面的配置中,它存储在HDFS之上的/hbase/中。可以使用hadoop fs命令或hdfs dfs命令列出这个目录。

$ hdfs dfs -ls /hbase

5、浏览Web UI。

HBase Web UI所使用的HTTP端口,Master为16010,RegionServer为16030。

如果一切正确,可以使用web浏览器连接Master UI - http://localhost:16010

可以在每个RegionServers的IP地址和16030端口上查看用于每个RegionServers的Web UI。

6、停止HBase。使用如下命令:

$ stop-hbase.sh

《PySpark原理深入与编程实战》