完全分布式HBase环境搭建【主要流程记录】

本文记录了完全分布式Hbase数据库安装过程中的主要流程以及遇到的问题。
若要查看详细操作步骤可以参考文末的资料。

#1 安装HDFS

架构

3台虚拟机，名字分别为master，hadoop-2，hadoop-3。其中master为NameNode，其余机器为DataNode。

系统环境

Ubuntu 18.04操作系统

Hadoop版本

2.7.7

流程

(1/6) 先创建一台主机，完成基础配置，避免重复的工作

使用Vmware软件，虚拟出1台主机，命名为master，作为Master节点，并安装Ubuntu18.04操作系统。
在这台机器中，配置 hadoop 用户、安装 SSH server、安装 Java 环境、设置环境变量、安装必要的软件(vim,curl,wget等)。

(2/6) 克隆主机，修改网卡，修改hosts文件

克隆两个副本，分别命名为hadoop-2和hadoop-3。
开机前先修改副本的网卡地址（Mac地址），开机后确保ip互不相同。
修改主机名，修改hosts文件使主机名与ip地址对应。【127.0.0.1 localhost】一项需保留，文件IPv4部分的其他已有条目可删除。

(3/6) 配置ssh，使master可无密码登录至所有节点

在master中生成密钥，将生成的id_rsa.pub文件追加到authorized_keys文件中；
将master中生成的id_rsa.pub文件拷贝到hadoop2和hadoop3节点中，分别追加至authorized_keys文件中；
使用ssh测试能否从master节点无密码登录master、hadoop2、hadoop3节点。

(4/6) 在master中安装Hadoop，修改配置文件

解压hadoop文件至/usr/local文件夹，使用 chown -R 命令修改文件所属；
修改/usr/local/hadoop/etc/hadoop 中的5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
具体内容如下：

slaves

1 2	hadoop-2 hadoop-3

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

hdfs-site,xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

(5/6) 将master中的hadoop复制到其他节点中

打包hadoop文件夹中所有文件，拷贝到hadoop-2、hadoop-3中；
在hadoop-2、hadoop-3中分别解压，到/usr/local目录下，修改所属用户。

(6/6) 运行hadoop，验证是否安装成功

格式化，在master运行：hdfs namenode -format
启动hadoop：

1
2
3

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过web查看运行状态：http://master:50070；
关闭hadoop：

1
2
3

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

至此，HDFS就安装成功了，可以在其上面运行MapReduce任务等操作。

#2 安装HBase

HBase 版本

1.3.2

架构

Node Name	Master	ZooKeeper	RegionServer
master	yes	yes	no
hadoop-2	backup	yes	yes
hadoop-3	no	yes	no

流程

(1/4) 在master中安装HBase，修改配置文件

解压HBase文件至/usr/local文件夹，使用 chown -R 命令修改文件所属；
修改/usr/local/hbase/conf下的配置文件：regionservers，backup-masters，hbase-site.xml
具体内容如下：

regionservers

1 2	hadoop-2 hadoop-3

backup-masters (若没有，需要手动创建)

hadoop-2

hbase-site.xml

<configuration>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,hadoop-2,hadoop-3</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>
</configuration>

(2/4) 在hadoop-2中，进行中安装Hadoop的第3步，使得hadoop-2可以无密码登录所有节点

进行这一步的原因是hadoop-2作为master的备份，也需要访问的其他节点权限。具体步骤参考安装Hadoop的第3步。

(3/4) 将hbase文件夹复制到其他节点中

打包hbase文件夹中所有文件，拷贝到hadoop-2、hadoop-3中；
在hadoop-2、hadoop-3中分别解压，到/usr/local目录下，修改所属用户。

(4/4) 运行hbase，验证是否安装成功

启动hbase：start-hbase.sh；
使用jps查看进程，按照以上步骤安装后，正常情况下的输出结果为 (id可以不同)：

master
26721 NameNode
31985 HMaster
31906 HQuorumPeer
26981 SecondaryNameNode
34088 Bootstrap
36489 Jps
27148 ResourceManager
27437 JobHistoryServer

hadoop-2
19968 Jps
15056 DataNode
18802 HMaster
18506 HQuorumPeer
15228 NodeManager
18653 HRegionServer

hadoop-3
12592 NodeManager
14946 HRegionServer
12422 DataNode
14792 HQuorumPeer
16090 Jps