小白学苑

Hadoop-3.2.1环境搭建(1)_单机模式

说明：

平台基于CentOS 7.x操作系统。用户名及软件安装目录如下：

---

一、安装和配置JDK

将提前下载的"jdk-8u181-linux-x64.tar.gz"安装包，拷贝到CentOS中的"~/software"目录下 ;

1、使用如下命令，进入到"/usr/local"目录下：

$ cd /usr/local

2、在"/usr/local"目录下，将刚才的jdk拷贝到当前目录下：

$ sudo cp ~/software/jdk-8u181-linux-x64.tar.gz ./

3、解压缩"jdk-8u181-linux-x64.tar.gz"安装包到"/usr/local/"目录下：

$ sudo tar -zxvf jdk-8u181-linux-x64.tar.gz

4、配置环境变量

  首先，打开配置文件(如果未安装nano编辑器，可以使用vim编辑器打开)：

$ sudo nano/etc/profile

  在打开的”/etc/profile”文件中，最后一行的后面一行，添加如下内容（注意，标点符号全都要是英文半角）：

export JAVA_HOME=/usr/local/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

  然后保存。

5、执行”/etc/profile”文件，让配置生效：

$ source /etc/profile

6、验证JDK环境变量是否配置正确：

$ javac -version
$ java -version

二、安装Hadoop

1、将hadoop安装包"hadoop-3.2.1.tar.gz"，拷贝到CentOS中的"~/software/"目录下 。

2、将Hadoop压缩包，解压缩到用户主目录的bigdata目录下 ：

$ cd ~
$ mkdir bigdata
$ cd bigdata
$ tar -zxvf ~/software/hadoop-3.2.1.tar.gz

3、打开"/etc/profile"配置文件，配置hadoop环境变量（注意，标点符号全都要是英文半角）:

export HADOOP_HOME=/home/hduser/bigdata/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

  然后保存。

4、执行"/etc/profile"，让配置生效：

$ source /etc/profile

5、测试hadoop安装：

$ hadoop version

三、在Hadoop上执行MR程序

1、进入到程序.jar包所在的目录：

$ cd ~/bigdata/hadoop-3.2.1/share/hadoop/mapreduce

2、执行如下命令，运行MR程序：

$ hadoop jar hadoop-mapreduce-examples-3.2.1.jar pi 10 20

3、在输出内容中，可以找到计算出的PI值。