hadoop搭建步骤-spark和hadoop的区别

1.vm虚拟机自然环境提前准备

1)复制vm虚拟机。

2)改动复制vm虚拟机的静态数据ip。

3)改动IP地址。

4)关闭防火墙。

5)建立atguigu客户。

6)将atguigu客户配备为具备root管理权限。

之上六项內容详细文档《硅谷大数据技术的Linux》。

7)在/opt文件目录中建立一个文件夹名称。

(1)在/opt文件目录中建立控制模块和手机软件文件夹名称。

[at guigu @ Hadoop 101 opt]$ sudo mkdir控制模块

[at guigu @ Hadoop 101 opt]$ sudo mkdir软件

(2)改动控制模块和手机软件文件夹名称的使用者。

[at guigu @ Hadoop 101 opt]$ sudo chown at guigu:at guigu控制模块/手机软件/

[atguigu@hadoop101 opt]$ ll

总使用量。

drwxr-xr-x . 2 at guigu at guigu 4096 1月17日14:37控制模块。

drwxr-xr-x . 2 at guigu at guigu 4096 1月17日14:38手机软件。

2.安装jdk

1)卸载掉目前的jdk。

(1)了解是不是安裝java软件:

[at guigu @ Hadoop 101 opt]$ rpm-QA | grep Java

(2)假如安裝的版本号小于1.7，卸载jdk:

[at guigu @ Hadoop 101 opt]$ sud0 rpm-e包。

2)应用SecureCRT专用工具将jdk导到opt文件目录下的手机软件文件夹名称中。

“alt p”进到sftp方式。

挑选jdk1.8拖进。

3）在linux系统软件下的opt文件目录中查询程序包是不是导进取得成功。3)查验包是不是在linux系统软件下的opt文件目录中取得成功导进。

[atguigu@hadoop101 opt]$ cd手机软件/

[atguigu@hadoop101手机软件]$ ls

hadoop-2.7.2.tar.gz·jdk-8u144-linux-x64.tar.gz

4)将jdk缓解压力到/opt/控制模块文件目录。

[atguigu@hadoop101手机软件]$ tar-zxvf jdk-8u144-linux-x64.tar.gz-C/opt/module/

5)配置jdk系统变量。

(1)最先获得jdk途径:

[at GUI @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ pwd

/opt/module/jdk1.8.0_144

(2)开启/etc/profile文档:

[atguigu@hadoop101手机软件]$ sudo vi /etc/profile

在环境变量结尾加上jdk途径:

#JAVA_HOME

导出来JAVA _ HOME =/opt/module/JDK 1 . 8 . 0 _ 144

导出来途径=$PATH:$JAVA_HOME/bin

(3)储存后撤出:

:wq

(4)让改动后的文档起效:

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ source/etc/profile

6)检测jdk是不是安裝取得成功:

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]# Java-版本号

java版本“1.8.0_144”

留意:重新启动(假如能应用java版本，就不用重新启动)。

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ sync

[at guigu @ Hadoop 101 JDK 1 . 8 . 0 _ 144]$ sudo重启

3.安裝Hadoop

0)Hadoop下载链接:

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/