hadoop安装 - xingli

hadoop 安装#

Untitled

模版机配置#

首先安装 vbox 下载 centos 镜像

最小化安装系统取消 efi 分区 boot efi /

配置网络

Untitled

这里和视频有所出入，应该是用的镜像不一样，最后生成的网络名字不同

网络配置#

首先修改 centos 虚拟机的网络为如下配置

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

Untitled

配置解析 type 设置是桥接网卡

gateway 是网关

ipaddr 是虚拟机 ip

dns1 可选网关地址

因为工坊的网关是 192.168.8.1 所以你的物理机 ip 也是 192.168.8.x

虚拟机需要和物理 ip 地址一样写 192.168.8.x

如果从这里的网换成宿舍网，虚拟机可能无法联网，建议多配几个网卡，根据宿舍网配置。

配置完毕后重启网络服务

systemctl restart network

使用ip addr来查看当前的配置

Untitled

如果一直卡主最后谈一个报错，重启服务失败，大概率是你的网络配置有问题

Untitled

vbox 的网络配置如上，在设备的网络配置网卡 1 为桥接网卡，名称选择你电脑联网的网卡

Untitled

我的网卡是 ax201

建立成功后物理机可以 ping 通虚拟机

Untitled

连接 ssh#

请确保你已经配置好了虚拟机的网络

配置好后在 ssh 终端输入你的虚拟机电脑的 ip 地址和 root 用户及密码就可以直接建立连接了

Untitled

至此，网络配置完成，你可以跟着教程走了。之后的集群网络配置应该和这个是类似的

安装 screenfetch（可选）#

#取文件
wget -O screenfetch https://git.io/vaHfR

#添加执行权限
chmod +x screenfetch

用于查看电脑配置

系统更新 (可选)#

sudo yum check-update
sudo yum update

安装必要软件包#

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

关闭防火墙#

systemctl stop firewalld
systemctl disable firewalld

修改 host 文件#

vim /etc/hosts

192.168.8.101  neko01
192.168.8.102  neko02

创建普通用户及提权设置#

1. 添加用户

useradd maomao
passwd maomao

2. 添加 root 权限

vim /etc/sudoers

使用shift + g 移动到最后

Untitled

在 root 下面添加用户信息 wq! 强制保存退出

在 /opt 创建目录#

cd /opt
mkdir module
mkdir software

输入ls查看结果

Untitled

安装 jdk 配置环境变量#

推荐安装 finalshell 自带 ftp

1. 引入 jar 包#

jdk-8u212-linux-x64.tar.gz

hadoop-3.1.3.tar.gz

2. 安装 jdk#

tar 解压

-zcvf 打包 -zxvf 解压

tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module

如果忘加-C 使用mv移动过去

mv jdk1.8.0_212/ ../module/

3. 添加环境变量#

不推荐直接修改这个文件

vim /etc/profile

原理

for i in /etc/profile.d/*.sh /etc/profile.d/sh.local ; do
    if [ -r "$i" ]; then
        if [ "${-#*i}" != "$-" ]; then
            . "$i"
        else
            . "$i" >/dev/null
        fi
    fi
done

建立环境变量

cd /etc/profile.d

创建文件

sudo touch java.sh
sudo vim java.sh

#配置jdk环境
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#声明PATH变量
PATH=$PATH:$JAVA_HOME/bin

#提升PATH JAVA_HOME 为系统全局变量
export JAVA_HOME PATH

重新加载 profile 文件

source /etc/profile

测试

[maomao@nekopara profile.d]$ java -version

java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

配置 Hadoop#

首先解压文件到module

如果是普通用户需要提权 sudo

把 Hadoop 的 bin 和 sbin 目录配置到环境变量中#

#配置jdk环境
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212

#配置Hadoop环境
#声明 Hadoophome

HADOOP_HOME=/opt/module/hadoop-3.1.3

#声明PATH变量
#环境变量融合
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#提升PATH JAVA_HOME HADOOP_HOME为系统全局变量
export JAVA_HOME PATH HADOOP_HOME

刷新缓存

source /etc/profile

验证

[root@nekopara profile.d]# hadoop version

Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

有这样类似输出则证明环境变量配置好了