hadoop安裝 - xingli

Hadoop 安裝#

Untitled

模板機配置#

首先安裝 vbox 下載 centos 鏡像

最小化安裝系統取消 efi 分區 boot efi /

配置網絡

Untitled

這裡和視頻有所出入，應該是用的鏡像不一樣，最後生成的網絡名字不同

網絡配置#

首先修改 centos 虛擬機的網絡為如下配置

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

Untitled

配置解析 type 設置是橋接網卡

gateway 是網關

ipaddr 是虛擬機 ip

dns1 可選網關地址

因為工坊的網關是 192.168.8.1 所以你的物理機 ip 也是 192.168.8.x

虛擬機需要和物理 ip 地址一樣寫 192.168.8.x

如果從這裡的網換成宿舍網，虛擬機可能無法聯網，建議多配幾個網卡，根據宿舍網配置。

配置完畢後重啟網絡服務

systemctl restart network

使用ip addr來查看當前的配置

Untitled

如果一直卡主最後談一個報錯，重啟服務失敗，大概率是你的網絡配置有問題

Untitled

vbox 的網絡配置如上，在設備的網絡配置網卡 1 為橋接網卡，名稱選擇你電腦聯網的網卡

Untitled

我的網卡是 ax201

建立成功後物理機可以 ping 通虛擬機

Untitled

連接 ssh#

請確保你已經配置好了虛擬機的網絡

配置好後在 ssh 終端輸入你的虛擬機電腦的 ip 地址和 root 用戶及密碼就可以直接建立連接了

Untitled

至此，網絡配置完成，你可以跟著教程走了。之後的集群網絡配置應該和這個是類似的

安裝 screenfetch（可選）#

#取文件
wget -O screenfetch https://git.io/vaHfR

#添加執行權限
chmod +x screenfetch

用於查看電腦配置

系統更新 (可選)#

sudo yum check-update
sudo yum update

安裝必要軟件包#

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

關閉防火牆#

systemctl stop firewalld
systemctl disable firewalld

修改 host 文件#

vim /etc/hosts

192.168.8.101  neko01
192.168.8.102  neko02

創建普通用戶及提權設置#

1. 添加用戶

useradd maomao
passwd maomao

2. 添加 root 權限

vim /etc/sudoers

使用shift + g 移動到最後

Untitled

在 root 下面添加用戶信息 wq! 強制保存退出

在 /opt 創建目錄#

cd /opt
mkdir module
mkdir software

輸入ls查看結果

Untitled

安裝 jdk 配置環境變量#

推薦安裝 finalshell 自帶 ftp

1. 引入 jar 包#

jdk-8u212-linux-x64.tar.gz

hadoop-3.1.3.tar.gz

2. 安裝 jdk#

tar 解壓

-zcvf 打包 -zxvf 解壓

tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module

如果忘加-C 使用mv移動過去

mv jdk1.8.0_212/ ../module/

3. 添加環境變量#

不推薦直接修改這個文件

vim /etc/profile

原理

for i in /etc/profile.d/*.sh /etc/profile.d/sh.local ; do
    if [ -r "$i" ]; then
        if [ "${-#*i}" != "$-" ]; then
            . "$i"
        else
            . "$i" >/dev/null
        fi
    fi
done

建立環境變量

cd /etc/profile.d

創建文件

sudo touch java.sh
sudo vim java.sh

#配置jdk環境
#聲明JAVA_HOME變量
JAVA_HOME=/opt/module/jdk1.8.0_212
#聲明PATH變量
PATH=$PATH:$JAVA_HOME/bin

#提升PATH JAVA_HOME 為系統全局變量
export JAVA_HOME PATH

重新加載 profile 文件

source /etc/profile

測試

[maomao@nekopara profile.d]$ java -version

java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

配置 Hadoop#

首先解壓文件到module

如果是普通用戶需要提權 sudo

把 Hadoop 的 bin 和 sbin 目錄配置到環境變量中#

#配置jdk環境
#聲明JAVA_HOME變量
JAVA_HOME=/opt/module/jdk1.8.0_212

#配置Hadoop環境
#聲明 Hadoophome

HADOOP_HOME=/opt/module/hadoop-3.1.3

#聲明PATH變量
#環境變量融合
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#提升PATH JAVA_HOME HADOOP_HOME為系統全局變量
export JAVA_HOME PATH HADOOP_HOME

刷新緩存

source /etc/profile

驗證

[root@nekopara profile.d]# hadoop version

Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

有這樣類似輸出則證明環境變量配置好了