手工搭建Hadoop环境(Linux) set java environment export JAVAHOME/opt/jdk17.0.x export PATH$PATH:$JAVAHOME/bin 说明 “jdk17.0.x”表示jdk安装包的具体版本,实际值需要从步骤3的返回值中获取。 例如:jdk17.0.8 f.按“Esc”退出编辑模式。 g.执行以下命令保存并退出。 :wq h.执行以下命令使/etc/profile里的配置生效。 source /etc/profile i.验证安装。 java version 回显信息如下表示jdk安装成功。 java version "17.0.8" 20230718 LTS Java(TM) SE Runtime Environment (build 17.0.8+9LTS211) Java HotSpot(TM) 64Bit Server VM (build 17.0.8+9LTS211, mixed mode, sharing) 2、安装Hadoop a.执行以下命令,下载Hadoop软件包。此处以2.10.1版本为例。 wget b.解压Hadoop安装包到opt目录下。 tar xvf hadoop2.10.1.tar.gz C /opt/ c.配置环境变量。 vim /etc/profile d.在底部添加以下内容。 set hadoop environment export HADOOPHOME/opt/hadoop2.10.1 export PATH$PATH:$HADOOPHOME/bin:$HADOOPHOME/sbin:$PATH export HDFSNAMENODEUSERroot export HDFSDATANODEUSERroot export HDFSSECONDARYNAMENODEUSERroot e,按“Esc”退出编辑模式。 f.执行以下命令保存并退出。 :wq g.执行以下命令使/etc/profile里的配置生效。 source /etc/profile h.执行以下命令,修改配置文件yarnenv.sh和hadoopenv.sh中JAVAHOME的路径。 echo "export JAVAHOME/opt/jdk17.0.8" >> /opt/hadoop2.10.1/etc/hadoop/yarnenv.sh echo "export JAVAHOME/opt/jdk17.0.8" >> /opt/hadoop2.10.1/etc/hadoop/hadoopenv.sh i.验证安装。 hadoop version 回显信息如下所示表示Hadoop安装成功。 Hadoop 2.10.1 Subversion r 1827467c9a56f133025f28557bfc2c562d78e816 Compiled by centos on 20200914T13:17Z Compiled with protoc 2.5.0 From source with checksum 3114edef868f1f3824e7d0f68be03650 This command was run using /opt/hadoop2.10.1/share/hadoop/common/hadoopcommon2.10.1.jar 3、配置Hadoop a.修改Hadoop配置文件coresite.xml。 1.执行以下命令,进入编辑页面。 vim /opt/hadoop2.10.1/etc/hadoop/coresite.xml 2.输入i,进入编辑模式。 3.在节点内,插入如下内容。 hadoop.tmp.dir file:/opt/hadoop2.10.1/tmp location to store temporary files fs.defaultFS hdfs://localhost:9000 4.按“Esc”退出编辑模式。 5.执行以下命令保存并退出。 :wq b.修改Hadoop配置文件hdfssite.xml。 1.执行以下命令,进入编辑页面。 vim /opt/hadoop2.10.1/etc/hadoop/hdfssite.xml 2.输入i,进入编辑模式。 3.在节点内,插入如下内容。 dfs.replication 1 dfs.namenode.name.dir file:/opt/hadoop2.10.1/tmp/dfs/name dfs.datanode.data.dir file:/opt/hadoop2.10.1/tmp/dfs/data 4.按“Esc”退出编辑模式。 5.执行以下命令保存并退出。 :wq 4、配置SSH免密登录 a.执行以下命令,创建公钥和私钥。 sshkeygen t rsa 按三次回车后回显信息如下图所示,表示创建公钥和私钥成功。 b.执行以下命令,将公钥添加到authorizedkeys文件中。 cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys chmod 0600 ~/.ssh/authorizedkeys 5、启动Hadoop a.执行以下命令,初始化namenode。 hadoop namenode format b.依次执行以下命令,启动Hadoop。 1.startdfs.sh 在回显信息中,依次输入yes。 2.startyarn.sh 回显信息如下图所示。 c.执行以下命令,可查看成功启动的进程。 jps 成功启动的进程如下所示。 9138 NameNode 9876 Jps 9275 DataNode 9455 SecondaryNameNode d.打开浏览器访问 若显示如下界面,表示Hadoop环境搭建完成。