在CentOS 7上搭建Hadoop环境是一项典型的任务，涉及到多个步骤，包括安装Java、配置Hadoop、启动集群等。本文将详细介绍如何在CentOS 7上搭建一个简单的Hadoop集群，并提供相关配置和调试步骤。
一、安装Java环境 ?️
Hadoop是基于Java开发的，因此必须先安装Java才能运行Hadoop。
1.1 安装OpenJDK
CentOS 7中可以直接通过YUM安装OpenJDK。首先，更新系统的YUM源：
sudo yum update -y
​
然后安装OpenJDK 1.8（推荐版本）：
sudo yum install java-1.8.0-openjdk-devel -y
​
安装完成后，验证Java版本：
java -version
​
1.2 配置Java环境变量
为了确保Java可以被系统正确识别，需要配置环境变量。打开 ~/.bashrc文件并添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH
​
使配置生效：
source ~/.bashrc
​
二、下载并安装Hadoop ?
2.1 下载Hadoop
访问Hadoop官方网站，下载适用于Linux的最新版本Hadoop。可以使用 wget命令下载，例如：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
​
2.2 解压Hadoop
下载完成后，将Hadoop安装包解压到指定目录：
tar -xzvf hadoop-3.3.1.tar.gz -C /opt/
​
2.3 配置Hadoop环境变量
打开 ~/.bashrc文件并添加以下环境变量：
export HADOOP_HOME=/opt/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
​
使配置生效：
source ~/.bashrc
​
三、配置Hadoop集群 ?
Hadoop的配置文件位于 $HADOOP_HOME/etc/hadoop目录。以下是常见的配置文件及其设置步骤。
3.1 配置 hadoop-env.sh
在 $HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中，配置Java的安装路径：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
​
3.2 配置 core-site.xml
core-site.xml配置Hadoop的核心设置。打开该文件并添加以下内容：
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
​
3.3 配置 hdfs-site.xml
hdfs-site.xml配置HDFS的相关参数。打开该文件并添加以下内容：
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>file:/opt/hadoop-3.3.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>file:/opt/hadoop-3.3.1/hdfs/datanode</value>
    </property>
</configuration>
​
3.4 配置 mapred-site.xml
mapred-site.xml配置MapReduce的相关设置。首先，复制模板文件：
cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
​
然后，编辑 mapred-site.xml并添加以下配置：
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
​
3.5 配置 yarn-site.xml
yarn-site.xml配置YARN资源管理器的相关参数。打开该文件并添加以下内容：
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
​
四、启动Hadoop集群 ?
4.1 格式化HDFS
在启动Hadoop之前，需要格式化HDFS。运行以下命令：
hdfs namenode -format
​
4.2 启动HDFS
启动HDFS服务，首先启动NameNode和DataNode：

                                    
標簽: 

                                    

                                        

                                            

                                                                                                
centos7
                                                                                                
Hadoop