Hadoop集群配置（Hadoop集群配置文件位置）

一、配置Hadoop集群主节点

修改hadoop-env.sh文件

• 先进入到主节点hadoop01解压包etc/hadoop/目录，使用vi hadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：

#export JAVA_HOME=/export/servers/jdk

修改core-site.xml文件

• 该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vi core-site.xml打开文件，配置内容如下

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/export/servers/hadoop-2.9.1/tmp</value>

</property>

</configuration>

修改hdfs-site.xml文件

主要是设置namenode和datanode进程，使用vi hdfs-site.xml指令打开该配置文件，配置内容如下：

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop02:50090</value>

</property>

</configuration>

修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cp mapred-site.xml.template mapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vi mapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

编写yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用vi yarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

修改slaves文件

该文件用于记录Hadoop集群所有从节点的主机名使用vi slaves指令打开该配置文件进行修改，添加如下配置内容：

hadoop01

hadoop02

hadoop03

将配置文件发往各子节点，用scp命令如下：

scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile

scp -r /export/ hadoop02:/

scp -r /export/ hadoop03:/

发送完配置文件后，要去相应的子节点进行更新，指令如下：

source /etc/profile

#我要上头条# #父亲节快乐# #涨粉黑马训练营# #微头条日签#