一、配置Hadoop集群主節點
修改hadoop-env.sh文件
先進入到主節點hadoop01解壓包etc/hadoop/目錄,使用vihadoop-env.sh指令打開hadoop-env.sh文件,找到JAVA_HOME參數位置,進入如下修改:
exportJAVA_HOME=/export/servers/jdk
修改core-site.xml文件
該文件是Hadoop核心配置文件,其目的是配置HDFS地址、端口號,以及臨時文件目錄。使用vicore-site.xml打開文件,配置內容如下
《configuration》
《property》
《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》
《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》
修改hdfs-site.xml文件
主要是設置namenode和datanode進程,使用vihdfs-site.xml指令打開該配置文件,配置內容如下:
《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》
修改mapred-site.xml文件
該文件是MapReduce的核心配置文件,用于指定MapReduce運行時的框架,需要先通過cpmapred-site.xml.templatemapred-site.xml命令將文件復制并重命名為mapred-site.xml。接著,使用vimapred-site.xml指令打開mapred-site.xml文件進行修改,添加如下配置內容:
《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》
編寫yarn-site.xml文件
本文件是YARN框架的核心配置文件,需要指定YARN集群管理者,使用viyarn-site.xml指令打開該配置文件進行修改,添加如下配置內容:
《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》
修改slaves文件
該文件用于記錄Hadoop集群所有從節點的主機名使用vislaves指令打開該配置文件進行修改,添加如下配置內容:
hadoop01hadoop02hadoop03
將配置文件發往各子節點,用scp命令如下:
scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/
發送完配置文件后,要去相應的子節點進行更新,指令如下:
source/etc/profile
-
虛擬機
+關注
關注
1文章
917瀏覽量
28196 -
配置
+關注
關注
1文章
188瀏覽量
18382 -
Hadoop
+關注
關注
1文章
90瀏覽量
15984
發布評論請先 登錄
相關推薦
評論