發(fā)布時間:2019-05-06 瀏覽:2468次
1. hadoop-env.sh
在運行Hadoop的腳本中使用的環(huán)境變量。只需要export JAVA_HOME即可,JAVA_HOME的目錄因人而異。
export JAVA_HOME=/home/project/jdk1.8.0_181
2. core-site.xml
Hadoop的核心配置,例如HDFS和MapReduce中很普遍的I/O設置。需要配置fs.default.name,指定namenode的IP地址和端口。配置hadoop.tmp.dir,hadoop.tmp.dir是Hadoop文件系統(tǒng)以來的基本配置,很多配置路徑都依賴他,他的默認位置每次系統(tǒng)重啟都會更新,所以要指向到一個持久化目錄中。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/project/hadoop-2.9.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://ccrfox140:9000</value>
<final>true</final>
</property>
</configuration>
3. hdfs-site.xml
HDFS后臺設置的配置:名稱節(jié)點,輔助名稱節(jié)點和數(shù)據(jù)節(jié)點。需要配置dfs.data.dir,指定數(shù)據(jù)節(jié)點存放集群數(shù)據(jù)的路徑,配置dfs.replication,指定數(shù)據(jù)的副本數(shù)量,配置dfs.name.dir,指定名稱節(jié)點元數(shù)據(jù)存儲目錄。
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/project/hadoop-2.9.1/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/project/hadoop-2.9.1/data</value>
</property>
</configuration>
4. mapred-site.xml
MapReduce后臺設置的配置(jobtracker和tasktracker)MapReduce后臺設置的配置(jobtracker和tasktracker)。配置mapred.job.tracker,指定作業(yè)工作器的位置,配置為master:9001
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://ccrfox140:9001</value>
</property>
</configuration>
5. masters
記錄運行輔助名稱節(jié)點的機器,一行一個
6. slaves
記錄運行數(shù)據(jù)節(jié)點的機器,一行一個記錄運行數(shù)據(jù)節(jié)點的機器,一行一個