hadoop-3.0.0集群搭建

2018-02-27 11:51:11来源:oschina作者:jackmanwu人点击

分享
hadoop-3.0.0集群搭建
下载hadoop包
wget -c http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz解压
tar -zxvf hadoop-3.0.0.tar.gz -C /usr/java/配置
配置环境变量,打开vim /etc/profile文件
export HADOOP_HOME=/usr/java/hadoop-3.0.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使之立即生效
source /etc/profile配置/etc/hosts
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2关闭防火墙
systemctl stop firewalld配置vim core-site.xml文件(etc/hadoop目录下),新增如下配置


fs.defaultFS
hdfs://master:9000

配置vim hdfs-site.xml文件,新增如下配置。
master机器上开放端口9870,供外部访问web页面(NameNode HTTP UI),查看集群情况。
slave机器上开放端口9864,供外部访问web页面(DataNode HTTP UI)。

dfs.replication
2


dfs.namenode.name.dir
file:/home/wujinlei/hadoop/dfs/name


dfs.datanode.data.dir
file:/home/wujinlei/hadoop/dfs/data


dfs.namenode.http-address
master:9870


dfs.datanode.http.address
master:9864

配置vim yarn-site.xml,新增如下配置,master机器上开放端口8088,供外部访问web页面,查看集群任务调度情况


yarn.resourcemanager.hostname
master


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.webapp.address
master:8088


yarn.application.classpath
/usr/java/hadoop-3.0.0/etc/hadoop,
/usr/java/hadoop-3.0.0/share/hadoop/common/lib/*,
/usr/java/hadoop-3.0.0/share/hadoop/common/*,
/usr/java/hadoop-3.0.0/share/hadoop/hdfs,
/usr/java/hadoop-3.0.0/share/hadoop/hdfs/lib/*,
/usr/java/hadoop-3.0.0/share/hadoop/hdfs/*,
/usr/java/hadoop-3.0.0/share/hadoop/mapreduce/*,
/usr/java/hadoop-3.0.0/share/hadoop/yarn,
/usr/java/hadoop-3.0.0/share/hadoop/yarn/lib/*,
/usr/java/hadoop-3.0.0/share/hadoop/yarn/*,
/usr/java/jdk1.8.0_45/lib/tools.jar


配置vim mapred-site.xml,新增如下配置


mapreduce.framework.name
yarn

在etc/hadoop下编辑works文件,内容如下
slave1
slave2启动集群
将上述配置好的hadoop文件复制到另外两个节点slave1和slave2
启动前先格式化,命令hdfs namenode -format
单独启动
启动dfs,命令start-dfs.sh
启动yarn,命令start-yarn.sh全部启动
命令start-all.sh
访问web页面
http://192.168.56.101:8088
http://192.168.56.101:9870

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台