基于centos7搭建hadoop+zookeeper+hbase大数据集群

2018-01-11 12:47:21来源:网络收集作者:程序诗人人点击

分享

阿里云爆款最近在给公司项目 搭集群,顺手整理了一个文档,特别详细,相信新手看了也能一次搭好hadoop集群1. 环境准备

jdk1.8.0_121  hadoop-2.6.5  zookeeper-3.4.10  hbase-1.2.4


 


三台集群主机安装centos7系统


 


ip分别为


192.168.10.208(master)


192.168.10.207 (slave1)


192.168.10.206 (slave2)


 


2. 修改hosts文件

映射主机名和ip地址


 


# vim /etc/hosts


--加入如下内容


192.168.10.208 master


192.168.10.207 slave1


192.168.10.206 slave2


 


每台主机都需要修改


3. 安装jdk

--首先检查是否系统是否已集成自带openjdk


# java -version


如果显示jdk版本先卸载openjdk


 


# rpm -qa |grep java(查找安装位置)


--显示如下内容


java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64


java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64


 


--卸载


# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64


# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64


 


--安装jdk


 


--解压jdk安装包


# mkdir /usr/java


# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/java


 


--拷贝jdk至slave1和slave2


# scp -r /usr/java slave1:/usr


# scp -r /usr/java slave2:/usr


 


-- 设置jdk环境变量


# vim /etc/environment  


JAVA_HOME=/usr/java/jdk1.8.0_121 


JRE_HOME=/usr/java/jdk1.8.0_121/jre


 


# vim/etc/profile


--加入如下内容


export JAVA_HOME=/usr/java/jdk1.8.0_131 


export JRE_HOME=${JAVA_HOME}/jre 


export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 


export PATH=$PATH:$JAVA_HOME/bin


 


# source /etc/profile 使改动生效


 


4. 设置集群间无密码访问

slave1


--使用rsa加密


# ssh-keygen -t rsa


--拷贝公钥


# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub


--传送到master


# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/


 


slave2上进行同样的操作


 


master


--使用rsa加密


# ssh-keygen -t rsa 


--拷贝master公钥到authorized_keys


# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 


--拷贝master公钥到authorized_keys


--拷贝slave1公钥到authorized_keys


# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys 


--拷贝slave2公钥到authorized_keys


# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_keys


 


此时master的authorized_kyes里面有三台机器的公钥


 


--传送authorized_kyes到slave1和slave2


# scp ~/.ssh/authorized_keys slave1:~/.ssh 


# scp ~/.ssh/authorized_keys slave2:~/.ssh


 


5. 关闭防火墙及SELINUX

-- 关闭防火墙 


# systemctl stop firewalld.service 


# systemctl disable firewalld.service


 


--关闭SELINUX


# vim /etc/selinux/config


注释


#SELINUX=enforcing


#SELINUXTYPE=targeted


再加入


SELINUX=disable


 


6. Hadoop安装及配置
--解压缩安装包及创建基本目录

# tar -zxvf hadoop-2.6.5.tar.gz -C /usr 


# cd /usr/hadoop-2.6.5 


# mkdir tmp logs hdf hdf/data hdf/name


 


--修改配置文件

--修改slaves文件


 


# vim /usr/hadoop-2.6.5/etc/hadoop/slaves 


删除localhost


加入


slave1


slave2


 


-- 修改 core-site.xml 文件 


# vim /usr/hadoop-2.6.5/etc/hadoop/core-site.xml 


 


在configuration节点中加入如下内容


 


fs.default.name 


hdfs://master:9000 


 


 


hadoop.tmp.dir 


file:/usr/hadoop-2.6.5/tmp 


 


 


--修改hdfs-site.xml 文件 


# vim /usr/hadoop-2.6.5/etc/hadoop/hdfs-site.xml 


在configuration节点中加入如下内容


 


dfs.datanode.data.dir 


/usr/hadoop-2.6.5/hdf/data 


true 


 


 


dfs.namenode.name.dir 


/usr/hadoop-2.6.5/hdf/name 


true 


 


 


--修改mapred-site.xml文件


# cp /usr/hadoop-2.6.5/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.6.5/etc/hadoop/mapred-site.xml


在configuration节点中加入如下内容


 


mapreduce.framework.name 


yarn 


  


 


mapreduce.jobhistory.address 


master:10020 


 


 


mapreduce.jobhistory.webapp.address 


master:19888 


 


 


-- 修改 yarn-site.xml 文件 


# vim /usr/hadoop-2.6.5/etc/hadoop/yarn-site.xml


 


-- 在 configuration 节点添加以下内容


 


 


yarn.nodemanager.aux-services.mapreduce.shuffle.class 


org.apache.mapred.ShuffleHandler 


 


 


yarn.resourcemanager.address 


master:8032 


 


 


yarn.resourcemanager.scheduler.address 


master:8030 


 


 


yarn.resourcemanager.resource-tracker.address 


master:8031 


 


 


yarn.resourcemanager.admin.address 


master:8033 


 


 


yarn.resourcemanager.webapp.address 


master:8088 


 


 


--复制hadoop到slave1和slave2节点

# scp -r /usr/hadoop-2.6.5 slave1:/usr 


# scp -r /usr/hadoop-2.6.5 slave2:/usr


 


 


--配置hadoop环境变量

# vim /etc/profile


 


添加如下内容


export HADOOP_HOME=/usr/hadoop-2.6.5 


export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 


export HADOOP_LOG_DIR=/usr/hadoop-2.6.5/logs 


export YARN_LOG_DIR=$HADOOP_LOG_DIR


 


执行


# source /etc/profile


 


#vim ~/.bashrc


 


添加如下内容


export HADOOP_PREFIX=/usr/hadoop-2.6.5/


 


每个节点都要修改


 


--格式化namenode

#/usr/hadoop-2.6.5/bin/hdfs namenode -format


每个节点都要格式化


 


Hadoop环境搭建成功!


# /usr/hadoop-2.7.3/sbin/start-all.sh  启动hadoop查看是否成功


 


7. Zookeeper 环境搭建
--解压缩 zookeeper安装包,并建立基本目录

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr 


# mkdir /usr/zookeeper-3.4.10/data


 


--修改配置文件

--复制配置文件模版


# cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg


 


--修改配置文件开始


# vim /usr/zookeeper-3.4.10/conf/zoo.cfg


添加如下内容


dataDir=/usr/zookeeper-3.4.10/data 


server.1=master:2888:3888 


server.2=slave1:2888:3888 


server.3=slave2:2888:3888


 


--创建myid文件(每个节点都需创建)


# touch /usr/zookeeper-3.4.10/data/myid 


# vim /usr/zookeeper-3.4.10/myid 


分别添加如下内容


1(master节点添加) 


2(slave2节点添加) 


3(slave3节点添加) 


 


Zookeeper搭建成功


# cd /usr/zookeeper-3.4.10/bin 


# ./zkServer.sh start


启动zookeeper查看是否成功,每个节点都需分别启动


可查看我的另一篇文章,提供的shell命令启动关闭方法,只需在master运行一个命令即可


http://blog.csdn.net/loopeng1/article/details/79012989


 


8.  hbase环境搭建
--解压缩hbase安装包

# tar -zxvf hbase-1.2.4-bin.star.gz -C /usr 


# mkdir /usr/hbase-1.2.4-bin/logs


 


--修改配置文件

# vim /usr/hbase-1.2.4/conf/hbase-env.sh


添加如下内容


export JAVA_HOME=/usr/java/jdk1.8.0_121 


export HBASE_LOG_DIR=${HBASE_HOME}/logs 


export HBASE_MANAGES_ZK=false


 


--修改regionservers

# vim /usr/hbase-1.2.4/conf/regionservers 


 


-- 删除localhost,新增如下内容 


master 


slave1 


slave2


 


--修改配置文件

# vim /usr/hbase-1.2.4/conf/hbase-site.xml


在configuration标签中添加如下内容


 


hbase.rootdir 


hdfs://master:9000/hbase 


 


 


hbase.cluster.distributed 


true 


 


 


hbase.zookeeper.quorum 


master,slave1,slave2 


 


 


hbase.zookeeper.property.dataDir 


/usr/zookeeper-3.4.10/data 


 


 


hbase.master 


hdfs://master:60000 



 


--传送hbase到slave1和slave2中

# scp -r /usr/hbase-1.2.4 slave1:/usr 


# scp -r /usr/hbase-1.2.4 slave2:/usr


 


hbase环境搭建完成


# /usr/hbase-1.2.4/bin/start-hbase.sh  启动hbase查看是否安装成功

关于hbase的一些基本操作,会在后面陆续更新


最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台