金沙澳门官网登录-www.js8.com-金沙澳门官网下载app

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBas

6.3.2 修改 hbase-site.xml

编辑hbase-site.xml 文件,在<configuration>增加如下配置

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://master:9000/hbase</value>
 <description>The directory shared byregion servers.</description>
</property>
 <!-- hbase端口 -->
<property>
 <name>hbase.zookeeper.property.clientPort</name>
 <value>2181</value>
</property>
<!-- 超时时间 -->
<property>
 <name>zookeeper.session.timeout</name>
 <value>120000</value>
</property>
<!--防止服务器时间不同步出错 -->
<property>
<name>hbase.master.maxclockskew</name>
<value>150000</value>
</property>
<!-- 集群主机配置 -->
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>master,slave1,slave2</value>
</property>
<!--   路径存放 -->
<property>
 <name>hbase.tmp.dir</name>
 <value>/root/hbase/tmp</value>
</property>
<!-- true表示分布式 -->
<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>
  <!-- 指定master -->
  <property>
    <name>hbase.master</name>
    <value>master:60000</value>
  </property>

</configuration>

图片 1
说明:hbase.rootdir:那些目录是region server的分享目录,用来长久化Hbase 。hbase.cluster.distributed :Hbase的运作格局。false是单机情势,true是遍布式方式。若为false,Hbase和Zookeeper会运维在同叁个JVM里面。

5,急速键设置(可选卡塔尔

注解:因为要日常切换各类目录以内,所以为了偷懒,就设置小名了。只需求在linux输入外号,就能够执行外号后边的下令,分外的有利。 举例:大家常用的ll正是 ls -l 的小名。关于外号那块各位能够自行检索。
输入:

vim ~/.bashrc

丰裕底下的内容

# Some more ailases
alias chd='cd /opt/hadoop/hadoop2.8'
alias chb='cd /opt/hbase/hbase1.2'
alias chi='cd /opt/hive/hive2.1'
alias czk='cd /opt/zookeeper/zookeeper3.4'
alias csp='cd /opt/spark/spark2.0-hadoop2.4-hive'

alias fhadoop='/opt/hadoop/hadoop2.8/bin/hdfs namenode -format'
alias starthadoop='/opt/hadoop/hadoop2.8/sbin/start-all.sh'
alias stophadoop='/opt/hadoop/hadoop2.8/sbin/stop-all.sh'

alias starthbase='/opt/hbase/hbase1.2/bin/start-hbase.sh'
alias stophbase='/opt/hbase/hbase1.2/bin/stop-hbase.sh'

alias startzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh start'
alias stopzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh stop'
alias statuszk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh status'

alias startsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/start-all.sh'
alias stopsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/stop-all.sh'

图片 2

家成业就增添之后输入

source ~/.bashrc

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解。下一场输入设置的别名就足以执行你所设置的故事情节了。别称的装置不明确非要根据位置的,假若有更加好方法就请使用

4.2.1,文件准备

将下载好的斯Parker文件解压
输入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

接下来移动到/opt/spark 里面,比量齐观命名
输入

mv  spark-1.6.3-bin-hadoop2.4-without-hive  /opt/spark
mv  spark-1.6.3-bin-hadoop2.4-without-hive  spark1.6-hadoop2.4-hive

3.2.1 文件计划

将下载下来的Hadoop的安插文件举行解压
在linux上输入:

 tar  -xvf   hadoop-2.8.2.tar.gz

下一场将解压之后的文本夹移动到opt/hadoop文件夹下,未有该文件夹就新建,然后将文件夹重命名称叫hadoop2.8。
在linux上输入移动文件夹命令:

mv  hadoop-2.8.2 /opt/hadoop
mv  hadoop-2.8.2 hadoop2.8

4,启动zookeeper

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解。因为zookeeper是公投制,它的主从关系并不是像hadoop那样内定的,具体能够看官方的文档表达。
中标陈设zookeeper之后,在每台机械上运转zookeeper。
切换到zookeeper目录下

cd /opt/zookeeper/zookeeper3.4/bin

输入:

zkServer.sh start

打响运营现在
翻看景况输入:

 zkServer.sh status

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解。能够查阅各类机器上zookeeper的leader和follower
图片 3

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解。3.2.3 改过配置文件

改良 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml 等这几个布置文件
在linux输入进去该目录的通令:

cd /opt/hadoop/hadoop2.8/etc/hadoop

4,时间陈设

集群上的机械时间要一同,因为笔者那边的是设想机,所以就不用了。
设置集群时间同步能够使用NTP服务。
现实可以参照他事他说加以考查:

3,spark启动

证实:要先运营Hadoop
切换到Spark目录下
输入:

cd /opt/spark/spark2.2/sbin

下一场运维Spark
输入:

 start-all.sh

运维成功之后,能够利用jps命令在逐个机器上查看是还是不是中标。
能够在浏览器输入: ip+8080 端口查看

图片 4
若成功浮现这些分界面,则表示斯Parker成功运行。

3,hadoop启动

:运营hadoop早前确认保障防火墙关闭,种种机器时间经过,ssh免登陆都没问题。
初始化hadoop
切换来/opt/hadoop/hadoop2.8/bin目录下输入

./hdfs  namenode  -format

早先化成功未来,切换成/opt/hadoop/hadoop2.8/sbin
启动hadoop 的hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

率先次登陆会询问是或不是连接,输入yes ,然后输入密码就能够了
起首成功之后,能够应用jps命令在各类机器上查看是还是不是中标
能够在浏览器输入: ip+50070 和8088端口查看
图片 5

图片 6

若如图呈现,则运维成功。
若失利,检查jps是或不是成功运行,防火墙是还是不是都关门。都认同没难题之后,依旧无法开辟分界面,请查看日志,再来找原因。

1,JDK配置

说明: 平时CentOS自带了openjdk,不过hadoop集群使用的是oracle官方的jdk,所以先行卸载CentOS的jdk,然后再安装在oracle下载好的JDK。
先是输入 java -version
翻开是不是安装了JDK,假诺设置了,但版本不切合的话,就卸载
图片 7

输入
rpm -qa | grep java
翻开音讯
图片 8
下一场输入:
rpm -e --nodeps “你要卸载JDK的音信”
如: rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
图片 9

明确未有了后来,解压下载下来的JDK

tar  -xvf   jdk-8u144-linux-x64.tar.gz

移步到opt/java文件夹中,未有就新建,然后将文件夹重命名称叫jdk1.8。

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

下一场编辑 profile 文件,增加如下配置
输入:

vim /etc/profile

添加:

export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

加上成功现在,输入

source /etc/profile
java  -version 

查阅是还是不是配备成功

2,碰着布署

编辑 /etc/profile 文件
输入:

export HBASE_HOME=/opt/hbase/hbase1.2
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效
输入
hbase version
翻开版本
图片 10

五、Zookeeper的境遇安排

因为HBase做集群,所以就供给zookeeper了。
zookeeper 在广大遭受搭建上,都会有他的人影,如kafka、storm等,这里就相当的少说了。

3,防火墙关闭

说明:其实能够不关门防火墙,进行权力设置,然而为了有助于访谈,于是便关门大吉了防火墙。每一个机器都做!!!

关门防火墙的下令
甘休防火墙:
service iptables stop
启航防火墙:
service iptables start
重启防火墙:
service iptables restart
世世代代关闭防火墙:
chkconfig iptables off

3.5.2.5 修改yarn-site.xml文件

yarn 能源调治的布置,集群的话那一个结构是必得的。
修改/opt/hadoop/hadoop2.8/etc/hadoop/yarn-site.xml文件,
<configuration>大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解。节点内投入配置

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8182</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

图片 11

注明:yarn.nodemanager.vmem-check-enabled那些的意味是忽略设想内部存款和储蓄器的检讨,若是你是设置在设想机上,那么些构造很有用,配上去之后继续操作不易于出标题。假如是实业机上,何况内存够多,能够将以此布局去掉。

七、Hive的条件设置配备

因为hive安装使用没有必要集群,只需在生机勃勃台机械上安装使用就能够了,从前在自身的
大数量学习类别之四 ----- Hadoop+Hive意况搭建图像和文字安详严整(单机卡塔尔(قطر‎ 里面已经批注的很详细,所以本文就不在描述了。

6.3.3 修改regionservers

钦定hbase的核心,和hadoop的slaves文件配置同样
将文件改进为

slave1 
slave2

图片 12
:上边包车型客车为集群的主机名称

在后生可畏台机器上(最棒是master卡塔尔(英语:State of Qatar)做完那一个安插之后,大家应用scp命令将这一个配置传输到其余机器上。
输入:
hbase情形传输

scp -r /opt/hbaseroot@slave1:/opt
scp -r /opt/hbase root@slave2:/opt

传输之后,便在主节点运维集群。

生机勃勃、情状接纳

6.3.1 修改hbase-env.sh

编纂 hbase-env.sh 文件,增多以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

图片 13
说明:配置的门径以投机的为准。HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。

八、其他

条件搭建参谋:
条件布置参照他事他说加以考察的合英语档。

到此,本学科就得了了,谢谢阅读!

版权注明:
作者:虚无境
博客园出处:
CSDN出处:    
个人博客出处:
原创不易,转发请标记出处,谢谢!

4.2.3,匡正配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf

二、Hadoop的蒙受搭建

前期表达,这几个安顿能够在生龙活虎台机器上配备,然后复制到其余机器上就能够了。复制之后注意使这么些布署文件生效。

3.2.3.2 修改 hadoop-env.sh

本条要做,不知底为何相对路线不识别,于是就使用相对路线。

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/opt/java/jdk1.8

注:更正为谐和JDK的不二秘籍
图片 14

1,集群机器安装图

此番因为是集群搭建,所以在境况布署方面,笔者动用一张表格来大约陈说。集群使用了3台机器,分别是master、slave1、slave2,通过名称命名就足以知道主从涉嫌了。使用的操作系统是CentOS6.8,具体各类机器安装的配置如下表格:
图片 15

具体各样机器的结构就疑似上海教室了。要求补充的是,spark那块我平素不动用官方自带的spark,而是采用的早就编写翻译好的spark和hive的版本。因为前面在应用hive查询的时候,不想利用hive暗中认可的mr,在hive2.x随后,官方也不建议了。因为运用mr作用实在太低,所以在末端小编会将hive的斯特林发动机换来spark,而和谐又不想再度编译spark ,所以就用那个本子了。即使各位想活动编译,只怕现身更加高的本子,就没须求一定遵照地方的来。还应该有存放路线那块,没必要应当要利用方面包车型大巴,可以先在机械上采纳df -h 查看相应的磁盘空间,再来举行安顿。

1,主机名校勘以至主机和IP做连锁映射

3.2.2 情形计划

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

4,启动hbase

在名利双收运维Hadoop、zookeeper之后
切换到HBase目录下

cd /opt/hbase/hbase1.2/bin

输入:

start-hbase.sh

运行成功之后,能够采纳jps命令在依次机器上查看是或不是中标
能够在浏览器输入: ip+16010 端口查看
图片 16

若成功呈现该分界面,则运营成功。

四、斯Parker的条件布署

说明:其实spark的相关配置,笔者在大数额学习种类之六 ----- Hadoop+斯Parker境况搭建 应该已经说的很详细了,纵然是单机情状。其实集群也就充实个slave配置,其余的有的时候好像没什么了。所以就大约的贴下配置。

5.3.1 成立文件和目录

在集群的服务器上都创立那一个目录

mkdir   /opt/zookeeper/data  
mkdir   /opt/zookeeper/dataLog

并且在/opt/zookeeper/data目录下创办myid文件
输入:

touch  myid

创办成功现在,校勘myid文件。
本人那边为了有助于,将master、slave1、slave2的myid文件内容改为1,2,3
图片 17

2,ssh免登录

安装ssh免密码登陆是为了操作方便
变迁秘钥文件
在每台机械上都推行贰次
第豆蔻梢头输入:

ssh-keygen -t rsa -P ''

改变秘钥之后,然后将每台机器/root/.ssh 都存入内容后生可畏致的文书,文件名为authorized_keys,文件内容是大家刚刚为3台机器生成的公钥。能够在风流倜傥台机械上生成,然后复制到此外的机械上。

新建authorized_keys文件
输入 :

 touch  /root/.ssh/authorized_keys

编辑 authorized_keys 并将其他机器上的秘钥拷贝过来

cat /root/.ssh/id_rsa.pub
vim /root/.ssh/authorized_keys

将此外机器上的 id_rsa.pub 的开始和结果拷贝到 authorized_keys这些文件中。
先是个机械:
图片 18

第一个机械:
图片 19

其四个机械:
图片 20

最终authorized_keys文件的从头到尾的经过
图片 21

将那么些最终的authorized_keys文件copy到其余机器的 /root/.ssh 目录下。使用scp或然ftp都足以。
scp命令示例:

scp -r /root/.ssh/authorized_keys root@192.169.0.24:/root/.ssh

测量检验免密码登陆
输入:

ssh slave1
ssh slave2

输入 exit 退出
图片 22

2,Spark配置

1,文件思考

将下载下来的Zookeeper 的配备文件进行解压
在linux上输入:

 tar  -xvf   zookeeper-3.4.10.tar.gz

接下来移动到/opt/zookeeper里面,未有就新建,然后将文件夹重命名称叫zookeeper3.4
输入

mv  zookeeper-3.4.10  /opt/zookeeper
mv  zookeeper-3.4.10  zookeeper3.4
3.5.2.4 修改mapred-site.xml

推行mapreduce的运维框架配置。ps:以为那一个构造没啥用,大概自个儿没用mr吧。
大器晚成旦未有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件同仁一视命名字为mapred-site.xml。
匡正这么些新建的mapred-site.xml文件,在<configuration>节点内到场配置:

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

4.2.2,处境陈设

编辑 /etc/profile 文件
输入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

4.2.3.2 修改slaves

slaves 遍及式文件
在conf目录下,订正slaves文件,如果未有 slaves 该文件,就复制slaves .template文件一碗水端平命名叫slaves 。
修正这一个新建的slaves 文件,参加配置:

slave1 
slave2

在生龙活虎台机械上(最棒是master卡塔尔国做完那一个布署之后,大家接收scp命令将这个安顿传输到其余机器上。
输入:
scala情状传输

scp -r /opt/scala root@slave1:/opt
scp -r /opt/scala root@slave2:/opt

spark景况传输

scp -r /opt/spark root@slave1:/opt
scp -r /opt/spark root@slave2:/opt

传输之后,便在主节点运营集群。

2,碰着安顿

编辑 /etc/profile 文件
输入:

export  ZK_HOME=/opt/zookeeper/zookeeper3.4 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

5.3.2 新建zoo.cfg

切换到/opt/zookeeper/zookeeper3.4/conf 目录下
若果未有 zoo.cfg 该文件,就复制zoo_sample.cfg文件一碗水端平命名称为zoo.cfg。
匡正那个新建的zoo.cfg文件

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

图片 23

说明:client port,看名就能够知道意思,正是顾客端连接zookeeper服务的端口。那是二个TCP port。dataLogDir里是放到的次第日志(WAL卡塔尔(قطر‎。而dataDir里放的是内部存款和储蓄器数据布局的snapshot,便于急速回涨。为了完成品质最大化,平常提出把dataDir和dataLogDir分到不相同的磁盘上,那样就足以丰富利用磁盘顺序写的性状。dataDir和dataLogDir须要和睦创办,目录能够团结制定,对应就可以。server.第11中学的那一个1索要和master这几个机器上的dataDir目录中的myid文件中的数值对应。server.第22中学的那几个2急需和slave1这些机器上的dataDir目录中的myid文件中的数值对应。server.3中的这么些3亟待和slave2那一个机器上的dataDir目录中的myid文件中的数值对应。当然,数值你能够不管用,只要对应即可。2888和3888的端口号也得以随意用,因为在区别机器上,用成同样也无所谓。
1.tickTime:CS通讯心跳数
Zookeeper 服务器之间或顾客端与服务器之间维持心跳的日子间距,相当于各样tickTime 时间就能够发送叁个心跳。tickTime以飞秒为单位。
tickTime=2000
2.initLimit:LF起初通讯时间节制
集群中的follower服务器(F卡塔尔与leader服务器(L卡塔尔之间开首连接时能隐忍的最多心跳数(tickTime的数目)。
initLimit=10
3.syncLimit:LF同步通讯时间节制
集群中的follower服务器与leader服务器之间需要和应对之间能容忍的最多心跳数(tickTime的数目)。
syncLimit=5

照例将zookeeper传输到别的的机械上,记得修改 /opt/zookeeper/data 下的myid,那一个不能够平等。
输入:

scp -r /opt/zookeeper root@slave1:/opt
scp -r /opt/zookeeper root@slave2:/opt
4.2.3.1 修改 spark-env.sh

在conf目录下,校正spark-env.sh文件,若无 spark-env.sh 该文件,就复制spark-env.sh.template文件仁同一视命名叫spark-env.sh。
改进那么些新建的spark-env.sh文件,插手配置:

export SCALA_HOME=/opt/scala/scala2.1    
export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=4G

:上边的路线以友好的为准,SPAWranglerK_MASTER_IP为主机,SPARK_EXECUTOR_MEMO凯雷德Y为设置的运营内存。

4.1.1 文件计划

将下载好的Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

下一场移动到/opt/scala 里面
与此同一时候重命名字为scala2.1
输入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.12
3.2.2.3 修改 hdfs-site.xml

下边包车型地铁hdfs的贮存路径,能够依附自身机器改进。
<configuration>节点内加入配置:

 <property>
    <name>dfs:replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/root/hadoop/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/root/hadoop/data</value>
  </property>    

图片 24

1,Scala配置

和JDK配置大约意气风发致

3.2.3.1 修改 core-site.xml

hadoop的寄存路线能够自行转移。在此之前小编认为那么些文件夹供给手动成立,后来实施了,假使不手动创造,会活动创立的,所以就去掉了手动创设目录的手续。
输入:

vim core-site.xml

<configuration>节点内步向配置:

 <configuration>
<property>
    <name>hadoop.temp.dir</name>
    <value>file:/root/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
<!-- eclipse连接hive 的配置-->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
</configuration>

图片 25

说明: fs.defaultFS 是缺省文件的名称, 最先接受的是 fs.default.name,后来在风靡官方文书档案中查到该方式已经弃用了。于是边改成那一个了。ps:认为也没啥差距。

3,改革配置文件

切换到 /opt/hbase/hbase-1.2.6/conf 下

二、集群的相关布署

2.做主机和IP的涉及映射

改革hosts文件,做涉嫌映射
注脚:那个每台机械都做这么些布局,具体ip和主机名称以相好的为准。
输入:

vim /etc/hosts

添加

192.169.0.23 master
192.169.0.24 slave1
192.169.0.25 slave2

图片 26
说明:能够留意气风发台机器增加了未来方可接受scp 命令或采纳ftp将那些文件copy到 别的机器中。
scp命令示例:

scp -r /etc/hosts root@192.169.0.24:/etc

3,改良配置文件

引言

    在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式。至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了。。。 
    整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多。在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来。于是就有了本篇博文。
    其实我在搭建的时候,并不是按部就班的搭建,中间或多或少都更改过不少,试验出来了目前没啥问题的集群搭建。在写本文的时候,开始准备将环境在一台机器上搭建,然后全部传输到其他机器上。但是想了想,这样或许在搭建环境的时候快速,但是对于阅读者来说,不太友好。于是便拆分出来了,单独搭建一个也是可以的。好了,废话就少说了,教程如下。

2,hadoop配置

1. 更正主机名

说明:校订主机名是为了便于集群管理,不然每种机器的名号都叫localhost也不太好吧! 集群全部的机械都要做这几个操作。

输入

 vim /etc/sysconfig/network 

将localhost.localdomain校订为您要修改的名目,每台名称都不相像
例如:

HOSTNAME=master

注: 名称更改了之后输入reboot重启才会生效。

2,配置表明

  • JDK :Hadoop和斯Parker 信赖的布局,官方建议JDK版本在1.7上述!!!
  • Scala:Spark重视的安插,建议版本超级大于spark的版本。
  • Hadoop: 是二个遍及式系统根基布局。
  • 斯Parker: 布满式存款和储蓄的大数据开展管理的工具。
  • zookeeper:布满式应用程序协和服务,HBase集群要求。
  • HBase: 三个结构化数据的布满式存款和储蓄系统。
  • Hive: 基于Hadoop的四个数据仓库工具,如今的私下认可元数据库是mysql。

3,下载地址

法定地址:
Hadoop:

Spark:

Spark Sql on Hive

Scala:

JDK:

HBase

Zookeeper

Hive

百度云:
链接: 密码:o1ov

1,文件策画

将下载下来的HBase的安插文件举办解压
在linux上输入:

 tar  -xvf   hbase-1.2.6-bin.tar.gz

接下来移动到/opt/hbase 文件夹里面,一碗水端平命名字为 hbase1.2
输入

mv  hbase-1.2.6  /opt/hbase
mv  hbase1.2  /opt/hbase

4.1.2 遭受安插

编辑 /etc/profile 文件
输入:

export SCALA_HOME=/opt/scala/scala2.12
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效
输入 scala -version 查看是不是安装成功

目录

[TOC]

3.5.2.6 修改slaves

设置基本的安插。假诺不安装那个,集群就不恐怕获悉主从了。假若是单机情势,就没须要配置了。
修改/opt/hadoop/hadoop2.8/etc/hadoop/slaves文件
更改为

slave1 
slave2

那个配置仿效Hadoop官方文书档案。
Hadoop官方配置文件具体表达:

在生龙活虎台机器上(最棒是master卡塔尔(قطر‎做完这几个布署之后,大家使用scp命令将这几个安插传输到任何机器上。
输入:
jdk境遇传输

scp -r /opt/java root@slave1:/opt
scp -r /opt/java root@slave2:/opt

hadoop意况传输

scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt

传输之后,便在主节点运维集群。
在开发银行hadoop早前,须求先河化,那一个只必要在master上开头化就足以了。

6,全部情况变量设置

在 /etc/profile 那几个构造文件要增加超多的情状安插,这里就先将完全的条件安顿列举出来,各位在结构情形变量的以温馨的为准!!! 可以先配备好境遇变量之后,在传输到任何机器上去。
本身这里先将这几个布置都传输到别的的机械上了,而且都source了,所以下文中那几个构造文件的操作实际是没做的。具体境况以和谐的为准。

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
# Scala Config
export SCALA_HOME=/opt/scala/scala2.12
# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4
# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2
# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

六、HBase的意况布署

本文由金沙澳门官网登录发布于金沙澳门官网登录,转载请注明出处:大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBas

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。