安装

上传并解压在/usr/local/src，并重命名

修改默认server.properties（kafka/config/），并修改/etc/profile文件，添加kafka环境变量

分发并修改权限：

修改各节点的server.properties

slave01：id=1

slave02：id=2

确保zookeeper集群正常

启动Kafka服务（集群都要）

使用

master上打开一个新终端，创建一个topic，名为tz123

/usr/local/src/kafka/bin/kafka-topics.sh --create --zookeeper master-tz:2181,slave01-tz:2181,slave02-tz:2181 --replication-factor 2 --topic tz123 --partitions 1
//Create参数代表创建, zookeeper参数为zookeeper集群的主机名 ，replication-factor代表生成多少个副本文件，topic 为topic的名称，partitions指定多少个分区

在master创建一个生产者

/usr/local/src/kafka/bin/kafka-console-producer.sh --broker-list master-tz:9092,slave01-tz:9092,slave02-tz:9092 --topic tz123
//broker-list指定服务器，在Kafka 集群包含一个或多个服务器，这种服务器被称为 broker。Topic指定在hello上创建生产者。

在slave1创建一个消费者

/usr/local/src/kafka/bin/kafka-console-consumer.sh --zookeeper master-tz:2181,slave01-tz:2181,slave02-tz:2181 --topic tz123 --from-beginning

在生产者中输入信息，在消费者中查看信息

在slave01上就可以收到消息

举例2：Kafka与Flume联用

在/usr/local/src/flume/conf/新建一个文件flume-syslog-kafka.conf

a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=syslogtcp
a1.sources.r1.port=6868
a1.sources.r1.host=master

a1.channels.c1.type=memory

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.brokerList=master:9092,slave1:9092,slave2:9092
a1.sinks.k1.topic=tz123 //这是你之前创建的topic主题名

a1.sinks.k1.channel=c1
a1.sources.r1.channels=c1

然后启动flume

flume-ng agent --conf /usr/local/src/flume/conf/ --name a1 --conf-file /usr/local/src/flume/conf/flume-syslog-kafka.conf

在消费者slave01下查看

介绍

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

安装

上传解压重命名

Hbase安装包点击下载

配置环境变量，并分发生效

[root@master-tz src]# vim /etc/profile
//最后添加下面两行
export HBASE_HOME=/usr/local/src/hbase
export PATH=$PATH:$HBASE_HOME/bin

[root@master-tz src]# source /etc/profile
[root@master-tz src]# scp /etc/profile slave01-tz:/etc/profile
root@slave01-tz's password: 
profile                                                                                       100% 2704     1.7MB/s   00:00  
[root@master-tz src]# scp /etc/profile slave02-tz:/etc/profile
root@slave02-tz's password: 
profile
[root@slave01-tz ~]# source /etc/profile
[root@slave02-tz ~]# source /etc/profile

编辑conf下的hbase-env.sh 添加如下内容

[root@master-tz conf]# vim hbase-env.sh
//添加如下
export JAVA_HOME=/usr/local/src/java
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_PID_DIR=${HBASE_HOME}/pid

配置hbase-site.xml

[root@master-tz conf]# vim hbase-site.xml
//添加如下，<configuration></configuration>中间
<property>
<name>hbase.rootdir</name>
<value>hdfs://master-tz:8020/hbase</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>16010</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/usr/local/src/hbase/tmp</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master-tz,slave01-tz,slave02-tz</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/src/hbase/tmp/zookeeperhbase
</value>
</property>

修改regionservers文件

[root@master-tz conf]# vim  regionservers 
[root@master-tz conf]# cat  regionservers 
master-tz
slave01-tz
slave02-tz

拷贝

分发并修改权限

[root@master-tz conf]# scp -r /usr/local/src/hbase slave01-tz:/usr/local/src
[root@master-tz conf]# scp -r /usr/local/src/hbase slave02-tz:/usr/local/src
[root@slave01-tz ~]# chown -R hadoop:hadoop /usr/local/src/hbase/
[root@slave02-tz ~]# chown -R hadoop:hadoop /usr/local/src/hbase/

切换到hadoop用户

三台关闭防火墙

首先开启zookeeper，在开启集群

[hadoop@master-tz ~]$ zkServer.sh start //三台都需要开启
[hadoop@master-tz ~]$ start-all.sh //只需要在master开启集群
[hadoop@master-tz ~]$ start-hbase.sh //开启hbase

查看web浏览器端