部署storm集群

1.准备三个虚拟机搭建Storm集群

安装步骤参考2018-12-02-VirtualBox安装CentOS6.7

2.配置集群Hosts

所有的虚拟机上都需要配置hosts

1
2
3
4
5
vi /etc/hosts

#192.168.239.128 storm01 zk01 hadoop01
#192.168.239.129 storm02 zk02 hadoop02
#192.168.239.130 storm03 zk03 hadoop03

3.服务器间免密码登录[可选]

配置免密码登陆,在所有机器上执行以下命令

1
ssh-keygen -t rsa (四个回车)

生成两个文件id_rsa(私钥)、id_rsa.pub(公钥),使用下面命令将公钥拷贝到要免密登陆的目标机器上

1
ssh-copy-id {其他机器的hostname}

4.关闭服务器的防火墙

1
2
service iptables stop
chkconfig iptables off

5.创建服务器上的统一工作目录

1
2
3
mkdir /export
mkdir /export/servers
chmod 755 -R /export

6.配置JDK

安装jdk8具体步骤不做详述

jdk.png

7.下载storm安装包

1
wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

8.解压安装包

1
2
3
tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.5 storm

9.修改配置文件

1
2
mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
vi /export/servers/storm/conf/storm.yaml

参考

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
storm.zookeeper.servers:
- "storm1"
- "storm2"
- "storm3"
#指定storm本地状态保存地址
storm.local.dir: "/export/servers/storm/workdir"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "storm1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

10.分发

1
2
3
4
scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers
# 然后分别在各机器上创建软连接
cd /export/servers/
ln -s apache-storm-0.9.5 storm

11.启动

在nimbus.host所属的机器上启动 nimbus服务

1
2
cd /export/servers/storm/bin/
nohup ./storm nimbus &

在nimbus.host所属的机器上启动ui服务

1
2
cd /export/servers/storm/bin/
nohup ./storm ui &

在其它个点击上启动supervisor服务

1
2
cd /export/servers/storm/bin/
nohup ./storm supervisor &

12.查看集群

访问nimbus.host:/8080,即可看到storm的ui界面

chakan.png

13.Storm常用操作命令

有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。

提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

1
bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount

杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间)

1
storm kill topology-name -w 10

停用任务命令格式:storm deactivte 【拓扑名称】

1
storm deactivte topology-name

我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

启用任务命令格式:storm activate【拓扑名称】

1
storm activate topology-name

重新部署任务命令格式:storm rebalance 【拓扑名称】

1
storm rebalance topology-name

再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。