博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【原】Storm环境搭建
阅读量:4488 次
发布时间:2019-06-08

本文共 1046 字,大约阅读时间需要 3 分钟。

2.

单机

...

集群

...

搭建Storm开发环境

搭建Storm开发环境主要概括为以下两步:

1.下载,然后解压,最后把解压后的bin/文件所在目录添加到你的系统环境变量中。
2.为了能在远程集群环境中启动或停止topologies ,需要在~/.storm/storm.yaml文件中配置集群信息。

什么是开发环境

Storm有两种操作模式:本地模式和远程模式。在本地模式中,在本地机器中的进程中就可以开发和测试topologies。在远程模式中,是将topologies提交到远程的集群中执行。

Storm开发环境已安装好了一切,所以可以在本地模式中进行开发和测试,然后将topologies 打jar包发送到集群中执行,可通过submit提交或kill杀死该topology
让我们简要了解一下本地模式和集群模式的关系吧。Storm集群是由命名为“Nimbus”的master节点管理的,其他节点和Nimbus进程进行通信,实现提交代码(打成jar包)和集群中执行topologies 的任务,Nimbus负责集群中代码的分发和安排workers运行代码。你可以通过命令行客户端程序storm来 和Nimbus通信,该客户端只适合远程模式,不适合本地模式。

在本地机器上安装 Storm

如果要从本地机器上直接向远程集群提交拓扑,你需要在本地机器上安装 Storm 程序。本地的 Storm 程序可以提供与远程集群交互的 storm 客户端。在安装本地 Storm 之前,你需要下载一个 Storm 安装程序并将其解压到你的电脑的某个位置。然后将 Storm 的 bin/ 目录添加到你的 PATH 环境变量中,确保 bin/storm 脚本可以直接运行。

在本地机器上安装的 Storm 仅能用于与远程集群的交互。对于本地模式下的开发、测试拓扑,推荐使用 Maven 来将 Storm 添加到你的项目的开发依赖中。关于 的使用请参考此文。

在远程集群上开始/终止拓扑的运行

在上一步中我们已经安装好了本地的 storm 客户端。接下来就需要告诉客户端需要连接哪一个 Storm 集群。这可以通过在 ~/.storm/storm.yaml 文件中填写 Storm 集群的主节点的 host 地址来实现:

nimbus.seeds: ["123.45.678.890"]

转载于:https://www.cnblogs.com/yourarebest/p/6011406.html

你可能感兴趣的文章
HDU 6118 度度熊的交易计划(费用流)
查看>>
UrlEncode编码/UrlDecode解码使用方法
查看>>
使用ubuntu作为web开发环境的一些感受
查看>>
easyui-datagrid 自适应列宽问题
查看>>
OO第一次总结
查看>>
VS2012发布网站详细步骤
查看>>
文件下载隐匿执行
查看>>
【导图控】各软件开发版本详解
查看>>
HDU 1533 Going home
查看>>
Extjs面板和布局初探
查看>>
箭头函数
查看>>
SharePoint【ECMAScript对象模型系列】-- 11. Enable/Disable Ribbon上的Button
查看>>
C#委托-怎样理解C#中“委托”的含义和用途
查看>>
Spring数据访问1 - 数据源配置及数据库连接池的概念
查看>>
setting.xml配置详解
查看>>
工作笔记——使用Jest时遇到的一些问题
查看>>
jQuery 遍历--siblings() 方法、each() 方法
查看>>
window系统下调度数据库类型资源库中的kettle job
查看>>
10、小易记单词--2017网易春招
查看>>
monkey 命令详解
查看>>