- 1
- 2
- 3
- 4
- 5
Apache Storm 介绍
资料介绍
Apache Storm 是一个开源的分布式实时计算系统，由Twitter公司于2011年开源，后进入Apache基金会成为顶级项目，主要用于对无限流式数据进行可靠的实时处理，弥补了Hadoop批处理框架在低延迟场景下的处理短板。
核心特点
1. 低延迟处理：原生支持流式数据处理，可以实现毫秒级的数据处理延迟，满足实时监控、实时分析等对响应速度要求高的场景。
2. 高容错性：节点故障发生时，系统可以自动重新分配任务，保证数据处理不中断，并且每条数据可以保证至少被处理一次。
3. 水平可扩展：支持通过增加节点的方式线性提升计算能力，集群规模可以灵活扩展，适配业务增长带来的数据流量增加。
4. 多语言兼容：核心逻辑用Clojure开发，支持几乎所有主流开发语言编写处理逻辑，用户无需调整技术栈即可快速接入。
5. 恰好一次语义（Trident支持）：基础版本保证至少一次处理，通过扩展组件Trident可以实现恰好一次的处理语义，满足需要精确统计的业务需求。
核心工作流程
1. 用户提交定义好的Topology到Nimbus节点，Nimbus将Topology的任务拆分后分配给对应的Supervisor节点。
2. Supervisor节点根据任务分配，启动对应的Worker进程，Worker进程启动对应的Task线程开始处理数据。
3. Spout Task从外部数据源读取数据生成元组，发送给下游Bolt。
4. Bolt Task接收上游元组，完成对应处理逻辑后，将处理结果发送给下游Bolt或者写入外部存储系统，整个流程持续运行直到Topology被终止。
5. Nimbus持续监控所有节点和任务的运行状态，一旦发现节点宕机或者任务异常，会自动将故障节点上的任务重新分配到其他正常节点，保证集群稳定运行。
部分文件列表
| 文件名 | 大小 |
| Apache_Storm_介绍.docx | 15K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前
全部评论(0)