推荐星级：
- 1
- 2
- 3
- 4
- 5
大数据流式计算框架Storm的任务迁移策略
资料介绍
Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.
部分文件列表
| 文件名 | 大小 |
| 大数据流式计算框架Storm的任务迁移策略.pdf | 2M |
部分页面预览
（完整内容请下载后查看）：
ＤＯＩ１０．７５４４ｉｓｓｎ１０００１２３９ ．２０１８ ．２０１６０８１２
－
计 算 机 研 究 与 发 展
?
（）： ，
５５１ ７１９２ ２０１８
－
ＪｏｕｒｎａｌｏｆＣｏｍ ｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏ ｍｅｎｔ
ꢀ ꢀ ꢀ ꢀ ꢀ
ｐ ｐ
ꢀ
大数据流式计算框架
的任务迁移策略
Ｓｔｏｒｍ
１
１
１
１
２
３
鲁
亮
于
炯
卞
琛
刘月超
廖
彬
李慧娟
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
１
２
３
（
）
新疆大学信息科学与工程学院 乌鲁木齐
ꢀ
８３００４６
ꢀ
（
）
新疆财经大学统计与信息学院 乌鲁木齐
ꢀ
８３００１２
ꢀ
（
）
国网乌鲁木齐供电公司 乌鲁木齐
ꢀ
８３００１１
ꢀ
（
ｌｕｌｉａｎ１９８９１１０８ ｍａｉｌ．ｃｏｍ
＠ｇ
）
ｇ
ＡＴａｓｋＭｉｒａｔｉｏｎＳｔｒａｔｅ ｉｎＢｉ ＤａｔａＳｔｒｅａｍＣｏｍ ｕｔｉｎ ｗｉｔｈＳｔｏｒｍ
ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ｇ
ｇｙ
ｇ
ꢀ
ｐ
ｇ
ꢀ
ꢀ
１
１
１
１
２
３
，
， ， ， ，
ＢｉａｎＣｈｅｎ ＬｉｕＹｕｅｃｈａｏ ＬｉａｏＢｉｎ ａｎｄＬｉＨｕｉｕａｎ
ｇ ｊ
ꢀ ꢀ ꢀ ꢀ ꢀ
ＬｕＬｉａｎ
ꢀ
ＹｕＪｉｏｎ
ｇ
ꢀ
１
２
３
（
，
，
）
Ｓｃｈｏｏｌｏ Ｉｎ ｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｉｎｅｅｒｉｎ Ｘｉｎｉａｎ Ｕｎｉｖｅｒｓｉｔ Ｕｒｕｍｉ８３００４６
ꢀ ꢀ ꢀ
ｑ
ꢀ
ꢀ
ｆ
ｆ
ｇ
ｇ
ｊ
ｇ
ꢀ
ｙ
ꢀ
（ ， ，
Ｓｃｈｏｏｌｏ ＳｔａｔｉｓｔｉｃｓａｎｄＩｎ ｏｒｍａｔｉｏｎ Ｘｉｎｉａｎ Ｕｎｉｖｅｒｓｉｔ ｏ ＦｉｎａｎｃｅａｎｄＥｃｏｎｏｍｉｃｓ Ｕｒｕｍｉ８３００１２
ꢀ
）
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｑ
ｆ
ｆ
ｊ
ｇ
ꢀ
ｙ ｆ
ꢀ ꢀ
ꢀ
（
， ，
ＷｕｌｕｍｕｉＥｌｅｃｔｒｉｃＰｏｗｅｒＳｕ ｌ Ｃｏｍ ａｎ ＳｔａｔｅＧｒｉｄＣｏｒｏｒａｔｉｏｎｏ Ｃｈｉｎａ Ｕｒｕｍｉ８３００１１
ꢀ
）
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｑ
ｑ
ｐｐｙ
ｐ
ｙ
ｐ
ｆ
ꢀ
ꢀ
，
Ａｂｓｔｒａｃｔ Ａｓｏｎｅｏｆｔｈｅ ｍｏｓｔｒｅｒｅｓｅｎｔａｔｉｖｅ ｌａｔｆｏｒｍｓｉｎｓｔｒｅａｍ ｃｏｍ ｕｔｉｎ Ａ ａｃｈｅＳｔｏｒｍ ｈａｓ
ꢀ ꢀ ꢀ ｐ ꢀｐ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｐ
ｇ
ｐ
ꢀ
ꢀ
ｂｅｃｏｍｅｔｈｅｆｉｒｓｔｃｈｏｉｃｅｆｏｒｔｈｅｓｃｅｎａｒｉｏｓｏｆｒｅａｌｔｉｍｅｂｉ ｄａｔａ ｒｏｃｅｓｓｉｎ ｄｕｅｔｏｉｔｓａｄｖａｎｔａｅｓｉｎｏｅｎ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ － ꢀ ｇ ꢀｐ ꢀ ꢀ ꢀ
ｇ ｇ ꢀ ꢀｐ
ꢀ
ꢀ
，
ｓｏｕｒｃｅ ｓｉｍ ｌｉｃｉｔ ａｎｄｅｘｃｅｌｌｅｎｔ ｅｒｆｏｒｍａｎｃｅ．Ａｒｏｕｎｄｒｏｂｉｎｓｃｈｅｄｕｌｉｎ ｓｔｒａｔｅ ｉｓｕｓｅｄａｓｔｈｅＳｔｏｒｍ
ꢀｐ
ｇｙ ꢀ ꢀ ꢀ
ｐ
ｙ
ꢀ
ꢀ
ꢀ
－
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
，
ｄｅｆａｕｌｔｓｃｈｅｄｕｌｅｒ ｗｉｔｈｏｕｔｃｏｎｓｉｄｅｒｉｎ ｔｈｅｄｉｆｆｅｒｅｎｃｅｓｏｆ ｅｒｆｏｒｍａｎｃｅａｎｄ ｗｏｒｋｌｏａｄａｍｏｎ ｄｉｓｔｉｎｃｔ
ꢀ ꢀｐ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
，
，
ｗｏｒｋｎｏｄｅｓ ａｎｄｔｈｅｄｉｆｆｅｒｅｎｔｏｖｅｒｈｅａｄｏｆｉｎｔｅｒｎｏｄｅ ｉｎｔｅｒ ｒｏｃｅｓｓａｎｄｉｎｔｅｒｅｘｅｃｕｔｏｒｃｏｍｍｕｎｉｃａｔｉｏｎ
ꢀꢀ
ꢀ
ꢀ
ꢀ
ꢀ
－
－
ｐ
ꢀ
ꢀ
－
ꢀ
，
ｕｎｄｅｒｈｅｔｅｒｏｅｎｅｏｕｓｅｎｖｉｒｏｎｍｅｎｔ ｗｈｉｃｈｃａｎｎｏｔｆｕｌｌ ｅｘｌｏｉｔｔｈｅｈｉｈ ｅｒｆｏｒｍａｎｃｅｏｆＳｔｏｒｍｃｌｕｓｔｅｒｉｎ
ꢀ ｇ ꢀｐ ꢀ ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｉｔｓｅｌｆ．Ｉｎｏｒｄｅｒｔｏ ｍｉｎｉｍｉｚｅｔｈｅｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄｏｎｔｈｅ ｒｅｍｉｓｅｏｆａｌｌｋｉｎｄｓｏｆｒｅｓｏｕｒｃｅ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ
，
（
）
ｃｏｎｓｔｒａｉｎｔｓ ａｔａｓｋｍｉｒａｔｉｏｎｓｔｒａｔｅ ｆｏｒｈｅｔｅｒｏｅｎｅｏｕｓＳｔｏｒｍｃｌｕｓｔｅｒ ＴＭＳＨＳｔｏｒｍ ｉｓ ｒｏｏｓｅｄｏｎ
ｇｙ
ꢀ ｇ ꢀｐ ｐ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
－
ꢀ
ꢀ
，
ｔｈｅｂａｓｉｓｏｆｒｅｓｏｕｒｃｅｃｏｎｓｔｒａｉｎｅｄ ｍｏｄｅｌ ｏｔｉｍａｌｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄ ｍｏｄｅｌａｎｄｔａｓｋ ｍｉｒａｔｉｏｎ
ꢀ ꢀ ꢀ ｇ
ꢀ
－
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
：
ｍｏｄｅｌ ｗｈｉｃｈ ｃｏｍ ｒｉｓｅｓ ｔｗｏ ａｌｏｒｉｔｈｍｓ ｓｏｕｒｃｅ ｎｏｄｅ ｓｅｌｅｃｔｉｏｎ ａｌｏｒｉｔｈｍ ａｎｄ ｔａｓｋ ｍｉｒａｔｉｏｎ
ꢀ ｇ ꢀ ｇ ꢀ ｇ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ａｌｏｒｉｔｈｍ．Ｓｏｕｒｃｅｎｏｄｅｓｅｌｅｃｔｉｏｎａｌｏｒｉｔｈｍａｄｄｓｗｏｒｋｎｏｄｅｓｗｈｉｃｈｅｘｃｅｅｄｔｈｅｔｈｒｅｓｈｏｌｄｔｏａｓｅｔｏｆ
ꢀ ꢀ ｇ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀꢀ ꢀ
ｇ
ꢀ
ꢀ
ꢀ ꢀ
，
ｓｏｕｒｃｅｎｏｄｅｓａｃｃｏｒｄｉｎ ｔｏｔｈｅｗｏｒｋｌｏａｄａｎｄ ｒｉｏｒｉｔ ｏｆＣＰＵ ｍｅｍｏｒ ａｎｄｎｅｔｗｏｒｋｂａｎｄｗｉｄｔｈｉｎｅａｃｈ
ｇ ꢀ
ꢀｐ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
；
ｗｏｒｋｎｏｄｅ Ｔａｓｋ ｍｉｒａｔｉｏｎ ａｌｏｒｉｔｈｍ ｔａｋｅｓｉｎｔｏａｃｃｏｕｎｔｖａｒｉｏｕｓｆａｃｔｏｒｓｓｕｃｈ ａｓｔｈｅ ｍｉｒａｔｉｏｎ
ꢀ ｇ ꢀ ｇ ꢀ ꢀ ꢀ ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
，
，
ｏｖｅｒｈｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄ ｒｅｓｏｕｒｃｅｃｏｎｓｔｒａｉｎｔａｓｗｅｌｌａｓｌｏａｄｏｆｅａｃｈｎｏｄｅａｎｄｅａｃｈｔａｓｋ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｍｉｒａｔｉｎ ｔｈｅ ｔａｓｋｓ ｔｈａｔ ｆｒｏｍ ｓｏｕｒｃｅ ｎｏｄｅｓ ｔｏ ｒｏｅｒ ｄｅｓｔｉｎａｔｉｏｎ ｎｏｄｅｓ ｓｕｃｃｅｓｓｉｖｅｌ ａｎｄ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ｐ ꢀ
ｇ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ａｓｎｃｈｒｏｎｏｕｓｌ ．Ｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗ ｔｈａｔｔｈｅ ｒｏｏｓｅｄ ｓｔｒａｔｅ ｃａｎ ｒｅｄｕｃｅｌａｔｅｎｃ ａｎｄ
ꢀ ꢀ ꢀ ꢀ ꢀｐ ｐ ꢀ
ｇｙ
ｙ
ｙ
ｐ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
，
，
ｏｖｅｒｈｅａｄｏｆｉｎｔｅｒｎｏｄｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｒｅｏｖｅｒ ｔｈｅｉｍ ｌｅｍｅｎｔａｔｉｏｎｃｏｓｔｉｓｌｏｗｅｒｃｏｍ ａｒｅｄｗｉｔｈｔｈｅ
ꢀ ｐ
ꢀꢀ
－
ꢀ
ꢀ
ꢀꢀ
ꢀ
ｐ
ꢀ
ꢀ
ｅｘｉｓｔｉｎ ｒｅｓｅａｒｃｈ．
ｇ
ꢀ
； ； ； ；
Ｋｅ ｗｏｒｄｓ ｂｉ ｄａｔａ ｓｔｒｅａｍｃｏｍ ｕｔｉｎ Ｓｔｏｒｍ ｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄ ｔａｓｋｍｉｒａｔｉｏｎ
ꢀ ｇ
ꢀ ｇ
ꢀ
ｐ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
，
作为流式计算模式下最具代表性的平台之一 其默认轮询的调度机制未考虑到异构环境
摘
要
Ｓｔｏｒｍ
ꢀ
ꢀ
，
下不同工作节点的自身性能和负载差异 以及工作节点之间的网络传输开销和节点内部的进程与线程
：
；
：
修回日期
２０１７ ０７ １７
收稿日期
－ －
２０１６ １１ １０
－
－
ꢀ
：
基 金 项 目 国 家 自 然 科 学 基 金 项 目
（
， ， ， ，
６１４６２０７９ ６１２６２０８８ ６１５６２０８６ ６１３６３０８３ ６１５６２０７８
）；
新 疆 维 吾 尔 自 治 区 自 然 科 学 基 金 项 目
ꢀ
（
）；
新疆维吾尔自治区高校科研计划基金项目
（
）
２０１７Ｄ０１Ａ２０
ＸＪＥＤＵ２０１６Ｓ１０６
（
，
，
，
，
Ｔｈｉｓｗｏｒｋｗａｓｓｕ ｏｒｔｅｄｂ ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ ６１４６２０７９ ６１２６２０８８ ６１５６２０８６ ６１３６３０８３
ꢀ ｐｐ ꢀｙ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
）， （ ），
６１５６２０７８ ｔｈｅＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＸｉｎｉａｎ Ｕ ｕｒＡｕｔｏｎｏｍｏｕｓＲｅｉｏｎｏｆＣｈｉｎａ ２０１７Ｄ０１Ａ２０ ａｎｄｔｈｅＥｄｕｃａｔｉｏｎａｌ
ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ ꢀ ｊ ｙｇ ꢀ ｇ ꢀ ꢀ
ｇ
ꢀ
ꢀ
（
）
ＲｅｓｅａｒｃｈＰｒｏｒａｍｏｆＸｉｎｉａｎ Ｕ ｕｒＡｕｔｏｎｏｍｏｕｓＲｅｉｏｎ ＸＪＥＤＵ２０１６Ｓ１０６ ．
ꢀ ꢀ ｙｇ ꢀ ｇ
ꢀ
ｇ
ｊ
ｇ
ꢀ
ꢀ
，
（）
２０１８ ５５１
ꢀ
计算机研究与发展
７２
， ，
通信开销 无法充分发挥集群的性能 为了在各类资源约束的前提下最小化通信开销 在建立并论证
．
、 ，
资源约束模型 最优通信开销模型和任务迁移模型的基础上 提出一种异构
环境下的任务
Ｓｔｏｒｍ
Ｓｔｏｒｍ
（
，
ｔａｓｋｍｉｒａｔｉｏｎｓｔｒａｔｅ ｆｏｒｈｅｔｅｒｏｅｎｅｏｕｓＳｔｏｒｍｃｌｕｓｔｅｒ ＴＭＳＨＳｔｏｒｍ
ꢀ ｇ
ｇｙ
），
包括源节点选择
迁移策略
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
－
ꢀ
，
、
内存和网络带宽的负载情况
算法和任务迁移算法 其中 源节点选择算法根据集群中各工作节点
．
ＣＰＵ
、
以及各类资源的优先级顺序 将超出阈值的节点加入源节点集 任务迁移算法综合迁移开销 通信开销
，
；
、
，
节点资源约束以及节点和任务负载等因素 依次将源节点中的待迁移任务异步迁移至目的节点上 实验
．
：
表明 相对于现有研究而言
，
，
能有效降低延迟和节点间通信开销 且执行开销较小
．
ＴＭＳＨＳｔｏｒｍ
－
；
大数据 流式计算
；
；
通信开销 任务迁移
Ｓｔｏｒｍ
；
关键词
ꢀ
中图法分类号
ＴＰ３１１
ꢀ
，
近些年来 大数据相关研究及应用已成为学术
，
分布到各个工作进程中 再将各工作进程均匀地分
ꢀꢀ
，
界和企业界关注的热点 其计算模式包括批量计算
、
，
布到各工作节点上 并未考虑到不同工作节点的性
［
］
１５
，
并以前两者应用
－
、 、
流式计算 交互计算 图计算等
，
能和负载差异 以及工作节点之间的网络传输开销
（
居多 批量计算为先存储后计算 如
．
生态系
Ｈａｄｏｏ
ｐ
，
和节点内部的进程与线程通信开销 无法最大限度
），
统
适合实时性不高且需覆盖 全局 数据的应用 场
地发 挥 集 群 的 实 时 计 算 能 力 本 文 针 对
Ｓｔｏｒｍ ．
［］
６
；
景 流式计算打破了
中
框架
Ｍａ Ｒｅｄｕｃｅ
ｐ
，
轮询调度策略存在的不足 主要作了 个方
４
Ｈａｄｏｏ
ｐ
Ｓｔｏｒｍ
面研究工作
， ，
一统天下的局面 它无需存储 只要数据源处于活动
：
， ， （
状态 数据就会持续生成 并以流 由时间上无穷的
）
分析已有流式计算框架调度策略的优缺点
１
，
）
元组序列组成 的形式在各工作节点的内存中进行
阐述本文的优化方向和实施思路
．
，
计算 适合实时性要求严格且仅需针对窗口内的局
部数据进行处理的应用场景 流式大数据处理平台
．
）
、
从拓扑的逻辑模型 实例模型和任务分配模
２
，
型出发 比较
集群中 种不同的通信方式 由
３ ．
Ｓｔｏｒｍ
此建立资源约束模型和最优通信开销模型 提出并
证明了最优通信开销原则
（
，
大大提高了在线数据密集型
ｏｎｌｉｎｅｄａｔａｉｎｔｅｎｓｉｖｅ
ꢀ ꢀ ꢀ
，
［］
７
，
应用 的用户体验 可广泛应用于金融银行
）
ＯＬＤＩ
．
、 ，
业 互联网和物联 网等 诸多 领域 涵盖 股市实时 分
）
为解决异构
系统中工作节点任务过
３
Ｓｔｏｒｍ
载和节点间通信开销大的问题 建立任务迁移模型
提出并证明了迁移优化原则和节点间数据流最优性
、 、
析 搜索引擎与社交网站 交通流量实时预警等各类
，
，
［］
８
典型应用
公司的
现有的流式大数据处理框架以
．
Ｔｗｉｔｔｅｒ
是一个采用主
．Ｓｔｏｒｍ
［］
９
系统为代表
Ｓｔｏｒｍ
， ，
原理 并由此推出最优迁移原则 为任务迁移策略的
，
从式架构的开源分布式实时计算平台 其编程模型
设计提供理论依据
．
，
简单 支持包括
，
在内的多种编程语言 横向可
Ｊａｖａ
）
、
从源节点选择 阻尼线程选择和目的节点选
４
［ ］
１０
扩展性 良 好 相 较 于 目 前 同 样 主 流 的
．
和
Ｆｌｉｎｋ
，
个方面出发 提出异构
择
环境下的任务迁
Ｓｔｏｒｍ
３
［
］
１１
，
在大数据流式处理方面
ＳａｒｋＳｔｒｅａｍｉｎ
ｐ
ꢀ
Ｓｔｏｒｍ
ｇ
（
移策略
ｔａｓｋ ｍｉｒａｔｉｏｎｓｔｒａｔｅ ｆｏｒｈｅｔｅｒｏｅｎｅｏｕｓ
ꢀ ｇ ꢀ ꢀ
ｇｙ ｇ
ꢀ
［ ］
１２
；
的实时性更佳 相较于不开源的
和社区冷
Ｐｕｍａ
，
Ｓｔｏｒｍｃｌｕｓｔｅｒ ＴＭＳＨＳｔｏｒｍ
－
），
包括源节点选择算
ꢀ
［
］
１３
，
淡的
的商用前景更为广阔 加之新版
．
Ｓ４ Ｓｔｏｒｍ
，
法和任务迁移算法 使系统在拓扑执行过程中根据
各工作节点和各任务的实时负载情况以及任务间的
、
本特性的加入 更多库的支持以及与其他开源项目
，
Ｓｔｏｒｍ
的无缝融合
逐渐成为学术界和工业界的研
，
数据流大小 实现任务的优化迁移 实验通过 个基
４
．
， “
究热点 被称为 实时处理领域的
”
Ｈａｄｏｏ ．
ｐ
准测试从不同角度证明了算法的有效性
．
一个流式计算作业及其包含的一系列任务可用
（
，
）
表 示
ｄｉｒｅｃｔｅｄａｃｃｌｉｃ ｒａｈ ＤＡＧ
ꢀ ｙ ꢀｇ ｐ
，
有向 无 环 图
相关工作
１
ꢀ
（
）
从拓 扑 实 例 模 型
．
中称 之为 拓扑
Ｓｔｏｒｍ
ｔｏｏｌｏ
ｇｙ
ｐ
，
的角度来看 拓扑 的 个 顶点 代表某 一特 定任务
１
，
，
针对实时大规模数据的处理 现有解决方案可
条有向边代表任务 之间 的依 赖 关系
在进
．Ｓｔｏｒｍ
１
： 、
大致归纳为 类 高性能批量计算模式 流式计算模
３
（
行任 务 分 配 时 采 用 轮 询 调 度 策 略
ｒｏｕｎｄｒｏｂｉｎ
－
，
式和两者混合的模式 其中 高性能批量计算模式的
．
），
即先将拓扑中包含的每个任务均匀地
ｓｃｈｅｄｕｌｉｎ
ｇ
，
为代表的批处理框架
核心思想是修改以
Ｈａｄｏｏ
ｐ
全部评论(0)