积分商城

最新搜索： STM32CubeMX 正激电源 stc isp UNM FreeRTOS ncp1399a
您现在的位置是：首页 > 技术资料 > 基于深度增强学习的数据中心网络coflow调度机制
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于深度增强学习的数据中心网络coflow调度机制

更新时间：2019-12-24 14:57:41 大小：1M 上传用户：守着阳光1985查看TA发布的资源 标签：深度增强学习coflow调度机制 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

最小化语义相关流的平均完成时间是数据中心网络流量管理面临的难题之一.受人工智能领域深度增强学习方向的最新研究进展启发,本文提出一种的新的语义相关流调度机制.将带宽约束的语义相关流调度问题转化为连续的学习过程,通过学习以往策略实现最佳调度.引入反向填充和有限复用机制,保证系统的工作保持性和无饥饿性.仿真结果表明,在不同的网络负载下,本文提出的调度机制均使得语义相关流的平均完成时间小于其他调度机制,尤其是网络负载较大时,相比最先进的调度机制,性能提升约50%.


部分文件列表

文件名 大小
基于深度增强学习的数据中心网络coflow调度机制.pdf 1M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
7
Vol． 46 No． 7  
Jul． 2018  
第
期
电
子
学
报
2018  
7
ACTA ELECTRONICA SINICA  
年
月
基于深度增强学习的数据中心  
coflow  
网络  
调度机制  
， ，  
马 腾 胡宇翔 张校辉  
(
，
国家数字交换系统工程技术研究中心 河南郑州  
450002)  
:
．
最小化语义相关流的平均完成时间是数据中心网络流量管理面临的难题之一 受人工智能领域深度增  
摘
要
， ．  
强学习方向的最新研究进展启发 本文提出一种的新的语义相关流调度机制 将带宽约束的语义相关流调度问题转化  
， ． ，  
为连续的学习过程 通过学习以往策略实现最佳调度 引入反向填充和有限复用机制 保证系统的工作保持性和无饥  
． ， ，  
饿性 仿真结果表明 在不同的网络负载下 本文提出的调度机制均使得语义相关流的平均完成时间小于其他调度机  
， ， ，  
制 尤其是网络负载较大时 相比最先进的调度机制 性能提升约  
50% ．  
:
;
;
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
数据中心网络 语义相关流 流调度  
:
TP393  
:
A
: 0372-2112 ( 2018) 07-1617-08  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 07． 011  
文献标识码  
文章编号  
电子学报  
Deep Reinforcement Learning Based Coflow  
Scheduling in Data Center Networks  
MA Teng，HU Yu-xiang，ZHANG Xiao-hui  
( National Digital Switching System Engineering ＆ Technology Research Center，Zhengzhou，Henan 450002，China)  
Abstract: Coflow completion time minimization is one of the challenges of traffic management in data center net-  
works． Inspired by the newest research progress in deep reinforcement learning，which is one direction of artificial intelli-  
gence，this paper proposes a novel coflow scheduling mechanism． It translates the coflow scheduling problem with bandwidth  
constraint into a continuous learning process． By learning the previous decisions，the best scheduling is obtained． By introdu-  
cing back filling and limited multiplexing mechanisms，the system is work-conserving and starvation-free． Simulation results  
show that，under different network load，compared with other scheduling mechanisms，the average coflow completion time is  
reduced． Especially when the network load is heavy，the proposed mechanism achieves about 50% performance improvement  
than the state-of-the-art scheduling mechanism．  
Key words: data center network; coflow; flow scheduling  
， ．  
到达 下一个阶段计算任务就无法执行 有关统计结果  
1
引言  
，
指出 中间数据的传输占用的时间超过了总计算任务  
［4］  
( Data Center network，DCN)  
当前的数据中心网络  
33% ，  
某些情况下达到  
50%  
．
，
完成时间的  
有鉴于此  
［1］  
［2］  
［3］  
，
中 经常采用  
Map Reduce ，Spark ，Dryad  
等分布式  
，
优化分布式计算任务的数据传输 对提高  
DCN  
中应用  
．
数据处理平台完成相关计算任务 这些分布式数据处  
．
程序的性能非常重要  
加州大学伯克利分校的  
将这 种 具 有 语 义 相 关 性 的 一 组 并 发 流 称 为 一 个  
:
理平台的流量特征具有一个共同点 系统收到的任何  
Mosharaf Chowdhury  
博士  
，
计算任务将被分解成多个子任务 每个计算子任务分  
［5］  
，
别由不同的主机完成 产生的中间数据在主机之间相  
coflow  
coflow  
．
DCN  
，
中应用 程 序 的 性 能 需 要 降低  
为优化  
，
互交换 作为下一个子任务各个执行主机的数据输入  
．
( Coflow Completion Time，CCT) ，  
这与  
的完成时间  
，
在这种情况下 只要其中一条流对应的中间数据没有  
．
传统网络降低单个流的完成时间具有天壤之别 从资源  
: 2017-03-17;  
: 2017-06-13;  
:
责任编辑 孙瑶  
收稿日期  
修回日期  
:
基金项目 国家  
973  
( No． 2013CB329104) ;  
863  
( No． 2013AA013505)  
高技术研究发展计划  
重点基础研究发展计划  
国家  
1618  
2018  
年
电
子
学
报
，
利用率的角度讲 当执行某个计算阶段的主机等待上一  
，DCN  
业务流量特征发  
些工作均采用固定的调度策略  
，
CPU  
，
， ，  
生变化的情况下 调度算法的性能有待提高 有必要设  
阶段的处理结果时 相应虚拟机的  
处于闲置状态  
的完成时间能够提高  
DCN  
． ，  
造成资源浪费 所以 优化  
coflow  
，
计基于学习的自适应调度机制 这也是本文工作的出  
．
DCN  
，
发点和直接动力  
的计算资源利用率 从而获得应用性能和  
吞吐  
．
率的双重提升  
，
注意到在人工智能领域 结合深度学习和增强学  
3
coflow  
调度机制  
3． 1  
相关定义  
coflow(  
，
习的深度增强学习方法取得了突破性成果 以此方法  
［6 ～ 8］  
1
)
定义  
间传输 的 具 有 语 义 相 关 性 的 一 组 并 发 流 量 称 为 一  
coflow．  
语意相关流  
两个主机集群之  
AlphaGo  
，
接连战胜一大批人类围棋高手  
为核心的  
．
成为举世瞩目的焦点 深度增强学习算法近期被应用  
［9］  
个
， ．  
解决网络资源管理问题 受此启  
到了通信网络领域  
2
coflow  
coflow  
定义  
完成时间  
从
第一个流开  
coflow  
，
coflow ———DeepCS  
发 本 文 提 出 一 种 新 的  
( Deep Reinforcement Learning Based Coflow Scheduling) ．  
coflow  
调 度 机 制  
始传输至最后一个流传输完毕所用时间称为  
完
．
成时间  
，
它把  
的资源视图视为待处理的图像 从而将带宽  
f
c，i { 1，2，…，| c | } ， 、  
∈ 其起始时间  
对任意的流  
∈
i
coflow  
，
调度问题转化为时间连续的学习过程 通  
约束的  
start( f ) 、end( f ) ， coflow c  
则
i
终止时间分别为  
的起始时  
i
coflow  
．
最佳调度  
过学习以往策略实现  
start( c) = min start( f ) ，  
终止时间为  
i
end( c) = max  
间为  
fi  
fi  
2
相关工作  
end( f ) ，  
i
c = end( c) － start( c) ．  
流完成时间为 珋  
DCN  
面向平均完成时间最小化的  
流量调度方法归  
3
，
网络情景 在观测时间窗口内 网络边缘  
定义  
， : ，  
纳起来 可分为两类 一是针对单个流 最小化其平均完  
-
所有输入 输出链路带宽资源被流量占用形成的一组描  
; ，  
成时间 二是针对一组具有语意相关性的流 即  
coflow，  
，
述网络状态的快照 称为该时刻的网络情景  
．
．
实现平均完成时间的最小化 前一类的代表性工作有  
DCN  
，
流量调度时 通常将数据中心网络  
当前研究  
内部视为理想化的无阻塞交换结构 网络的拥塞主要  
DCN  
3［10］  
［11］  
［12］  
D
、PDQ 、pFabric  
，
等 后一类的代表性工 作 有  
，
［13］  
［14］  
［15］  
Varys ，Baraat ，Repair  
．
等 鉴 于 后 一 类 算 法 的  
．
集中在边缘链路 这样处理原因在于来自产业界  
coflow  
，
平均完成时间更小 本节仅介绍后一类算法的代  
，DCN  
、
的核心链路很少出现严重 长期  
的统计数据表明  
［17］  
．
表工作  
，
拥塞 但边缘链路与之相反  
．
，
有鉴于此 本文将网络  
Varys  
， ，  
采用集中式实现方案 作为抢占式系统 它对  
．
情景的概念限制到边缘链路  
，
完成时间最小的流优先进行调度 降低了  
DCN coflow  
中
4
，
任务情景 在观测时间窗口内 网络中待  
定义  
．
的平均完成时间 调度时  
，Varys  
控制不同子流发送的速  
处理的任务根据占用带宽和流传输时间在网络边缘所  
，
率 使一个  
coflow  
，
下所有流同一时刻完成传送 这样做  
- ，  
有输入 输出链路上形成的一组投影 称为该时刻的任  
，
节省了带宽 对其它的  
coflow  
．
传输有利  
． “ ”  
务情景 本文中的 任务 概念等同于一个  
coflow．  
Baraat  
．
是分布式调度系统 它在应用层为每个流附  
，
需要说明的是 如果一个任务在某些输入输出链  
ID，  
先进入系统的  
coflow  
，
优先级较高 优先得到  
，
路没有流量传输 则任务在该链路的投影分量为  
0．  
上一个  
网
，
coflow FIFO  
．
调度  
、
络情景 任务情景本质上均是一组图像  
．
调度 于是网络中的流量实现了  
级的  
引入有限复用机  
制 允许后进入系统的小流和先进入系统的大流共享  
，Baraat  
，Baraat  
，
为方便后文建立模型 这里将用到的变量统一列  
为防止网络中的大流阻塞队头  
，
， 1  
表 如表 所示  
．
．
，
允许交换机之间通告阻塞情况 从而  
带宽 另外  
减小发送速率 节省带宽  
Rapier  
3． 2  
深度增强学习系统  
( Reinforcement Learning，RL)  
增强学习  
［18］  
、
．
是受到生  
，
，
物能够有效适应环境的启发 以试错机制与环境进行  
将调 度 机 制 和 路 由 选 择 联 合 起 来 优 化  
［16］  
coflow  
．
的传输 通过部署支持  
openflow  
， ．  
交互 通过最大化累积奖赏的方式来学习最优策略 增  
的交换机和控  
，
制器 集中式计算  
coflow  
，
4 : s， a，  
强学习系统由 个基本部分组成 状态 动作 状态  
的最优传输路径成为可能 从  
ECMP ．  
路由 但大量部  
P， r， 1 ．  
转移概率 和奖赏信号 如图 所示 策略 π  
: S  
A
被
→
DCN  
而不再依赖之前  
中默认的  
． t  
定义为从状态空间到动作空间的映射 时刻智能体在  
openflow  
Rapier  
只能在支持软件  
署
交换机一方面要求  
s a ，  
当前状态 下根据策略 π 选择动作 执行该动作并  
t
DCN  
， ，  
中使用 另一方面 集中式的路径计算增加  
定义的  
t
at  
， ，  
了控制器的计算负担 控制开销很大 影响了  
Rapier  
P
s
，
同时接收到环境反馈  
的
以概率  
转移到下一状态  
st，st + 1  
t + 1  
．
r ．  
回来的奖赏 增强学习的目标是通过调整策略来最大  
t
性能  
coflow  
，
调度的研究已经取得了不少成果 但这  
．
化累积折扣奖赏 策略 π 的累积折扣奖赏表达式为  
关于  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

  • 柏涵 打赏1.00元   3天前

    资料：XDS100_v1_1_RTM

  • 21ic下载 打赏310.00元   3天前

    用户：jh0355

  • 21ic下载 打赏310.00元   3天前

    用户：w178191520

  • 21ic下载 打赏210.00元   3天前

    用户：gsy幸运

  • 21ic下载 打赏210.00元   3天前

    用户：zhengdai

  • 21ic下载 打赏210.00元   3天前

    用户：jh03551

  • 21ic下载 打赏110.00元   3天前

    用户：liqiang9090

  • 21ic下载 打赏60.00元   3天前

    用户：sun2152

  • 21ic下载 打赏60.00元   3天前

    用户：xuzhen1

  • 21ic下载 打赏80.00元   3天前

    用户：xzxbybd

  • 21ic下载 打赏25.00元   3天前

    用户：WK520077778

  • 21ic下载 打赏20.00元   3天前

    用户：w1966891335

  • 21ic下载 打赏20.00元   3天前

    用户：铁蛋锅

  • 21ic下载 打赏20.00元   3天前

    用户：玉落彼岸

  • 21ic下载 打赏15.00元   3天前

    用户：kk1957135547

  • 21ic下载 打赏10.00元   3天前

    用户：zpf22332

  • 21ic下载 打赏5.00元   3天前

    用户：pangpidan

  • 21ic下载 打赏5.00元   3天前

    用户：hpxny

  • 21ic下载 打赏5.00元   3天前

    用户：pandq2009

  • 21ic下载 打赏5.00元   3天前

    用户：tomp

  • 21ic下载 打赏310.00元   3天前

    用户：小猫做电路

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号