您现在的位置是：首页 > 技术资料 > 一种自适应文件系统元数据服务负载均衡策略

推荐星级：

一种自适应文件系统元数据服务负载均衡策略

更新时间：2020-01-03 15:50:59 大小：1013K 上传用户：zhiyao6 查看TA发布的资源 标签：分布式文件系统元数据管理 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足.近年来,以云计算平台为依托的存储技术得到了飞速发展,成为处理海量数据的重要工具.针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略.该策略主要包括以下3点内容:介绍了一种实时的元数据服务器的性能评价模型;提出了一种基于服务器负载变化的检测周期自适应调整机制;提出了一种基于元数据服务器性能指标的自适应负载均衡算法.实验结果证明了该方法的可行性、有效性和稳定性.

部分文件列表

文件名	大小
一种自适应文件系统元数据服务负载均衡策略.pdf	1013K

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

软件学报ISSN 1000-9825, CODEN RUXUEW

Journal of Software,2017,28(8):1952−1967 [doi: 10.13328/j.cnki.jos.005199]

E-mail:

Tel: +86-10-62562563

一种自适应文件系统元数据服务负载均衡策略^∗

1,2,3

1,2

佘楚玉

温武少

肖

扬

刘育擘

贾

殷

¹(中山大学数据科学与计算机学院,广东广州 510006)

²(中山大学-卡内基梅隆大学国际联合研究院,广东顺德 528300)

³(广东财经大学数学与统计学院,广东广州 510320)

通讯作者: 温武少, E-mail:

摘

要: 随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数

据可靠性和成本等方面存在诸多不足.近年来,以云计算平台为依托的存储技术得到了飞速发展,成为处理海量数据

的重要工具.针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略.该策略主要包括

以下 3 点内容:介绍了一种实时的元数据服务器的性能评价模型;提出了一种基于服务器负载变化的检测周期自适

应调整机制;提出了一种基于元数据服务器性能指标的自适应负载均衡算法.实验结果证明了该方法的可行性、有

效性和稳定性.

关键词: 分布式文件系统;元数据管理;自适应;负载均衡;性能评价模型

中图法分类号: TP316

中文引用格式: 佘楚玉,温武少,肖扬,刘育擘,贾殷.一种自适应文件系统元数据服务负载均衡策略.软件学报,2017,28(8):

1952−

英文引用格式: She CY, Wen WS, Xiao Y, Liu YB, Jia Y. Adaptive load balancing strategy for file-system metadata service.

Ruan Jian Xue Bao/Journal of Software, 2017,28(8):1952−

Adaptive Load Balancing Strategy for File-System Metadata Service

SHE Chu-Yu^1,2,3

WEN Wu-Shao^1,2

XIAO Yang¹, LIU Yu-Bo¹, JIA Yin¹

¹(School of Data and Computer Science, Sun Yat-Sen University, Guangzhou 510006, China)

²(SYSU-CMU Shunde International Joint Research Institute, Shunde 528300, China)

³(School of Mathematics and Statistics, Guangdong University of Finance and Economics, Guangzhou 510320, China)

Abstract: With the advent of big data era, global storage is experiencing an explosive growth. Traditional storage systems have several

drawbacks in storage performance, storage capacity, data security and device cost. In order to handle large amount of data, the storage

technology for cloud computing platform has undergone rapid development in the recent years, and become an important tool to deal with

big data. This paper analyzes the shortcomings of metadata management of certain distributed file system and proposes an adaptive

metadata load balancing mechanism. First, a real-time server performance evaluation model is introduced. Next, a period adaptive

mechanism based on change of server load is built. Finally, an adaptive load balancing algorithm based on server performance is proposed.

Experimental results demonstrate the practicability, availability and stability of the new mechanism.

Key words: distributed file system; metadata management; adaptive; load balancing; performance evaluation model

随着云计算技术的逐步成熟,存储系统作为云计算中重要的组成部分,同样需要满足当下新的需求.在云计

∗ 基金项目: 广东省科技计划(2014B010114002, 2015B010108004)

Foundation item: Science and Technology Project of Guangdong Province (2014B010114002, 2015B010108004)

收稿时间: 2016-06-17; 修改时间: 2016-09-21, 2016-11-11; 采用时间: 2016-12-01; jos 在线出版时间: 2017-01-12

CNKI 网络优先出版: 2017-01-12 10:35:59, http://www.cnki.net/kcms/detail/11.2560.TP.20170112.1035.002.html

佘楚玉等:一种自适应文件系统元数据服务负载均衡策略

1953

算环境下,存储系统通常要求支持 PB 级的数据存储,同时需要满足高可用性、高扩展性、高性能等多种需求.

文件系统作为存储系统中重要的一种类型,被业界广泛地应用.不同于传统环境,在云计算环境下,对文件系统

性能等方面要求更为苛刻.目前,随着云计算的发展,对存储 I/O、吞吐量、读写延迟都有比较高的要求,例如在

云桌面^[1]的应用场景中,特别是在大量云桌面同时启动时,需要存储系统达到很高的IOPS 性能.

在文件系统中,其 IOPS 主要是由文件元数据处理的速度和后端文件存储的速度决定.在文件存储方面,当

前一些文件系统提供了较好的性能,如 Ceph^[2],GFS^[3],HDFS^[4]等.然而在元数据管理上,当前的文件系统的元数

据管理存在以下两点不足.

• 首先,目前主流的分布式文件系统很多都是采用集中式的元数据服务模型,而不是采用一个元数据服

务器集群来处理元数据操作,如 HDFS,GFS 等.但随着云计算的广泛应用,存储的服务器硬盘上的数据

量急剧增加,元数据处理的请求也不断增加,单一的元数据服务器在处理能力和系统可用性方面都无

法满足当下的需求.而采用元数据服务集群的文件系统,如 CephFS^[5],虽然使得元数据服务能力可以线

性扩容,但在元数据服务的负载均衡上的表现并不是很好,从而也影响到整个文件系统的性能.

• 其次,由于硬件的迭代,目前企业的服务器集群存在性能异构等现状,传统的负载均衡策略没有考虑到

服务器间的性能的差异.目前,主流的分布式文件系统在执行元数据负载均衡时,只是将元数据访问的

热点作为单一热点评价标准,并没有考虑到服务器存在异构的情况.实际上,服务器异构的情况是普遍

存在的,主要体现在下面几点.

(1) 服务器本身的性能存在差异,例如CPU、内存、硬盘读写性能存在差异,这使得不同服务器应对

负载时的承受能力存在差异.

(2) 服务器在不同时期的性能有所不同,即使可以评估出服务器硬件上的性能指标,但是如果遇到

像网络状况发生变化、系统中其他应用占据了CPU 或内存资源等情况,都会使得同一台服务器

在不同的时间点表现出不同的性能特性.

(3) 服务器可能搭建在云平台上,即服务器本身可以是虚拟机.在云计算时代,很多服务器的功能都

被迁移到了云端,不同的云平台对于虚拟机资源一般是使用弹性机制,所以要确定一台虚拟机

的性能也比较困难.

根据上述总结的两点不足可知,当前制约文件系统效率的一个重要因素是文件系统元数据的处理效率不

高.一些文件系统使用元数据服务集群来获得元数据服务的线性扩展特性,从而提高文件系统元数据处理的效

率.但是当前,许多文件系统对元数据服务集群的负载均衡策略不是很灵活,而且没有考虑到服务器的性能存在

差异,这会导致负载均衡的效果不佳.例如,集群中高性能服务器负载虽然超过了集群负载的阈值,但服务器本

身其实没有超载,而文件系统依然会启用负载均衡机制将负载迁移到了集群中性能较弱的服务器上,这会导致

一些不必要的资源开销,甚至反而影响这个文件系统元数据服务的效率.

本文提出了一种自适应的文件系统元数据服务负载均衡策略来提高文件系统在元数据服务集群的负载均

衡的效率.本文的主要贡献包括以下几点.

(1) 介绍了一个灵活的服务器性能评估模型,充分考虑了集群中服务器的性能差异现状,为元数据服务集

群的负载均衡提供了可靠的依据.

(2) 提出了一种自适应元数据服务负载均衡算法.该算法可以根据元数据服务集群的总体请求压力,动态

修改负载均衡策略,使得集群的负载均衡更加高效.

(3) 在Ceph 上使用本文提出的元数据负载均衡策略,同时与原生的Ceph 进行实验对比,验证了该策略的

可行性与有效性.

本文第 1 节介绍本文的相关工作.第 2 节介绍文件系统中的自适应元数据服务负载均衡策略,其中包括对

服务器性能评估模型的介绍、自适应元数据服务负载均衡算法的介绍以及目录子树迁移过程的描述.第3 节对

该负载均衡策略进行实验验证,同时对实验结果进行对比分析.第4 节对全文进行总结.

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

一种自适应文件系统元数据服务负载均衡策略

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页