积分商城

最新搜索： CH340 排插 入门教程 canopen TMC5160 altium Designer 20 电路设计与仿真从入门到精通
您现在的位置是：首页 > 技术资料 > 基于开源生态系统的大数据平台研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于开源生态系统的大数据平台研究

更新时间：2019-12-25 17:44:33 大小：2M 上传用户：zhiyao6查看TA发布的资源 标签：开源生态系统大数据 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

大规模数据的收集和处理是近年的研究热点,业界已经提出了若干平台级的设计方案,大量使用了开源软件作为数据收集和处理组件.然而,要真正满足企业应用中海量数据存储、多样化业务处理、跨业务分析、跨环境部署等复杂需求,尚需设计具有完整性、通用性、支持整个数据生命周期管理的大数据平台,并且对开源软件进行大量的功能开发、定制和改进.从小米公司的行业应用和实践出发,在深入研究现有平台的基础上,提出了一种新的基于开源生态系统的大数据收集与处理平台,在负载均衡、故障恢复、数据压缩、多维调度等方面进行了大量优化,同时发现并解决了现有开源软件在数据收集、存储、处理以及软件一致性、可用性和效率等方面的缺陷.该平台已经在小米公司成功部署,为小米公司各个业务线的数据收集和处理提供支撑服务.


部分文件列表

文件名 大小
基于开源生态系统的大数据平台研究.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
：
ＤＯＩ１０．７５４４ｉｓｓｎ１０００ － １２３９ ．２０１７ ．２０１５０４９２  
?
计 算 机 研 究 与 发 展  
（）： ，  
５４１ ８０－９３ ２０１７  
ＪｏｕｒｎａｌｏｆＣｏｍ ｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏ ｍｅｎｔ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ  
ｐ ｐ  
基于开源生态系统的大数据平台研究  
，
１２  
，
１３  
２
２
２
２
雷
军
叶航军  
武泽胜  
张
鹏
谢
龙
何炎祥  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
１
２
３
（
）
武汉大学计算机学院 武汉  
ꢀ
４３００７２  
ꢀ
（
）
小米科技有限责任公司 北京  
ꢀ
１０００８５  
ꢀ
（ （  
软件工程国家重点实验室 武汉大学  
）
ꢀ
）
武汉  
４３００７２  
ꢀ
（
ｌｅｉｕｎ ｘｉａｏｍｉ．ｃｏｍ  
＠
）
ｊ
Ｂｉ －ＤａｔａＰｌａｔｆｏｒｍＢａｓｅｄｏｎＯ ｅｎＳｏｕｒｃｅＥｃｏｓｓｔｅｍ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ  
ｇ
ｐ
ｙ
，
１２  
，
１３  
２
２
２
２
，
，
，
ＹｅＨａｎ ｕｎ ＷｕＺｅｓｈｅｎ Ｚｈａｎ Ｐｅｎ  
ｇｊ  
，
ＸｉｅＬｏｎ ａｎｄＨｅＹａｎｘｉａｎ  
ꢀ ꢀ ꢀ  
ｇ
，
ＬｅｉＪｕｎ  
ꢀ
ꢀ
ꢀ
ｇ
ｇ
ꢀ
ｇ
ｇ
１
（
，
Ｃｏｍ ｕｔｅｒＳｃｈｏｏｌ ＷｕｈａｎＵｎｉｖｅｒｓｉｔ Ｗｕｈａｎ４３００７２  
ꢀ
，
）
ꢀ
ꢀ
ｐ
ｙ
２
３
（
，
ＸｉａｏｍｉＩｎｃ Ｂｅｉｉｎ １０００８５  
ꢀ
）
ｊ ｇ  
（
（
），  
ＳｔａｔｅＫｅ Ｌａｂｏｒａｔｏｒ ｏ ＳｏｔｗａｒｅＥｎｉｎｅｅｒｉｎ ＷｕｈａｎＵｎｉｖｅｒｓｉｔ  
ｙ
）
Ｗｕｈａｎ４３００７２  
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｙ ｆ  
ꢀ ꢀ  
ｆ
ｇ
ｇ
，
Ａｂｓｔｒａｃｔ Ａｓｌａｒｅ－ｓｃａｌｅｄａｔａｃｏｌｌｅｃｔｉｎ ａｎｄ ｒｏｃｅｓｓｉｎ ａｒｅｂｅｉｎ ｗｉｄｅｌ ｓｔｕｄｉｅｄｉｎｒｅｃｅｎｔ ｅａｒｓ  
ꢀ ꢀ ｇ ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ꢀｙ  
ｇ
ｇ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
ｓｅｖｅｒａｌｒｅｌｅａｓｅｄ ｂｉ ｄａｔａ ｒｏｃｅｓｓｉｎ ｌａｔｆｏｒｍｓ ａｒｅｉｎｃｒｅａｓｉｎｌ ｌａｉｎ ｉｍ ｏｒｔａｎｔｒｏｌｅｓｉｎ ｔｈｅ  
ꢀ ꢀ ｇ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ  
ｇ ｐ ｇｙ ｐ ｙ ｇ ｐ  
ꢀ
ꢀ
ꢀ
ꢀ
，
ｏｅｒａｔｉｏｎｓｏｆｍａｎ Ｉｎｔｅｒｎｅｔｂｕｓｉｎｅｓｓｅｓ．Ｏ ｅｎｓｏｕｒｃｅｅｃｏｓｓｔｅｍｓ ｔｈｅｅｎｉｎｅｏｆｂｉ ｄａｔａｉｎｎｏｖａｔｉｏｎ  
ｐ ꢀ  
ꢀ ꢀ ꢀ ｇ ꢀ ꢀ ｇ  
，
ｐ
ｙ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｈａｖｅｂｅｅｎｅｖｏｌｖｉｎ ｓｏｒａｉｄｌ ｔｈａｔａｎｕｍｂｅｒｏｆｔｈｅｍａｒｅｓｕｃｃｅｓｓｆｕｌｌ ａｄｏｔｅｄａｓｔｈｅｃｏｍ ｏｎｅｎｔｓｏｆ  
ꢀ ꢀ ꢀ ｐ ｙ ꢀꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ  
ｐ
ｇ
ꢀ
ｙ
ꢀ
ｐ
ꢀ
，
ｙ
，
ｍａｉｎｓｔｒｅａｍｄａｔａ ｒｏｃｅｓｓｉｎ ｌａｔｆｏｒｍｓ．Ｉｎｒｅａｌｉｔ ｈｏｗｅｖｅｒ ｔｈｅｏｅｎｓｏｕｒｃｅｓｏｆｔｗａｒｅｉｓｓｔｉｌｌｆａｒｆｒｏｍ  
ｇｐ  
ꢀｐ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
ꢀ
ꢀ
，
ｅｒｆｅｃｔｗｈｉｌｅｄｅａｌｉｎ ｗｉｔｈｒｅａｌｌａｒｅ－ｓｃａｌｅｄａｔａ．Ｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｉｎｄｕｓｔｒｉａｌ ｒａｃｔｉｃｅａｔＸｉａｏｍｉＩｎｃ  
ꢀ ꢀ ｇ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ  
ｐ
ꢀ
ꢀ
ｇ
ꢀ
ｔｈｉｓ ａｅｒ ｒｏｏｓｅｓａｎｉｍ ｒｏｖｅｄ ｌａｔｆｏｒｍｆｏｒｃｏｌｌｅｃｔｉｎ ａｎｄ ｒｏｃｅｓｓｉｎ ｌａｒｅ－ｓｃａｌｅｄａｔａｉｎｆａｃｅｏｆ  
ꢀｐｐ ꢀｐ ｐ ꢀ ꢀ ｐ ꢀｐ ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ꢀ  
ｇ
ｇ
ꢀ
ｇ
ꢀ
，
ｖａｒｉｅｄｂｕｓｉｎｅｓｓｒｅｕｉｒｅｍｅｎｔｓ．Ｗｅｆｏｃｕｓｏｎｔｈｅ ｒｏｂｌｅｍｓｉｎｔｅｒｍｓｏｆｔｈｅｆｕｎｃｔｉｏｎａｌｉｔ ｃｏｎｓｉｓｔｅｎｃ ａｎｄ  
ꢀ ｑ ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
ｙ
ｙ
ꢀ
，
ａｖａｉｌａｂｉｌｉｔ ｏｆｔｈｅｓｏｆｔｗａｒｅ ｗｈｅｎｔｈｅ ａｒｅｅｘｅｃｕｔｅｄｆｏｒ ｄａｔａｃｏｌｌｅｃｔｉｎ ｓｔｏｒｉｎ ａｎｄ ｒｏｃｅｓｓｉｎ  
ꢀｐ  
ｇ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ｇ
ꢀ
，
，
，
ｒｏｃｅｄｕｒｅｓ．Ｉｎａｄｄｉｔｉｏｎ ｗｅ ｒｏｏｓｅａｓｅｒｉｅｓｏｆｏｔｉｍｉｚａｔｉｏｎｓａｉｍｉｎ ａｔｌｏａｄｂａｌａｎｃｅ ｆａｉｌｏｖｅｒ ｄａｔａ  
ꢀｐ ｐ ꢀꢀ ꢀ ꢀｐ  
ｇ ꢀ  
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ｃｏｍ ｒｅｓｓｉｏｎａｎｄｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌｓｃｈｅｄｕｌｉｎ ｔｏｓｉｎｉｆｉｃａｎｔｌ ｉｍ ｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃ ｏｆｔｈｅｃｕｒｒｅｎｔ  
ｙ ꢀ  
ꢀ ꢀ ꢀ ｇ ꢀ ꢀ ꢀ  
ｐ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
ｐ
ꢀ
ｓｓｔｅｍ．Ａｌｌｔｈｅｓｅｄｅｓｉｎｓａｎｄｏｔｉｍｉｚａｔｉｏｎｓｄｅｓｃｒｉｂｅｄｉｎｔｈｉｓ ａｅｒｈａｖｅｂｅｅｎ ｒａｃｔｉｃａｌｌ ｉｍ ｌｅｍｅｎｔｅｄ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐｐ ꢀ ꢀ ꢀｐ  
ｇ ꢀ ꢀｐ ｐ  
ｙ
ｙ
ꢀ
ａｎｄｄｅｌｏｅｄｔｏｓｕ ｏｒｔｖａｒｉｏｕｓＩｎｔｅｒｎｅｔｓｅｒｖｉｃｅｓ ｒｏｖｉｄｅｄｂ ＸｉａｏｍｉＩｎｃ．  
ꢀ ｐ ｙ ꢀ ꢀ ｐｐ ꢀ ꢀ ꢀ ꢀｐ ꢀｙ ꢀ  
ꢀ
；
ｐ
；
；
Ｋｅ ｗｏｒｄｓ Ｈａｄｏｏ ｏｅｎｓｏｕｒｃｅｅｃｏｓｓｔｅｍ ｂｉ ｄａｔａ ｄａｔａｃｅｎｔｅｒ ｎｅｔｗｏｒｋｖｉｒｔｕａｌｉｚａｔｉｏｎ  
ｐ ꢀ  
；
ꢀ
ꢀ
ｙ
ｇ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
， ，  
大规模数据的收集和处理是近年的研究热点 业界已经提出了若干平台级的设计方案 大量使  
摘
要
ꢀ
ꢀ
， 、  
用了开源软件作为数据收集和处理组件 然而 要真正满足企业应用中海量数据存储 多样化业务处理  
．
、
、 ， 、 、  
跨业务分析 跨环境部署等复杂需求 尚需设计具有完整性 通用性 支持整个数据生命周期管理的大数  
， 、 ，  
据平台 并且对开源软件进行大量的功能开发 定制和改进 从小米公司的行业应用和实践出发 在深入  
．
， ， 、  
研究现有平台的基础上 提出了一种新的基于开源生态系统的大数据收集与处理平台 在负载均衡 故  
、 、 ， 、  
障恢复 数据压缩 多维调度等方面进行了大量优化 同时发现并解决了现有开源软件在数据收集 存  
、 、 ，  
储 处理以及软件一致性 可用性和效率等方面的缺陷 该平台已经在小米公司成功部署 为小米公司各  
．
个业务线的数据收集和处理提供支撑服务  
．
：
；
：
修回日期  
２０１６ ０８ ０８  
收稿日期  
－ －  
２０１５ ０６ １２  
－
－
ꢀ
：
基金项目 国家自然科学基金项目  
（
， ，  
９１１１８００３ ６１３７３０３９ ６１１７００２２  
）
ꢀ
（
，
，
Ｔｈｉｓｗｏｒｋｗａｓｓｕ ｏｒｔｅｄｂ ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ ９１１１８００３ ６１３７３０３９ ６１１７００２２ ．  
ꢀ ｐｐ ꢀｙ ꢀ ꢀ  
）
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
：
军等 基于开源生态系统的大数据平台研究  
雷
ꢀ
８１  
；
开源生态系统 大数据 数据中心 网络虚拟化  
ｐ
；
；
；
关键词  
Ｈａｄｏｏ  
ꢀ
中图法分类号  
ＴＰ３９１  
ꢀ
大规模数据的收集和处理是近年来业界和学术  
贡献是将开源软件的组件与自主研发的软件组成一  
ꢀꢀ  
， “ ” “ ”  
界的热点 被称为 大数据 问题 大数据 问题存在  
．
，
个完整的大数据平台 并通过一系列的技术创新和  
，
多种 定 义 现 在 普 遍 被 接 受 的 是  
的
定
３Ｖ  
，
改进 使其能够胜任真实场景下大数据对系统功能  
、
ＩＢＭ  
［］  
１
，
（ ）、  
种 类  
ｖｏｌｕｍｅ  
（ ）  
和 速 度  
ｖａｒｉｅｔ  
ｙ
义
即 数 量  
、
性能 一致性和可用性等各方面的需求 本文首先介  
．
（
），  
ｖｅｌｏｃｉｔ  
ｙ
、 、  
也就是数量巨大 种类丰富 快速生成并  
，
绍相关研究和实践工作 然后分别描述平台的总体  
需要快速处理的数据 大规模数据的收集和处理有  
．
，
架构组成以及所做的改进和创新 最后展望未来的  
，
许多实际的应用 对互联网企业而言 用户在使用其  
．
发展路线和计划  
．
，
产品的过程中会产生大量的业务数据 比如使用日  
、
志 交易日 志 和 关 系 链 等 对 这 些 数 据 的 分 析 和 处  
．
相关工作  
１
ꢀ
，
理 可以深刻了解用户的需求 每一次用户对产品的  
．
使用都反映了用户的需求和对产品的反馈 对这些  
．
，
关于大数据平台 业界较为有代表性的工作是  
，
数据的分析和挖掘可以帮助公司改进自身产品 提  
［
］
３－４  
的实时数据收集和分析平台  
该平台  
．
Ｆａｃｅｂｏｏｋ  
， ，  
升用户体验 为用户创造更大的价值 因此 公司通  
．
（
）
和低延迟  
ｙ
（ ）  
ｌａｔｅｎｃ  
ｙ
的目标是解决大规模  
ｓｃａｌａｂｉｌｉｔ  
常有强烈的需求来分析和处理上述数据  
．
［］  
５
，
的 问 题 它 既 使 用 了  
， （  
ＨＤＦＳ Ｈａｄｏｏ  
ｐ
Ｓｃｒｉｂｅ  
（ ：  
以小米科技有限责任公司 以下简称 小米公  
，
是
ｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｓｔｅｍ  
ꢀｙ  
项目的一个核心  
Ｈａｄｏｏ  
ｐ
ꢀ
） ， 、  
司 为例 公司业务数据的收集 分析和处理是一个  
［］  
６
），  
［］  
７
，
［］  
８
，
［］  
９
子项目  
等开源  
Ｍａ Ｒｅｄｕｃｅ Ｈｉｖｅ ＨＢａｓｅ  
ｐ
：
ＰＢ  
、
量级的数据总量 多种数据  
典型的大数据问题  
，
系统 也 自 行 开 发 了  
，
，
Ｃａｌｌｉｒａｈｕｓ ＰＴａｉｌＰｕｍａ  
ｇ ｐ  
等
（
格式 如逗号分隔值  
（
，
ｃｏｍｍａｓｅａｒａｔｅｄｖａｌｕｅ ＣＳＶ  
ꢀ
）、  
ꢀ ｐ  
，
私有系统 该平台的侧重点是数据的收集和汇聚 即  
．
［］  
２
、
、
）、  
消息  
Ｔｈｒｉｆｔ  
文本文件 关系数据库等 上百个数  
，
实时的分类统计 而非通用的数据计算和分析服务  
．
、
据来源 每日  
量级的数据增量和小时级别的处  
ＴＢ  
这个平台最终能够在  
的写入速度下把延时  
９ＧＢｓ  
ｐ
，
理速度要求等 大数据问题的解决 需要一套行之有  
．
控制在  
之内  
．
１０ｓ  
，
效的技术架构 一般是分层次的堆栈式技术架构 对  
．
学术界关于大数据平台也有大量的研究和实  
，
ＥＭＣ  
： 、  
将大数据技术架构分成了 层 基础层 管  
４
此
， 、  
践 大致可以分为基于应用 基于模型以及基于平台  
、
理层 分析层和应用层 小米公司的内部业务在基础  
．
类 基于应用的研究工作主要从 日志挖掘这  
Ｗｅｂ  
等开源的生态系  
３
．
，
层和管理层上沿袭了该框架 但在数据的应用和分  
，
个应用出发 考虑如何在  
Ｈａｄｏｏ  
ｐ
，
析上有所不同 以适应公司自身的业务特点  
．
、
统上构建分布式 可存储和挖掘大规模日志数据的  
平台 主要的工作在于讨论和验证分布式集群对于  
．
）
数据存量和增量大  
１
级别的 数 据 总 量 和  
．ＰＢ  
，
级别的数据日增量 对数据存储和传输的成本  
ＴＢ  
，
日志挖掘效率的可行性 并提出了相应的  
提高  
Ｗｅｂ  
与效率提出很高的要求  
．
［
］
１０－１２  
解决方案  
基于模型的工作重点是讨论了更为  
．
）
、
业务线多 数据来源和格式多样化 上 百 个  
．
２
，
通用的海量数据处理和计算模型 包括计算模型本  
，
，
业务项目和数据来源 多种异构的数据格式 要求大  
数据平台有足够的灵活性和可扩展性  
．
、 、 ，  
身 网络模型和优化 编程模型等关键问题 也讨论  
，
了通用模型在具体应用中的实际问题和效果 比如  
）
跨业务数据分析和挖掘的需求大 联合利用  
３
．
［
］
１３－１５  
、
数据清洗 容错等  
，
此外 基于平台的工作更多  
．
，
用户在多个产品上的使用数据 才能更深刻了解用  
， 、  
是从平台自身的角度 比如数据管理 资源调度与虚  
，
户的需求 更好地改善用户体验  
．
［
］
１６－１８  
，
拟化 并把整个系统分成多个层次  
例如把系  
．
）
业务部署和大数据平台部署的情况比较复  
４
、
统 分 为 数 据 库 访 问 层 数 据 处 理 层 和 业 务 应 用  
、 、  
杂 多机房部署 异构的机房环境 要求集群和平台  
．
［ ］  
１６  
［ ］  
１８  
；
、
层
将系统分为算法层 任务层和用户层  
目前已有的工作主要集中研究了大数据平台中  
一些重要组件的设计和实现 由于小米公司的业务  
、
的部署 监控和报警等要足够高效  
．
．
，
本文从小米公司的应用和实践出发 在不失通  
［］  
３
，
用性的前提下 提出了一个基于开源生态系统  
的
．
、 、  
具有数据量大 业务需求多样化 跨业务分析的需求  
统一的大数据收集和处理的基础平台 本文的主要  
．

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号