推荐星级：
- 1
- 2
- 3
- 4
- 5
面向微服务架构的容器级弹性资源供给方法
资料介绍
容器作为物理资源的逻辑抽象,具有资源占用少、资源供给快等特点,适合工作负载突变的互联网应用模式,特别是面向微服务架构的新型服务范型.已有工作受限于物理机和虚拟化环境,或资源难以弹性供给或资源供给时效性较差,难以应对负载突变(flash-crowds)场景.针对此问题提出了一种服务质量(quality of service,QoS)敏感的、基于前馈的容器资源弹性供给方法,该方法采用排队论刻画工作负载、资源利用率和响应时间的关联关系,构建应用性能模型.其中,响应时间采用模糊自适应卡尔曼滤波进行预测(前馈控制器),预测结果违背QoS是触发资源弹性供给的依据.基于CloudStone基准的实验结果显示,前馈控制器具有快速收敛的特点,对响应时间的预测误差小于10%.在flash-crowds场景下,相对于已有方法可有效保障应用的QoS.
部分文件列表
| 文件名 | 大小 |
| 面向微服务架构的容器级弹性资源供给方法.pdf | 2M |
部分页面预览
（完整内容请下载后查看）：
ＤＯＩ１０．７５４４ｉｓｓｎ１０００１２３９ ．２０１７ ．２０１５１０４３
－
计 算 机 研 究 与 发 展
?
（）： ，
５４３ ５９７６０８ ２０１７
－
ＪｏｕｒｎａｌｏｆＣｏｍ ｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏ ｍｅｎｔ
ꢀ ꢀ ꢀ ꢀ ꢀ
ｐ ｐ
ꢀ
面向微服务架构的容器级弹性资源供给方法
，，
１２３
，
１２
１
１
郝庭毅
吴
恒
吴国全
张文博
ꢀ
ꢀ
ꢀ
ꢀ
１
（
）
中国科学院软件研究所软件工程技术中心 北京
ꢀ
１００１９０
ꢀ
２
３
（ （
计算机科学国家重点实验室 中国科学院软件研究所
）
ꢀ
）
北京
１００１９０
ꢀ
（
）
中国科学院大学 北京
ꢀ
１０００４９
ꢀ
（
）
ｈａｏｔｉｎ ｉ１３ ｏｔｃａｉｘ．ｉｓｃａｓ．ａｃ．ｃｎ
ｇｙ
＠
ＥｌａｓｔｉｃＲｅｓｏｕｒｃｅＰｒｏｖｉｓｉｏｎｉｎ Ａ ｒｏａｃｈｆｏｒＣｏｎｔａｉｎｅｒｉｎＭｉｃｒｏＳｅｒｖｉｃｅＡｒｃｈｉｔｅｃｔｕｒｅ
ꢀ ꢀ ꢀ ꢀ ꢀ － ꢀ
ꢀ
ｇ ｐｐ
ꢀ
，，
１２３
，
１２
１
１
，
， ，
ＷｕＧｕｏｕａｎ ａｎｄＺｈａｎ Ｗｅｎｂｏ
ｑ ｇ
ꢀ ꢀ
ꢀ
ＨａｏＴｉｎ ｉ
ꢀ
ｇｙꢀ
ＷｕＨｅｎ
ꢀ
ｇ
１
２
３
（
，
，
，
）
Ｔｅｃｈｎｏｌｏ Ｃｅｎｔｅｒｏ ＳｏｔｗａｒｅＥｎｉｎｅｅｒｉｎ Ｉｎｓｔｉｔｕｔｅｏ Ｓｏｔｗａｒｅ ＣｈｉｎｅｓｅＡｃａｄｅｍ ｏ Ｓｃｉｅｎｃｅｓ Ｂｅｉｉｎ １００１９０
ꢀ
ꢀ
ꢀ
ｆ ｆ
ꢀ
ꢀ
ｇｙ
ｆ
ｆ
ｇ
ｇ
ｙ ｆ
ꢀ ꢀ
ｊ ｇ
ꢀ
ꢀ
（ （ ， ）， ）
ＳｔａｔｅＫｅ Ｌａｂｏｒａｔｏｒ ｏ Ｃｏｍ ｕｔｅｒＳｃｉｅｎｃｅ Ｉｎｓｔｉｔｕｔｅｏ Ｓｏｔｗａｒｅ ＣｈｉｎｅｓｅＡｃａｄｅｍ ｏ Ｓｃｉｅｎｃｅｓ Ｂｅｉｉｎ １００１９０
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｙ ｆ
ꢀ ꢀ
ｐ
ｆ
ꢀ
ｆ
ｙ ｆ
ꢀ ꢀ
ｊ ｇ
（
，
Ｕｎｉｖｅｒｓｉｔ ｏ ＣｈｉｎｅｓｅＡｃａｄｅｍ ｏ Ｓｃｉｅｎｃｅｓ Ｂｅｉｉｎ １０００４９
ꢀ
）
ｙ ｆ
ꢀ ꢀ
ｙ ｆ
ꢀ ꢀ
ｊ ｇ
，
Ａｂｓｔｒａｃｔ Ａｓａｌｏｉｃａｌａｂｓｔｒａｃｔｉｏｎ ｏｆ ｈｓｉｃａｌｒｅｓｏｕｒｃｅｓ ｃｏｎｔａｉｎｅｒｂａｓｅｄ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｈａｓｂｅｅｎ
ꢀꢀ ｇ ꢀ ꢀｐ ｙ
ꢀ
ꢀ
ꢀ
－
ꢀ
ꢀ
ꢀ
，
ａｄｏｔｅｄｗｉｄｅｌ ｉｎｃｌｏｕｄｃｏｍ ｕｔｉｎ ｅｎｖｉｒｏｎｍｅｎｔｆｏｒｅｌａｓｔｉｃｒｅｓｏｕｒｃｅ ｒｏｖｉｓｉｏｎｉｎ ｗｈｉｃｈｉｓｌｏｗｅｒ
ꢀｐ ꢀ ꢀ
ｇ
ｐ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｐ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｏｖｅｒｈｅａｄａｎｄ ｏｔｅｎｔｉａｌｌ ｂｅｔｔｅｒ ｅｒｆｏｒｍａｎｃｅ．Ｎｏｗａｄａｓ ｍｏｒｅａｎｄ ｍｏｒｅｅｎｔｅｒｒｉｓｅｓｓｅｅｋｔｏ ｍｏｖｅ
ꢀｐ ꢀｐ ꢀ ꢀ
ꢀ
ｙ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ｌａｒｅｓｃａｌｅ Ｉｎｔｅｒｎｅｔｂａｓｅｄ ａ ｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｍｉｃｒｏｓｅｒｖｉｃｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｉｎｔｏ ｔｈｅ ｃｏｎｔａｉｎｅｒｂａｓｅｄ
ꢀ ｐｐ － ꢀ ꢀ ꢀ －
ｇ
－
ꢀ
－
ꢀ
ꢀ
ꢀ
，
ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｎｄｆｏｃｕｓｏｎｅｆｆｉｃｉｅｎｔｒｅｓｏｕｒｃｅｍａｎａｅｍｅｎｔ．Ｕｎｆｏｒｔｕｎａｔｅｌ ｍａｎ ｅｘｉｓｔｉｎ ａ ｒｏａｃｈｅｓ
ꢀ ꢀ
ｇ ｐｐ
，
ｙ
ꢀ
ꢀ
ꢀ
ｇ
ｙ
ꢀ
ꢀ
，
ｗｅｒｅｒｅｓｔｒｉｃｔｅｄｂ ｈｓｉｃａｌｍａｃｈｉｎｅｏｒｖｉｒｔｕａｌｅｎｖｉｒｏｎｍｅｎｔ ｔｈｅｒｅｓｏｕｒｃｅｓａｒｅｈａｒｄｔｏｂｅｅｌａｓｔｉｃａｌｌ ｏｒ
ꢀｙｐ ｙ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
，
ｔｉｍｅｌ ｒｏｖｉｓｉｏｎｉｎ ．Ｔｈｅｒｅｆｏｒｅ Ｉｎｔｅｒｎｅｔｂａｓｅｄａ ｌｉｃａｔｉｏｎｓ ｍａ ｓｕｆｆｅｒｆｒｏｍ ｆｒｅｕｅｎｔｓｅｒｖｉｃｅｌｅｖｅｌ
ｙｐ
ꢀｐｐ ꢀ ｙ
ｇ
－
ꢀ
ꢀ
ｑ
ꢀ
－
ꢀ
ꢀ
（ ） ，
ａｒｅｅｍｅｎｔ ＳＬＡ ｖｉｏｌａｔｉｏｎｓｕｎｄｅｒｆｌａｓｈｃｒｏｗｄｃｏｎｄｉｔｉｏｎｓ．Ｔｏａｄｄｒｅｓｓｔｈｉｓｌｉｍｉｔａｔｉｏｎ ｔｈｉｓｔｈｅｓｉｓ
ꢀ
ｇ
ꢀ
ꢀ
－
ꢀ
ꢀ
ꢀ
ꢀ
（
）
ｒｏｏｓｅｓａ ｕａｌｉｔ ｏｆｓｅｒｖｉｃｅ ＱｏＳ ｓｅｎｓｉｔｉｖｅｒｅｓｏｕｒｃｅ ｒｏｖｉｓｉｏｎｉｎ ａ ｒｏａｃｈｆｏｒｃｏｎｔａｉｎｅｒｓｉｎ ｍｉｃｒｏ
ꢀｐ ꢀ ꢀ ꢀ ꢀ －
ｐ ｐ ꢀꢀｑ ｇ ｐｐ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ｓｅｒｖｉｃｅａｒｃｈｉｔｅｃｔｕｒｅｂａｓｅｄｏｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｃｏｎｔｒｏｌ．Ｗｅｅｍ ｌｏ ａ ｅｒｆｏｒｍａｎｃｅ ｍｏｄｅｌｂａｓｅｄｏｎ
ｐ ｙ
ꢀ ꢀ － ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
，
ｙ
，
ｕｅｕｉｎ ｔｈｅｏｒ ．Ｆｉｒｓｔｌ ｗｅｃａｔｕｒｅｔｈｅｒｅｌａｔｉｏｎｓｈｉ ａｍｏｎ ｗｏｒｋｌｏａｄ ｒｅｓｏｕｒｃｅ ｕｔｉｌｉｚａｔｉｏｎ ａｎｄ
ꢀ ｐ
ｑ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
ｐ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
，
ｒｅｓｏｎｓｅｔｉｍｅ．Ｓｅｃｏｎｄｌ ｗｅ ｒｅｄｉｃｔｔｈｅｒｅｓｏｎｓｅｔｉｍｅｗｉｔｈｆｕｚｚ ｆｅｄｅｒａｌａｄａｔｉｖｅＫａｌｍａｎｆｉｌｔｅｒｉｎ
ꢀｐ
ｇ
ｐ
ꢀ
ｙ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
，
，
ｂａｓｅｄｏｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｃｏｎｔｒｏｌ ａｎｄｉｆｔｈｅ ｒｅｄｉｃｔｉｏｎｒｅｓｕｌｔｉｓａａｉｎｓｔ ｒｅｄｅｆｉｎｅｄ ＱｏＳ ｅｌａｓｔｉｃ
ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀｇ ꢀｐ
ꢀ
－
ꢀ
ꢀ
－
ꢀ
ｒｅｓｏｕｒｃｅｓｃｈｅｄｕｌｉｎ ｒｏｃｅｓｓｉｓｔｒｉ ｅｒｅｄ．ＥｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｂａｓｅｄｏｎＣｌｏｕｄＳｔｏｎｅｓｈｏｗｔｈａｔｔｈｅ
ｇｐ
ꢀ ꢀ ｇｇ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ｐ
ꢀ
ｆｅｅｄｆｏｒｗａｒｄａｌｏｒｉｔｈｍ ｃｏｎｖｅｒｅｓ ｕｉｃｋｌ ．Ｔｈｅ ｒｅｄｉｃｔｉｏｎ ｒｅｓｕｌｔｏｆｔｈｅｒｅｓｏｎｓｅｔｉｍｅ ｈａｓ ｏｎｌ
ｇ ꢀｑ ｙ
ꢀ ｇ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
－
ꢀ
ｙ
ｐ
，
ｍａｘｉｍｕｍｅｒｒｏｒｏｆ１０％ ａｎｄｉｓ ｍｏｒｅｅｆｆｅｃｔｉｖｅａｎｄａｃｃｕｒａｔｅｃｏｍ ａｒｅｄ ｗｉｔｈｅｘｉｓｔｉｎ ａ ｒｏａｃｈｅｓ．
ꢀ ꢀ ꢀ ꢀ
ｇ ｐｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
，
Ｆｕｒｔｈｅｒｍｏｒｅ ｏｕｒａ ｒｏａｃｈｃａｎｅｆｆｅｃｔｉｖｅｌ ｒｏｔｅｃｔｒｅｓｏｕｒｃｅ ｒｏｖｉｓｉｏｎｉｎ ｆｏｒｆｌａｓｈｃｒｏｗｄｓｗｏｒｋｌｏａｄ．
ｙｐ
ꢀｐｐ ꢀｐ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
－
ꢀ
ꢀ
；
；
ｇ
；
Ｋｅ ｗｏｒｄｓ ｃｏｎｔａｉｎｅｒｖｉｒｔｕａｌｉｚａｔｉｏｎ ｆｕｚｚ ａｄａｔｉｖｅＫａｌｍａｎｆｉｌｔｅｒｉｎ ｅｌａｓｔｉｃｒｅｓｏｕｒｃｅ ｒｏｖｉｓｉｏｎｉｎ
ꢀｐ
ｇ
ꢀ
ꢀ
ｙ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
；
ｍｉｃｒｏｓｅｒｖｉｃｅａｒｃｈｉｔｅｃｔｕｒｅ ｆｌａｓｈｃｒｏｗｄｓ
－
－
ꢀ
， 、 ，
容器作为物理资源的逻辑抽象 具有资源占用少 资源供给快等特点 适合工作负载突变的互联
摘
要
ꢀ
ꢀ
， ，
网应用模式 特别是面向微服务架构的新型服务范型 已有工作受限于物理机和虚拟化环境 或资源难
．
：
；
：
修回日期
２０１６ ０４ ０１
收稿日期
－ －
２０１５ １２ ０９
－
－
ꢀ
：
基金项目 国家自然科学基金项目
（
，
６１４７２４０７ ６１３６３００３
）
ꢀ
（
，
）
Ｔｈｉｓｗｏｒｋｗａｓｓｕ ｏｒｔｅｄｂ ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ ６１４７２４０７ ６１３６３００３ ．
ꢀ ｐｐ ꢀｙ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
：
通信作者 吴恒
（
）
ｗｕｈｅｎ０９ ｏｔｃａｉｘ．ｉｓｃａｓ．ａｃ．ｃｎ
ｇ ＠
ꢀ
，
（）
２０１７ ５４３
ꢀ
计算机研究与发展
５９８
，
以弹性供给或资源供给时效性较差 难以应对负载突变
（
）
场景 针对此问题提出了一种服
ｆｌａｓｈｃｒｏｗｄｓ
．
－
（
ｑ
，
）
敏感的 基于前馈的容器资源弹性供给方法 该方法采用排队论刻画工
ｕａｌｉｔ ｏｆｓｅｒｖｉｃｅ ＱｏＳ
ｙ ꢀ
、 ，
务质量
ꢀ
、 ， ，
作负载 资源利用率和响应时间的关联关系 构建应用性能模型 其中 响应时间采用模糊自适应卡尔曼
．
（ ），
滤波进行预测 前馈控制器 预测结果违背
是触发资源弹性供给的依据 基于 基准的
． ＣｌｏｕｄＳｔｏｎｅ
ＱｏＳ
， ，
实验结果显示 前馈控制器具有快速收敛的特点 对响应时间的预测误差小于
在
１０％． ｆｌａｓｈｃｒｏｗｄｓ
－
场
，
景下 相对于已有方法可有效保障应用的
ＱｏＳ．
； ； ； ；
容器虚拟化 模糊自适应式卡尔曼滤波 弹性资源供给 微服务架构 突发性负载
关键词
ꢀ
中图法分类号
ＴＰ３１９
ꢀ
［］
１
（
）
，
实现模型参数的运行时调整 进行应用响应时间预
微服务架构
体现了互联网应
ｍｉｃｒｏｓｅｒｖｉｃｅ
ꢀꢀ
用的设计思想 其核心理念是细粒度模块划分 服务
：）
，
、
，
测 最后 以响应时间是否违约
．
作为资源弹性
ＱｏＳ
、
，
化接口封装 轻量级通信交互 具有 点优势
模
１
供给的依据
２
．
， 、
块自治性强 能很好满足互联网应用诉求变化快 模
：
点
本文的贡献主要有
３
；） ，
模块扩展性好 能很好满足互
２
块独立更新的需求
）
提出一种基于容器的应用弹性供给框架 利
１
，
、
联网应用用户难预测 资源动态分配的需求 其中
．
，
，
用容器轻量级特点 提高了资源供给的实效性
．
；
前者涉及的是应用开发和设计范畴 后者强调的是
）
提出一种基于预测的应用突变负载估算方
２
，
应用运行和维护 问题 也 是本 文 关注 的 重 点 根 据
．
， ，
法 利用模糊自适应卡尔曼滤波快速收敛的特点 提
， ，
报告 微服务本身具有良好的扩展性 正逐
Ｇａｒｔｎｅｒ
高了突变负载的预测准确性和资源供给的有效性
．
，
渐成为构造互联网应用的主流架构模式 但从运行
）
，
实验结果显示 本方法对响应时间预测的误
３
，
和维护的 视 角 来 看 应 对 典 型 的 互 联 网 突 变 负 载
，
在突发负载的场景下 相比已有方
１０％．
差率小于
［］
２
（
）
场景 保障应用服务 质 量
ｆｌａｓｈｃｒｏｗｄｓ
、
（
ｕａｌｉｔ
ｑ
，
法 可以有效保障应用的服务质量
．
－
ｙ
， ） （
依旧面临挑战 服务质量是指应用
ｏｆｓｅｒｖｉｃｅ ＱｏＳ
ꢀ
，
软件对时间要求的满足程度 响应时间是其重要的
相关工作
１
ꢀ
，
度量指标之一 比如用户服务质量为
，
即表示用
５ｓ
）
５ｓ ．
户从请求发起到请求响应的时间间隔不应超过
已有工作主要面向物理机和虚拟机场景实现资
， ，
近年来 轻量级容器技术应运而生 其本质是模
［ ］
针对物理资源难以快速供
４１０
－
源的弹性供给 文献
．
， 、
拟进程运行环境 具有资源占用少 应用启动快等特
， ，
给的特点 或采用容量规划 以服务质量作为约束条
［］
３
，
点
其正逐步成为支撑微服务运行的主流架构平
， ；
件 估算应用的峰值资源需求 或采用准入控制机制
，
，
台 容器具有秒级资源供给的特点 可很好地满足互
．
，
根据资源供给量反推应用可承受的峰值负载 通过拒
，
联网应用负载突变对实时资源供给的需求 然而 已
．
绝服务策略来保障应用的服务质量 如
等
． Ｃｈｅｒｋａｓｏｖａ
［］
９
，
有方法或受限于物理机灵活性不够 资源难以弹性
，
提出的基于准入控制机制 建立会话与吞吐量的
人
； ，
供给 或受限于虚拟机资源的供给分钟级时效性 通
，
损失模型 推演资源的供给需求 又如
．
等
Ｒｏｂｅｒｔｓｓｏｎ
［ ］
１０
（
）
的负载模式
常只能适用于周期变化
ｔｉｍｅｏｆｄａ
－ －
ｙ
．
，
提出的基于线性模型的资源需求方程组 在保
人
“ ” ，
限时抢购活动
６１８
如京东采用容器作为
年
２０１５
，
障应用质量的前提下估算资源需求的峰值 从而达到
，
用户访问数增长率高于预期 导致部分应用构件出
［ ］
考虑虚拟机性能
１１１７
－
资源按需供给的目的 文献
．
“
现 无响应
”、“
”
卡顿 等现象 其原因是应用性能模型
．
，
开销因素 采用模型驱动的方法刻画虚拟化环境下应
，
的参数选择受限于训练集 缺少运行时自我调整的
，
用的资源需求变化 并以此作为资源提供的依据 这
．
， 、
能力 其中 性能模型是评估应用资源需求 实现弹
．
（
）、
ｇ
些方法通常采用增强学习
ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ
ꢀ
性供给的依据
．
（
）
等机制进行模型参数
统计学习
ｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎ
ꢀ
ｇ
［
］
１５
等人 提出基于性能隔离的方法
、
本文提出了一种基于前馈控制 面向负载突变
训练 如
． Ｋａｒｌｓｓｏｎ
，
场景的容器资源按需供给方法 该方法采用排队论
，
分析每个服务实例的资源需求 分别对每种服务构
、 ，
刻画应用负载 资源消耗和响应时间的关联关系 构
， ；
建性能变化模型 从 而 进 行 自 适应 资 源 供 给 文献
，
造应用性能模型 同时 使用模糊自适应卡尔曼滤波
．
［ ］ ，
考虑虚拟机之间性能相互干扰问题 采用统
１８２１
－
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 21小时前
-
21ic小能手 打赏5.00元 21小时前
-
21ic小能手 打赏15.00元 21小时前
-
21ic小能手 打赏5.00元 21小时前
-
21ic小能手 打赏5.00元 21小时前
-
21ic小能手 打赏15.00元 21小时前
-
21ic小能手 打赏10.00元 21小时前
-
21ic小能手 打赏5.00元 21小时前
-
wubaojun1982 打赏1.00元 3天前
资料：ADS1241驱动代码
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏320.00元 3天前
用户：liqiang9090
-
21ic下载 打赏260.00元 3天前
用户：gsy幸运
-
21ic下载 打赏110.00元 3天前
用户：zhengdai
-
21ic下载 打赏130.00元 3天前
用户：WK520077778
-
21ic下载 打赏100.00元 3天前
用户：sun2152
-
21ic下载 打赏70.00元 3天前
用户：xuzhen1
-
21ic下载 打赏40.00元 3天前
用户：w178191520
-
21ic下载 打赏70.00元 3天前
用户：xzxbybd
-
21ic下载 打赏50.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏30.00元 3天前
用户：kk1957135547
-
21ic下载 打赏30.00元 3天前
用户：forgot
-
21ic下载 打赏30.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：年轻的国王
-
21ic下载 打赏30.00元 3天前
用户：happypcb
-
21ic下载 打赏30.00元 3天前
用户：不觉明了
-
21ic下载 打赏20.00元 3天前
用户：xujibicool
-
21ic下载 打赏10.00元 3天前
用户：idlaoming
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏20.00元 3天前
-
21ic小能手 打赏20.00元 3天前
-
注册1 打赏0.01元 3天前
-
注册1 打赏0.01元 3天前
用户：xlhtracy
-
注册1 打赏0.01元 3天前
用户：xlhtracy
-
注册1 打赏0.01元 3天前
用户：xlhtracy
全部评论(0)