您现在的位置是：首页 > 技术资料 > IFCQD_一种物联网数据库高性能廉价闪存缓冲队列机制

推荐星级：

IFCQD_一种物联网数据库高性能廉价闪存缓冲队列机制

更新时间：2019-12-24 10:06:09 大小：2M 上传用户：xiaohei1810 查看TA发布的资源 标签：物联网数据库 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

在物联网环境中,大量的传感器产生了海量的数据.这些数据一般需要立刻保存到数据库中,以实现分析与应用.大量传感器数据写入到数据库中,会在存储系统中产生严重的小数据同步写性能瓶颈,严重影响数据库系统性能.本文设计了一种物联网数据库高性能廉价闪存缓冲队列——IFCQD(Inexpensive Flash Cache Queue for Database).IFCQD充分利用了USB 3.0接口与FLASH闪存的高速特性,在保证数据同步写入存储器,不会意外丢失的基础上,可以显著地优化大量数据写入到数据库中的性能.针对FLASH闪存的特性,本文还使用了双重索引法来提高闪存缓冲机制的性能.实验表明,IFCQD机制可以基于廉价的闪存,在物联网应用环境中显著地提高数据采集系统的性能.

部分文件列表

文件名	大小
IFCQD_一种物联网数据库高性能廉价闪存缓冲队列机制.pdf	2M

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

Nov．2015

2015年11月

四川大学学报(自然科学版)

V01．52 No．6

Journal of Sichuan

Science Edition)

University(Natural

第52卷第6期

1．01

doi：103969／j．issn．0490—6756．2015．1

IFCQD：一种物联网数据库高性能廉价闪存缓冲队列机制

冯

暄

，

许源源

蔡友保1，黄健2，卢

军2

(1．四川省计算机研究院，成都610041；2．成都信息工程学院软件工程学院，成都610225)

摘

要：在物联网环境中，大量的传感器产生了海量的数据．这些数据一般需要立刻保存到数

据库中，以实现分析与应用．大量传感器数据写入到数据库中，会在存储系统中产生严重的小

数据同步写性能瓶颈，严重影响数据库系统性能．本文设计了一种物联网数据库高性能廉价闪

Flash Cache

for

Database)．IFCQD充分利用了

存缓冲队列——IFCQD(Inexpensive

Queue

USB

3．0接口与FLASH闪存的高速特性，在保证数据同步写入存储器，不会意外丢失的基础

上，可以显著地优化大量数据写入到数据库中的性能．针对FLASH闪存的特性，本文还使用

了双重索引法来提高闪存缓冲机制的性能．实验表明，IFCQD机制可以基于廉价的闪存，在物

联网应用环境中显著地提高数据采集系统的性能．

关键词：物联网；数据采集；海量；高性能；闪存；队列

文献标识码：A

文章编号：0490—6756(2015)06—1244—05

中图分类号：TP393

flash cache

mechanism

queue

performance inexpensive

IFCQD：high

for database of internet of

things

FENGX1Aan 1，XUYkan—Hln卵1，CAJ YbM—Ba01，HUANGJian 2，LUJun

Institute of

(1．Sichuan

Computer

610041，China；

Science，Chengdu

10225，China)

2．Software

of Information

Engineering College，Chengdu University

Technology，Chengdu

of Internet of

number of sensors

amounts of

the environment

Abstract：In

Things，a large

generate huge

data and vari—

analyses

these

data needs to be stored in the database tO

data．Usually

generated

support

OUS

1ater．Due to insert these

bottleneck of

amounts of sensor data into the database，it willlcad to

huge

applications

the

corresponding storage sys—

serious

data

writing fragment

synchronous

performance

temand

decrease the

Flash Cache

for

of database

performance

system．This paper presents

High—Perform—

seriously

of Internet of named as

Things

ance

for Database

Queue

IFCQD(Inexpensive

Inexpensive

of the

of the flash stor—

Flash Cache

full

Queue

Database)．By taking

advantage

high speed property

the on mass data

inserting

device based on USB

can

age

3．0，IFCQD

significantly optimize

performance

wrote into disk without

into the

and ensure the collected data that can be

da—

database

synchronously

any

the feature of the flash

storage，this paper

use the Double Index Method to

the

lose．Base

improve

the

perform～

of the cache

show that

IFCQD

can

significantly improve

Things．

performance

ance of data

queue．Experiments

of Internet of

within the environment

acquisition system

words：Internet

Things；Data acquisition；Mass；High performance；Flash memory；Queue

Key

收稿日期：2014-10-09

基金项目：四JII省教育厅科技支撑计划项目(2014GZ0061)

作者简介：冯暄(1977一)，男，上海人，工程师，硕士，研究方向为软件工程、大数据分析．Email：．corn

万方数据

第6期

冯暄，等：IFCQD：一种物联网数据库高性能廉价闪存缓冲队列机制

基于USB 3．0接口的各种FLASH闪存介

引

言

质，不仅具有容量大、价格便宜的特点，而且具有高

性能、低成本的特点．同时，只要服务器具有USB

3．0接口，就可以方便地添加到服务器上．相对于

在物联网的应用环境中，大量传感器通过网络

连接起来．这些传感器每时每刻都在产生数据，这

些数据通过网络，汇总起来形成了海量的物联网传

感器数据．一般情况下，传感器数据通过物联网数

据采集系统存人到数据库中，供后续的数据分析、

信息处理使用．

3．0

固化在机器内部的NVRAM而言，基于USB

接口的FLASH闪存介质，既具有更加经济廉价、

容量更大、安全可靠的特点，又具有极高读写速度

的特点．因此，充分利用基于USB 3．0接口的各种

FLASH闪存介质，可以有效地缓解服务器小数据

同步写性能瓶颈[5]．

为了保证传感器数据存人数据库的有效性，通

常要求传感器数据被同步写入数据库中，而不能在

采集后暂时将数据存放在内存中，等待以后再写入

到磁盘中．因为，如果采集数据仅仅是保存在内存

中，一旦物联网数据采集系统发生意外崩溃，在内

存中尚未写入磁盘的传感器数据就会丢失．

本文提出了一种物联网数据库高性能廉价闪

Flash Cache

存缓冲队列IFCQD(Inexpensive

for Database)，IFCQD充分利用了USB

Queue

3．0接口与FLASH存储介质的高速特性，在保证

物联网采集数据同步写入存储器，确保不丢失数据

的基础上，可以显著优化海量数据插入到数据库中

的性能．实验表明，IFCQD机制可以在非常廉价的

情况下，在物联网应用环境中显著地提高数据采集

系统的性能．

在上述物联网数据采集应用场景中，一个突出

的性能瓶颈是海量的传感器数据同步写入到数据

库中，会导致数据库所在的存储系统产生严重的小

数据同步写性能，严重地降低整个物联网数据采集

系统性能¨ ]．这是由于，在现代计算机系统中，磁盘

本文的内容组织如下：第二节介绍了IFCQD

的总体框架；第三节介绍了IFCQD的设计；第四

节介绍了IFCQD的具体应用方式；第五节给出性

能对比实验结果；第六节对全文进行了总结．

仍然是最主要的存储系统．由于磁盘的机械工作特

性，磁盘在工作的时候，必须通过寻道、旋转才能读

写数据．同时，操作系统中文件系统的设计，始终存

在着文件系统的元数据与数据在磁盘存储位置上

的离散存放问题．因此，海量小数据同步写将导致

存储系统中巨量的磁盘寻道和旋转操作，极大地降

低存储系统的性能心j．

IFCQD总体框架

通常物联网数据采集系统的结构如图1所

示，数据采集进程通过网络读取传感器的数据，然

后写入到数据库中．

提高小数据同步写性能的典型方法是将写入

数据首先缓存在高速的存储介质中(通常是

NVRAM等非易失性存储介质)，然后将多个小数

据整合成大数据后，采用优化的方式再写入到磁盘

中口]．文献E43提出了一种基于NVRAM的高可用

的磁盘阵列缓冲区，可以实现数据先缓存，然后再

优化写入磁盘．文献E4]提出的方法适用于突发式

磁盘写情况下的性能优化．因为，由价格昂贵的

NVRAM构成的缓冲区，其容量不可能太大．而缓

冲区一旦满了，系统将丧失性能优化能力．在物联

网数据采集系统中，传感器数据的生成与写入数据

库是持续稳定的，而非突发式．因此，文献E4]的方

法不适用于物联网数据采集系统应用环境．

◆

硪

◆截振不啦世俘

羞?

+1‘

黼船L-划斛1

～7

。

1÷

1鉴

ID-数捌1：‘{【旦旧

’

腿

图l物联网数据采集模型

Data

model of Internet of

things

Fig．1

acquisition

从图1可见，在物联网数据采集系统中，数据

采集进程在接收到一个传感器数据的时候，必须使

用数据库的INSERT语句将数据同步写入到数据

库中．数据库接收到写入数据后，会将数据使用数

据库的事务处理方式同步写入到磁盘上，从而保证

数据不会丢失．这些大量的小数据同步写操作，会

导致数据库存储系统中的磁盘频繁地寻道，从而使

近年来，USB 3．0接口日益成为各种服务器

3．0具有高稳定，高性能的特

的标准接口．USB

点，其最大数据传输速率为5 Gb／s，远远高于USB

2．0的480

Mbps，甚至接近了eSATA接EI的6

Gb／s，与PCI总线的10 GB／s也在同一个数量级．

万方数据

第52卷

四川大学学报(自然科学gt)

类推．在IFCQD中，大于256字节的数据报文通常

较少，如果在IFCQD中采集到了大于256字节的

数据报文，那么将使用多个连续的256字节队列存

储空间来存放．

存储系统的性能变得非常低Hj．

为了解决这个问题，本文在IFCQD中引入了

基于USB 3．0的廉价FLASH存储器作为高性能

缓冲队列机制，既保证了数据被及时地同步写入存

储器，同时又优化了数据库大量INSERT数据的

性能，从而提高了物联网数据采集系统的性能．IF-

CQD的总体框架如图2所示．

在IFCQD中，每个采集到的数据报文，都会

有一个数据报文索引部分Message—Index(简称

MI)和一个数据报文数据部分Message—Data(简

称MD)．MI中记录了数据报文的ID、采集时间、

报文存放位置．MD中记录了数据报文的实际

数据．

f#二二：

数据J堇堕问进陧

～I

蕊二兰数据采I—一负荷探钽仁i一—卜

‘———J

不同机械磁盘的读写性能与数据在磁盘上的

存放位置密切相关，FLASH存储介质的读写性能

与读写位置是无关的，而仅仅与读写数据的大小、

读写次数相关[7]．所以，在IFCQD中，采用了平衡

读写性能与系统恢复重建性能二者平衡的数据存

储方法，即双重索引法，如图3所示．

器_：集进程『

一。

!——}数据库

：

模

裂荬；洗嫠幔嫠块蒺j}：{-’．————‘，

块

，一L

。，，

一一

』～U一；

五建蘧1亟亚麴}

图2 IFCQD的总体框架

The overall frame of

IFCQD

Fig．2

如图2所示，数据采集进程采集到传感器数据

后，首先探测数据库存储系统的运行负荷，在数据

库运行负荷较小的时候，数据采集进程直接将采集

数据写入数据库中；当数据库负荷较大的时候，数

据采集进程将采集数据写入到FLASH存储缓冲

队列，然后再由数据库访问进程采用优化方式将这

些数据写入到数据库中．

一■

m—■

一_

刮H

一一m艨引区

咖酬■硼■■■■■■■■■■

弱

■

■_●■_j| -一-一m分片索引区

图3 双重索引法

通过IFCQD的这种运行方式，在数据库存储

系统负荷低的时候，IFCQD将采集数据直接写入

数据库，避免了时延；当数据库存储系统负荷高的

时候，IFCQD使用磁盘缓冲队列来实现采集数据

的优化，并写人数据库，降低了数据库存储系统的

负荷，从而提高整个物联网数据采集系统的性能．

index method

Double

Fig．3

双重索引法的具体做法是：IFCQD接收到一

个数据报文后，将数据报文的MI和MD两个部分

在内存中组合成一个大数据块，然后一次性写入到

FLASH存储介质中．接下来，再将MI放入内存中

的MI数组中．每当完成了N个数据报文的磁盘

同步写入操作后，将内存中MI数组中存放的N

个MI组合成一个数据块一次性写入到FLASH

存储介质的总索引区中．这样，在索引区和数据区

中都有MI数据．只是，在尚未完成N个数据报文

的磁盘同步写入操作的时间内，索引区中的MI会

比数据区中得MI少N个．如果在这段时间内，系

统发生崩溃，恢复全部的数据报文，也仅仅需要扫

描磁盘缓冲队列中最后的N个数据报文，避免了

扫描整个磁盘缓冲队列数据区．因此，IFCQD由于

使用了数据报文的混合存储方式，使得IFCQD的

数据报文崩溃后恢复效率很高，恢复时间很短．

在双重索引法中，N的大小取决于在存储性

能与恢复时间之间的折中．一般N越大，性能越

IFCQD的设计

3．1磁盘缓冲队列的数据存放方式

物联网数据采集系统中各种各样的传感器所

生成的数据报文的长度通常是不一样的．为了提高

IFCQD处理数据报文时的效率，设计了几种不同

大小的磁盘缓冲队列，来存放不同大小的数据

报文．

在IFCQD中，设置了64字节、128字节、256

字节三种大小磁盘缓冲队列．IFCQD采集的数据

报文中，使用了数据对齐机制：小于或等于64字节

的数据报文存放在64字节磁盘缓冲队列中；大于

64字节，且小于或等于128字节的数据报文存放

在128字节磁盘缓冲队列中；其它大小的报文以此

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

IFCQD_一种物联网数据库高性能廉价闪存缓冲队列机制

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页