积分商城

最新搜索： 深入浅出ARM7 NUC97 24C16源码 DAC8830 自动切换量程 趣味编程100例
您现在的位置是：首页 > 技术资料 > 基于正则化与时空约束改进K最近邻算法的农业物联网数据重构
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于正则化与时空约束改进K最近邻算法的农业物联网数据重构

更新时间：2019-12-09 00:09:42 大小：2M 上传用户：xiaohei1810查看TA发布的资源 标签：物联网数据重构 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对农业复杂环境易发的物联网感知数据丢失异常问题,该文提出一种基于正则化惩罚的K最近邻数据重构方法(K nearest neighbor-regularization penalty,KNN-RP),采用岭回归方法对最近邻方法中的最小二乘因子进行正则化,并讨论了惩罚项的范数选取形式.通过对农业物联网感知数据的时空稳定性与相关性分析,确定了时间与空间约束矩阵的定义方式.采用温室数据样本对算法性能进行交叉验证,结果显示该文的KNN-RP性能在点丢失模型下优于KNN、反距离加权KNN算法以及DT算法,而在块丢失模型下优于KNN和反距离加权KNN算法,略低于DT算法,提高了农业物联网的感知数据质量.该研究可为基于物联网数据的农业生产决策提供参考.

部分文件列表

文件名 大小
基于正则化与时空约束改进K最近邻算法的农业物联网数据重构.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第35 卷 第14 期  
2019 年 7 月  
农 业 工 程 学 报  
Vol.35 No.14  
Jul. 2019  
Transactions of the Chinese Society of Agricultural Engineering  
183  
基于正则化与时空约束改进K 最近邻算法的农业物联网数据重构  
吴华瑞1,2，李庆学1,2，缪祎晟1,2，宋玉玲3  
（1. 国家农业信息化工程技术研究中心，北京100097；2. 北京农林科学院北京农业信息技术研究中心，北京100097；  
3. 农业农村部农业物联网重点实验室，杨凌712100）  
摘 要：针对农业复杂环境易发的物联网感知数据丢失异常问题，该文提出一种基于正则化惩罚的K 最近邻数据重构方  
法（K nearest neighbor-regularization penalty，KNN-RP），采用岭回归方法对最近邻方法中的最小二乘因子进行正则化，  
并讨论了惩罚项的范数选取形式。通过对农业物联网感知数据的时空稳定性与相关性分析，确定了时间与空间约束矩阵  
的定义方式。采用温室数据样本对算法性能进行交叉验证，结果显示该文的KNN-RP 性能在点丢失模型下优于KNN、反  
距离加权KNN 算法以及DT 算法，而在块丢失模型下优于KNN 和反距离加权KNN 算法，略低于DT 算法，提高了农业  
物联网的感知数据质量。该研究可为基于物联网数据的农业生产决策提供参考。  
关键词：算法；模型；农业物联网；数据重构；聚类回归  
doi：10.11975/j.issn.1002-6819.2019.14.023  
中图分类号：TN919  
吴华瑞，李庆学，缪祎晟，宋玉玲.基于正则化与时空约束改进K最近邻算法的农业物联网数据重构[J]. 农业工程学报，  
2019，35(14)：183－189. doi：10.11975/j.issn.1002-
文献标志码：A  
文章编号：1002-6819(2019)-14-0183-07  
Wu Huarui, Li Qingxue, Miao Yisheng, Song Yuling. Agricultural internet of things data reconstruction based on K-nearest  
neighbor reconstruction algorithm improved by regularization penalty and spatio-temporal constraints[J]. Transactions of the  
Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(14): 183－189. (in Chinese with English  
abstract)  
doi：10.11975/j.issn.1002-6819.2019.14.023  
的变量数迅速增加，算法复杂度呈指数级增加。基于机  
器学习的数据重构算法，如K 最近邻（K-nearest neighbor，  
KNN），delaunay triangulation（DT）以及多通道奇异谱  
分析。这些方法通常仅适用于少数缺失值场景，当缺失  
值较多时，该类方法的性能下降明显[2]。潘立强等[8]将时  
间估计方法与空间估计方法（multiple regression，MR）  
相结合，对无线传感器网络的感知缺失值进行估计，结  
果显示单纯的时空估计算法对相对平稳信号的估计精度  
更高。Kong 等[2]提出一种面向高数据丢失率的改进型压  
缩感知与重构方法，并从单参数、多参数角度给出了重  
构精度分析。Sun 等[5]提出了一种面向数据块的稀疏贝  
叶斯学习算法，利用数据的块属性与固有结构重建变换  
域的 CS 稀疏系数进而恢复原始信号。Eldar 等[9]根据数  
据块的相干度量导出了块稀疏信号的不确定关系，并提  
出正交匹配追踪算法的 K-稀疏信号重构方法，利用块  
稀疏性实现了更好的重构性能。上述研究显示，单一维  
度的数据时空关联插值与重构方法研究已较为充分，但  
基于多参数间联系或基于数据块稀疏的重构方法是目  
前研究的热点[10-12]。在基于压缩感知的数据重构方面也  
有诸多研究，传统基于静态数据的压缩感知方法难以体  
现农业物联网数据的动态变化特征，而动态压缩感知算  
法的高复杂度又较难适用于资源受限的农业无线传感器  
0 引 言  
农业物联网是进行农业环境感知、生产决策管理与  
科研分析等的重要数据来源，其数据的精度与质量对研  
究与决策结果有着重要影响。由于传感器、网络链路、  
采集节点等的软硬件故障难以避免，农业物联网存在数  
据错误、缺失等问题进而降低感知数据质量[1-4]。农业生  
产监测中环境复杂恶劣、信道条件复杂与网络能量受限  
等条件与特征均会提高数据异常的概率。不仅如此，随  
着网络规模的扩大，其故障出现的频率也随之升高[2]。为  
提高农业物联网监测数据的完整性与质量，有效的数据  
重构方法是有待研究解决的关键问题。  
缺失数据重构方法在许多领域有着重要的作用[5-7]。  
常见的数据插值重构方法有线性插值法、移动平均法、  
基于机器学习重构方法与基于压缩感知的数据重构方法  
等。线性插值法、移动平均法仅适用于线性度较高数据  
的重构问题，对于农业环境的高度非线性数据这 2 类方  
法重构精度较低。同理，多元回归法虽然可以实现非线  
性数据高精度拟合，但随着数据非线性的提高，该方法  
收稿日期：2018-11-29  
修订日期：2019-06-20  
基金项目：国家自然科学基金项目（61871041, 61571051）；北京市自然科学  
基金项目（4172024, 4172026）；农业农村部农业物联网重点实验室开放课题  
（2018AIOT-06）  
网络[1,5,13-16]  
。
综上所述，本文结合农业环境数据的时间、空间、  
参数间关联特性研究提出一种基于正则化惩罚与时空约  
束的改进KNN 方法，以期提高农业物联网监测数据的重  
作者简介：吴华瑞，研究员，主要从事农业智能系统与物联网研究。  
Email：
※通信作者：李庆学，助理研究员，主要从事农业物联网与智能系统研究。  
Email：
万方数据  
农业工程学报（）  
2019 年  
184  
构准确性。  
由于混合模型较为复杂，在具体分析时一般分解为前 2  
种模型进行处理。  
1 农业物联网数据模型  
2 农业WSN数据重构算法  
1.1 环境数据重构模型  
农业物联网监测应用多采用无线传感器网络  
（wireless sensor network, WSN）技术，对于WSN 数据重  
构应用场景，一般采用矩阵形式表示重构前后数据，环  
境参数矩阵（environment matrix, EM）定义为[17-19]  
本文提出了一种改进的 K 最近邻回归算法以解决农  
业WSN 场景下的缺失数据重构问题。传统的方法多采用  
时间、空间的关联性进行关联估计，农业场景下的WSN  
除了上述关联外，其部分参数还具有显著的参数间相关  
性与周期性。因此，本文方法重点从参数间二阶相关性  
方面对KNN 算法进行改进。以恢复矩阵与原始矩阵尽可  
Y (y(i, j))nt  
（1）  
式中i 为第i 个节点，j 为第j 个时间点。  
能接近为算法优化目标，即  
农业 WSN 因为软硬件故障或信道链路等问题易出  
现数据丢失或异常，其中异常数据经异常检测算法检出  
后删除，也可视为丢失数据一同处理[18]。此时 EM 矩阵  
中会出现 0 值项，则定义数据丢失矩阵（data missing  
matrix, DMM）表征数据的丢失情况[2,20-21]  
2
min X Y  
（4）  
F
2
式中恢复矩阵 X 从观测矩阵 P 中求得， 为二阶  
Frobenius 范数。  
F
由于农业环境参数的连续时空特性，农业物联网数  
据在时间与空间维度上展现出明显的相关特性。由图 1  
可以看出，农业物联网不同区域节点数据的变化趋势较  
为接近，表明WSN 节点间参数的高度空间相关性。  
0,if y(i, j)is missing  
B (b(i, j))nt  
（2）  
1, otherwise  
则 WSN 实际采集到的数据可表示为感知矩阵  
（perception matrix, PM）  
P=B.×Y  
（3）  
式中.×表示矩阵对应元素相乘。  
农业 WSN 数据重构方法的目标即是要从采集获得  
的数据矩阵 P 中恢复出数据矩阵 X，使其尽可能地接近  
原始数据矩阵Y[22-24]  
。
1.2 WSN数据丢失模型  
农业 WSN 数据采集应用的数据丢失模型主要有其  
下几种[2,25]：  
1）单点随机丢失模型  
这是最简单的数据丢失模型。矩阵中的数据是独立  
随机地丢弃的，即丢失的数据点是随机分布在感知矩阵  
PM 中的。一般WSN 的信号噪声和节点接入碰撞是这种  
模式的根本原因。  
图 1 相同时间段不同区域节点的环境温度折线图  
Fig.1 Polygonal plot of ambient temperature in different regions  
of same time period  
2）块随机丢失模型  
块随机丢失模型表现为感知矩阵 PM 中存在部分相  
邻数据同时丢失的现象，根据丢失数据的相邻排列维度  
不同主要可分为空间序列块丢失、时间序列块丢失以及  
参数序列块丢失模型。  
由图2 可以看出，农业WSN 数据的在时间轴上呈现  
明显的周期性特征，而且如温度、湿度、光照强度等几  
乎以同一周期进行变化，表明WSN 节点间参数的高度时  
间关联性。  
其中时间序列块丢失模型为某节点的数据在时间序  
列上出现频繁丢失，可以表现为持续性丢失和间歇性丢  
失。在农业 WSN 应用场景中，不可靠的链路是常见的现  
象，当链路质量不好时，感知数据易出现时间序列块丢失。  
空间序列块模型为某时间节点上相邻节点的数据一  
同丢失。农业WSN 网络拥塞是导致高密度多传感器节点  
数据丢失的主要原因。  
参数序列块丢失表现为某节点多个参数的同时丢  
失，农业WSN 节点传感器硬件故障是造成参数序列块丢  
失的主要原因。  
3）混合丢失模型  
图 2 同节点多参数周期变化曲线  
在实际应用中一般丢失都由多种因素同时造成，但  
Fig.2 Multi-parameter periodic variation curve of same node  
万方数据  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号