软件定义物联网中多源异构数据混合属性特征检测

张连连 ,  郭伟 ,  刘锋

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (08) : 2746 -2752.

PDF (851KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (08) : 2746 -2752. DOI: 10.13229/j.cnki.jdxbgxb.20240772
计算机科学与技术

软件定义物联网中多源异构数据混合属性特征检测

作者信息 +

Detection of mixed attribute features of multi-source heterogeneous data in software defined IoT

Author information +
文章历史 +
PDF (870K)

摘要

软件定义物联网中多源异构数据来源于不同设备,具有不同的格式、结构和质量,增加了特征检测的复杂性。因此,本文提出软件定义物联网中多源异构数据混合属性特征检测方法。利用联合卡尔曼滤波算法对软件定义物联网中的多源异构数据实施融合处理,完成异构数据的初步整合,结合证据分类算法,将具有相同混合属性的网络数据划分至同一数据集中,实现多源异构数据的分类。基于多源数据的逆相似特性,引入边缘算子计算方法对分类后的数据属性特征展开拆分,结合支持向量机将混合属性特征转化为线性可分问题,实现多源异构数据属性特征的精准检测。实验表明,本文方法的协方差计算结果始终在0.15以下,对不同属性特征之间的区分较明显,且检测概率在0.8以上。该方法能实现软件定义物联网中多源异构数据混合属性的精准划分。

Abstract

In the software defined Internet of Things (IoT), multi-source heterogeneous data comes from different devices and has different formats, structures, and qualities, which increases the complexity of feature detection. Therefore, a mixed attribute feature detection method for multi-source heterogeneous data in software defined IoT is proposed. Using the joint Kalman filtering algorithm to fuse multi-source heterogeneous data in the software defined Internet of Things, completing the initial integration of heterogeneous data. Combined with evidence classification algorithms, network data with the same mixed attributes are divided into the same dataset to achieve classification of multi-source heterogeneous data. Based on the inverse similarity characteristics of multi-source data, an edge operator calculation method is introduced to split the classified data attribute features, and combined with support vector machines, accurate detection of multi-source heterogeneous data attribute features is achieved. The experiment shows that the covariance calculation results of the proposed method are always below 0.15, and the distinction between different attribute features is more obvious, with a detection probability of over 0.8. This method can achieve precise partitioning of mixed attributes of multi-source heterogeneous data in software defined IoT.

Graphical abstract

关键词

联合卡尔曼滤波算法 / 软件定义物联网 / 证据分类算法 / 边缘算子 / 支持向量机

Key words

joint Kalman filtering algorithm / software defined Internet of things / evidence classification algorithm / edge operator / support vector machine

引用本文

引用格式 ▾
张连连,郭伟,刘锋. 软件定义物联网中多源异构数据混合属性特征检测[J]. 吉林大学学报(工学版), 2025, 55(08): 2746-2752 DOI:10.13229/j.cnki.jdxbgxb.20240772

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

软件定义物联网(Software defined Internet of Things,SD-IoT)通过软件定义理念的引入,使物联网系统的功能和性能可以通过软件灵活配置和扩展。在SD-IoT框架下,多源异构数据的处理和分析显得尤为重要1。多源异构数据大多来自不同的设备、系统和网络,具有不同的结构、格式和语义,如何对其实施统一处理与特征检测,是软件定义物联网面临的重要任务。

洪德华等2完成数据采集后,基于经验模态分解(Empirical mode mecomposition,EMD)算法对数据实施模态分解,结合Hilbert变换方法,提取了数据特征。对特征提取结果实施变化表征后,结合随机森林搜索算法与RF算法,构建数据识别模型,实现了不同特征的数据检测。但该方法在实施EMD和Hilbert变换之前,没有对数据采集结果实施预处理,影响了后续检测精度。Puerto等3采用一种基于非对称隐马尔可夫模型和新概念发现策略的嵌入式特征子集选择方法,用于检测数据中的新概念,并在检测到数据流中的漂移时更新相关特征集,建立在线处理模型动态确定相关变量,以解决数据流中的特征选择问题。但隐马尔可夫模型本身在计算上存在复杂性,特别是当处理大规模数据集或实时数据流时,会降低数据处理速度。刘晋成等4以点云数据为研究对象,利用KD索引树对数据点实施聚类分析,引入Andrew最小凸包算法实现边界框的建立,提取数据点的特征,通过IoU关联匹配,实现不同表达类型数据点的检测。虽然Andrew算法是一种有效的凸包构建方法,但在处理大规模点云数据时,其计算复杂度会成为瓶颈,降低检测结果的输出效率。顾伟等5利用卷积神经网络对数据展开处理,利用一维卷积神经网络完成数据特征初步提取后,引入多头挤压激励机制,对特征提取结果实时加权处理,随后结合双向长短期记忆网络对特征提取结果展开学习与分析,基于网络的数据分析能力,实现特征分类及检测。但由于模型复杂度高,且包含多个非线性层,在实际使用过程中会存在过拟合的风险。

为解决上述方法中存在的问题,本文提出软件定义物联网中多源异构数据混合属性特征检测方法。基于联合卡尔曼滤波算法在网络节点之间交换局部后验协方差信息,实现全局状态估计的融合,允许网络中的每个节点独立处理本地数据,减少了中心节点的计算负担和通信需求。在数据融合后,采用证据分类方法将具有相同混合属性特征的数据进行归类,提高数据处理的效率。利用边缘算子提取数据集的混合特性,并结合SVM(Support vector machine)算法将属性特征检测转化为线性可分问题,可以更好地适应软件定义物联网中数据混合属性特征的检测。

1 多源异构数据融合及分类算法

在软件定义物联网(SD-IoT)领域,由于物联网设备多样,数据来自不同源头,具有不同的结构和格式,因此整合这些数据成为一项挑战。联合卡尔曼滤波算法是一种有效的多传感器数据融合技术,它通过融合来自多个传感器的数据,提高了状态估计的精度和系统的鲁棒性。因此,为打破数据孤岛6,将来自不同源头的数据实施有机整合,本文方法引入关联合卡尔曼滤波算法,对SD-IoT多源异构数据实施融合。

首先利用联合卡尔曼滤波算法7,对SD-IoT网络不同传输节点上的多源异构数据展开融合。设D为数据属性类别初步划分后的随机属性数据集合,D^为数据集的状态转移矩阵,联合卡尔曼滤波算法的先验信息模型如下所示:

Yt=D^yt-1+EξtZt=Hjyt+wt

式中:YtD^t时刻的状态预测结果;E为SD-IoT网络节点测量参数;ξtt时刻数据状态变动对SD-IoT网络的控制量;yt-1D^t-1时刻的状态向量;ZtD^t时刻的协方差预测结果;Hj为SD-IoT网络第j个数据传输节点内数据观测噪声参量;wtt时刻噪声序列。

此时,基于联合卡尔曼算法的D^矩阵状态更新结果,即联合卡尔曼滤波算法后验信息模型如下:

Yt+1'=Yt+KEytZt+1'=ZtU-KR

式中:K为卡尔曼系数;ytD^t时刻的状态向量;U为一个非对角线位置上的元素都是0,对角线上元素都是0的单位矩阵;RD^从状态空间映射到观测空间的矩阵变换结果。

综上所述,SD-IoT网络多源异构数据融合过程如下:

(1)引入联合卡尔曼滤波算法对不同网络节点的多源异构数据先验信息与后验信息展开计算。在节点之间满足数据相互流动的前提下,令SD-IoT网络单-网络节点将其自身的局部后验协方差Z'Z'邻接节点的协方差矩阵中。

(2)随着数据的流动和局部后验协方差的交换,数据融合过程开始。节点使用这些信息来更新和融合它们对整体数据集的估计,并生成新的状态向量。

(3)不断重复步骤(1)~(2),在每个节点继续向相邻节点实时数据交换的同时,基于其本地数据和计算得出的新的后验协方差Z';根据局部后验协方差接收内容,完成本节点内数据域与邻近节点的数据融合。这个过程会一直持续到所有数据都被融合,直至融合结束。

为了在数据融合的同时,将具有相同混合属性特征的异构数据归类至同一类别中,本文方法在完成SD-IoT网络中异构数据的融合后,结合证据分类方法8与关联算法9,将具备相同混合特征的软件定义物联网数据划分至同一数据集中,便于后续数据属性特征的检测。

设SD-IoT网络的数据存储涉及N个传感器数据的采集及传输,证据分类过程汇总,随机传感器l数据采集结果中,第i的待融合多源异构数据点为ai,kai,k的证据类别划分过程可用式(3)表示:

Bl=Yt+1'ai,kZt+1'i=1Nai,k

式中:Blai,k的证据类别划分结果。

利用式(1)对全部传感器采集的待融合多源异构数据点展开遍历,完成证据类别初判定后,设BlCk为两个不同传感器下的单独证据类别对应数据,二者之间的关联性ϖ可通过式(4)计算:

ϖBC=LBlCk1-T

式中:T为传感器的数据采集时间段。

预先设置关联性阈值λ,若ϖBC>λ,则判断可将两待融合数据归类为同一混合特征类别;反之则排除两类数据为同一混合特征属性的可能。

2 异构数据混合属性特征检测

2.1 混合特征提取

将分类后的同特征多元异构数据划分为m个包含同样混合属性类型的融合数据集Y=y1,y2,,ym。为便于后续数据混合属性特征的检测,设SD-IoT网络的数据采样频率为ϑ,在随机混合属性数据集yi内,设高阶数据的统计量为Kiϑ,高阶数据中的随机变量为eiϑ,此时可建立SD-IoT网络数据混合属性的信息流模型ei,如下所示:

ei=ϖBCRKiϑ+eiϑ

式中:Ryi内数据所在网络节点的反馈信息传输量。

考虑到SD-IoT网络内多源数据的逆相似特性,提出数据集混合特性提取的边缘算子10计算方法,在混合属性数据集内多个数据点序列特性符合相似性标准条件下,对集合内数据展开r1r2r3 3轮训练,训练过程中的3次训练参数项分别用c1c2c3表示,进而得到数据的混合属性描述信息。3轮训练的具体过程如下所示:

r1=l+eic1kr2=r1p+wc2r3=r2ac3

式中:lyi数据集中参与训练的数据序列;k为一次训练过程中的抗阻;p为对齐空位符;w为二次训练数据长度;a为3次训练过程中的算子传输速率。

根据式(6)计算结果,可推导出用于yi混合数据集中特征边缘算子Γ的提取过程如下:

Γ=ιϕc12+r32Rpmax

基于式(7)计算结果,可对yi中数据的混合特性展开拆分,拆分过程如下所示:

A=yiVQ{Γ}

式中:Vyi数据集的基数;Q{Γ}为基于Γ边缘提取因子的信息团。

通过以上方法可实现软件定义物联网中多源异构数据混合属性特征的拆分。

2.2 特征检测

将完成拆分的混合属性特征合集设为Z=z1,z2,,z3,引入支持向量机(Support vector machine,SVM)算法11,将混合属性特征的检测问题转化为一个线性可分问题,进而达到SD-IoT网络中多源异构数据混合属性特征的检测目的。

xZy-1,1的前提下,建立SVM训练样本集x1,y1,x2,y2,,xn,yn,其中x表示属性特征向量,y表示SVM的输出标签。此时可建立SVM平面方程如下:

wTxj+ε=0

式中:w为权重向量;ε为偏置项。

式(9)视作SD-IoT网络中,用于多源异构数据混合属性特征检测的支持向量机判别函数,则有f(xj)=wTxj+ε,此时支持向量机的构建需满足式(10)条件:

f(xj)w=w-1wTxj+εyj1

式中:xj,yj为SVM训练样本集中的随机样本。

此时可通过拉格朗日函数12L()的引入,实现权重向量w与偏置项ε的解算,具体过程如下:

L(a,ε,w)=AwTw-j=1najYjwTxj+xj

式中:a为拉格朗日系数。

式(11)实施求导,可得到w=j=1najyjxjj=1najyjxj=0。此时SD-IoT网络中多源异构数据混合属性特征的检测问题,可被转化为式(12)所示二次优化问题:

max12j=1najyjxjTxj+j=1najs.t.12j=1najLj(a,ε,w)=0,aj0

考虑到混合属性特征数据集内包含的数据属性特征数量较多,为优化SVM支持向量机特征检测过程,引入一个非负松弛变量ψj,以及一个核函数l(xj,xk)将SVM的二次优化问题从式(12)转变为式(13)形式:

max-12j=1nk=1najyjl(xj,xk)xjT,xjakyj+          j=1najs.t.j=1najyjLj(a,ε,w)=0,Daj  0

此时,可得到用于SD-IoT网络多源异构数据混合属性特征分类检测的支持向量机模型如下:

f(x)=signj=1najyjl(xj,xk)+ε

综上所述,将属性特征拆分后,包含同样混合属性的软件定义物联网数据集输入上述方法建立的支持向量机中,即得到数据混合属性特征检测结果。

3 实验与分析

为验证本文方法对软件定义物联网中多源异构数据混合属性特征的检测能力,采用星型拓扑结构的软件定义物联网为实验环境,其中心节点为数据处理服务器,周边节点为各类传感器和数据源,实验具体参数设置如下。

(1)传感器节点数量:共20个节点,包括DS18B20温度传感器、DHT11湿度传感器、BH1750FVI数字光强度传感器、MS5611压力传感器等。

(2)通信协议:采用MQTT协议实施数据传输,确保轻量级和高效性。

(3)数据传输速率:每个传感器节点每5 s发送一次数据,数据格式为JSON。

(4)网络带宽:每个传感器节点具有1 Mbps的上行带宽。

在数据可视化环境下实施混合属性检测测试,实验环境如图1所示。

3.1 数据融合结果分析

为验证本文方法的数据融合效果,在8个连续时间节点对软件定义物联网数据展开采集,构成8个多源异构数据集样本,分别利用本文方法、时间序列算法以及加权融合算法,对数据集样本实施融合测试,引入协方差计算指标,对不同算法的融合能力展开对比。协方差计算结果越小、计算结果波动越小,则证明对应方法的数据融合效果越好。不同方法的数据融合效果对比如表1所示。

分析表1可发现,本文方法在8个数据集上的协方差计算结果皆小于其他两种方法,始终在0.15以下,且协方差波动幅度较小,证明本文方法的数据融合效果更好。这是因为本文方法基于联合卡尔曼滤波算法建立了数据的状态转移矩阵,结合网络节点数据传输结构,通过先验信息与后验信息的转发,在网络节点处实现了数据的融合,具有较好的可扩展性,能够方便地集成新数据源和传感器,进而实现更加灵活和高效的数据融合。

3.2 数据混合属性特征划分结果分析

为验证本文方法的多源异构数据混合属性特征的拆分能力,选取软件定义物联网中一个数据集,数据集内的65条数据皆包含Ⅰ、Ⅱ、Ⅲ、Ⅳ4种属性。利用本文方法划分数据的混合属性特征,通过本文方法特征属性划分齐纳后的属性特征空间分布状态对比,验证本文方法的特征划分有效性,划分结果如图2所示。

观察图2可发现,原始数据集的属性特征划分前,4种属性的数据混合在一起,难以区分其各自的空间分布状态。利用本文方法对属性特征实施划分后,不同属性特征之间的分区明显,这是因为本文方法基于证据分类算法对软件定义物联网内数据展开初步混合属性类别划分后,考虑到多源数据的逆相似特性,构建用于混合属性特征提取的边缘算子,通过数据序列的3次训练,实现了数据混合属性特征的拆分,算法的整体灵活性和适应性更高。

3.3 异构数据混合属性特征检测结果分析

为验证本文方法的混合属性特征检测效果,以软件定义物联网内已知包含5种类型混合属性的数据集为实验样本,分别利用本文方法、文献[3]方法以及文献[4]方法对数据的属性特征实施检测,为了更加直观地展示不同方法的属性特征检测结果,绘制如图3所示的矩阵,实现3种方法属性特征的检测效果对比。

观察图3可发现,利用本文方法对数据的5种混合属性特征的检测概率在0.8以上。这是因为本文方法利用边缘算子对多源异构数据混合属性特征实施拆分后将混合属性特征的检测问题转化为一个线性可分问题,结合拉格朗日函数的引入,建立了用于多源异构数据混合属性特征检测SVM支持向量机,SVM基于结构风险最小化原则,在训练数据上表现出良好的泛化能力,能够准确地对未知数据实施分类,进而达到数据混合属性特征的检测目的。

4 结束语

软件定义物联网中,多源异构数据混合特征的分析对物联智能决策与应用发展具有重大意义。本文方法对物联网内多源异构数据实施整合后,初步将具有相同混合属性特征的数据划分至统一数据集,对同一数据集内数据的混合属性特征展开精细化拆分后,引入支持向量机算法实现数据混合属性特征的检测。通过实验结果表明,后续可通过集成学习算法的引入,进一步提高支持向量机的分类检测精确性,减少单一模型可能存在的偏差和过拟合问题,为软件定义物联网应用的深度发展和智能化决策提供更加坚实的基础。

参考文献

[1]

覃伟荣, 劳燕玲. 基于3D关联规则深度学习的异构遥感数据检测[J]. 计算机仿真, 2023, 40(9): 482-486.

[2]

Qin Wei-rong, Lao Yan-ling. Detection of heterogeneous remote sensing data based on deep learning of 3D association rules[J].Computer Simulation, 2023,40(9): 482-486.

[3]

洪德华, 刘翠玲, 赵林燕, . 基于多域特征分析与选择的电力数据识别方法[J]. 水电能源科学, 2023, 41(9): 211-215.

[4]

Hong De-hua, Liu Cui-ling, Zhao Lin-yan, et al. Power data identification method based on multi-domain feature analysis and selection[J]. Water Resources and Power, 2023, 41(9): 211-215.

[5]

Puerto S C, Larrañaga P, Bielza C. Feature subset selection in data-stream environments using asymmetric hidden Markov models and novelty detection[J]. Neurocomputing, 2023, 554: 126641.

[6]

刘晋成, 唐伦, 陈前斌. 基于数据特征的多传感器融合实时目标检测[J]. 计算机应用研究, 2023, 40(11):3456-3461.

[7]

Liu Jin-cheng, Tang Lun, Chen Qian-bin. Multi-sensor fusion real-time target detection based on data characteristics[J]. Application Research of Computers, 2023, 40(11): 3456-3461.

[8]

顾伟, 行鸿彦, 侯天浩. 基于网络流量时空特征和自适应加权系数的异常流量检测方法[J]. 电子与信息学报, 2024, 46(6): 1-8.

[9]

Gu Wei, Xing Hong-yan, Hou Tian-hao. Anomalous traffic detection method based on spatiotemporal characteristics of network traffic and adaptive weighting coefficients[J]. Journal of Electronics & Information Technology, 2024, 46(6): 1-8.

[10]

史鼎元, 王晏晟, 郑鹏飞, . 面向企业数据孤岛的联邦排序学习[J]. 软件学报, 2021, 32(3): 669-688.

[11]

Shi Ding-yuan, Wang Yan-sheng, Zheng Peng-fei, et al. Cross-silo federated learning-to-rank[J]. Journal of Software, 2021, 32(3): 669-688.

[12]

夏伟, 蔡文婷, 刘阳, . 基于联合卡尔曼滤波的配电网多源异构数据融合[J]. 电力系统保护与控制,2022, 50(10): 180-187.

[13]

Xia Wei, Cai Wen-ting, Liu Yang, et al. Multi-source heterogeneous data fusion of a distribution network based on a joint Kalman filter[J]. Power System Protection and Control, 2022, 50(10): 180-187.

[14]

王楠, 周喜超, 彭勇, . 基于证据KNN分类器的蓄电池一致性诊断[J]. 太阳能学报, 2022, 43(4): 13-19.

[15]

Wang Nan, Zhou Xi-chao, Peng Yong, et al. Battery consistency diagnosis based on evidential KNN classifierr[J].Acta Energiae Solaris Sinica, 2022, 43(4): 13-19.

[16]

宋丽萍, 陈德峰, 田甜, . 基于雷达测距和测速的GEO目标实时关联算法[J]. 北京航空航天大学学报, 2023, 49(8): 2167-2175.

[17]

Song Li-ping, Chen De-feng, Tian Tian, et al. A real-time correlation algorithm for GEO targets based on radar ranging and velocity measurement[J]. Journal of Beihang University, 2023, 49(8): 2167-2175.

[18]

殷炜宏, 王若愚, 段倩倩, . 基于时态边缘算子的时间序列自主分段表示法[J]. 计算机工程与科学,2021, 43(6): 1104-1111.

[19]

Yin Wei-hong, Wang Ruo-yu, Duan Qian-qian, et al. An autonomous segmental representation of time series based on temporal edge operator[J]. Computer Engineering & Science, 2021, 43(6): 1104-1111.

[20]

杨建新, 兰小平, 冯亚东, . 基于改进樽海鞘群和最小二乘支持向量机算法的新型弹药质量评估方法[J]. 兵工学报, 2022, 43(5): 1012-1022.

[21]

Yang Jian-xin, Lan Xiao-ping, Feng Ya-dong, et al. An ammunition quality evaluation method based on least squares support vector machine[J]. Acta Armamentarii, 2022, 43(5): 1012-1022.

[22]

陈越, 俞耀文. 基于代理拉格朗日松弛的电-氢耦合网络优化调度[J]. 控制工程, 2023, 30(12): 2280-2287.

[23]

Chen Yue, Yu Yao-wen. Optimal scheduling of electricity-hydrogen coupling network based on surrogate lagrangian relaxation[J]. Control Engineering of China, 2023, 30(12): 2280-2287.

基金资助

国家自然科学基金项目(62302231)

AI Summary AI Mindmap
PDF (851KB)

548

访问

0

被引

详细

导航
相关文章

AI思维导图

/