文物安防是文物管理工作的重中之重.受限于技术手段落后,早期的文物安防手段大多采用保安人员巡逻和闭路电视监控的方式,存在覆盖范围有限、人工依赖性强、智能化低等问题
[1 ] .随着传感器技术的不断发展,从上世纪80年代起,红外装置、微波和超声波声控探测器等现代化感知安防装备被引入文物安防领域,逐步形成了基于现代感知检测技术的文物安防体系,一定程度上提高了文物保护工作的有效性和智能化
[2 ] .2012年,国标《博物馆和文物保护单位安全防范系统要求GB/T 16571-2012》发布,为我国博物馆和文物保护单位在安全防范领域提供了科学规范的指导和标准
[3 ] ,强调现代化感知防范技术在博物馆和文物保护单位实现文物安全防范措施中的重要性.许多学者基于现代化感知检测手段开展在文物安防领域的相关应用研究.如黄光伟面向博物馆安防问题的,提出了基于现代传感器技术的全方位、多层次纵深防护体系
[4 ] .张悦
[5 ] 总结了红外传感器技术在文物科学保护中的应用.
近年来,复合感知,即多传感器数据融合分析技术,已成为文物安防领域的研究热点.多传感器感知技术协同利用多个传感器信息,实现多级别和多线索信息监测、关联和分析.如吕娇以文物安防、边防等为背景,设计了一种基于雷达指引的监控视频实时分析模型与算法,实现了对文物安防目标全自动、全方位、全天候的智能实时监控
[6 ] .邢增波
[7 ] 结合了雷达和视频技术的优势,实现了非法入侵目标的探测定位和视频可见双重功能,提高了文物入侵目标的识别率、图像显示控制能力和预警手段.陈章
[8 ] 提出基于红外相机协同“声光电”感知检测技术的动物驱赶安防措施,缓解鸟类活动对石窟寺、古建等不可移动文物的破坏.杨俊淇
[9 ] 提出了基于分布式振动光纤结合声波传感的全天候盗掘立体监测技术,实现了在三星堆三号坑遗址的地下扰动信号现场测试,解决了考古现场全天候、无盲区、无人值守的盗掘探测与地下文物保护.
然而,由于技术上的差异和缺乏统一规划,基于多传感器感知技术的文保方案中存在“数据孤岛”问题
[10 ] ,也即各传感器往往独立工作,未能充分利用多数据之间的关联性,依旧缺乏对多种传感器数据的自主融合分析能力,独立的单一传感器检测技术难以满足文物感知场景的复杂多样性.例如分布式光纤传感器的工作原理是通过构造干涉仪进行振动信号的解调还原,本质是基于震动信号阈值触发的检测报警,这种通过阈值的设置具有极高的敏感性,如小动物的路过,雨滴的撞击等都会引起设备的误报,同样基于红外温度感知的传感器,极易受小动物以及检测环境温湿度的影响.基于文物保护“零漏报”的预警要求,单一传感器检测技术在实际应用过程中易产生大量虚假警报,极大的增加了文保单位工作人员的复合工作量,智能化安防系统效率大打折扣.因此,如何充分利用多传感器检测技术,缓解现有系统中单传感器高误报率问题,有效提升基于现代感知检测技术的文物安防体系效率,是目前亟待解决的一个关键问题.
文物保护安防事件产生往往不是单一危险源引起的.从时间轴看,安防事件发生前一刻、发生时、发生后一刻进行分析,往往会比基于单一时刻的考察更加有效;从空域角度看,文物异常行为发生路径特性,可以为分析复杂场景中的事件监测提供依据.因此从时空域角度出发,深入分析各安防环节中的信息流转、各安防环节异常事件触发和反馈,可以建模特定危险事件的发生规律,从而综合决判特定传感器的监测有效性,实现基于多线索数据智能融合的复合感知技术,有效缓解单一传感器误报率高的问题.
图1 所示为三星堆祭祀坑保护区部署装备的效能区域和入侵路线示意图.该保护区针对防盗、防破坏监测任务设计了专属的行经路径.以行进路线1为例,首先跨越保护隔离区会触发振动光纤的入侵报警,沿途将会陆续触发安防雷达、红外激光雷达监测装备,在核心区域的盗掘、挖掘行为将触发土壤扰动监测装置报警.在此场景中,特定点位的特定传感器只针对某种特定事件进行检测,且时常出现漏检、误报,但从时空域角度考察该安防事件在各环节触发的一系列动作、并进行推理分析,可以获得该行经路线上危险行为的触发事件联动和衍生规律.以此作为综合决判特定传感器监测有效性的重要依据,有望有效缓解单一传感器高误报率问题.
基于上述分析和思路,本文针对单一传感器误报率高问题,开展基于装备复合感知融合分析技术的文物安防方法研究.通过设计基于全局相关性建模的神经网络模型,对多传感器监测状态在时空域上的触发联动机制进行建模,实现多感知数据的联合优化和融合推理.在三星堆祭祀坑示范地的测试结果表明,该方法综合了提升成套装备监测的有效性,达到了有效降低装备误报的目的.
1 基于全局相关性建模的复合传感器多线索数据融合算法
多路传感器数据融合分析是本文设计的关键.为了充分利用不同时间与空间的多传感器数据资源,本文采用深度学习技术建模要地多感知数据间的异常事件联动规律,并以此推断各路传感器状态有效性,降低误报,从而提升成套装备检测的精度.为此将多传感器决策融合分析问题转化为基于事件触发的多传感器决策联合优化与状态推理,算法执行流程如
图2 所示:输入数据为要地各感知传感器在特定时间窗口内的实时监测信息,首先经过数据预处理模块实现监测数据的平滑及时间对齐,其次将对齐以后的多感知信号并行拼接送入全局相关网络,输出为该时序段内各传感器异常事件的概率分布.下面逐一介绍算法构建的各环节.
1.1 数据预处理
在实际场景中,各传感器采集的状态信号往往夹杂大量的噪声,同时由于不同传感器采样频率的差异,各传感器信号存在时序上的不对齐现象.为了精确建模各传感器数据的相关性,必须首先进行数据的预处理,通过滤波和平滑采样技术实现不同传感器信号的平滑处理及时序对齐.对于资源受限的装备节点计算平台而言,数据预处理也是实时性和有效性的重要保障.
本文采用分段聚合逼近算法进行数据变换,实现不同采样频率的传感器信号滤波与时序对齐.分段聚合逼近算法是一种经典的分段采样算法,假设第k 个传感器在T 时间段内的原始监测数据为C k = { x 1 k , x 2 k , ⋯ , x n k } ,n 为采样点数;定义分段聚合逼近算法的对齐序列为C ˜ k = { x ˜ 1 k , x ˜ 2 k , ⋯ , x ˜ N k } :
x ˜ i k = n N ∑ j = n N ( i - 1 ) n N i x j k , 1 ≤ i ≤ N ,(1)
N 是数据处理后该传感器在T 时间窗口的数据个数.需要说明,由于采样频率不同,不同传感器在T 时间窗的采样点数n 不同,但经过(1)式预处理后的数据长度均为N ,为异构数据的时空对齐提供了保证.设要地保护区域共覆盖M 种传感器装备,则将T 时间窗内所有感知传感器预处理后数据并行拼接,即得到当前窗口内时空域对齐的复合感知数据样本:
X = C ˜ 1 ; C ˜ 2 ; ⋯ , C ˜ M T = x ˜ 1 1 x ˜ 2 1 ⋯ x ˜ N 1 x ˜ 1 2 x ˜ 2 2 ⋯ x ˜ N 2 ⋮ ⋮ ⋮ x ˜ 1 M x ˜ 2 M ⋯ x ˜ N M .(2)
为减轻边缘节点计算与存储负担,鉴于融合算法本质属于决策级融合,将数据做二值化处理为{ 0 , 1 } 二元离散变量:当第k 个传感器预处理数据x ˜ j k > 0.4 则记为x ˜ j k = 1 ,否则x ˜ j k = 0 ;这里数值1代表异常事件触发状态,0为正常状态.
1.2 全局相关性网络
本文构建基于自注意力机制的全局相关性神经网络,用于挖掘多线索传感器监测信号在时空域上的触发事件联动规律,以此实现多传感器联合状态的最优推理.该模型输入为多传感器预处理后的二元数据拼接,通过模型的训练学习,输出各传感器数据异常事件的联合状态概率分布.自注意力学习机制
[11 ] 因能有效建模数据间相关性被广泛应用于机器学习各领域,本文在GoogLeNet
[12 ] 网络模型基础上,通过在Inception v2模块中嵌入基于自注意力学习机制(self-attention mechanism)的全局相关性建模特性,构建实现复合感知数据决策融合的相关性网络.
Inception系列模型是Google公司2015年提出,初衷是针对卷积神经网络在深度增加时导致的网络退化问题,以及如何在不影响网络性能前提下,有效降低网络训练的参数和存储开销. Inception v2是其第二个版本,网络结构示意图如
图3 所示.它利用1 × 1卷积(convolution)、3 × 3卷积、平均池化实现多尺度卷积、增强网络的特征学习适应能力.其中1 × 1卷积通过减少特征图通道数以降低模型参数量;最右边支路中两个3 × 3卷积核可以实现5 × 5卷积核的感受野,在增强网络非线性拟合能力的同时也有效减少了参数量.除此之外,Inception v2在每一个卷积层后都添加一个批归一化(Batch Normalization, BN)层
[13 ] 和一个激活函数Relu层
[14 ] ,BN层用于统一每个卷积层(除第一个卷积层)输入分布,加快网络收敛.
如
图4 所示,为了增强全局相关性学习特性,本文设计的Inception v2-SA模型在Inception v2模块的最左边支路中嵌入了自注意力学习机制.之所以只在一条支路嵌入,是因为自注意力机制涉及的计算量较大,而装备节点计算资源有限边缘计算、无法支撑多支路嵌入注意力机制的计算负载;同时1×1卷积核能够专注的学习到每个特征点在各通道上的信息.
基于自注意力机制的全局相关性网络结构如
图5 所示,通过在时空域逐元素计算各传感器数据间的相关性,建模全局特征之间的依赖关系,从而挖掘要地多传感器数据间的联动规律.需要指出,这种数据之间的相关性并不是由简单的代数运算得到的,而是利用卷积层在特征图上不断地学习而得到的非线性映射关系,呈现的是各感知数据在时空域上的拓扑依赖关系
[15 ] .
图5 展示了自注意力机制的工作原理.
为了便于理解,实现自注意力机制的伪代码如
表1 所示:
伪代码中特征图理解为输入数据经卷积操作以后的输出张量,本文针对解决多传感器决策融合分析,对应示范地数据输入为三种维度,其网络架构见
表2 所示.
从
表2 可以看出,模型的结构相对简单,7×30输入网络模型参数为91652个(32位浮点型),模型训练占用内存80 M. 模型设计一方面适应示范地小样本集采集的可行性,另一方面满足边缘节点装备算法的低内存消耗处理可行性.本文中涉及所有学习算法均采用“模型驱动”的在线学习策略,即将模型训练与推理的计算任务分开,在边缘节点装备仅执行优化后的模型计算.
2 实验
2.1 数据生成
本文依托科技攻关项目“不可移动文物安防(防盗、防破坏)关键技术及装备研究”,在三星堆祭祀坑示范地开展基于复合感知融合分析的方法研究,目的是验证本文所提相关性网络对成套装备感知数据融合决判算法降低误报的有效性.其中部署装备的效能区域和入侵路线见
图1 ,
图6 给出了各实验点位的分布,具体实验描述见
表3 .
实验地点为四川省广汉市三星堆村.测试天气涉及雨天、晴天、大雾天;复合传感器涉包括分布式光纤监测装备、红外激光雷达装备、土壤扰动监测装置、安防雷达监测装备;测试工具包括铁锹、洋镐(锄头)、对讲机、梯子、皮尺、秒表、鞭炮等.测试记录人员为当地文保单位工作人员,测试时间为2023年7月3日至2023年10月20日,9:00-22:00.
表3 中的A操作表示模拟真实的异常事件,实施细节如下:
(1)人员侵入测试:测试人员在指定测试点来回走动,每个测试点做5组测试,每组测试在距离振动光纤埋设处正上方±20 cm内来回走动10 s.
(2)人员挖掘测试:测试人员在指定测试点做挖掘测试,每个测试点做5组测试,每组测试在距离振动光纤埋设处20 cm位置挖掘10 s;如果为地下增敏探头,分别在距离地下增敏探头埋设处1 m/2 m/3 m位置挖掘10 s.
(3)机械挖掘测试:测试人员在指定测试点开挖掘机做挖掘测试,每个测试点做5组测试,每组测试在距离地下增敏探头埋设处5 m位置挖掘1 min.
(4)模拟地下爆破测试:测试人员在指定测试点做地下爆破测试,每个测试点做5组测试,每组测试在距离地下增敏探头埋设处15 m位置挖30 cm深的坑埋入鞭炮引爆.
表3 中的B操作表示模拟虚假异常事件,实施细节包括:
(1)探测范围外人员活动:测试人员在指定测试点做正常走动测试,每个测试点做5组测试,每组测试在距离振动光纤埋设处40 cm位置沿光纤路线走动30 s.
(2)小动物在测试点活动:测试人员将小动物(猫、狗)驱赶至指定测试点,做5组测试.
(3)远距离的挖掘机作业:测试人员在指定测试点外开挖掘机做挖掘测试,每个测试点做5组测试,每组测试在距离振动光纤埋设处5 m位置挖掘1 min.
(4)空中鞭炮测试:测试人员在指定测试点燃放鞭炮,每个测试点做5组测试,每组测试在距离空气探头埋设处2 m范围内燃放鞭炮.
以上测试过程中,协调人员用对讲机和爆破测试人员下达指令,数据记录人员记录每组测试报警情况.
上述测试结果记录到实验测试表
4 、
5 ,其中“是”表示对应传感器触发报警,“否”表示对应传感器未触发报警,“/”表示对应传感器未覆盖该测试点.
定义数据预处理时间窗
T = 5 min,对齐数据采样间隔为10 s,则时间窗内样本点个数
N = 30 .示范地3条入侵路径如
图6 所示,分别是途径测试点1-1,1-2,1-3,1-4,1-5;2-1,2-2,2-3;3-1,3-2,3-3;其中测试点1-5、2-3及3-3对应同一点位(即核心保护区).不难理解,同一行经路线上的传感器监测数据存在特定的时空域联动规律,即时空域相关性,因此将该时间窗内同一路径上的所有传感器数据拼接后构成一个数据样本.以
表4 中的人员入侵路径2为例,对应预处理训练样本数据见
表6 :
第一行数据:测试点2-1、时段9:54:40至9:55:00、分布式光纤传感器报警信息;
第二行数据:测试点2-2、时段9:56:25至9:56:59、分布式光千传感器报警信息;
第三行数据:测试点2-2、时段9:56:25至9:56:59、安防雷达报警信息;
第四行数据:测试点2-3、时段9:58:15至9:58:40、红外激光雷达报警信息;
第五行数据:测试点2-3、时段9:58:15至9:58:40、土壤扰动检测传感器报警信息.
第六行数据:测试点2-3、时段9:58:15至9:58:40、安防雷达报警信息.
样本的训练标签定义为相应传感器在该时间窗口内的真实预警标签,当某传感器在时间窗内出现持续触发报警10秒以上的真实事件时,其异常事件标签记为“1”,否则为“0”.由于
表6 中报警事件为人为模拟的真实入侵事件,且各传感器持续报警时间均大于10 s,则该样本真实类别标签定义为
Y ={
y 1 =1,
y 2 =1,
y 3 =1,
y 4 =1,
y 5 =1,
y 6 =1},其中y
1 ,y
2 ,y
3 ,y
4 ,y
5 ,y
6 分别表示路径2中六个传感器(测试点2-1一个、测试点2-2二个、测试点2-3三个)的报警标签.
表7 给出了人员入侵路径3的三个数据样本及标签,该路径有四个传感器分别位于测试点3-1、3-2、3-3. 样本1为正常报警样本,
Y 1 ={
y 1 =1,
y 2 =1,
y 3 =1,
y 4 =1}.分析观察样本2,1号点位(第一行数据)与3号点位(第三行数据)有报警信息、且两者间隔时间戳较长,而2号点位(第二行数据)无报警;因此该样本在窗口内3个点位对应传感器不存在空间联动性,这明显与示范地定义的异常行为产生的传感器联动报警机制不相符,将
Y 2 ={
y 1 =0,
y 2 =0,
y 3 =0,
y 4 =0}作为其类别标签,即1号点位,3号点位为虚假报警.对于样本3, 1号及3号点位分别对应的传感器多次在同一时间同时报警,体现的是下大雨时刻光纤和激光雷达引起的误报事件,均为虚假报警类别标签为
Y 3 ={
y 1 =0,
y 2 =0,
y 3 =0,
y 4 =0}.
2.2 模型训练
为满足模型训练样本完备性要求,在真实采集样本数据基础上,本文通过采样真实模拟报警联动数据的方式实现数据增广.为此将联动报警数据理解为服从高斯分布的随机数,通过随机前后扰动(延长或缩短)传感器报警发生时间的方式获得人工模拟样本;另一方面考虑入侵路径的往返特性,通过时间翻转的方式也可以增广样本.
网络模型的初始参数设置为零均值,方差0.01分布的高斯随机数,3条入侵路径训练专属的网络模型,输入数据大小分别为7 × 30、6 × 30、4 × 30的二元矩阵,采用二元交叉熵损失函数,优化器为SGD,权重衰减为5 × 10-4 ,动量为0.9.初始学习速率为10-3 ,采用带有1个epoch预热和余弦退火学习率策略,在A40GPU上使用8 batchsize训练0.5 h左右收敛.
分别统计2023年7月3日、7月13日、7月19日、7月28日、8月4日、8月11日、8月18日、8月25日、8月31日、9月15日、9月22日、10月7日、10月20日,13天时间示范要地不同天气、不同时间段,工作人员模拟真实入侵、挖掘以及虚假异常事件产生部署测试点312条异常报警(1条报警信息对应1个测试点,每天24条报警信息),其中12条用于模型训练(随机扰动增扩到100条报警信息),12条用于模型验证(随机扰动增扩到100条报警),最后通过随机扰动方式将报警数据增广到100条异常报警数据(含真实示范地测试点数据12条报警信息)用以模型测试.定义要地联动数据滑动窗口为5分钟,为兼顾模型实时性测试要求,以当前报警装备触发时间为参考点,向前取5分钟历史监测状态量数据构成分析窗口.随着真实样本数据的逐日增加,13天时间采集样本,每天将新增的24个样本按上述分配原则对模型进行训练、验证和测试,将上一次模型训练的参数结果作为当前模型的初始化参数.
2.3 实验结果及分析
如前所述,一个时间窗内同一路径上的所有传感器数据拼接后构成一个数据样本,即联动报警数据,其中状态为“1”的监测数据个数定义为该复合感知数据(即数据样本)的报警次数;例如
表6 样本1、2、3中的异常事件触发次数分别为21、6、45.
测试过程中,统计所有测试联动样本(100条)的异常事件触发次数Q ,设真实异常报警次数为S ,则融合分析决策前测试集上误报率为Q - S Q . 同理,统计经融合分析后联动样本(100条)的异常事件触发次数Q ' ,融合分析后测试集上误报率为Q ' - S Q ' .
为验证基于自注意力机制的Inception v2-SA模块的有效性,分别将基于Inception v2-SA和未加入自注意力机制的原始Inception v2模块构建的全局相关性网络进行对比,即围绕Inception v2-SA模块进行消融分析实验. 将前期阶段(2023年7月3日、7月13日、7月19日、7月28日、8月4日、8月11日、8月18日、8月25日)所统计的数据预处理后用于模型的消融实验,模型训练与测试策略同上,实验结果如
表8 所示.
观察
表8 可以看出,模型在两种方式构建上均呈现收敛性,但是基于全局注意力构建的Inception v2-SA模块较原始Inception v2模块大约有2%~4%的性能提升,实验结果进一步验证了全局相关性网络模型的有效性.
将13天示范要地工作人员模拟真实入侵、挖掘以及虚假异常事件产生总异常报警数据通过随机扰动和噪声添加等处理后送入全局相关性网络模型进行训练,最终模型收敛稳定后报警定量结果如
表9 所示.
由实验结果可知,随着新样本的不断加入,融合分析模型得到不断优化,装备各传感器误报率逐渐降低,于2023年8月25日模型迭代趋于收敛稳定(误报率1.02%~1.21%),以2023年10月20日为例,在融合分析前,测试样本集100条报警信息中,总报警次数Q = 2324 ,真实异常报警次数S = 2086 ,误报次数为238,误报率为10.24%.经过复合感知决策融合分析后,误报次数由原来的238次减少到25次,误报率由原来的10.24%下降为1.10%.以上结果验证了本文复合感知装备数据分析技术的有效性.
图7 是2023年8月25日迭代后的模型二元交叉熵损失收敛曲线,其中纵坐标为交叉熵损失函数值,横轴为样本训练周期,模型收敛时训练集损失降低为0.05,验证集上异常事件标签识别精度为95%.
3 结论
针对文物安防场景中基于单一线索感知的装备监测误报率较高的问题,从融合复合感知传感器数据的思路出发,提出了一种基于注意力机制的时空域融合决策的相关性网络,通过建模要地多传感器异常报警信息间的联动相关性,有效提升成套装备预警的精确性.在三星堆祭祀坑示范地开展基于复合感知融合分析的实验结果表明,模型经过13天更新迭代学习后的误报率显著降低,证明了本文方法的可行性和有效性.