Processing

Please wait...

Settings

Settings

Goto Application

1. CN110084165 - Intelligent identification and early warning method for abnormal events in open scene in power field based on edge calculation

Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters

[ ZH ]

权利要求书

1.一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,包括以下步骤:
S1:对不同场景下的训练数据进行图像增强处理,使用标注工具对训练数据进行标注,得到.xml文件;
S2:使用VGG16网络作为基础网络,对原始图片进行特征提取,并将VGG16网络中的Conv4_x特征层和Conv5_x特征层进行特征融合,并将融合之后的特征作用到最后的模型的预测层;
S3:在基础网络后添加不同的网络层,然后在这些网络层上预测目标,以及其归属类别的得分,同时,在特征层上使用小的卷积核,用于回归一系列边界框的准确位置;
S4:针对在同一目标位置上产生的大量边界框,使用非极大值抑制找到最佳的目标边界框,消除冗余的边界框,并训练模型;
S5:在移动端应用训练好的模型,进行异常事件的智能识别与预警;
所述步骤S1中图像增强的方法为:
S11:对原始图片设置不同的亮度和/或对比度,并进行高斯模糊处理,来模拟不同的场景;
S12:使用标注工具对经过步骤S11处理之后的图片进行标注,
S13:对每一张经过步骤S11处理之后的图片,随机地进行如下操作:
1)使用原始的图片;
2)按采样规则采样一块区域,采样规则为:随机在与物体之间最小的交并比0到1之间选择区域;
3)随机地采样一块区域;
S14:采样的区域是原始图像大小比例的[0.1,1],高宽比在0.5到2之间;当标注框的中心在采样的区域中时,保留重叠部分;
S15:在采样步骤之后,每个采样的区域被调整到固定的大小,并且以0.5的概率随机的水平翻转。

2.根据权利要求1所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述步骤S2中,对原始图片进行特征提取包括:
S21:进行图像采集,再将采集到的图像送入VGG16网络,依次经过5层卷积层和池化层以及2层全连接层,提取到图像的特征;
S22:将Conv4_x特征层和Conv5_x特征层融合在一起,将融合后的特征直接作用到最后的预测层,即指将融合之后的特征作为最后的预测层的一部分输入。

3.根据权利要求2所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述Conv4_x特征层和Conv5_x特征层融合方式为向量拼接方式或对应元素相加方式。

4.根据权利要求1所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述步骤S3中确定边界框准确位置的方法包括:
S31:将经过步骤S2提取到图片特征层切分成8×8或者4×4的网格;
S32:为所述特征层上的每一个网格生成一系列固定大小的边界框,每个边界框包括至少5个预测参数:x、y、w、h、conf,其中所述(x,y)表示边界框相对于网格的中心坐标,所述(w,h)表示相对于整个图像预测的宽度和高度,所述conf表示边界框与任何一个标注框的IOU值;
S33:在每一个特征层上,使用一系列卷积核去产生一系列固定大小的预测值。

5.根据权利要求4所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,在步骤S33中,对于一个m×n且有p通道的特征层,使用的卷积核的大小是3×3×p。

6.根据权利要求4所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述预测值是归属类别的一个置信度得分或边界框的位置偏移值。

7.根据权利要求1所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述步骤S4使用非极大值抑制找到最佳的目标边界框的方法包括:
S41:将每一个边界框与所有标注框配对:当两者之间的交并比大于一个阈值时,则将其组成一个样本;
S42:将原始图像中每一个物体位置上对应预测结果是负样本的边界框按照置信度从大到小进行排序并选择多个正、负样本,使其正、负样本数量之比在1:3左右;
S43:用表示第i个边界框与类别k的第j个标注框相匹配;否则,不匹配,
S44:总的目标损失函数就由位置损失(loc)和置信度损失(conf)加权求和得到:
上述公式中,x表示边界框与标注框是否匹配,若匹配,则x=1,否则x=0,c表示边界框的归属类别得分,l表示边界框,g表示标注框,N是匹配的边界框的数量,如果N=0,就设目标函数损失值为0;位置损失(loc)是经过S33步骤后的边界框(l)和标注框(g)的参数之间的smooth L1 损失;
上述公式中,d表示经过S32步骤但还没经过S33步骤的边界框,(cx,cy)表示d的中心坐标,(w,h)表示d的宽度和长度,表示经过log处理后的标注框;
置信度损失(conf)由多个类的置信度做softmax操作得到:
上述公式中,表示第i个边界框属于第k个类别的归属类别得分,表示进行softmax处理后的
S45:通过迭代训练直到模型收敛,保存特征层的权重参数。

8.根据权利要求1所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述步骤S5在安卓端应用模型进行异常事件的智能识别与预警的过程包括:
S51:利用安卓设备的高清摄像头获取原始图像,将图像的亮度、对比读调节到合适的数值,并对图像进行去噪、增强处理;
S52:将图像输入模型中,利用训练好的VGG16网络的提取到图像的特征;
S53:在提取到的图片特征层上生成一系列边界框,并通过训练好的SSD网络将所有边界框回归到正确的位置,并预测每一个边界框的正确分类;每个边界框的置信度得分由每个网格的分类信息Pr(Class i |Object)和边界框中的分类置信度信息相乘得到,即:
S54:利用非极大值抑制去除冗余的边界框,并在原始图像上显示检测结果;如果检测到了异常,则触发警报。

9.根据权利要求1所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述移动端为安卓端。

10.根据权利要求7所述的一种基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法,其特征在于,所述阈值设定在0.5到0.9之间。