一种基于卷积神经网络的实时口罩佩戴检测方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111931661 A(43)申请公布日 2020.11.13

(21)申请号 202010806221.3(22)申请日 2020.08.12

(71)申请人 桂林电子科技大学

地址 1004 广西壮族自治区桂林市七星

区金鸡路1号(72)发明人 管军霖　智鑫　汪华登　师功才　(74)专利代理机构 桂林市华杰专利商标事务所

有限责任公司 45112

代理人 覃永峰(51)Int.Cl.

G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书1页 说明书4页 附图3页

()发明名称

一种基于卷积神经网络的实时口罩佩戴检测方法(57)摘要

本发明公开了一种基于卷积神经网络的实时口罩佩戴检测方法，其特征在于，包括如下步骤：1）建立基于YOLO算法的检测模型；2）处理视频流；3）训练检测模型4）筛选结果；5）确定被检测者的身份。这种方法实现简单、检测效率高，检

适用性好。测速度快且满足实时检测、

CN 111931661 ACN 111931661 A

权　利　要　求　书

1/1页

1.一种基于卷积神经网络的实时口罩佩戴检测方法，其特征在于，包括如下步骤：1)建立基于YOLO算法的检测模型:所述模型设有基于ResNet的五层卷积神经网络、基于SPP的三层最大池化层、三层目标检测层；

2)处理视频流：在步骤1)建立的检测模型上输入视频流，对收集到的口罩佩戴图片数据进行数据增强，构成图片库，图片库包括图片与标注数据两部分，标注数据包括：masked代表是否佩戴口罩，X、Y、H、L分别代表标注框中心的X坐标、Y坐标、高度、长度；

3)训练检测模型：从图片库中选取若干口罩佩戴图片与未佩戴口罩的图片作为训练数据集，其余图片作为测试数据集，将所述训练数据集输入检测模型，训练检测模型，过程为：

3-1)采用基于ResNet的五层卷积网络层提取测试数据集中的人脸与口罩目标特征；3-2)采用基于SPP的三层最大池化层进一步提取测试数据集中的人脸与口罩目标特征；

3-3)采用三层目标检测层，基于多尺度预测策略，依据提取的人脸与口罩目标特征，预测测试数据集中人脸与口罩目标的边界框坐标值，计算目标置信度得分、人脸与口罩目标类别概率，口罩目标分类概率单独用逻辑回归函数sigmoid计算得出：

sigmoid函数:

3-4)采用非极大值抑制方法依据边界框坐标值、目标置信度得分类别概率，口罩目标分类概率单独用逻辑回归函数sigmoid计算得出，筛选得到人脸与口罩目标的检测结果，确定检测模型；

4)筛选结果：将测试数据输入检测模型，在训练中迭代一万次以上，输出对测试数据集中口罩佩戴检测的结果，并将检测结果为佩戴口罩与未佩戴口罩的人脸图片分类存放；

5)确定被检测者的身份：对于检测模型判断为未佩戴口罩的图片，采用FaceNet与人脸数据库中的人脸进行筛选比对，确定被检测者的身份。

2.根据权利要求1所述的基于卷积神经网络的实时口罩佩戴检测方法，其特征在于，步骤1)中所述的三层目标检测层的检测尺度分别为13×13、26×26、104×104像素，采用K-means聚类算法根据每层目标检测层的检测尺度，分别为每层目标检测层生成对应的三个不同尺寸的锚箱。

3.根据权利要求1所述的基于卷积神经网络的实时口罩佩戴检测方法，其特征在于，步骤2)中所述数据增强包括：翻转、剪切、随机擦除和颜色扭曲，其中随机擦除指随机选择图像中的一个矩形区域，并用随机值擦除其像素，采用随机擦除目标的特征模拟遮挡的效果，颜色扭曲包括改变图片色调、亮度。

2

CN 111931661 A

说　明　书

一种基于卷积神经网络的实时口罩佩戴检测方法

1/4页

技术领域

[0001]本发明涉及计算机视觉领域及图像处理领域，具体是一种基于卷积神经网络的实时口罩佩戴检测方法。

背景技术

[0002]疫情防控期间，在火车站、机场等人流密集场所需要进行体温监测及佩戴口罩等基本措施来防止疫情，目前主要是由工作人员人工检测体温与监督乘客的口罩佩戴情况，这种情况存在浪费大量人力资源且在人流较大时效率低下、近接触易感染的问题。[0003]随着监控摄像头的广泛使用，计算机视觉的快速发展使得我们可以使用摄像头连接计算机来检测途径人员是否佩戴口罩，辅以红外热成像系统检测体温，即可达到无接触自动化检测的目的。

[0004]在实际应用中，监控摄像头采集图像可能出现被采集人面部光线不均匀，口罩颜色多变导致检测成功率低的情况。

[0005]近年来随着深度学习的高速发展，目标检测算法不断向着高速、高性能的方向发展，特别是深度卷积神经网络在计算机视觉上有着优秀的表现。目前比较流行的算法主要可以分为两类，一类是基于候选区域的R-CNN系算法(R-CNN，Fast R-CNN,Faster R-CNN)，它们是分为两步检测的，需要先使用启发式方法(选择性检索selective search)或CNN网络(RPN)产生候选区域，然后再在候选区域上做分类与回归；另一类是YOLO，SSD这类一步检测算法，YOLO仅仅使用一个CNN网络就能直接预测不同目标的类别与位置，详见文献“Liu L,Ouyang W,Wang X,et al.Deep Learning for Generic Object Detection:ASurvey[J].2018”。

[0006]一般来说YOLOv3的检测速度比R-CNN快1000倍，比Fast R-CNN快100倍，而检测精度和定位的准确性只有微小的差距，因此，可以结合深度学习的卷积神经网络模型优势，将卷积神经网络应用于口罩佩戴检测场景中，来达到高精度实时检测的能力。发明内容

[0007]本发明的目的是针对现有技术得不足，而提供一种基于卷积神经网络的口罩佩戴实时检测方法。这种方法实现简单、检测效率高，检测速度快且满足实时检测、适用性好。[0008]实现本发明目的的技术方案是：

[0009]一种基于卷积神经网络的实时口罩佩戴检测方法，包括如下步骤：

[0010]1)建立基于YOLO算法的检测模型:所述模型设有基于ResNet的五层卷积神经网络、基于SPP的三层最大池化层、三层目标检测层；[0011]2)处理视频流：在步骤1)建立的检测模型上输入视频流，对收集到的口罩佩戴图片数据进行数据增强，构成图片库，图片库包括图片与标注数据两部分，标注数据包括：masked代表是否佩戴口罩，X、Y、H、L分别代表标注框中心的X坐标、Y坐标、高度、长度；[0012]3)训练检测模型：从图片库中选取若干口罩佩戴图片与未佩戴口罩的图片作为训

3

CN 111931661 A

说　明　书

2/4页

练数据集，其余图片作为测试数据集，将所述训练数据集输入检测模型，训练检测模型，过程为：

[0013]3-1)采用基于ResNet的五层卷积网络层提取测试数据集中的人脸与口罩目标特征；

[0014]3-2)采用基于SPP的三层最大池化层进一步提取测试数据集中的人脸与口罩目标特征；

[0015]3-3)采用三层目标检测层，基于多尺度预测策略，依据提取的人脸与口罩目标特征，预测测试数据集中人脸与口罩目标的边界框坐标值，计算目标置信度得分、人脸与口罩目标类别概率，口罩目标分类概率单独用逻辑回归函数igmoid函数计算得出；

[0016][0017]

sigmoid函数:

3-4)采用非极大值抑制方法依据边界框坐标值、目标置信度得分类别概率，口罩目标分类概率单独用逻辑回归函数sigmoid函数计算得出，筛选得到人脸与口罩目标的检测结果，确定检测模型；[0018]4)筛选结果：将测试数据输入检测模型，在训练中迭代一万次以上，输出对测试数据集中口罩佩戴检测的结果，并将检测结果为佩戴口罩与未佩戴口罩的人脸图片分类存放；

[0019]5)确定被检测者的身份：对于检测模型判断为未佩戴口罩的图片，采用FaceNet与人脸数据库中的人脸进行筛选比对，确定被检测者的身份。

[0020]步骤1)中所述的三层目标检测层的检测尺度分别为13×13、26×26、104×104像素，采用K-means聚类算法根据每层目标检测层的检测尺度，分别为每层目标检测层生成对应的三个不同尺寸的锚箱。

[0021]步骤2)中所述数据增强包括：翻转、剪切、随机擦除和颜色扭曲，其中随机擦除指随机选择图像中的一个矩形区域，并用随机值擦除其像素，采用随机擦除目标的特征模拟遮挡的效果，能提高模型的泛化能力，使模型在训练过程中仅通过局部特征对目标进行识别，强化模型对于目标局部特征的认知，弱化模型对于目标全部特征的依赖，模型通过这样的数据进行训练，将会增强对于口罩有所遮挡情况下的鲁棒性，颜色扭曲包括改变图片色调、亮度，有利于增强模型对不同颜色口罩识别的准确性。[0022]本技术方案的优点在于：实现简单，检测效率高，检测速度快且满足实时检测；能够对有遮挡的口罩进行检测，适用性好；通过基于ResNet的五层卷积网络层能够能有效控制梯度传播，避免梯度爆炸或消失不利于训练检测模型；能够有效解决视频流中的口罩佩戴检测问题。

[0023]这种方法实现简单、检测效率高，检测速度快且满足实时检测、适用性好。附图说明

[0024]图1为实施例方法的流程示意框图；[0025]图2为实施例中图片库的标注示例图；

[0026]图3为实施例中模型训练过程中的损失值变化示意图；

4

CN 111931661 A[0027]

说　明　书

3/4页

图4为实施例中口罩佩戴检测的结果示意图。

具体实施方式

[0028]下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。

[0029]实施例：[0030]参照图1，一种基于卷积神经网络的实时口罩佩戴检测方法，包括如下步骤：

[0031]1)建立基于YOLO算法的检测模型:所述模型设有基于ResNet的五层卷积神经网络、基于SPP的三层最大池化层、三层目标检测层；[0032]2)处理视频流：在步骤1)建立的检测模型上输入视频流，对收集到的口罩佩戴图片数据进行数据增强，构成图片库，图片库包括图片与标注数据两部分，标注数据包括：masked代表是否佩戴口罩，X、Y、H、L分别代表标注框中心的X坐标、Y坐标、高度、长度，如图2所示；

[0033]3)训练检测模型：从图片库中选取若干口罩佩戴图片与未佩戴口罩的图片作为训练数据集，其余图片作为测试数据集，将所述训练数据集输入检测模型，训练检测模型，过程为：

[0034]3-1)采用基于ResNet的五层卷积网络层提取测试数据集中的人脸与口罩目标特征；

[0035]3-2)采用基于SPP的三层最大池化层进一步提取测试数据集中的人脸与口罩目标特征；

[0036]3-3)采用三层目标检测层，基于多尺度预测策略，依据提取的人脸与口罩目标特征，预测测试数据集中人脸与口罩目标的边界框坐标值，计算目标置信度得分、人脸与口罩目标类别概率，口罩目标分类概率单独用逻辑回归函数sigmoid函数计算得出；

[0037][0038]

sigmoid函数:

3-4)采用非极大值抑制方法依据边界框坐标值、目标置信度得分类别概率，口罩目标分类概率单独用逻辑回归函数(sigmoid函数)计算得出，筛选得到人脸与口罩目标的检测结果，确定检测模型；[0039]4)筛选结果：将测试数据输入检测模型，在训练中迭代一万次以上，输出对测试数据集中口罩佩戴检测的结果，并将检测结果为佩戴口罩与未佩戴口罩的人脸图片分类存放，本例中迭代次数分别为10000次和15000次；[0040]5)确定被检测者的身份：对于检测模型判断为未佩戴口罩的图片，采用FaceNet与人脸数据库中的人脸进行筛选比对，确定被检测者的身份。

[0041]步骤1)中所述的三层目标检测层的检测尺度分别为13×13、26×26、104×104像素，采用K-means聚类算法根据每层目标检测层的检测尺度，分别为每层目标检测层生成对应的三个不同尺寸的锚箱。

[0042]步骤2)中所述数据增强包括：翻转、剪切、随机擦除和颜色扭曲，其中随机擦除指随机选择图像中的一个矩形区域，并用随机值擦除其像素，采用随机擦除目标的特征模拟

5

CN 111931661 A

说　明　书

4/4页

遮挡的效果，能提高模型的泛化能力，使模型在训练过程中仅通过局部特征对目标进行识别，强化模型对于目标局部特征的认知，弱化模型对于目标全部特征的依赖，模型通过这样的数据进行训练，将会增强对于口罩有所遮挡情况下的鲁棒性，颜色扭曲包括改变图片色调、亮度，有利于增强模型对不同颜色口罩识别的准确性。[0043]本例中，所采用的软件环境为Darknet深度学习框架、Windows 10操作系统、NVIDIA GeForce驱动程序442.50版本、CUDA Toolkit 10.1版本、cuDNN神经网络加速库7.6.4版本，训练设置如下：每次迭代训练样本数为、分16个批次、动因子设置为0.949、重衰减正则系数为0.0005、最大迭代次数设置为20 000、学习率为0.0050、迭代次数分别为10000和15000时、学习率衰减为0.0025与0.0005。[0044]为保证模型训练后检测效果的准确度，本例选用真实人脸图片作为训练与测试的样本，通过LabelImg可视化图片标注工具对通过网络收集到的口罩佩戴图片进行了标注，标注时将人脸用矩形框标出，将标注的矩形框分为已佩戴口罩与未佩戴口罩两类，本文共标记了4 000张图片作为口罩佩戴检测数据集，其中3 200张图片作为训练集，800张图片作为测试集，训练完成后，从日志文件中读取每次迭代的损失值，并绘制曲线，结果如图3所示，由图3的曲线可以看出，在17 500次迭代后，损失值基本稳定在0.4左右，采用20 000次迭代后的权重文件在测试集上进行测试，设定TP表示正确检测到是否佩戴口罩的人数，FP表示错误检测是否佩戴口罩的人数，FN表示漏检测行人的人数，正确率Precision与召回值Recall定义如公式(1)与公式(2)所示，详细试验结果如表1所示，在测试集上的部分检测效果如图4所示，对于佩戴口罩的人脸图像，采用了方框进行标注，并添加masked字样，对于未佩戴口罩的人脸图像，模型使用方框进行标注，并添加no-masked字样，对于完全露出的人脸，本例模型给出了正确的检测结果，但对于被遮挡的人脸，本例模型的识别能力较弱，但此时由于人脸遮挡过多，人工也难以分辨其是否佩戴口罩，同时也无法确定身份，所以检测时要避免待测人脸被大面积遮挡的情况，最终得出检测准确率为0.985，召回值为0.977，平均检测时间为35.2ms，说明本例方法取得了不错的检测效果：

[0045][0046][0047][0048]

表1测试结果TP

987

FP15

FN23

。

6

CN 111931661 A

说　明　书　附　图

1/3页

图1

7

CN 111931661 A

说　明　书　附　图

2/3页

图2

8

CN 111931661 A

说　明　书　附　图

3/3页

图3

图4

9