轻量化改进网络的实时光纤端面缺陷检测模型

来源：SCI期刊网 分类：电子论文 时间：2022-03-17 10:00 热度：

　　摘要 光纤是现代通信系统及量子保密通信网中不可或缺的传输介质。针对光纤端面缺陷对光传输系统造成传输质量下降甚至永久性损伤的问题，本文提出了一种改进 YOLOv5 算法的光纤端面检测模型 YOLOv5_CS。该模型首先将轻量化网络 ShuffleNetV2 作为主干特征提取网络，利用深度卷积操作以及通道随机混合策略，缩减模型容量，丰富特征信息;随后引入卷积注意力机制(CBAM)，同时在空间维度和通道维度上进行特征增强，提升网络性能;最后缩减特征融合层的卷积核数量，实现进一步的模型压缩，并利用数据增广技术构建的光纤端面数据集，对所提方法有效性进行对比验证。结果表明，与 YOLOv5 算法相比，本文所提模型的模型容量压缩了 80%，检测速度提升了 31.1 FPS(Frames Per Second), 均值平均精度(mAP)提高 1.7%，能够较为准确以及实时检测光纤端面缺陷。此项工作面向便携式智能检测装置的研制，可为光纤端面缺陷检测及相关视觉传感产业提供技术支持。

　　关键词 机器视觉;光纤端面缺陷检测;目标检测;深度学习;轻量化网络

　　1 引 言

　　光纤作为一种较理想的传输介质，在激光、通信、医疗等领域得到广泛应用，并推动了现代通信产业、物联网产业的快速发展。然而，光纤端面的微小缺陷或小灰尘，与激光相互作用，将导致光纤严重缺陷的产生 [1],从而导致传输系统连接损耗变大、通信性能下降;甚至会对光纤本身以及光学系统造成影响以及永久性损伤，严重缺陷光纤还会损坏光学系统中的其他光学元件，发生安全事故 [2]。因此，光纤端面缺陷及时准确的检测，不仅能够避免问题光纤使用时的潜在风险;还可以借助智能缺陷检测系统，对光纤端面进行针对性修复，避免造成不可恢复或更严重的经济损失。

　　传统的光纤端面检测方法是人工检测方法和光干涉法。人工检测方法需要调整显微镜焦距从而将光纤端面清晰的图像采集出来，然后再确定每一区域缺陷 [3]。此方法检测结果主观性很强，误差较大,且难以检测到较浅的缺陷，易出现漏检情况 [4]。光干涉法能够测量出光纤端面表面形貌且此方法精度可观，但它需要搭建光路并调试出复杂的干涉条纹才能进行相关检测。此项技术步骤繁琐且不能较为精确的识别缺陷 [5]，同时其造价昂贵不适用于便携式装置。

　　随着机器学习的发展，人眼难以直接量化的特征可以通过机器学习便捷量化。基于机器学习的光纤端面检测方法大体有以下几种：Mei S 等 [6]提出使用 D02MR(Difference of min-max ranking fifiltering)模型检测光纤端面的凹坑缺陷，使用 LEI(Linear Enhancement Inspector)模型检测光纤端面的划痕缺陷;赵伟杰等 [7]提出使用 VBAI(Vision Builder for Automated Inspection)视觉自动检测开发环境并结合图像处理技术来检测光纤端面。朱莉等 [8] 提出同心椭圆约束方法检测光纤纤芯轮廓用来划分光纤检测区域，并采用自适应阈值分割算法检测缺陷。刘为等 [9]提出基于灰度图像阈值分割以及椭圆边界点选取与拟合的方法，并通过存在缺陷的光纤端面来求取其几何参数。周程等 [10]提出使用 Java 平台结合 OpenCV 开源算法库，通过改进相关图像处理算法检测光纤端面缺陷。以上方法均对光纤端面的缺陷检测达到了一定效果，然而上述方法只能检测单一的缺陷，且检测方法较为复杂，适应性较差以及自动化程度低，检测速度较慢，实时性较差。

　　本文基于 YOLOv5 算法设计了光纤端面缺陷检测模型 YOLOv5_CS，此模型采用 ShuffleNetV2 网络，满足了模型的轻量化设计;通过引入卷积注意力机制，增强模型特征提取能力，提高了模型检测精度;并缩减特征融合层的卷积核数量，提高了模型检测速度。该模型容量小，检测速度快，能够同时识别多种缺陷，易于部署至工业环境，并为光纤端面缺陷检测的自动化提供了技术支持。

　　2 算法原理

　　2.1 方法介绍

　　光纤端面缺陷主要分为三种类别，分别为凹坑，划痕，麻点。如图 1 所示，虚线矩形框内为划痕缺陷，圆形框内为麻点缺陷，实线矩形框内为凹坑缺陷。由于光纤端面上可能存在多种缺陷，因此光纤端面缺陷检测要求为同时检测到端面的不同缺陷，并标记其类型及所在位置，检测模型需兼顾自动化与精度，准确性与实时性。由于现有模型只能检测单一缺陷，适应性、实时性以及准确性较差，且对于较小以及较浅缺陷的检测能力较差。因此需要进一步提高网络的特征提取能力，提高模型检测精度。同时，由于实际应用中设备性能的限制，需要降低模型复杂度，以便于模型嵌入到广泛适用性平台上。为此，本文基于 YOLOv5s 网络设计了一种新的卷积神经网络模型 YOLOv5_CS, 采用 ShufflenetV2 网络作为新的特征提取网络，并引入卷积注意力机制以及缩减卷积核数量来提升检测精度与检测速度，达到同时标记光纤端面缺陷类型与位置的检测要求。

　　2.2 目标检测算法介绍

　　深度学习中的目标检测算法，具有自动提取特征，可并行化和检测精度高等优点，广泛应用于高精度测量领域。目标检测算法主要分为两步，首先找出图像中所有感兴趣的目标(物体)，其次确定目标的类别与位置。

　　目标检测算法主要分为两类：单阶段算法(One stage)和双阶段算法(Two stage)。Two stage 算法需通过区域生成以及卷积神经网络进行样本分类。Two stage 算法主要有 R-CNN(Region-based CNN) [11-13]系列算法。One stage 算法则直接通过网络提取特征来预测物体的分类与位置。One stage 算法主要有 YOLO(You Only Look Once)算法[14-17]，SSD (Single Shot MultiBox Detector)算法[18-20]。Two stage 算法检测性能更好但实时性较差，One stage 算法实时性较好但检测性能相比 Two stage 算法较差。结合实际需求，本文采用 One stage 算法中的 YOLO 算法来实现检测。

　　YOLO 算法是一种实时目标检测算法，速度快且结构简单，该算法已更新到 v5 版本。本文选择 YOLOv5 算法中的 4.0 版本来作为光纤端面缺陷分类的模型，并在自制光纤端面数据集上训练网络，通过训练完成的 YOLOv5 网络来实现光纤端面缺陷的自动分类与检测。

　　2.3 YOLOv5 网络模型介绍

　　目前，YOLO算法已更新到第五版，即YOLOv5算法。其速度最快可达到140FPS(Frames Per Second)，其权重只有上一代 YOLO算法即 YOLOv4算法的1/9，检测准确度相比YOLOv4 更高。YOLOv5 算法有四个网络， YOLOv5s 网络这四个网络中深度最小，也是训练速度最快的一个网络。因此本研究基于 YOLOv5 系列中的 YOLOv5s 网络开展光纤端面检测。 YOLOv5s 算法网络结构如图 2 所示。各个部分的结构图如图 3 所示。

　　由 YOLOv5 算法网络结构图可知，YOLOv5 的网络结构分为 Input、主干网络(Backbone)、特征融合层(Neck)、Prediction 四个部分。Input 将输入图像的大小统一成 640x640x3, 并采用 Mosaic 数据增强提高小目标检测精度;Backbone 由 Focus 结构、CBS 结构以及 C3 结构组成;Neck 部分，采用 FPN(Feature Pyramid Networks)+ PAN(Path Aggregation Network)结构。与 YOLOv4 算法不同的是，在 YOLOv4 算法的 Neck 结构中，采用的是普通卷积(Conv)操作，而在 YOLOv5 算法的 Neck 结构中，则采用借鉴了 C3 结构，由图 3 所示，C3 结构包含三个标准卷积层和 X 个 Res unit 模块。并且分为两条支路，上支路通过一个标准卷积层降低通道数量，再经过多个 Res unit 模块，下支路只经过通过一个标准卷积层降低通道数量。 C3 结构先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将两部分合并，与标准卷积操作相比，能够加强卷积神经网络的学习能力，在减少计算量的同时可以保证准确率，并加强了网络特征融合的能力。在网络输出端 YOLOv5 则采用了 GIOU_Loss 损失函数。

　　YOLOv5s 将经过 Input 端的图片划分为 SS 个网络，然后通过卷积、归一化、激活等操作，将特征提取到 80× 80、40× 40、20× 20 三个不同尺寸的特征图来预测 3 种不同的目标。检测层共有3(1 4  B) 个通道，负责预测 3 种不同的目标。

　　2.4 轻量型网络 ShuffleNetV2

　　卷积神经网络(CNN)在目标检测、图像分类与分割等领域获得广泛应用。但随着对卷积神经网络的性能要求越来越高，其模型深度加深，模型参数量增多以及模型复杂度提高，使得卷积神经网络只能在高性能的设备上运行, 难以部署到性能较差的设备平台上。 SqueezeNet、ShuffleNet、 MobileNet 等轻量型网络的出现使得这种设想成为可能。轻量型网络通过设计高效的网络计算方式，从而减少网络的参数量，并保持网络性能不变 [21]。

　　本文所使用的轻量化网络为 ShuffleNetV2。ShuffleNetV2 网络不再使用分组卷积操作，相反使用输入输出通道数目相同的 1×1 普通卷积，以此提高模型的检测速度。ShuffleNetV2 同时采用随机通道分离 [22]的新类型操作，该操作将模型的输入通道随机分为两部分，一部分保留自身映射并直接向下传递，另一部分则直接向后计算，此处使用的一部分为原输入通道的一半。向后计算部分由两个输入输出通道相同的卷积层以及输入输出通道数相同的深度卷积共同组成。在模块底部，通过将两分支的输出通道级联，避免了元素级相加的操作。

　　针对池化操作存在的缺点，ShuffleNetV2 设计了一个下采样模块。该模块取消了随机通道分离操作，将所有的特征分别送入两个支路，再进行处理，然后将其拼接，此操作使得最终输出的通道数目翻倍。此处理的目的是为了在下采样过程中增加整体输出通道数目。具体结构如图 5 所示。

　　2.5 卷积注意力机制

　　注意力机制(Attention Mechanism)作为机器学习中的数据处理方法，广泛应用在图像处理、图像及语音识别等不同类型的机器学习任务中。在目标检测算法中，通过引入注意力机制，使得模型关注重要特征，进而提高模型的检测精度。注意力机制主要分为通道注意力机制、空间注意力机制以及混合注意力机制三种。而本文所引用的卷积注意力机制(Convolutional Block Attention Module ，CBAM)则属于混合注意力机制。如图 6 所示，CBAM 注意力机制由通道注意力机制和空间注意力机制组成，并先后集成了这两种机制。其中通道注意力模块将注意力集中在通道上，判断哪些通道具有目标主要特征;空间注意力模块将注意力集中在空间位置上，判断哪些位置上包含目标主要信息[23]。

　　3 实验方案与结果

　　3.1 数据集介绍

　　本文设计了一套图像数据采集技术流程，解决了深度学习数据量要求大，工业数据收集成本高等问题。首先通过光纤端面检测仪采集 500 张光纤端面图片，为防止网络训练过拟合，采用上下旋转、左右翻转、裁剪等数据增广的方式将样本个数增加至 5168 张;其次按照 8:1:1 的比例将数据集划分为训练集、验证集、测试集，每张图像的分辨率为 646× 491;最后使用 LabelImg 软件对图片中的光纤端面缺陷进行标注，标注后的文件以 txt 作为后缀，文件名和图片名称一致。

　　3.2 实验设备及参数设置

　　本文通过搭建的 Pytorch 深度学习框架对自制光纤端面缺陷数据集进行训练和测试。训练过程中用到的硬件设备为 Intel(R)Core(TM)i7-6500 CPU@2.50GHz 型号的电脑 CPU， NVIDIA Tesla T4 型号的 GPU。软件环境为 Windows10 操作系统，Python3.6 编程语言，Pytorch 1.7.1 深度学习框架。

　　训练阶段的超参数设置：初始学习率为 0.001，衰减系数为 0.0005.动量为 0.937，批次(batch size)为 40，训练次数(Epoch)为 300 次。

　　3.3 评价指标

　　在检验模型效果时，本文采用均值平均精度(mean average precision，mAP)，以及检测速度 FPS(Frames Per Second)来作为主要评价指标。这些评价指标也是在目标检测任务中常用的指标。

　　3.4 实验对比

　　为了验证本文所提模型的有效性，需进行消融实验 [26]，因此本文构建了三种模型与所提模型进行对比。构建的三种模型分别命名为 YOLOv5s_A、YOLOv5s_B、YOLOv5s_C。其中 YOLOv5s_A 是在原有 YOLOv5s 网络基础上增加 CBAM 注意力机制;YOLOv5s_B 是在原有 YOLOv5s 网络基础上将主干网络修改为 ShuffleNetV2。YOLOv5s_C 是在原有YOLOv5s 的基础上将主干网络改为 ShuffleNetV2，并增加 CBAM 注意力机制。YOLOv5_CS 是本文所提模型，此模型是在 YOLOv5s_C 模型基础上缩减 neck 部分的卷积核数量。

　　由表 1、表 2 可知，YOLOv5s_A 模型的 mAP 值相较于原 YOLOv5s 网络上升 2.08%，验证了 CBAM 注意力机制的有效性，CBAM 在空间和通道两个维度上都实施注意力机制，通过强调主要特征，抑制次要特征来对特征层进行权重再分配，从而使网络在反向传播时重点更新关键位置的权重，并能给网络性能带来实质性的提升，对于提升模型检测精度有一定作用。但单张推理时间上升了 1ms,且模型容量相较于原 YOLOv5s 网络提升了 15.7%，模型参数量以及浮点运算量相较于原 YOLOv5s 网络均有所上升。YOLOv5s_B 模型的 mAP 值相较于原 YOLOv5s 网络下降 0.4%，但单张推理时间下降了 2.4ms, 且模型容量相较于原 YOLOv5s 网络下降了 44.2%。模型参数量以及浮点运算量相较于原网络均有所下降。验证了将主干网络改为 ShuffleNetV2 的有效性，ShuffleNetV2 作为主干特征提取网络，利用深度卷积操作以及通道随机混合策略，缩减模型容量，丰富特征信息，提升了模型检测速度，以及降低了模型参数量，使得网络轻量化。YOLOv5s_C 模型的 mAP 值相较于原 YOLOv5s 网络上升 1.83%，单张推理时间下降了 1.6ms, 且模型容量相较于原 YOLOv5s 网络下降了 43.5%。

　　本文所提模型 YOLOv5_CS 的 mAP 值相较于原 YOLOv5s 网络上升 1.7%，单张推理时间下降了 3ms，且模型容量相较于原 YOLOv5s 网络下降了 80%。与 YOLOv5s_C 模型相比，其 mAP 值仅降低了 0.13%，但单张推理时间下降了 1.4ms，说明缩减特征融合层的卷积核没有降低模型学习能力，反而减少了模型参数冗余，提高了模型检测速度。——论文作者：宋敏毓 1，陈力荣 1*，梁建安 1，李晋鹏 1，牛振振 1，王震 1，白丽丽 2

　　本文来源于：《激光与光电子学进展》(月刊)创刊于1964年，由中科院上海光学精密机械研究所和国家惯性约束聚变委员会联合主办。本刊旨在及时报道国内外激光与光电子学领域科技新成果、新概念、新进展、新技术、新应用、新产品，促进国内外学术交流，沟通科研单位、生产部门与用户的联系，促进激光与光电子事业的发展。设有：综述、光纤光学与光通信、几何光学、全息、图像处理、仪器、测量与计量、激光器与激光光学、机器视觉、材料等栏目。

文章名称：轻量化改进网络的实时光纤端面缺陷检测模型

文章地址：http://www.sciqk.com/lwfw/dzlw/13021.html