引用格式：陈占琦, 张玉安, 王文志, 李丹, 何杰, 宋仁德. 基于迁移学习的多尺度特征融合牦牛脸部识别算法[J]. 智慧农业(中英文), 2022, 4(2): 77-85.
CHEN Zhanqi, ZHANG Yuan, WANG Wenzhi, LI Dan, HE Jie, SONG Rende. Multiscale feature fusion yak face recognition algorithm based on transfer learning[J]. Smart Agriculture, 2022, 4(2): 77-85.
点击直达知网阅读
点击直达官网阅读（全文，免费）
基于迁移学习的多尺度特征融合牦牛脸部识别算法
陈占琦1， 张玉安1*， 王文志1， 李丹1， 何杰1， 宋仁德2
（1.青海大学 计算机技术与应用系，青海西宁 810016；2.青海省玉树州动物疫病预防控制中心，青海玉树 815000）
1
研究目的
牦牛是青藏高原最重要的畜种，为青藏高原当地牧民提供着衣、食、住、行等最基本的生产和生活资料，对保护高寒草地生态系统、增加牧民收入和提高生活水平起到了不可替代的作用。其个体身份标识是个体建档、行为监测、精准饲喂、疫病防控及食品溯源的前提。目前中小规模养殖户牲畜识别的主要方法是打耳标、颜色标记、热铁烙印等传统方法。耳标通过穿孔的方式安装在动物的耳朵上，会有细菌感染的风险，相互摩擦也会导致标签丢失。传统接触式识别技术不能为识别过程提供持久的保障。针对牦牛产业养殖技术现代化与精准化中个体识别技术应用需求，本研究提出一种基于迁移学习的多尺度特征融合牦牛脸部识别算法。2
研究方法
2.1 数据采集与预处理
数据采集地点为青海省玉树藏族自治州，数据集中包含194头牦牛脸部信息。在试验过程中将每头牦牛视为一个类别。对每一头牦牛拍摄大约 2 min 时长的视频，并将每一段视频转换成图像帧。部分数据集如图1所示。
图1牦牛脸部识别部分数据集Fig. 1 Part of the yak facial recognition data set为避免视频中连续帧之间相似性过高，使用 结 构 相 似 性 （Structural Similarity，SSIM）算法进行处理，筛选淘汰掉相似度较高的图像。为平衡各类别样本间的分布，增强模型的鲁棒性，对数据集中样本数量较少的类别采用数据增强扩充策略。2.2 方法构建
基于卷积神经网络（CNN）的迁移学习能够把数据量充足的源域所学到知识迁移到数据体量较小的目标领域，提升目标领域任务的学习效果。本研究以VGG16网络的迁移学习为基本架构，在此基础上增加并行的空洞卷积模块和改进的特征金字塔结构完成试验。为扩大感受野，增强网络的提取特征能力。建立并行的空洞卷积模块，称其为P_DConv（Parallel Dilated Convolution）。如图2所示。输入的特征层通过1×1卷积降低通道数，经过3个不同空洞率的空洞卷积后将特征进行融合，组合Shortcut结构输出特征图。图2并行空洞卷积结构Fig. 2Structure of parallel dilated convolution特征金字塔网络通过提取不同层的特征图，将高层与底层的信息融合形成多维度增强的特征。常见的特征金字塔结构如图3所示。图3 常见特征金字塔结构Fig. 3 Feature pyramid structures that have been proposed参考以上提出的结构，构建本研究的特征金字塔结构（图4）。F3至F6为特征提取网络输出的特征层，蓝色节点的执行顺序为P65、P54、P43、P53、P64、P。图4 本研究构建的特征金字塔Fig. 4 The constructed feature pyramid将上述提出的并行空洞卷积和改进的特征金字塔结构与基于迁移学习的VGG16网络组合形成最终模型T-M-VGG（Transfer Learning-Multiscale Feature Fusion-VGG），如图5所示。图5T-M-VGG结构Fig. 5 Structure of T-M-VGG首先获取VGG16网络第三、第四和第五个卷积层输出的特征图F3、F4、F5，将F3、F5分别送入并行的空洞卷积模块P_DConv中。其次将P3、P4、P5、P6送入特征金字塔进行特征融合，P6由P5最大池化生成。最后把融合后的特征送入分类器输出结果。3
研究结果与结论
3.1 试验参数设置
本研究的迁移学习实现方式为冻结预训练模型的全部卷积层，只训练自定义的全连接层，同时将全连接层更换为全局平均池化层。为更好地验证所提结构的有效性，采取对比试验形式，对比对象包括CNN结构、VGG16、MobileNetV3（包括Large和Small两个版本）、InceptionV3和人脸识别FaceNet结构（InceptionResNetV2）以及采用预训练的基于迁移学习VGG16方法，其中基于迁移学习的VGG16记为Tr-L-VGG16，MobileNetV3（Large）记为Mb-Net-L，MobileNetV3（Small）记为Mb-Net-S。为防止模型训练发生过拟合，试验过程中所有方法采用早停机制，监控器为验证集的准确率val_acc；容忍因子min_delta=0.001；容忍步长patience=3。试验采取控制变量的方法，比对各个网络结构的性能，试验方案参数设置如表1所示。
表1 试验方案参数设置Table 1 Parameters setting of experimental schemes
注：将大小为256 px×256 px的数据集经过resize后得到128 px×128 px形式。图像训练形式中3代表RGB图像，1代表单通道图像。方案中VGG16、Mb-Net-L、Mb-Net-S、InceptionV3和FaceNet算法用ImageNet预训练模型参数初始化
3.2 试验结果与结论
为使得模型评价角度多元化，将模型大小、可训练参数量作为辅助评价指标，结果见表2所示。
表2 不同试验方案的性能指标对照Table 2 Comparison of performance indicators of different experiments
早停机制使各个模型的训练及验证过程不同。图6和图7分别为不同试验方案在验证集生成的准确率和损失值结果。图例中T-M-VGG（train）表示经过训练集产生的结果；T-M-VGG（val）表示经过验证集产生的结果。
图 6 不同试验方案的准确率Fig.6 Accuracy of different experiments图 7 不同试验方案的损失值Fig.7 Loss value of different experiments为更好地检验所提模型的鲁棒性，从数据集中随机选取12张图像，对其部分区域进行遮挡操作生成伪图，将伪图送入T-M-VGG模型预测得到效果图，可视化结果如图8所示。图8T-M-VGG识别效果可视化Fig.8 The recognition results of T-M-VGG for occlusion test从标签号为1、42、49、76、83、161、168、 172、192 效果图可知，在遮挡牦牛非面部区域 （身体，耳标，背景）的情况下，只有标签号76被预测为73，说明模型经过训练学习到的主要是 面部特征，而非环境特征；从标签号为 75、78 效果图了解到，即使遮挡少部分脸部区域（非重要特征区域），模型仍然能够预测准确，但观察标签号为 180的效果图，由于改变其面部明显特征，导致预测结果错误，这属于模型的正常表现。在12个类别中共有10个类别被T-M-VGG预测正确，准确率为83.33%。本研究先后建立了并行的空洞卷积模块和改进的特征金字塔结构，结合迁移学习思想进行整合从而实现牦牛脸部识别算法，主要结论如下。（1）提出的T-M-VGG模型在194头牦牛数据集中识别准确率为96.01%，模型大小为70.75 MB。（2）在本研究构建数据集上通过和其他方法对比验证，说明了多尺度融合和迁移学习结合在牦牛面部识别过程中的优越性。模型还存在不足之处，下一步工作将致力于以下几个问题的研究：（1）继续增加牦牛类别数量，扩大分类样本，对面部特征极为相似的牦牛识别进一步优化，提升模型的性能；（2）探究牦牛生长周期中体征变化对识别的影响。
通讯作者简介
张玉安 教授
工学博士，青海大学计算机技术与应用系教授。主要研究方向为进化算法、智慧畜牧业。中国计算机学会、中国人工智能学会会员，发表学术论文40余篇、软件著作权7项、参编著作两部，主持完成国家自然基金1项，主持或完成省部级科研项目3项。2011年被国家留学基金委评为国家优秀自费留学生；2017年获批国家留学基金委西部地区人才培养特别项目；2019年获批青海省省级骨干教师；2021年入选青海省“高端创新人才千人计划”。来源：《智慧农业（中英文）》2022年第2期转载请联系编辑部授权
信息发布
科研团队介绍及招聘信息、学术会议及相关活动的宣传推广
