由于自然果园的非结构化特点，绿色果实的高效检测和分割应用一直是智能农业面临的重要挑战。为此，构建了一种创新的果实分割模型SE-COTR，直接获取目标的分割掩码，实现了准确、快速的绿色果实分割。同时利用多模块之间的协调，确保了果实分割模型的速度和准确性之间的最佳平衡。

2022年12月，Plant Phenomics在线发表了山东师范大学、机械工业设施农业测控技术与装备重点实验室、莱斯特大学、西英格兰大学合作完成的题为SE-COTR: A Novel Fruit Segmentation Model for Green Apples Application in Complex Orchard 的研究论文。

本研究以绿色苹果为研究对象，提出了一种基于深度学习的绿色果实分割方法，来实现绿色苹果的精确实时分割。主要目标是通过保持当前两阶段方法在预测实例方面的能力，避免在分割过程中造成更高的计算复杂度，实现准确和高效的果实分割。创新的果实分割模型具体做出了如下贡献：（1）提出了一种新颖高效的绿色果实分割模型SE-COTR（如图1），采用轻量级网络MobileNetv2进行特征提取，该模型灵活高效，易于插入移动网络。（2）COTR模块被构建来增强对有效特征的关注，并建模全局和语义依赖性，节省大量的计算和内存。（3）采用联合金字塔上采样方法，将FPN各层与COTR的特征融合为统一的掩码特征，用于后续的掩码生成。（4）SE-COTR在复杂性和准确性方面优于先进的模型，对复杂果园环境下绿色苹果的检测和分割具有更强的针对性和有效性。

图1果实分割模型SE-COTR的整体架构

实验结果表明：提出的SE-COTR在GreenApple数据集上能够提升苹果分割精度，效果优于YOLACT、Mask RCNN与MS RCNN等当前流行的深度学习网络，如图2所示。该模型有效地避免了漏检和误检的情况，能够对大、中、小尺度绿色苹果目标进行准确的识别和分割。该方法有效地解决了果实分割模型精度低、模型过于复杂且与背景颜色相近的问题，可在便携式移动设备中构建，在复杂果园中进行精确、高效的农业工作。此外，该算法对复杂多变的自然环境下的果实分割具有足够强的适应性和鲁棒性，以较少的参数和FLOPs实现了精确高效的果实分割。该模型在不同尺度下苹果精确度-召回率曲线如图3所示。

图2与其它先进模型的分割效果比较

图3不同尺度果实精度与召回率的性能评估

山东师范大学计算机技术专业硕士研究生王志芬为论文第一作者，山东师范大学贾伟宽副教授为论文通讯作者。

论文链接：

https://doi.org/10.34133/plantphenomics.0005

——推荐阅读——

BFP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environmenthttps://doi.org/10.34133/2022/‍989246‍4

Plant Phenomics | 基于可平衡特征金字塔网络的小苹果检测模型

SegVeg: Segmenting RGB Images into Green and Senescent Vegetation by Combining Deep and Shallow Methods

https://doi.org/10.34133/2022/9803570

Plant Phenomics | SegVeg通过深度和浅层方法的结合将RGB图像分割成绿色和衰老植被

Plant Phenomics | 计算机图像识别文章合集