开发冬枣采摘机器人对于实现冬枣机械化采收至关重要，而机器人采摘冬枣的过程也面临着诸多挑战，如冬枣常成簇生长，数量众多；冬枣体积较小，且经常被枝干和叶片遮挡，这些因素都会影响机器人对冬枣的识别精度。因此，准确地检测和定位冬枣是实现机器人采摘的一项关键技术。

2024年9月，Plant Phenomics在线发表了浙江农林大学单位等合作发表的题为MLG-YOLO: A Model for Real-Time Accurate Detection and Localization of Winter Jujube in Complex Structured Orchard Environments的研究论文。

本研究提出了一种基于MLG-YOLO模型的冬枣检测与定位方法。首先，构建了一个涵盖不同光照条件和叶片遮挡场景的冬枣数据集来训练模型。随后，以YOLOv8n为基线模型，进行了以下主要改进：使用MobileVit重构主干网络以降低模型重量。在颈部中引入LSKblock以获取更广泛的上下文信息，采用轻量级卷积技术GSConv以提高检测精度。最后，提出了一种结合MLG-YOLO和RGB-D相机的冬枣三维定位方法。通过消融实验，对比实验以及三维定位误差实验，验证了MLG-YOLO模型在冬枣检测和定位方面的性能。实验结果表明，与基线模型YOLOv8n相比，MLG-YOLO的均值平均精度提高了3.50%，参数量减少了61.03%。与Faster RCNN，SSD，RT-DETR-L和YOLOv7-tiny等主流目标检测模型相比，MLG-YOLO在检测精度和模型尺寸方面均表现最佳，其精确率为86.80%，召回率为84.50%，均值平均精度为92.70%，模型大小仅为2.52 MB，在保持高检测精度的同时实现了模型的轻量化。这一方法能够实现冬枣的精确检测与定位，为冬枣采摘机器人提供技术支持。

本文创新点如下：

(1) 提出了轻量化的冬枣目标检测模型MLG-YOLO，使用MobileVit重构YOLOv8n的主干网络，降低了计算的复杂度，使模型更加轻量化。

(2) 在YOLOv8n的颈部中引入LSKblock和GSConv模块。其中，LSKblock通过其空间选择机制和大核心的动态调整，可以有效的处理目标检测中不同空间位置的上下文。GSConv模块通过混合操作以简化特征融合。通过两种模块的结合，以提高模型对冬枣小目标的检测精度。

(3) 提出一种结合MLG-YOLO与RGB-D相机的冬枣三维定位方法，并设计实验对定位误差进行评估。结果表明，该方法能满足机器人采摘系统准确检测与定位冬枣的要求。

图1 MLG-YOLO模型架构

图2 机器人采摘系统检测与定位冬枣流程

该研究由浙江农林大学、西北农林科技大学、日本筑波大学、荷兰格罗宁根大学合作完成。浙江农林大学俞晨浩为该论文第一作者，胡耀华教授为该论文通讯作者。浙江农林大学硕士生施潇逸、罗文凯、冯俊哲，西北农林科技大学在读博士郑洲洲，日本筑波大学Ayanori Yorozu博士，荷兰格罗宁根大学郭佳盼博士参与了研究工作。研究得到浙江农林大学人才启动项目、国家自然科学基金面上项目和国家留学基金委项目的资助。

论文链接：

https://doi.org/10.34133/plantphenomics.0258

——推荐阅读——

SCAG: A stratified, clustered, and growing-based algorithm for soybean branch angle extraction and ideal plant architecture evaluation

https://doi.org/10.34133/plantphenomics.0190

Plant Phenomics | 南京农业大学基于点云的大豆分枝夹角提取算法开发与耐密植株型新性状发掘

A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging 

‍https://doi.org/10.34133/plantphenomics.0146‍

Plant Phenomics | 东京大学利用高光谱图像预测番茄叶片中元素含量的多目标回归方法

加入作者交流群