疏果是鲜食葡萄生产管理中提高产量和质量的重要生产环节。随着人口老龄化的严重，大型葡萄园疏果亟需设计一种疏果机械代替人工实现重复而繁琐的疏果。作为葡萄疏果机械中的重要组成部分，机器视觉系统能够统计单串葡萄果粒数量并定位需要去除的果粒。随着深度学习的发展，基于深度学习的葡萄果粒检测为葡萄疏果提供了技术支撑。但由于疏果期的葡萄果粒目标较小，相互之间存在密集遮挡，极大地限制了单串葡萄果粒的计数。为了应对单串葡萄果粒计数面临地挑战，为葡萄疏果检测提供决策依据，该研究基于AS-SwinT模型（图1）对单串葡萄果粒实例分割，并采用线性回归模型建立实际果粒与预测果粒之间的关系，进一步提高单串葡萄果粒计数精度。

2023年8月，Plant Phenomics在线发表了山东农业大学刘平教授团队题为Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT 的研究论文。

AS-SwinT以Swin Transformer做为骨干网络，提取葡萄果粒的丰富特征。在颈部网络中引入自适应特征融合ASFF，以充分保留底层特征，提高小果粒的检测能力。统计分析每个果粒的大小，优化锚框尺寸以提高葡萄果粒的定位精度，使用Soft-NMS过滤候选框，减少密集遮挡果粒的漏检，进而提高葡萄串中葡萄果粒的检测精度。

图1  AS-SwinT网络结构。

该研究分析了不同模块对AS-SwinT的分割精度与检测精度的影响，研究了不同骨干网络对该模型的实例分割效果的影响，确定了最佳检测模型。对比了4种实例分割模型（AS-SwinT、Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN）在两种数据集（自然背景数据集与人工背景数据集）下的检测与分割精度，显示了该模型的优势。并将在人工数据集下训练的权重作为自然数据集训练权重进行迁移学习，实验可知，AS-SwinT在迁移学习下可以达到65.7APᵇᵒᕽ，95.0AP₀.₅ᵇᵒᕽ，57.0APₛᵇᵒᕽ，62.8APᵐᵃˢᵏ，94.3AP₀.₅ᵐᵃˢᵏ，48APₛᵐᵃˢᵏ，明显优于Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN。在该模型的果粒计数与真实计数的误差方面（图2），该模型的RMSE和R2分别为7.13和0.95，其线性回归结果与人工背景下的模型训练数据集的结果相当。因此，该模型对自然环境中的单串葡萄果粒的实例分割具有较强的鲁棒性。

图2 自然背景下不同模型的线性回归对比。（A）Mask R-CNN （B）Mask Scoring R-CNN （C）Cascade Mask R-CNN （D）AS-SwinT

山东农业大学刘平教授为通讯作者，研究方向为作物表型解析和智慧农机装备关键技术。山东农业大学博士研究生杜文圣为第一作者，该论文获得山东省重点研发计划项目的资助。

论文链接：

https://spj.science.org/doi/10.34133/plantphenomics.0‍085

——推荐阅读——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型图像信息与反向神经网络预测温室葡萄成熟度

Global Wheat Head Detection Challenges: Winning Models and Application for Head Counting

https://doi.org/10.34133/plantphenomics.0059

Plant Phenomics | 全球小麦穗检测挑战:获胜模型及其在穗计数中的应用