温室内果蔬生长过程的在线监测是设施智能化生产的重要组成部分。然而，受设施环境下种植密度高、基础设施遮挡和光线变化等复杂影响，以机器视觉为代表的AI技术无法对种植植株实现快速有效的评估，成为落地应用难点。

2024年4月，Plant Phenomics在线发表了加拿大麦吉尔大学和江苏省农科院合作完成的题为Toward Real Scenery: A Lightweight Tomato Growth Inspection Algorithm for Leaf Disease Detection and Fruit Counting的研究论文。

本研究提出了一种可以同时集成番茄叶片监测和果实跟踪计数的算法，能够部署在巡检机器人实现植株生长的连续监测。在这项研究中，研究人员首先采用带有智能手机摄像头的自主运动机器人来收集现实世界中温室中叶病和果实的图像。然后，通过整合 Ghost 和 CBAM 模块改进了深度学习网络 YOLO-TGI，该模块与 YOLOX 和 NanoDet 等顶级轻量级检测模型一起进行了训练和测试，用于评估叶子健康状况。

Fig. 1. The image acquisition process in a tomato field.

为了解决实时检测时叶片对于果实的遮挡和果实追踪的遗漏问题，论文改进了目标检测和重新追踪识别的策略。具体的是，添加CBAM模块赋予YOLO-TGI网络自主聚焦和放大相关特征的能力。这种注意力驱动的方法提高了网络识别和优先考虑目标关键方面的能力，即使在有障碍物的复杂视觉环境中也是如此。自适应机制使YOLO-TGI能够突出部分遮挡物体的关键特征，从而有效解决部分被树叶遮挡的场景下的果实检测问题。另外，为了与各种基础检测器级联，作者集成了最先进的跟踪器，例如 Byte-Track、Motpy 和 FairMot，以实现视频流中的水果计数。

Fig. 6. Scattering plot of predictions and ground truth for various detector-trackers and instances of tracking failures.

本研究展示了最新的基础检测算法和追踪算法集成后在真实世界的温室种植场景的应用潜力。作者提供了部分源码，使得该类集成框架能够推广到广泛种植的水果和蔬菜（如苹果、橙子、葡萄和草莓）的类似监测任务中。

论文链接：

https://doi.org/10.34133/plantphenomics.0174

——推荐阅读——

A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging 

https://doi.org/10.34133/plantphenomics.0146‍

Plant Phenomics | 东京大学利用高光谱图像预测番茄叶片中元素含量的多目标回归方法

Mitigating Illumination-, Leaf-, and View-Angle Dependencies in Hyperspectral Imaging Using Polarimetry 

https://doi.org/10.34133/plantphenomics.0157

Plant Phenomics | 利用偏振测量法减轻高光谱成像中的光照、叶片和视角依赖性

加入作者交流群