植物表型检测在了解和研究植物生物学、农业和生态学中起着至关重要的作用。通过对植物的各种物理性状和特性的量化和分析，如株高、叶片形状、数量和生长轨迹等的精确检测，研究人员可以深入了解植物的生长发育、抗逆性以及环境因素的影响，对作物育种具有重要意义。

2024年7月，Plant Phenomics 在线发表了来自中国农业科学院深圳农业基因组研究所和太原理工大学合作完成的题为Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 的论文。

随着计算机视觉技术和人工智能的快速发展，利用田间玉米图像对植物相关信息进行高通量表型分析，可以大大消除重复劳动，提高植物育种效率。然而，由于田间环境中作物的背景复杂，遮挡问题严重，将深度学习方法应用于室外田间环境，确定田间玉米叶片数量并识别叶脉生长轨迹仍然存在一定的困难。为应对这一挑战，本文基于Mask-RCNN网络提出了一种自上而下的关键点检测模型——Point-Line Net，用于田间玉米叶脉生长轨迹表型检测任务。

数据集来自中国农业科学院深圳农业基因组研究所，本文选取了其中使用手持相机拍摄的部分数据集，包含9802张高分辨率RGB图像和对应的点线标注文件。

图1玉米数据集的4个拍摄角度3个生长时期图像:(A)早期、(B)中期和(C)后期。

针对数据集中待检测目标的表型特征，算法模型分别在自上而下的两个阶段做出了以下的改进：首先，为了更好地适应不同尺度物体的检测需求，融合多尺度的特征信息，使用特征金字塔结构（Feature pyramid network,FPN）结合更深层次的ResNet101作为目标检测阶段的特征提取网络；其次，考虑到数据集中目标严重遮挡导致漏检或者重复检测的问题，本文将D_IoU计算策略与Soft-NMS算法融合，替代了传统的IoU+NMS筛选算法；最后在关键点检测阶段，本文提出了轻量级的关键点检测分支，即针对每个目标使用单一的热力图来推理目标的关键点坐标，用于拟合叶脉的生长轨迹。

图2基于Mask R-CNN网络的Point-Line Net模型:在目标检测分支中，模型负责推理目标的位置及其类别；在关键点检测分支中，结合目标检测结果对关键点的热图进行模型推理。

另外，鉴于任务中特殊的关键点准确率评估需求，即关注预测关键点是否位于“关键路径”（本文指叶脉或者茎脉）上，本文提出了一个新的验证指标——mean Line Distance(mLD)，通过反复的理论推导与实验验证了该评价指标的有效性，为后续相关研究提供了参考。

最终，模型的目标检测准确率（mAP50%）达到了81.5%，在自定义的距离验证指标mLD上达到了33.5，实现了对田间玉米表型图像中叶片和茎秆数量以及生长轨迹的有效识别。

图3 Point-Line Net在各种场景下的预测结果:(A)原始RGB图像；(B) Labelme工具转换的地面真实值；(C)预测边界框（红色框代表识别出的的根茎类别，白色框代表识别出的的叶片类别）；(D)预测关键点。

该研究由中国农业科学院深圳农业基因组研究所、太原理工大学合作完成。太原理工大学联合培养学生刘秉文为该文第一作者，阮珏研究员和李灯熬教授为该文通讯作者。本文的研究受到了国家重点研发计划（2022YFC3400300、2019YFA0707003）等项目支持。

作者及团队介绍

阮珏，研究员，博士生导师，农业基因组学技术研发与应用创新团队首席科学家。课题组主要从事组学算法研发：1）开发快速精准的序列比对与组装算法开发；2）开发高效的图基因组构建与分析流程；3）制备图像表型标准数据集，搭建共享平台，开发植物表型图像识别算法；4）开发具有高纠错能力的DNA数字存储算法；5）拓展测序方法研发：如低频突变检测，宏基因组测序等；6）在组学算法研发的基础上，进一步开展生物信息学研究，为组学算法的深入利用提供支撑。

论文链接：

‍https://doi.org/10.34133/plantphenomics.0199‍

——推荐阅读——

Three-dimensional modelling of maize canopies based on computational intelligence

https://doi/10.34133/plantphenomics.0160

Plant Phenomics | 安徽大学联合北京市农林科学院信息技术研究中心提出了基于计算智能的玉米冠层三维建模方法

Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images

https://doi/10.34133/plantphenomics.0046

Plant Phenomics 精选2023 | 基于RGB图像的基因型×环境型×管理相互作用下的玉米叶片方向变化分析

加入作者交流群