干豆作为一种重要的粮食作物，在全球营养、可持续农业、气候变化缓解、粮食安全中扮演着关键角色。为了培育出高产、具有理想农艺和品质特征、抗病、适宜成熟期的干豆品种，育种项目需要对大量的育种品种进行评估和选择。传统的田间植物成熟度、植株密度和作物高度的测量方法依赖于人工跟踪和测量，这些方法主观、耗时、劳动强度大且成本高。随着无人机技术和图像处理技术的发展，利用无人机搭载的RGB摄像头进行高通量表型分析成为了可能。这种方法能够快速、准确地获取植物的多种表型特征，为育种者提供了一种加速育种进程、降低成本的新工具。

2024年11月，Plant Phenomics在线发表了美国Michigan State University题为Drone-Based Digital Phenotyping to Evaluating Relative Maturity, Stand Count, and Plant Height in Dry Beans (Phaseolus vulgaris L.) 的研究论文。

研究利用无人机搭载的RGB摄像头和深度学习技术对干豆的相对成熟度（RM）、植株数量（SC）和植株高度（PH）进行数字化表型分析。研究通过结合卷积神经网络（CNN）和长短期记忆网络（LSTM）模型，探索了无人机图像时间序列在评估干豆成熟度方面的应用，并考察了飞行频率、图像分辨率和数据增强技术对模型性能的影响。

图1研究中用于相对成熟度（RM）、植株高度（PH）和植株数量（SC）估算的高通量表型流程的示意图

首先，研究人员利用无人机图像时间序列，结合卷积神经网络（CNN）和长短期记忆网络（LSTM）模型来估算干豆的相对成熟度（图1)。这种方法能够学习图像的深层特征，并捕捉时间序列数据的序列行为，从而预测每个地块的成熟度。此外，还探讨了飞行频率、图像分辨率和数据增强技术对深度学习模型性能的影响。为了提高模型在特定环境压力下的表现，他们还尝试将生长度日（GDD）数据纳入模型中。对于早期植株数量的评估，研究人员评估了Faster RCNN目标检测算法的有效性。通过这些方法，能够有效地识别出早期生长阶段的干豆植株，并在不同飞行高度下保持准确性和一致性。

图2 模型在4个评估指标下的性能比较

然后，研究针对两种干豆品种进行了相对成熟度（RM）、植株数量（SC）和植株高度（PH）的数据收集工作。研究使用DJI Phantom 4 Pro v2无人机在植物生长的不同阶段执行飞行任务，以收集用于SC分析和RM评估的图像数据。为了最小化阴影对图像的影响，飞行任务被安排在太阳正午前后的1小时内进行。此外，研究人员在田间布置了永久性地面控制点（GCPs），以确保图像具有精确的地理参照。通过Pix4D Mapper软件处理这些图像，生成了正射影像图和数字表面模型（DSM），随后利用QGIS软件和R软件创建了地块边界的矢量图形。这些数据被用来裁剪出每个地块的图像，并与相应的地面真实数据结合，用于模型的训练和验证过程(图2)。

最后，研究对所开发的深度学习模型进行了性能评估，使用平均绝对误差（MAE）和均方误差（MSE）来衡量模型在预测RM时的表现，并与传统的图像预处理方法进行了比较。结果表明CNN-LSTM模型在多种条件下预测RM的准确性方面优于传统方法。此外，研究还发现，将GDD数据纳入模型可以提高特定环境压力下的性能。对于SC的估算，Faster R-CNN模型在不同飞行高度下都能有效地识别出早期生长阶段的干豆植株，其准确性优于传统方法。这项研究解决了高通量表型分析中的关键问题，使育种者能够做出更精确的决策，降低实验成本，并加速新品种的推广。

源代码链接：

https://github.com/msudrybeanbreeding

论文链接：

https://doi.org/10.34133/‍plantphenomics.0278‍

——推荐阅读——

High-Throughput Phenotyping of Soybean Biomass: Conventional Trait Estimation and Novel Latent Feature Extraction Using UAV Remote Sensing and Deep Learning Models

https://doi.org/10.34133/plantphenomics.0244

Plant Phenomics | 基于无人机遥感与深度学习模型的大豆生物量高通量表型分析：传统性状估算与新型潜在特征提取

IHUP: An Integrated High-Throughput Universal Phenotyping Software Platform to Accelerate Unmanned-Aerial-Vehicle-Based Field Plant Phenotypic Data Extraction and Analysis

https://doi.org/10.34133/plantphenomics.0164

Plant Phenomics | 华中农业大学开发了基于无人机平台的大田作物表型数据提取和分析平台

加入作者交流群