产量和品质是小麦生产中最重要的两个指标。氮肥的过量施用在促进小麦稳产高产的同时造成了小麦品质“强筋不强，弱筋不弱”等问题。收获前的小麦产量和蛋白质含量预测是解决这种产质不协调问题有效途径。近端遥感技术的发展为高效精确的产量/籽粒蛋白质含量（GPC）预测带来了新机遇。但是，如何能够有效地融合近端、多源和长时序数据，实现高精度、高效率的产量和蛋白质同步预测，仍充满挑战。

近日，Plant Phenomics在线发表了南京农业大学前沿交叉研究院金时超课题组联合农学院姜东课题组合作完成的题为Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing的研究论文。

该研究利用田间轨道式高通量表型分析平台（图1a），收集了小麦全生育期逐日的多光谱和激光雷达数据，主要目的包括：1）探讨多源数据融合、多任务学习和不同时序特征提取的深度学习模块对产量和GPC模型预测精度的影响；2）提出一个新的双输入双输出深度学习模型，耦合了数据融合、多任务学习和最优特征提取模块（注意力机制模块）等策略；3）可视化了注意力机制模块的时间通道注意层，解释了生育时期对模型预测精度的贡献。

图1整体流程

基于模型输入和输出的变量个数，本文提出了4种模型结构：单输入单输出模型（图2a）、单输入双输出模型（图2b）、双输入单输出模型（图2c）和双输入双输出模型（图2d）。

图2模型结构

主要结果如下：

（1）单输入单输出模型的产量和GPC预测性能

选用代表性结构性状和光谱性状各4个，利用单输入单输出模型，验证了GNDVI在光谱性状中表现最优，而Hmean在结构性状中表现最优（图3）。

图3不同性状在单输入单输出模型中对产量和GPC的预测精度

（2）数据融合和多任务学习对模型性能的影响

利用双输入单输出模型，实现了最优光谱性状和结构性状的数据融合，结果表明，数据融合有利于显著提升模型预测精度（图4(b)(e)）；利用单输入双输出模型，实现了产量和GPC同步预测，结果表明，多任务学习可以在几乎不损失模型预测精度情况下实现产量和品质同步预测（图4(c)(f)）。

图4预测值和真实值的相关性。

(a)-(c) 单输入单输出、双输入单输出、单输入双输出模型的产量预测结果; (d)-(f) 单输入单输出、双输入单输出、单输入双输出模型的GPC预测结果

（3）不同特征提取模块对预测性能的影响及注意力机制的可解释性

基于上述多源数据融合对模型精度的改进和多任务学习对效率的提升，构建了双输入双输出模型。鉴于时间序列特征提取的特殊性，对比了FC、RNN、LSTM、1D CNN和注意力机制等特征提取模块对双输入双输出模型精度的影响。结果表明，注意力机制模块表现出最优异的模型预测性能。通过可视化注意力机制模块的时间通道注意层发现，结构性状和光谱性状的时间重要性模式不一致：光谱性状每日注意力权重分布较为平均；而结构性状注意力权重在初始灌浆期和成熟期出现峰值。但是，结构和光谱性状均表现出花后阶段重要性大于花前阶段的趋势（图5）。

图5GNDVI和Hmean每日注意力权重分布

本研究针对小麦产质协调问题，提出了一种新的双输入双输出深度学习模型范式，该模型以数据融合和注意力特征提取模块保证模型预测精度，以双输出的多任务学习实现产质同步预测目标。研究成果有助于提高深度学习在产质预测中的应用，促进实现精准管理、变量收获等智慧农业生产目标。

https://doi.org/10.34133/2022/9757948

推荐阅读

Plant Phenomics专刊征稿 | 面向时间序列表型的近端感知和图像分析前沿

Plant Phenomics 专刊发布会 | 面向时间序列表型的近端感知和图像分析前沿

Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods

https://doi.org/10.34133/2021/9846158

Plant Phenomics | GWHD_2021：改进后的全球麦穗检测数据集

Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud

https://doi.org/10.34133/2021/9838929

Plant Phenomics | Panicle-3D：水稻穗点云精确语义分割的高效表型工具