深度学习在具有大规模注释数据集的领域显示出了潜力。深度学习模型在各种计算机视觉任务中显示出了很好的结果，包括物体识别，物体检测，实例分割和语义分割。深度学习有可能应用于作物图像，为植物育种和精准农业提供信息，以提高作物生产的质量和数量。基于图像的几种重要植物性状，如器官大小、器官健康以及对生物和非生物胁迫的响应，都需要对植物器官进行细粒度语义分割。与一般物体分割不同，植物表型分析任务涉及到密集的、重叠的且高度自相似的实例分割。在这种应用中，图像通常包含许多重复的不规则模式，例如植物的顶端、水果、花或叶子（图1）。因此，作物图像中的语义分割仍然是一个巨大的挑战。手动注释昂贵、耗时且繁琐，对于对象实例密集不规则模式的图像，像素级注释的语义分割成本特别高。

图1植物表型任务涉及分割高度自相似的密集包装和重叠实例

2023年1月，Plant Phenomics在线发表了加拿大University of Saskatchewan联合University of Calgary等单位题为Semi-Self-Supervised Learning for Semantic Segmentation in Images with Dense Patterns 的研究论文。

本文提出了一种图像合成和模型训练流程，利用少量手动标注数据来开发高性能的语义分割深度学习模型。该方法利用一段麦田的短视频剪辑、几个有注释的图像和几个没有小麦的背景场景的短视频剪辑来合成大规模的计算机注释数据集。这些图像用于以下两个步骤合成计算机注释的数据集（图2）。步骤一：选择两个不同的麦田图像wt和wv，分别合成训练集和验证集。步骤二：合成注释数据集St和Sv。

图2 注释图像合成注释数据集

然后，使用合成的图像训练定制的U-Net模型用于小麦穗部分割，使用定制的U-Net模型架构，并在ImageNet数据集上预训练了EfficientNet B4编码器。最后，当模型应用于分布与其开发所使用的数据分布不同的数据集时，模型的性能会下降。这种数据分布的变化被称为分布偏移或域偏移。由于合成数据集St和Sv中的图像与真实图像存在域偏移，因此需要进行域自适应来提高模型性能。在本研究中，采用三个域自适应步骤逐步微调模型，每个步骤都会生成一个新模型，分别标记为D，P和G（图3）。

图3模型开发过程的总结（定制的U-Net模型架构，所有实验都使用了EfficientNet B4编码器）

在本研究中，仅使用两张带注释的图像，在内部测试集中获得了0.89的Dice分数。在从五个国家的18个不同领域收集的不同外部数据集上进行进一步评估时，该模型的Dice得分为0.73。为了将模型暴露在不同生长阶段和环境条件下的图像中，从18个域中每个域合并了两张注释图像，以进一步微调模型。这将Dice分数提高到0.91。结果强调了在没有大型注释数据集的情况下所提出的方法的实用性。

本研究通过合成一个大规模计算注释数据集，并应用三个域适应步骤来解决与域转移相关的挑战，为麦穗语义分割任务引入了半自监督方法。该方法利用麦田和背景植被的短视频片段，便于模型建立的数据收集。此外，由于所提出的模型只使用少量手动注释的图像，因此避免了对大型数据集的手动注释，使得模型的开发速度更快，成本更低。虽然，本研究展示了所提出的麦穗分割方法的实用性，但它也可以应用于具有类似密集重复对象模式的其他应用，例如分割其他作物物种的植物器官，或分割显微镜图像中的分子成分。这种方法也可以扩展到不可计数的模式，如估计叶面积或冠层覆盖度。

数据和图像合成代码链接：

https://www.cs.usask.ca/ftp/pub/whs/

https://github.com/KeyhanNajafian/ImageSimulatorPipeline

论文链接：

https://doi.org/10.34133/plantphenomics.0025

——推荐阅读——

From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection

https://doi.org/10.34133/plantphenomics.0017

Plant Phenomics | 从原型到推理：深度学习在高粱穗部检测中的应用

Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methodshttps://doi.org/10.34133/2021/9846158

Plant Phenomics | GWHD_2021：改进后的全球麦穗检测数据集

加入作者交流群