对作物结构和生化性状进行无损和及时的监测对于评估植物的生理和物候状态以及进一步了解其随时间推移的功能非常重要。因此有必要对绿色以及衰老植被进行分类。先前的研究指出，可以通过阈值与植被指标方法，机器学习分类方法，对背景-植被，植被衰老部分-植被健康部分分类。先前的阈值与植被指标方法包括，使用植被分数（VF），对背景像素与植被像素进行划分；使用绿色分数（GF）可以计算单位水平地面面积的绿色植被元素面积；衰老指数（SF）通过计算VF和GF之间的区别描述作物功能，突出了衰老部分部分（非光合部分）的差异，可以表征生物或非生物胁迫，描述养分循环，并监测衰老过程。先前的机器学习方法通过原始图像通道信息，计算并提取多种光谱指数与色彩空间变换信息，标注后作为机器学习分类器模型的输入进行计算。当前观测平台有多个尺度，包过卫星遥感、无人机遥感、车载传感器、吊舱和手持平台。

2022年11月，Plant Phenomics在线发表了法国国家农业食品与环境研究院等单位题为SegVeg: Segmenting RGB Images into Green and Senescent Vegetation by Combining Deep and Shallow Methods 的研究论文。

作者分析，先前方法存在的问题在于：

（一）混杂效应：根据照明条件和相机光学元件的质量，由于色差，部分土壤可能呈现绿色。此外，图像中饱和、具有强烈镜面反射或非常暗的部分将难以仅使用像素的颜色进行分类。最后，当土壤含有藻类时，土壤也可能呈绿色。

（二）颜色的连续性：在细胞尺度上，衰老是由通常在细胞死亡之前发生的色素降解引起的。在叶片降解过程中，叶片色素成分的变化，导致RGB图像中的叶片颜色色彩范围在“绿色”和“衰老”状态之间具有连续性。此外，当像素位于器官的边界时，其颜色将介于器官和背景之间。当RGB图像的空间分辨率过于粗糙时，这个问题明显增强。

仅使用像素的颜色信息很难准确而稳健地分割RGB图像的绿色植被部分。同样的限制也适用于衰老植被部分的分割。因此本文作者Mario Serouart提出使用SegVeg的两步语义分割方法，该方法首先使用U-net 2C对植被和背景进行分割，接下来使用SVM对植物绿色部分和衰老部分进行分割。并且使用U-net 3C做分割性能的对比。

数据集：

数据集1：数据集1的图像是用几台配备不同焦距光学元件，和距地面不同高度不同的相机采集的。所有模糊的图像或质量差的图像都被。然后将原始图像分成几个方形的像素块以保持足够的上下文特征。共提取了2015个图块，数据及具有很大的多样性。地面采样距离 （GSD） 范围在 0.3 到 2 毫米之间，以捕获足够的细节。

每个原始图像都被仔细分割成植被（绿色和衰老组合）和背景像素。

Figure1数据集1中从八个子数据集中提取的512×512像素图像样本

Table1构成最终数据集的子数据集的特征

数据集2：数据集2仅由带注释的像素组成。

该数据集用于训练和测试SegVeg方法的SVM阶段。添加背景像素后，它还用于评估SegVeg和U-nets（2C和3C）的性能。

Figure2数据集2三个独立数据集所使用的采集系统，以及它们各自从三个系统中提取的图像

Table 2数据集2的测量参数

Table3数据集划分

SegVeg模型结构：

SegVeg第一阶段使用U-net 2C在背景中提取植被像素，接下来使用SVM方法对作物绿色部分和衰老部分进行分类。第一阶段可以准确的从图像中提取植被像素信息，第二阶段对比U-net 3C模型可以降低标注工作量。模型结构如下图所示。

Figure 3 SegVeg结构的输入和输出示意图

研究结果：

作者首先使用U-net 2C在背景中提取植被像素（SegVeg第一阶段），结果如下。

Table 4 模型在测试数据集上对植被和背景像素的分类性能

接下来执行SVM方法分割绿色与枯萎的像素（SegVeg第二阶段），并与仅使用SVM方法进行对比，结果如下。

Table5仅用SVM分类法和使用完整的SegVeg方法在三个子数据集中的性能评价

接下来作者对比了SegVeg模型与U-net 3C的性能，结果如下。

Table6U-net 3C模型的性能和Similitude对SegVeg模型的评价

最后，作者在讨论部分指出：

1. 眼睛灵敏度的差异会影响对颜色的感知。并且，衰老的第一阶段也可能在操作员的标签之间产生差异，因为观察到的黄色和红色与颜色空间中的绿色连续。作者通过雇佣多个标注员，并创建了一个的35^3个体素的3D RGB 包含立方体解决。

2. 应增加其他色彩空间参数作为SVM模型的输入，相机采集的原始信息提供的RGB色彩空间不足以区分，。

3. 光照条件会影响分割性能。在高亮度和饱和度下观察到的少数绿色像素可能对应于标记中的错误或非常接近绿色和衰老植被之间极限的混合像素。这既适用于标记过程，也适用于模型预测。

Figure 4 被SegVeg模型错误分类的像素的亮度和饱和度的分布

Figure 5 受控和自然光照条件下的性能分布

4. SVM在SegVeg模型中，作为从背景中提取植被像素后的进一步处理，对比U-net 3C的结果表明，可以在第二步使用SVM方法降低模型对标注数据量的依赖。

Figure 6 使用SegVeg（b）或U-net 3C（c）进行分割的结果

5. SegVeg模型提取绿色植被的性能更好，提取衰老植被的偏差更小。

Table 7 SegVeg和U-net 3C在网格上估计背景、绿色和衰老植被部分的表现

Figure 7 比较SegVeg方法预测的分数与测试数据集1上标记的分数

论文链接

https://doi.org/10.34133/2022/9803570

——推荐阅读——

Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多传感器系统和超像素分类的麦穗图像分割

High-Throughput Corn Image Segmentation and Trait Extraction Using Chlorophyll Fluorescence Images

https://spj.sciencemag.org/journals/plantphenomics/2021/9792582/

Plant Phenomics | 基于叶绿素荧光图像的高通量玉米图像分割和性状提取