小麦是全球种植最广泛的作物，其产量与全球粮食安全密切相关。麦穗数量在小麦育种和产量估算中具有重要意义。因此，自动化的麦穗计数技术对于培育高产品种和提高粮食产量至关重要。然而，现有的所有方法都需要位置级标注进行训练，这意味着需要大量人力进行标注，从而限制了深度学习技术在农业领域的应用与发展。

2024年8月， Plant Phenomics 在线发表了贵州大学公共大数据国家重点实验室SAMLab实验室王崎老师团队题为CSNet: A Count-Supervised Network via Multiscale MLP-Mixer for Wheat Ear Counting 的研究论文，代码已开源，欢迎大家follow我们的工作，相关链接附在文章尾部。

图1 不同监督方式的麦穗计数方法对比

为了解决这一问题，我们提出了一种基于数量监督的多尺度感知麦穗计数网络（CSNet），CSNet基于MLP-Mixer构建全局特征关系获得不同空间维度的小麦穗注意图，使该模型能够在仅依赖计数信息的情况下有效处理不同尺寸的小麦穗。CSNet由骨干模块（backbone）、卷积块注意模块（CBAM）、多尺度感知模块（MPM）和计数模块（CM）组成，如图2所示。具体而言，backbone提取图像特征，而CBAM则聚焦于小麦区域的特征。为了更好地适应麦穗的多样性，我们设计了MPM以获取麦穗在多个空间维度上的特征，从而提升模型对麦穗的识别能力。最后，CM使用全连接层和平均池化层直接回归最终的计数结果。

图2 CSNet的整体架构

1.骨干模块（backbone）

骨干是神经网络的重要组成部分，它负责特征提取，对模型的泛化能力、鲁棒性和整体效率有重要影响。为了优化模型在准确率和资源开销之间的平衡，我们选择了VGG16的前10层，作为CSNet的骨干。该骨干在ImageNet上进行了预训练，初步具备了提取底层特征的能力，节省了计算资源，提高了计算效率，提高了模型的泛化能力。

2.卷积块注意模块（CBAM）

在杂草丛生、小麦相互遮挡的复杂环境中，模型需要减少对麦穗区域的关注，以便能够有效地计数麦穗。为了解决这个问题，我们引入了一个高效轻量级的CBAM，它结合了通道和空间注意力。特别地，通道注意可以调整模型在每个特征之间的注意程度，使其关注基本特征(如麦穗的形状、大小和纹理)，而忽略无关特征(如麦穗上的光线变化和碎片)。空间注意力调整模型对图像各区域的关注程度，从而增强对小麦区域的关注，减少背景区域(如杂草)的影响。

如图2-A所示，骨干层输出特征图Mb，该特征图通过CBAM模块进一步优化，得到特征图Mf。与特征图Mb相比，特征图Mf在通道和空间上更关注麦穗区域。首先，在Mb上执行空间平均和最大池化操作，分别得到每个通道的最大值和平均值。随后，通过全连接层对每个通道的最大值和平均值进行加权，得到通道注意力权重，表示为Ms，反映了对单个通道的关注程度。此外，通过对通道注意力权重Mc和特征图Mb执行点相似性操作，得到通道注意力特征图Mcb。接着，在Mcb上进行通道平均和最大池化，并将结果通过卷积层，得到包含空间位置信息的注意力权重Ms。最后，将Mcb中每个空间位置与注意力权重Ms进行点乘操作，生成特征图Mf，该特征图在通道和空间上都增强了对麦穗的注意力。这一过程增强了对麦穗区域的感知焦点，并突出了麦穗的关键特征。CBAM过程的数学公式表达如下：

其中，σ表示Sigmoid函数，FC表示全连接层，表示空间最大池化，表示通道平均池化。

3. 多尺度感知模块（MPM）

为了在缺乏位置信息的情况下感知麦穗，我们采用基于MLP的MLP-mixer网络中的mixer层，以学习每个patch与其他patch之间的关系，从而感知麦穗之间的关联并进行计数。然而，由于麦穗在表型（大小、颜色和形状）上存在较大差异，因此仅通过单一尺度来感知所有麦穗是不可行的。为了解决这一问题，我们提出了一种多尺度方法，该方法在多个空间中捕捉麦穗特征，以实现精确识别。如图2-B所示，特征图被切割成不同大小的patch，其中较小的patch可以捕捉到更细微的特征。通过在不同尺度上感知特征，MPM可以从多个空间维度区分特征，从而识别多样化的麦穗。

具体而言，MPM主要将麦穗特征图Mf切割并投影到多个特征矩阵上，这些特征矩阵通过mixer层进行信息交互，以获取全面的全局注意力信息，如图2-C所示。首先，将从CBAM输出的麦穗特征图Mf切割成512X16X16、512X8X8和512X4X4大小的n1、n2和n3特征patch。每个特征patch随后被映射为一个特征向量，从而构成一个特征矩阵，其中特征矩阵中的相同行代表同一空间中的不同通道，而相同列则代表不同空间中的同一通道。

接着，将特征矩阵输入到mixer层进行信息交互，该层包括Layer Norm和MLP，特征矩阵的每一行通过Layer Norm进行归一化处理，然后通过多层MLP进行信息传递。此外，代表不同空间或通道信息的特征矩阵行通过转置进行互换，并在MLP中进行交互，以获得全面的全局注意力信息。最后，MPM将具有不同尺度信息的三个特征矩阵进行拼接，并再次通过mixer层进行交互，生成一个整合了三维全局注意力的麦穗特征矩阵。mixer层融合并优化来自多个尺度的特征，消除了差异并促进了统一的特征表示。

上述特征矩阵分别表示为T1、T2、T3和Tall，整个过程可以定义如下：

其中S表示切片操作，16X16表示切片补丁的大小，Fi表示线性投影。另外，表示在i阶上存在N个mixer层。

4.计数模块（CM）

CM的设计目的是将特征转换为数量，而不需要生成边界框或密度图，而是直接生成回归计数。特别地，本文提出的CM利用MPM输入到全连接层的信息丰富的小麦穗特征矩阵输出进行降维并生成计数。为了减轻由于个体计数的内在变异性而导致的显著差异的可能性，CM同时预测一组计数，模型采用通过平均池化汇总最终预测的小麦穗数。具体流程如下:

其中，σ表示ReLU函数，表示最终预测计数。

5.实验

为了验证所提出的CSNet的有效性，我们将所提出的方法与目标检测算法、密度图计数方法及于人群的计数监督方法在GWHD2020和GWHD2021数据集上进行了比较，如表1所示。

表1 在GWHD2020和GWHD2021数据集上不同监督方法的性能比较

选择经典网络作为CSNet的骨干网络，进一步评估骨干网对模型性能的影响。所有模型都在ImageNet上进行预训练，以拥有提取通用的原始特征的基本性能，实验结果如表2所示。

表2 不同骨干网络对CSNet性能的影响

为了验证多尺度感知模块的有效性，我们对其进行了消融实验。具体来说，我们构建了一层、两层、三次和四层，其中使用不同的切片大小来分割不同层中的特征信息，从而得到八种不同的结构，如表3所示。

表3多尺度感知模块对CSNet性能的影响

此外，我们对CSNet进行了可视化实验，以深入理解其在麦穗识别任务中表现。在具体的实验中，我们在VGG16的最后一个卷积层中探索感兴趣的区域，并使用热图将它们映射到原始图像上，实验结果如图3所示。

图3 特征可视化图

计数是农业领域的一项重要任务，为农民提供准确的数据支持，有助于科学的农业管理和生产决策。随着计算机视觉技术的进步，农业计数逐渐向自动化、智能化方向发展。然而，创建数据集的高成本已成为瓶颈，阻碍了该技术的广泛采用，并难以满足农业的各种计数要求。因此，本文提出的方法旨在降低数据集创建的成本，从而实现低成本的自动计数。相比之下，一些农业数量评估目前是手动执行的，并且可以通过额外拍摄图像获得小型计数监督数据集。但是，从单个区域的不同角度捕获图像允许标签重用并降低注释成本。此外，对于在区域环境中生长的植物（例如葡萄和西红柿），可以使用相机捕捉平移镜头。在这种情况下，同一集群的果实出现在不同的图像必须只计数一次，从而减少重复计数的发生。对于整齐种植的作物，通过人工记录行数和列数，可以快速获得定量信息。然而，对于密集种植或广泛种植的作物，手动计算行数和列数可能是繁琐的。CSNet是自动化计数过程的有效解决方案，同时将标签成本降至最低。

论文链接：

https://doi.org/10.34133/plantphenomics.0236

CSNet代码地址：

http://csnet.samlab.cn/

——推荐阅读——

Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 

https://doi.org/10.34133/plantphenomics.0199

Plant Phenomics | Point-Line Net：一种自上而下的田间玉米叶脉生长轨迹检测模型

Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images

https://doi/10.34133/plantphenomics.0046

Plant Phenomics 精选2023 | 基于RGB图像的基因型×环境型×管理相互作用下的玉米叶片方向变化分析

加入作者交流群