植物表型学研究植物在生长过程中由遗传基因和生长环境之间动态相互作用所形成的直观植物指标。现代表型研究的主要路线是利用计算机数字化手段精确分析表型与基因型之间的关系，提高对复杂遗传性状的理解，进而加快基因育种、智慧农业等方面的发展。相较于作物图像，通过三维成像手段获得的作物三维模型不仅包含有色彩和纹理信息，而且包含图像中缺失的深度结构信息。这在数据源头即克服了视角限制导致的器官遮挡和重叠问题，是进行真正统计意义上的高精度表型测量的基础。研究具有品种适应性的作物三维点云器官分割与表型方法不仅具有理论意义还蕴含着巨大的经济价值。

近日，Plant Phenomics在线发表了东华大学信息学院李大威课题组的题为PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 的研究论文。

在获取了可靠的三维点云数据后，对点云进行有效的器官分割就成为了三维植物表型分析的关键，如何有效分离茎与叶区域，以及进一步将冠层集合分割成单叶片实例并计算表型参数都是其中公认的难点。此外，如何基于当前流行的深度学习方法设计出同时适用于单子叶作物和双子叶作物点云的适普分割方法也是较大的挑战，这个挑战存在于数据处理与整合、网络模型设计、训练参数的调谐等多个方面。

为了解决这些难题，本研究论文做出了如下贡献：（1）提出了一种体素化最远点降采样策略（VFPS）对作物点云进行预处理（流程见图1）。该策略综合了体素化点云降采样和最远点采样的优势，具有点数固定、空洞少、可扩增训练样本、可进一步提升深度学习网络性能的特点；（2）人工标注了一个包含了三个品种共几百株作物点云的数据集用于深度学习网络的训练，该数据集囊括了单子叶作物（高粱）和双子叶作物（烟草、西红柿），点云标签包含器官语义标签与叶片实例标签；同时，借助体素化最远点降采样策略对该数据集进行了高达十倍的训练数据扩增；（3）设计了一种适用于单子叶作物和双子叶作物点云分割的双功能网络—PSegNet（见图2）。该网络可以同时实现茎干和叶片区域的语义分割以及单叶的实例分割，其主要结构中包含了全新设计的双邻域特征提取块（DNFEB），双粒度特征融合模块（DGFFM），注意力模块（AM）等计算模块；（4）不仅在作物点云上进行了训练与测试，还在S3DIS这类大规模室内场景点云数据集上验证了PSegNet的有效性，证明了本文深度学习网络具有强数据适应性和多行业应用潜力。

图1 VFPS策略示意图

图2 PSegNet的体系结构

实验结果表明，提出的PSegNet在作物点云测试集上的器官语义分割任务中达到了95.23%的平均精确度、93.85%的平均召回率、94.52%的平均F1分数、以及89.90%的平均IOU；在叶片实例分割任务中达到了88.13%的平均精确度、79.28%的平均召回率、83.35%的mCov、以及89.54%的mWCov。PSegNet的结果明显优于PointNet++、ASIS、SGPN和PlantNet等当前流行的深度学习网络。PSegNet在测试集作物点云上的语义分割定性展示（见图3），实例分割定性结果（见图4）。PSegNet在农业领域之外的室内场景点云数据集S3DIS上也展现出了较好的分割性能，其语义分割定性结果与真实值的对比可（见图 5），本文网络在多个房间中都达到了接近真实值的分割效果，证明其具备强数据适应性能力。

图3 PSegNet语义分割的定性展示

图4PSegNet实例分割的定性展示

图5 在S3DIS区域5的四个不同房间内演示PSegNet的语义分割结果

论文链接：

https://doi.org/10.34133/2022/9787643

——推荐阅读——

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline 

https://doi.org/10.34133/2022/9758532

Plant Phenomics | 基于深度学习的微根管图像自动化分析方法

Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing

https://doi.org/10.34133/2022/9757948

Plant Phenomics | 基于近端多源时序数据和多任务深度学习同步预测小麦产量和品质性状