欢迎您来到博普特科技官方网站!

土壤仪器电话

010-82794912

品质至上,客户至上,您的满意就是我们的目标

技术文章

当前位置:  首页 > 技术文章

Plant Phenomics | PSegNet:针对多品种作物点云的器官同步语义分割与实例分割深度学习网络

发表时间:2022-06-07 13:28:41点击:1239

来源:植物表型组学

分享:

1654579421610472.png

1654579461743790.png

植物表型学研究植物在生长过程中由遗传基因和生长环境之间动态相互作用所形成的直观植物指标。现代表型研究的主要路线是利用计算机数字化手段精确分析表型与基因型之间的关系,提高对复杂遗传性状的理解,进而加快基因育种、智慧农业等方面的发展。相较于作物图像,通过三维成像手段获得的作物三维模型不仅包含有色彩和纹理信息,而且包含图像中缺失的深度结构信息。这在数据源头即克服了视角限制导致的器官遮挡和重叠问题,是进行真正统计意义上的高精度表型测量的基础。研究具有品种适应性的作物三维点云器官分割与表型方法不仅具有理论意义还蕴含着巨大的经济价值。

近日,Plant Phenomics在线发表了东华大学信息学院李大威课题组的题为PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 的研究论文。

在获取了可靠的三维点云数据后,对点云进行有效的器官分割就成为了三维植物表型分析的关键,如何有效分离茎与叶区域,以及进一步将冠层集合分割成单叶片实例并计算表型参数都是其中公认的难点。此外,如何基于当前流行的深度学习方法设计出同时适用于单子叶作物和双子叶作物点云的适普分割方法也是较大的挑战,这个挑战存在于数据处理与整合、网络模型设计、训练参数的调谐等多个方面。

为了解决这些难题,本研究论文做出了如下贡献:(1)提出了一种体素化最远点降采样策略(VFPS)对作物点云进行预处理(流程见图1)。该策略综合了体素化点云降采样和最远点采样的优势,具有点数固定、空洞少、可扩增训练样本、可进一步提升深度学习网络性能的特点;(2)人工标注了一个包含了三个品种共几百株作物点云的数据集用于深度学习网络的训练,该数据集囊括了单子叶作物(高粱)和双子叶作物(烟草、西红柿),点云标签包含器官语义标签与叶片实例标签;同时,借助体素化最远点降采样策略对该数据集进行了高达十倍的训练数据扩增;(3)设计了一种适用于单子叶作物和双子叶作物点云分割的双功能网络—PSegNet(见图2)。该网络可以同时实现茎干和叶片区域的语义分割以及单叶的实例分割,其主要结构中包含了全新设计的双邻域特征提取块(DNFEB),双粒度特征融合模块(DGFFM),注意力模块(AM)等计算模块;(4)不仅在作物点云上进行了训练与测试,还在S3DIS这类大规模室内场景点云数据集上验证了PSegNet的有效性,证明了本文深度学习网络具有强数据适应性和多行业应用潜力。

1654579480852816.png

图1 VFPS策略示意图

1654579515773207.png

图2 PSegNet的体系结构

实验结果表明,提出的PSegNet在作物点云测试集上的器官语义分割任务中达到了95.23%的平均精确度、93.85%的平均召回率、94.52%的平均F1分数、以及89.90%的平均IOU;在叶片实例分割任务中达到了88.13%的平均精确度、79.28%的平均召回率、83.35%的mCov、以及89.54%的mWCov。PSegNet的结果明显优于PointNet++、ASIS、SGPN和PlantNet等当前流行的深度学习网络。PSegNet在测试集作物点云上的语义分割定性展示(见图3),实例分割定性结果(见图4)。PSegNet在农业领域之外的室内场景点云数据集S3DIS上也展现出了较好的分割性能,其语义分割定性结果与真实值的对比可(见图 5),本文网络在多个房间中都达到了接近真实值的分割效果,证明其具备强数据适应性能力。

1654579538932165.png

图3 PSegNet语义分割的定性展示

1654579589495436.png

图4PSegNet实例分割的定性展示

1654579625173389.png

图5 在S3DIS区域5的四个不同房间内演示PSegNet的语义分割结果


作者介绍:

李大威,东华大学副教授,获上海市启明星人才计划,上海市青年英才扬帆计划。长期从事农业自动化、植物表型、计算机视觉与人工智能方向的研究。



论文链接:


https://doi.org/10.34133/2022/9787643


——推荐阅读——

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline 

https://doi.org/10.34133/2022/9758532

Plant Phenomics | 基于深度学习的微根管图像自动化分析方法

Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing

https://doi.org/10.34133/2022/9757948

Plant Phenomics | 基于近端多源时序数据和多任务深度学习同步预测小麦产量和品质性状

1654579669606457.png

加入作者交流群

扫码添加小编微信,拉您进入《植物表型组学》作者交流群,群内不定期开展作者分享会、专刊发布会等高质量活动。

添加小编微信,备注姓名+单位+PP,加入作者交流群

About Plant Phenomics

《植物表型组学》(Plant Phenomics)是由南京农业大学和美国科学促进会(AAAS)合作创办的英文学术期刊,于2019年1月正式上线发行。采用开放获取形式,刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术,基于图像分析和机器学习的表型分析研究,提取表型信息的新算法,作物栽培、植物育种和农业实践中的表型组学新应用,与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究,表型组学相关的植物生物学等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等数据库收录。2021年中科院期刊分区表影响因子5.706,位于农艺学、植物科学两个小类一区,遥感小类二区,生物大类一区(Top期刊)。2020年入选中国科技期刊卓越行动计划高起点新刊项目。

说明:本文由《植物表型组学》编辑部负责组稿。

中文内容仅供参考,一切内容以英文原版为准。

特邀作者:李大威

编辑:赵瑜涵(实习)

审核:孔敏、王平

  • 土壤仪器品牌德国steps
  • 土壤仪器品牌奥地利PESSL
  • 土壤仪器品牌荷兰MACView
  • 土壤仪器品牌德国INNO_Concept
  • 土壤仪器品牌比利时WIWAM
  • 土壤仪器品牌德国GEFOMA
  • 土壤仪器品牌奥地利schaller
  • 土壤仪器品牌荷兰PhenoVation
  • 土壤仪器品牌法国Hi-phen系统
  • 土壤仪器品牌Videometer
  • 土壤仪器品牌比利时INDUCT(OCTINION)
  • 土壤仪器品牌美国EGC
  • 土壤仪器品牌HAIP
  • 土壤仪器品牌植物遗传资源学报