三维重建技术目前已广泛应用于高通量表型中，能够从一张或多张图像中提取出三维形态信息。以水果的三维模型为例，在三维信息中我们可以同时测量果实体积等多种表型性状，进而为果实尺寸估计和质量控制乃至作物精确育种提供技术上的支持。近年来，研究者一直尽力将不同的重建方法应用于水果表型中，但其中许多方法都依赖于昂贵的硬件外设，如激光扫描仪、激光雷达等。

近日，Plant Phenomics 在线发表了题为GANana: Unsupervised Domain Adaptation for Volumetric Regression of Fruit的研究论文。

在该文中，作者致力于实现单目三维重建，即从单张二维图像中还原出目标的三维结构，从而规避高昂的硬件成本并降低用户的使用门槛。与其他的计算机视觉研究一样，三维重建任务在大部分领域也依赖于高质量的大型数据集，且缺乏现成的训练数据。因此，该文章提出了一种用于三维重建的无监督域适应方法，标注图像仅存在于人工合成域中，并在模型训练时补充来自目标真实域的未标注数据集。

该文章使用体积回归网络(VRN)来解决三维重建问题(Figure 1)，并使用在三维建模工具Blender中人工构建的香蕉三维模型生成了包含25000对数据的训练集，之后通过生成对抗网络增强每张图像，并引入体积一致性损失来提高用实际图像进行三维重建时的性能(Figure 2)。该文章利用了计算机合成的方式降低了构建数据集所需的人工和时间成本，同时保证了在实际图像处理中的性能。

尽管该文重点介绍了如何从二维图像中重建香蕉的三维模型，但理论上来说该方法适用于其他任何植物品种和器官的三维重建任务。

Figure 1Results of our volumetric regression network. Output volumetric banana models resting on 2D input images.

Figure 2 The proposed volumetrically consistent CycleGAN (VCC) using our real banana dataset as a target.

论文链接

https://spj.sciencemag.org/journals/plantphenomics/2021/9874597/

——推荐阅读——

Robust Surface Reconstruction of Plant Leaves from 3D Point Clouds 

https://spj.sciencemag.org/journals/plantphenomics/2021/3184185/

Plant Phenomics | 基于植物叶片三维点云的稳健表面重建

MVS-Pheno: A Portable and Low-Cost Phenotyping Platform for Maize Shoots Using Multiview Stereo 3D Reconstruction 

https://spj.sciencemag.org/journals/plantphenomics/2020/1848437/

Plant Phenomics | 基于多视角三维重建的低成本、便携式玉米单株表型平台—MVS-Pheno