多光谱成像技术在植物学研究中的应用

王众司,贾亚萍,张瑾,王若涵

北京林业大学生物科学与技术学院, 北京100083

Multispectral Imaging and Its Applications in Plant Science Research

Zhongsi Wang, Yaping Jia, Jin Zhang, Ruohan Wang,

College of Biological Science and Technology, Beijing Forestry University, Beijing 100083, China

摘要

多光谱成像(MSI)技术是一种新兴的成像检测技术, 通过将光谱与成像合二为一, 可实现植物结构、生理、生化表型的定性定量分析及其特征分布的评估。近年来, 与数学建模分析结合的MSI技术具有强大的信息捕获能力, 在植物学研究中展现出强劲的应用潜力。该文介绍了MSI技术的成像原理, 总结了近年来MSI技术在植物损伤鉴定、病害研究、代谢物质生化特征及生理进程鉴定方面的应用, 展望了该技术在植物研究领域的前沿性发展, 以期使MSI技术在植物研究中得到更好的应用。

关键词：

Abstract

Multispectral imaging (MSI) is an emerging technology designed for advanced imaging detection, which combines the information of spectroscopy and imaging to conduct qualitative and quantitative analysis of plant phenotypes including structural, physiological and biochemical characteristics. Recently, MSI shows a strong capability to capture detailed spectral information in combination with the applications of mathematical modeling and analysis, and displays a strong potential in the field of plant research. Here we introduce the principle of MSI technology and summarize the main applications of this technology in various aspects of plant research, which includes detection of plant damage and disease, identification of plant metabolites and characterizing plant physiological status. We alse prospect the frontier development of MSI in plant research.

Keywords： multispectral imaging; spectroscopy; modeling; accuracy; plant science

在活体状态下揭示复杂植物器官或组织的生理状态, 一直是植物研究中极具挑战的问题。如何快速无损地进行植物结构、生理、生化和表型的定性定量分析及其特征分布检测, 成为近一个世纪以来研究者不断挑战的热点方向(Fernandez et al., 2010; Mansfield et al., 2012; Kim et al., 2020)。采用染料进行组织显色反应, 或通过荧光标记检测组织材料的状态变化, 会受材料的组织特异性以及组织厚度的影响, 无法长时间进行活体观测。尤其是深入到器官或组织内部的标记本就困难, 加之受光漂白和不同组织结构的影响, 更难以真实反映植物本身的生化组成及生理状态。因此, 针对植物器官或组织的活体研究, 需要一种具有良好特异性和高灵敏的无标记成像技术。光谱成像技术将光谱和成像合二为一, 结合数学建模分析方法, 可实现定性定量分析植物结构、生理、生化表型并用于评估其特征分布(胡伟娟等, 2019), 近年来在植物组织活体检测中表现出强劲的应用潜力。

光谱成像技术包括可见光成像(red, green, blue imaging and RGB imaging)、高光谱成像(hyperspectral imaging, HSI)、多光谱成像(multispectral imaging, MSI)以及热红外成像(infrared thermal imaging, ITI) (彭羽等, 2020; Liu et al., 2020b; Bodner et al., 2021)。其中, RGB成像常用于分析宏观表型变化。由于该技术色彩通道较少, 仅包含二维空间信息, 在对受胁迫时间较短和未出现性状变化的植物进行检测时, 针对不产生颜色变化或胁迫受害部位颜色与植物组织色差较小时, 难以采集到色彩差异信息, 因此难以检测出植物早期胁迫, 存在一定的应用局限(Blasco et al., 2007)。

HSI可以反映植物微观响应的变化, 具有监测植物早期胁迫的潜力, 但存在连续波长下采集到的大量数据难以高效处理的问题。ITI可提供光谱空间强度分布信息, 但易受使用条件(外界温度)的干扰。而多光谱成像技术融合了RGB和HSI的技术优势, 规避了ITI受环境干扰的问题, 简化了数据的冗余信息, 提升了光谱成像处理速度。

MSI是指使用两个或多个光谱波段, 对同一物体相同尺度下的同一区域进行二维空间信息和一维光谱信息的三维图像信息捕获(Magwaza et al., 2012)。根据植物在不同生理状态及不同发育阶段的生理特征, MSI可表现为不同的光谱反射特征(Rocchini et al., 2005; Oldeland et al., 2010), 已逐步应用于植物表型和生理分析。例如, 成功用于葡萄(Vitis vinifera)病害分辨, 实现黄花病和葡萄树干病植株和正常植株的区分(Albetis et al., 2019); 用于棉花(Gossypium sp.)水分利用效率分析, 可区分8个棉花品种的水分利用效率差异(Thorp et al., 2018)。由于综合了不同波段成像技术的优势, MSI可提供和采集从紫外(UV)到近红外(NIR)波长范围(200-2 500 nm)内多个离散波段的数据, 并在此基础上新增光谱信息维度, 组成了包括二维空间信息和一维光谱信息等多种信息的“三维信息立方体”, 为植物学研究提供了更为广阔的数据采集空间(Ebrahiema et al., 2018; 王一杰等, 2020), 为植物损伤鉴定、病害、植物代谢物质生化特征及植物生理进程鉴定研究提供了重要的数据基础。

早期MSI技术的应用方向主要是基于物质表面成像数据的简单分类与差异鉴别(Noordam et al., 2005; Lleó et al., 2009; Qin et al., 2011)。随着技术的不断成熟, 多光谱成像技术在植物学研究中衍生出不同的应用方向(图1)。在种子生物学研究中, MSI已被证明具有广泛用途: 根据MSI对研究样本采集到的数据结构和规律不同, 利用PLS-DA及LS-SVM等数据分析方法, 综合化学计量学和样品的形态特征, 实现了野生型和转基因大豆(Glycine max)及水稻(Oryza sativa)的精准区分(BPNN精确值98%) (Liu et al., 2014, 2016c); 运用LDA及SVM对多光谱成像数据进行分析, 从而实现部分豆科植物种子休眠生理状态的准确鉴定(准确性达90%) (Hu et al., 2020); 在植物性食品研究中, 基于不同物质特征吸收波长不同的原理, MSI技术已广泛应用于苹果(Malus pumila)、荔枝(Litchi chinensis)和大蒜(Allium sativum)等果实的品质评价以及可溶性固形物(soluble solids content, SSC)、花青素、总酚类物质和番茄红素等化合物的检测, 展示出良好的准确性和预测性(准确性达90%以上) (Liu et al., 2014, 2016a, 2016b; Li et al., 2016; Zhang et al., 2017)。近年来, MSI技术在植物损伤及生理状态研究中达到了一定的解析水平, 从面向单个像素的监督技术转向了区域间的差异分析, 即从“对点分析”转向“对面分析”(Blasco et al., 2007; Liu et al., 2015)。随着多光谱成像分辨率(现分辨率已达2 192×2 192像素以上)的不断提升及主成分分析和偏最小二乘法判别分析等数学手段在多光谱成像数据分析中的成功应用, MSI得以解决越来越复杂的问题, 并有望逐步成为满足植物研究中非接触、无损和活体成像需求的新手段。

图1多光谱成像技术应用方向变化趋势

UAS: 无人驾驶航空系统。节点表示多光谱技术的应用方向, 流量数据使用R语言统计, 分流表示应用方向的变化。

Figure 1 Trends in the application of multispectral imaging technology

UAS: Unmanned aerial systems. The node indicates the application direction of the multispectral imaging, the value data uses R statistics, and the links indicate the change of the application direction.

1 多光谱成像原理

多光谱成像是一种多通道成像技术, 即采用两个或两个以上波段, 对样本进行三维信息的瞬时采集。成像系统的核心组件是光源和采集器。光源多为可发射特定波长的发光二极管(light-emitting diode, LED)阵列, 其被固定在印制电路板(printed circuit board, PCB) 上, 通过连接线由计算机自动控制(Veys et al., 2019;王一杰等, 2020)。对组织样品进行图像采集时, 将光源模块逐个打开, 并与计算机和其它光学元件同步, 进而得到多幅单个光谱下的灰度图像。采集器将接收样品在该特定波长光源下反射回的光束信息, 基于朗博-比尔定律(Panagou et al., 2014), 得到样品的吸光度、二维空间信息和一维光谱信息(王一杰等, 2020)。计算机程序将这些单幅灰度图像堆叠, 得到一幅含有空间信息和光谱信息的多光谱成像图片。与传统成像技术使用RGB三个灰度图像堆叠不同, 多光谱成像图片包含人眼视觉感知范围外的、光谱范围不重叠的校准反射率数据, 为数据分析提供了大量光谱信息。此外, 由于成像系统中的光学元件和样品在成像时被隔离在不透光的外壳内, 有效避免了环境光对数据造成的影响, 使成像稳定, 从而获取高精度成像数据, 并可进行光谱波长的快速切换(Veys et al., 2019)。

依据光学元件的不同, 多光谱成像数据的获取方式包括点扫描、面扫描和波长扫描(wavelength- scanning)。采集器在X轴和Y轴方向系统地扫描样本, 在采集过程中, 1次只记录1个点的全光谱数据, 即点扫描(图2A)。由于点扫描一般耗时较长, 因此这种设计常被用于显微成像系统中(Elmasry et al., 2012)。与点扫描的方式不同, 线扫描一般是在Y轴方向上逐行移动样本或采集器, 逐行记录数据(图2B), 可以1次获取样本1行的全光谱数据, 但对光学元件的精度和储存系统的响应速度要求较高(ElMasry et al., 2019a)。波长扫描是光源按照特定顺序依次发射出不同波长的光, 每发射1个波长的光时, 采集器收集整个样本所在空间的单一光谱数据, 直至采集完成全光谱的数据(图2C)。将所有波长下的结果堆叠后, 得到多光谱成像结果(图2E)。MSI可得到包含2个空间维度(X轴方向和Y轴方向)和1个波长维度(光谱轴方向)的三维数据块, 即三维信息立方体(图2E)。例如, 1个拥有2 192×2 192像素空间信息和19个波长信息的场景, 将组成1个2 192×2 192×19的数据立方体; 而相同场景下的RGB图像得到的是2 192×2 192×3的数据立方体。MSI当提取RGB通道时, 即可得到一般拍摄的图像(图2D), 但MSI涵盖多通道光谱信息, 这是传统RGB成像技术所无法采集到的。MSI的三维信息立方体可以看作由多个不同的二维灰度子图像构成(图2E), 通过提取不同波长通道的数据, 可得到该样本在对应波长下的光谱数据(如校准的相对反射率), 将这些离散的点结合起来即可得到样本在波长改变条件下的变化情况(图2F)。由此可见, MSI技术采集并保留了丰富的样本信息, 即不同特征波长下的光谱数据, 这些数据可用于植物结构分析、生理状态鉴定及生化物质定性和定量分析, 从而实现光谱性状与植物表型分析相结合。

图2多光谱成像原理图

(A) 点扫描; (B) 线扫描; (C) 波长扫描; (D) 提取光谱维度中的R、G、B颜色通道可以得到彩色实物图; (E) 不同扫描方式得到的数据最终是包含空间信息与光谱信息的立方体; (F) 依据不同波长对采集的三维数据立方体进行不同光谱特征下的图像提取, 可得到特定离散波长下的样本数据信息。

Figure 2 Schematic diagram of multispectral imaging

(A) Point scanning; (B) Line scanning; (C) Wavelength scanning; (D) Color images can be obtained by extracting the R, G and B color channels in the spectral dimension; (E) The data obtained by different scanning methods are ultimately cubes containing spatial information and spectral information; (F) According to different wavelengths, the collected three-dimensional data cubes are extracted with different spectral features, and the sample data information under specific discrete wavelengths can be obtained. 

2 多光谱成像在植物学研究中的应用

随着对成像技术研究的深入, 基于可见光成像技术(RGB)和紫外光成像技术对植物表面损伤分析方法的弊端逐渐显现, 即由于这两种成像技术仅涵盖了光谱的可见区域, 导致病变或病毒侵染的早期阶段无法得到检测(Blasco et al., 2007)。特别是在进行损伤鉴定和病害研究时, 不同品种对于单一光谱的敏感性不同, 甚至会引起自发荧光, 给数据分析造成诸多困扰(Slaughter et al., 2008; Obenland et al., 2010)。因此, 能发射不同波长光谱波段光源的集成系统——多光谱成像系统得以迅速发展, 进一步实现了同时捕获光谱和空间信息, 从而比传统的机器视觉或光谱技术更可靠地表征对象(Elmasry et al., 2019b)。研究者基于特征光谱提取, 结合多种数学模型, 可实现植物损伤与病害的无损快速检测; 或基于不同生化物质特征光谱, 对其进行鉴定以及化学成分变化的定性定量分析; 通过高通量植被表型信息采集, 实现植被不同表型的精准分析(表1)。

表1多光谱成像技术在植物学研究中的应用

Table 1 Application of multispectral imaging in plant research

2.1 植物损伤与病害研究

MSI技术能够采集光谱信息数据和空间信息数据, 使得该技术可用于显示结构变化或特定化合物的积累及其对细胞功能的影响引起的局部变化(ElMasry et al., 2019a)。有研究者将MSI技术和多种建模方式结合, 揭示了微生物对植物的侵染和植物损伤情况。Vrešak等(2016)以冬小麦(Triticum aestivum)和小黑麦(Secale cereale)种子为研究对象, 结合可见光谱(375-970 nm)和近红外光谱(900-1 600 nm), 成功区分了镰刀菌(Fusarium sp.)侵染和未侵染区域, 在侵染未产生肉眼可见损伤或肉眼难以分辨损伤时提早发现不健康的状况, 从而为种子健康诊断和品种鉴定提供新的思路。大豆作为主要的经济和油料作物, 容易受到大豆炭腐病(Macrophomina phaseolina)的影响, 研究者使用383-1 032 nm波长的光源, 用支持向量机(SVM)作分类器, 以97%的精确度成功实现了健康大豆和炭腐病染病大豆样品的二元分类(Nagasubramanian et al., 2018)。近年来, 针对豌豆(Pisum sativum)收获后肉眼不可见的变色与漂白问题, 研究者采用MSI技术结合多元线性回归分析, 可清晰呈现种子损伤差异, 结果与分光光度计的检测结果高度匹配(判决系数(determination coefficients) R2=0.99) (Mcdonald et al., 2019), 为种子鉴定提供了可靠的识别工具。因此, MSI技术因其强大的数据采集和空间信息获取能力, 在植物损伤与病害检测方面应用前景广阔。

2.2 生理进程与生化物质鉴定

光源的辐射能量可以部分穿透植物表面, 进入组织和细胞, 达到生物大分子水平。随着成像技术的发展, 研究者对多光谱成像技术的应用不再满足于以上表型的鉴定和分类, 而是开始向植物内部生化物质和生理进程发起探索(表1)。随着研究者创新性地将多光谱数据与叶绿素含量进行对应, 开启了MSI技术与叶绿素关联研究的探索。经偏最小二乘回归法(partial least squares regression, PLSR)构建数学模型, 得到叶绿素a的决定系数R2达0.948 3, 叶绿素b的决定系数R2达0.890 6, 证明多光谱成像可作为监测叶绿素a、b的一种可行的非破坏性通用方法(Pan et al., 2015)。同年, MSI技术也成功应用于分析番茄(Lycopersicon esculentum)中的番茄红素和酚类化合物, 经反向传播神经网络(BPNN)建模, 得到番茄红素的决定系数R2达0.938, 总酚含量决定系数R2达0.965, 实现了多光谱成像技术对植物样本中生化物质的无损鉴定(Liu et al., 2015)。除以上典型建模分析方案外, 多光谱成像技术不断得到深入开发和多样化利用。例如, 有研究者利用傅里叶变换的原理, 重构多光谱成像技术和RGB-D成像技术采集的信息, 得到植物的三维点云模型, 预测了样本中氮、磷、钾元素的分布和含量, 其中使用反向传播人工神经网络对氮元素预测的相对误差为2.27%, 对磷元素预测的相对误差为3.32%, 对钾元素预测的相对误差为3.27% (Sun et al., 2019), 是一种可靠的元素分布及含量分析技术。

2.3 植被表型分析

植被表型分析不仅有助于了解植物发育期和生物量, 而且高通量植被表型数据可支持精准决策, 进而优化资源投入(胡伟娟等, 2019)。由于MSI技术可以高效采集样本信息, 进而使高通量信息采集成为可能。研究者综合使用MSI和无人驾驶航空系统(unmanned aerial systems, UAS)对地上植被生物量(aboveground biomass, AGB)进行研究, 发现来自UAS影像的光谱数据可以在各种环境下准确估算地上植被生物量, 搭载多光谱成像系统的UAS是地上植被生物量估计的有效工具(Poley and McDermid, 2020)。与使用RGB对植被生物量成像研究相比, MSI技术的引入大幅度提高了模型精度和准确性: 利用多光谱技术结合随机森林(random forest, RF)算法, 成功评估了水稻的生育期、地上生物量和穗生物量(判决系数达0.90) (Cen et al., 2019)。此外, MSI能够很好地与其它技术相融合。有研究者将红外热成像、T-LiDAR扫描和MSI联用, 成功实现了田间苹果果树的叶面积、光合作用和冠层温度等指标的高通量鉴定, 并检测到针对水分亏缺产生基因型变异的树种, 为研究环境与基因型相互作用下的林间果树树木遗传分析奠定了基础(Coupel- Ledru et al., 2019)。上述研究表明, 随着图形图像处理能力的提高, MSI有望成为植物高通量表型分析的有力工具。

3 MSI数据处理

多光谱成像数据具有重叠性和复杂性特点, 较难直接定位和表征植物中不同成分的特征波长, 因此有目的地提取光谱信息中的有效信息、去掉噪声和异常数据, 高效、准确的数据处理方案尤为必要(Rinnan et al., 2009)。为了有效捕获与目标属性相关的特征波长组合, 用于筛选波长的算法和多元校正模型逐步被引入, 多种数据处理方案为研究者所证实, 为深入解决科学问题提供了有力支撑(表1)。早期研究者倾向于使用逐次投影算法(successive projections algorithm, SPA)、回归(component regression, CR)或主成分分析(principal component analysis, PCA)等方法进行植物表型研究。随着计算机算力的提高和大数据、云计算等信息技术的发展, 偏最小二乘回归法(PLSR)和主成分回归(principle component regression, PCR)算法成为主流, 在2014-2017年间一度占据植源性食品多光谱成像数据分析研究的40% (Su and Sun, 2018)。近年来, 机器学习逐步走进成像分析领域, 支持向量机(support vector machine, SVM)和人工神经网络(artificial neural network, ANN)最小二乘支持向量机(least square-support vector machine, LS-SVM)等方法以其高精度提升了MSI数据分析的准确性。

成像模型的精度评价体系在MSI分析中尤为重要, 直接决定成像数据分析的客观性和真实性。理想的模型往往具有较高的精确值(Accuracy)和判决系数(包括校准判决系数(RC2)、交叉验证判决系数(RCV2)和预测判决系数(RP2)等), 以及较低的均方根误差(root mean square errors) (包括校准均方根误差(RMSEC)、交叉验证均方根误差(RMSECV)和预测均方根误差(RMSEP)等) (Sun et al., 2019)。随着MSI数据建模与科学问题的深入关联分析, 相应的波长选择算法和建模方式也在不断更新与发展。

4 展望

植物活体状态下器官或组织中生理状态的真实反映, 尤其是植物结构、生理、生化表型的定性定量分析及其特征分布的评估, 对深入揭示生物有机体变化机制至关重要。快速无损兼具非接触式MSI技术以其获取多维数据的特点, 在表型鉴定和物质检测等研究中已经展示出强大的数据捕获能力, 并且在交叉学科的研究中开辟出了新的解决方案。然而, MSI技术还存在一些局限性, 限制了该技术在植物学研究中的大规模应用。(1) 部分波长的光谱穿透能力有限, 难以穿透样本获取其内部数据; (2) 多光谱数据存在冗余, 数据处理存在一定难度; (3) 搭建多光谱检测平台的硬件和软件成本较高。尽管MSI技术在植物研究领域的应用目前还处于起步阶段, 然而随着人工智能和光谱检测的联合发展, MSI有望通过三维数据信息模型的构建对植物生理、发育及损伤进行准确的定性定量分析, 有望成为现有检测技术(如红外热成像技术)的有力补充, 并在积累足够数据后替代某些陈旧、复杂的检测方法, 在植物研究领域发挥出更大价值。