基于GAN-MLP两阶段网络的水果光学特性的单相位空间频域成像测量方法

本发明涉及生物组织光学检测领域，具体涉及水果光学特性的单相位空间频域成像测量方法。

背景技术：

1、作为一种新兴成像技术，空间频域成像(sfdi)凭借其宽视场(fov,large fieldof view)、非接触式、深度辨析的特性受到越来越多的学者的关注。该技术已被用于果蔬的表面和次表面品质检测中，例如梨和苹果的瘀伤、橙子与桃子的早期腐烂等。然而在传统的sfdi技术实施中，通常需要投射至少两个频率的正弦平面图案，且每个频率下包含了三个不同的相位用于图像的解调，利用标准漫反射白板进行校正可以得到漫反射率，最后根据两个或多个空间频率下的漫反射率进行最小二乘拟合即可得到光学特性参数。以往的sfdi系统往往通过滤波片或者液晶可调滤波器(lctf)选择1个或多个波长，较少波长的选择会导致波长维度的信息不能被利用，而连续波长的检测可以解决这一问题。然而，在目前的处理流程中，图像的采集和最后的光学特性参数拟合都是十分耗时的部分，对于开发更宽波段的空间频域成像系统造成了较大的阻碍。

2、相较于传统方法至少采集六幅投影图像的方法，有研究聚焦于能否使用更少的输入图像进行光学特性参数的预测。vervandier等人提出了一种单快照解调方法(ssop)，该方法利用对单个图像执行的傅立叶变换和在频率空间中的处理来同时提取两个空间频率的解调图像用于拟合光学特性参数(vervandier j,gioux s.single snapshot imagingof optical properties[j].biomedical optics express,2013,4(12):2938)。接着，他们在之后的研究中提出一种双正弦投影模式，在提取光学特性参数的同时恢复三维信息用于进行校正，最终预测的吸收系数和约化散射系数的相对误差分别不超过12％和6％，但是上述两种方法需要进行频率滤波，导致光学特性图的质量下降且在边缘出现伪影(van degiessen m,angelo j p,gioux s.real-time,profile-corrected single snapshotimaging of optical properties[j].biomedical optics express,2015,6(10):4051-4062)。随着深度学习技术在图像处理领域的发展，图像生成技术被引入空间频域成像系统，用于对单相位图像进行光学特性参数预测。chen等人提出网络ganpop，可以实现从单相位图像到光学特性参数的端到端预测，在多个数据上测试的吸收系数和约化散射系数的平均相对误差分别为9.7％和8.8％(chen m t,mahmood f,sweer j a,et al.ganpop:generative adversarial network prediction of optical properties from singlesnapshot wide-field images[j].ieee transactions on medical imaging,2020,39(6):1988-1999)，然而，直接预测光学特性参数鲁棒性受限，因为数据需要缩放到图像所支持的最大亮度且截断至整数，这也导致在不同光学特性参数分布的数据上迁移较为困难。虽然已有研究将对抗生成网络(gan)用于水果的瘀伤早期检测，但是只用于定性检测，并没有检测并评估对于最终光学特性参数的预测效果(liu n,chen x,liu y,et al.deeplearning approach for early detection of sub-surface bruises in fruits usingsingle snapshot spatial frequency domain imaging[j].journal of foodmeasurement and characterization,2022,16(5):3888-3896)。

3、综上，采用生成网络从单相位图像直接预测光学特性参数会导致预测范围和精度间的权衡，且无法保证网络的鲁棒性。

技术实现思路

1、本发明要解决的是现有用于单相位空间频域成像的光学特性参数预测算法直接预测导致预测范围和精度受限的技术问题，针对现有技术的不足，本发明提供了一种基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法。本发明方法通过间接预测漫反射率并结合蒙特卡洛仿真的先验知识实现更加准确的水果光学特性参数预测，可以实现连续宽波段的水果光学特性参数的快速获取。

2、为实现上述目的，本发明通过以下技术方案实现：

3、所述单相位空间频域成像测量方法包括以下步骤：

4、s1、利用空间频域成像系统采集水果样本的空间频域图像，创建原始数据集，由原始数据集通过不同的图像处理方法构建出多个水果样本数据集，将每个水果样本数据集划分为训练集和测试集。

5、所述步骤s1具体为：

6、s1.1、预先设置采集参数，所述采集参数包括样本数量、波长范围及波长间隔、两个不同的空间频率以及三个不同的空间相位，并且选择其中一个空间相位作为测量相位；两个空间频率分别为第一空间频率、第二空间频率；三个空间相位分别为第一空间相位、第二空间相位、第三空间相位；

7、s1.2、在所述波长范围内按照波长间隔选取波长，对每个波长，利用空间频域成像系统分别在两个空间频率下均采集三个空间相位的空间频域图像，每个波长下采集到的六幅图像构成每个波长下的一个空间频域图像组；接着，汇总所有波长下的空间频域图像组，形成原始数据集；

8、s1.3、利用每个图像处理方法处理原始数据集中的各个波长下的空间频域图像组，形成每个图像处理方法对应的水果样本数据集；

9、利用每个图像处理方法处理原始数据集中的各个波长下的空间频域图像组，形成每个图像处理方法对应的水果样本数据集的过程具体为：对于每个波长的空间频域图像组，通过图像处理方法对空间频域图像组进行处理，生成一副输入图像，同时利用三相位解调方法对空间频域图像组进行解调处理，生成一副标签图像，将输入图像与标签图像配对，形成一对样本对；接着，汇总由所有波长的空间频域图像组获得的样本对，形成一个水果样本数据集。

10、所述步骤s1.3中，通过图像处理方法对空间频域图像组进行处理，生成一副输入图像的过程为：对每个空间频率下的三幅空间频域图像进行相位解调处理，得到每个空间频率的解调图像，将两个空间频率的解调图像分别存储于三通道图像的其中两个rgb通道中，另一个rgb通道设置为0，得到一副标签图像；

11、所述步骤s1.3中，通过图像处理方法对空间频域图像组进行处理，生成一副输入图像的过程为：从每个空间频率下的三幅空间频域图像中选取一副测量相位的空间频域图像作为每个空间频率的单相位图像；使用预先获取的漫反射白板在每个空间频率下的解调图像作为每个空间频率的参比图像；将两个空间频率的单相位图像与参比图像进行耦合处理，获得两幅或三幅耦合图像，将所得耦合图像融合为一副输入图像；所述融合过程为：若获得两幅耦合图像，则将两幅耦合图像分别存储于彩色图像的其中两个rgb通道中，另一个rgb通道被设置为0，得到一副输入图像；若获得三副耦合图像，则将三幅耦合图像分别存储于彩色图像的三个rgb通道中，得到一副输入图像。

12、可选地，所述步骤s1中，由原始数据集通过八种图像处理方法构建出八个水果样本数据集。每个水果样本数据集中，由每个波长下的空间频域图像组生成一副标签图像，所述标签图像的三个rgb通道分别为mdc、mac、0；其中，mdc为直流解调参考mdc，即水果样本在第一空间频率下的解调图像；mac为交流解调参考，即水果样本在第二空间频率下的解调图像。八个水果样本数据集中，由每个波长下的空间频域图像组生成一副输入图像，输入图像的三个rgb通道分别为：

13、输入图像input 1：0；

14、输入图像input 2：0；

15、输入图像input 3：iac、mdc,ref、mac,ref；

16、输入图像input 4：idc、mdc,ref、mac,ref；

17、输入图像input 5：iac、idc、mdc,ref；

18、输入图像input 6：iac、idc、mac,ref；

19、输入图像input 7：

20、输入图像input 8：

21、idc为直流单相位图像，即第一空间频率下的单相位图像；

22、iac为交流单相位图像，即第二空间频率下的单相位图像；

23、mdc,ref为直流背景信息，即第一空间频率下的参比图像；

24、mac,ref为交流背景信息，即第二空间频率下的参比图像。

25、s2、构建水果光学特性参数的两阶段预测模型。

26、所述步骤s2中，所述两阶段预测模型包括第一阶段网络和第二阶段网络；所述第一阶段网络基于gan结构构建，gan结构的生成器采用带有跳连接的u-net网络，第一阶段网络的输入为所述输入图像，输出为预测图像；所述第二阶段网络基于mlp结构构建，第二阶段网络的输入为所述预测图像，输出为光学特性参数。

27、所述预测图像的三个rgb通道中，其中两个rgb通道分别为水果样本在两个空间频率下的预测解调图像，另一个rgb通道为0，即所述预测图像的三个rgb通道分别为水果样本为第一空间频率下的预测解调图像、第二空间频率下的预测解调图像和0。

28、所述两阶段预测模型的总损失函数为：

29、

30、式中，为两阶段预测模型的总损失，为第一阶段网络的损失，为第二阶段网络的损失；

31、其中，所述第一阶段网络的损失函数为：

32、

33、式中，为第一阶段网络的损失，为gan结构的原始损失，为gan结构的额外损失，λ为的正则化参数；

34、其中，gan结构的原始损失gan结构的额外损失分别为：

35、

36、式中，d为gan结构的判别器，g为gan结构的生成器，pdata为真实数据的最优分布，x为真实样本，y为分类结果，为分布函数的期望值，[‖y-g(x)‖1]为分类结果与真实数据的l1范数；

37、其中，第二阶段网络的损失函数为：

38、

39、式中，为第二阶段网络的损失，n为预训练数据中样本总数量，yi为预训练数据中第i个样本的光学特性参数的真实值，pi为预训练数据中第i个样本的光学特性参数预测值。

40、s3、使用每个水果样本数据集中的训练集训练所述两阶段预测模型，得到训练后预测模型。所述步骤s3中，使用每个水果样本数据集训练所述两阶段预测模型，得到训练后预测模型的过程具体为：

41、s3.1、利用蒙特卡洛仿真方法获取第二阶段网络的预训练数据，利用预训练数据对第二阶段网络进行预训练，达到预设的训练轮次后，得到第二阶段网络最优参数；

42、s3.2、将步骤s3.1得到的第二阶段网络最优参数输入到所述步骤s2构建的两阶段预测模型中，固定第二阶段网络的参数后利用水果样本数据集中的训练集进行训练，达到预设训练轮次后，取消固定第二阶段网络的参数，再次利用水果样本数据集中的训练集进行训练，达到预设训练轮次后，得到训练后预测模型。

43、s4、使用每个水果样本数据集中的测试集测试训练后预测模型，评估各个训练后预测模型的性能并选取最佳预测模型作为最终预测模型。

44、所述步骤s4具体为：

45、s4.1、利用每个水果样本数据集中的测试集测试对应的训练后预测模型，计算训练后预测模型的平均相对误差；

46、s4.2、比较各个训练后预测模型的平均相对误差，选取平均相对误差最小的训练后预测模型作为最佳预测模型，将最佳预测模型对应的水果样本数据集的图像处理方法作为最终处理方法，将最佳预测模型作为最终预测模型。

47、s5、利用空间频域成像系统获取待测水果的空间频域图像并利用最终预测模型进行处理，得到待测水果的光学特性参数作为测量结果。

48、所述步骤s5具体为：首先根据最终处理方法确定测量空间频率，所述测量空间频率包括所述步骤s1.1中设置的两个空间频率中的一个或者两个；接着，在每个波长下，利用空间频域成像系统在测量空间频率下采集测量相位的待测水果图像，得到一副或两幅待测单相位图像；接着，利用最终处理方法处理待测单相位图像，生成一副待测输入图像，将待测输入图像输入到最终预测模型中，最终预测模型输出待测水果在该波长下的光学特性参数，将待测水果在所有波长下的光学特性参数作为测量结果并用于待测水果的表面品质检测。

49、在所述步骤s5中，所选用的波长的范围应当与步骤s1.1中预先设定的波长范围相匹配。具体而言，所述步骤s5中的每个波长均位于步骤s1.1中预先设定的波长范围内。所述步骤s1.1中设置的波长范围选自或者为450～1040nm。

50、所述光学特性参数包括吸收系数μa和约化散射系数μ′s。

51、本发明的有益效果是：

52、1、本发明方法能够根据单相位空间频域图像预测水果的光学特性参数，结合单相位图像采集将大幅度缩减sfdi的数据获取与处理耗时，在保证光学特性参数预测精度的同时实现更快速的宽波段水果光学特性参数获取。

53、2、本发明方法利用两阶段网络模型gmopnet预测水果的光学特性参数，两阶段网络模型gmopnet通过gan体系结构进行漫反射率图像的预测，然后通过mlp耦合来自蒙特卡洛仿真的数据，通过在数据集上微调训练，避免了直接预测宽范围光学特性时的不确定性，进而能够实现更宽范围的光学特性参数预测或者未知范围光学特性参数预测。

技术特征：

1.一种基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s1具体为：

3.根据权利要求2所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s1.3中，通过图像处理方法对空间频域图像组进行处理，生成一副输入图像的过程为：对每个空间频率下的三幅空间频域图像进行相位解调处理，得到每个空间频率的解调图像，将两个空间频率的解调图像分别存储于三通道图像的其中两个rgb通道中，另一个rgb通道设置为0，得到一副标签图像；

4.根据权利要求3所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s1中，由原始数据集通过八个图像处理方法构建出八个水果样本数据集，八个水果样本数据集中，输入图像的三个rgb通道分别为：

5.根据权利要求2所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s2中，所述两阶段预测模型包括第一阶段网络和第二阶段网络；所述第一阶段网络基于gan结构构建，gan结构的生成器采用带有跳连接的u-net网络，第一阶段网络的输入为所述输入图像，输出为预测图像；所述第二阶段网络基于mlp结构构建，第二阶段网络的输入为所述预测图像，输出为光学特性参数。

6.根据权利要求5所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述两阶段预测模型的总损失函数为：

7.根据权利要求5所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s3中，使用每个水果样本数据集训练所述两阶段预测模型，得到训练后预测模型的过程具体为：

8.根据权利要求2所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s4具体为：

9.根据权利要求8所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述步骤s5具体为：首先根据最终处理方法确定测量空间频率，所述测量空间频率包括所述步骤s1.1中设置的两个空间频率中的一个或者两个；接着，在每个波长下，利用空间频域成像系统在测量空间频率下采集测量相位的待测水果图像，得到一副或两幅待测单相位图像；接着，利用最终处理方法处理待测单相位图像，生成一副待测输入图像，将待测输入图像输入到最终预测模型中，最终预测模型输出待测水果的光学特性参数，将待测水果的光学特性参数作为测量结果并用于待测水果的表面品质检测。

10.根据权利要求1、5或9所述的基于gan-mlp两阶段网络的水果光学特性的单相位空间频域成像测量方法，其特征在于：所述光学特性参数包括吸收系数μa和约化散射系数μ′s。

技术总结
本发明公开了一种基于GAN‑MLP两阶段网络的水果光学特性的单相位空间频域成像测量方法。包括：采集水果样本图像，创建原始数据集，由原始数据集通过不同的图像处理方法构建出多个水果样本数据集；构建水果光学特性参数的两阶段预测模型；使用每个水果样本数据集训练两阶段预测模型，得到训练后预测模型；使用每个水果样本数据集测试训练后预测模型，评估每个训练后预测模型的性能并选取最佳预测模型作为最终预测模型；获取待测水果图像并利用最终预测模型进行处理，得到待测水果的光学特性参数。本发明方法用于从单幅空间频域图像获得高精度的水果光学特性参数，在保证光学特性参数预测精度的同时实现更快速的宽波段水果光学特性参数获取。

技术研发人员：应义斌,高源,孙志忠,谢丽娟
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/9/23