一种基于Retinex模块和GAN的图像场景中光源分析网络

本发明属于图像分析，尤其涉及一种基于retinex模块和 gan 的图像场景中光源分析网络。

背景技术：

1、人类拥有在不同光源条件下将同一物体的颜色感知为一致的能力， 该能力被称作 视觉的颜色恒常性。但是相机成像传感器是对射入的光线的线性映射， 导致相机本 身并不具备该能力， 而是需要通过自动白平衡 (auto white balance, awb ) 算法来估 计场景中的光源， 从而对偏色的数据进行校正以恢复光源无关的物体本身颜色， 所以 awb是现代相机成像 pipeline 中的一项基本任务。

2、虽然 awb 算法经过了几十年的发展， 但是依然没有较完美的解决方案，这是由于真实环境通常由若干种光源组成， 传统基于统计的方案（例如经典的灰度世界法和完美世界法）往往需要较强的先验假设或者大量的数据来分析光源的信息， 而 在复杂的光照环境中，假设的前提往往会失效，造成此类统计方法的失败。

3、近些年基于深度学习的 awb 算法, 在该问题上取得了较大改进，例如 fc4可以通过建立场景中每个色块的置信度图，以此组合产生最终的光源分析结果。生成 对抗网络（gan）在多项计算机视觉任务表现突出， sidorov等人提出基于 gan 的 颜色恒常性方法，结合了鉴别器损失和传统的颜色恒常性损失，可以有效去除阴影对于光源分析的影响，并且实现了端到端的校正后的图像生成， 但是该方法由于是直接 输出校正后的图像，导致无法有效的应用于相机成像 pipeline内， 并且该方法会留下 明显的空间伪影。

4、在目前的校正方案中， 通常针对相机成像传感器采集到的原始图像数据（raw图像） 进行处理， 但是由于场景中的明暗信息的影响， 直接使用 raw 数据会对光源估计任务带来较大的难度。retinex模块指出，图像 i可以分解为照明无关的反射分量 ir以及用于结构感知的照度分量 il。同时在最近的图像增强的工作中表明使用照度分量 il增强图像可以保证增强后的图像颜色信息保持不变， 同理颜色恒常性任务是去校正与明暗信息无关的反射分量 ir ，使其接近标准光源下的反射效果， 进而确保相机具有颜色恒常性。

5、相机在拍摄时会由于场景的不同光源导致图像出现偏色现象， 现有的算法试图从相机传感器采集到的 raw图像数据中回归出光源信息以解决偏色， 然而却忽视了 raw数据中包含的场景明暗信息可能会对光源分析任务产生的干扰。为此本方案提出了一种新颖的光源分析架构–基于 retinex 理论的颜色恒常性 gan 网络 (retinex colorcanstancy gan, recc-gan)， 旨在消除明暗信息对于场景中光源分析任务的影响， 提升场景全局光源分析的精度， 进而解决图像偏色问题。

6、由鉴于此，发明一种基于retinex模块和 gan 的图像场景中光源分析网络是非常必要的。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于retinex模块和 gan 的图像场景中光源分析网络，通过 retinex模块模块从 raw数据模块中拆分出反射分量， 降低场景明暗信息的干扰， 随后通过设计的光源分析 gan 网络对该分量进行光源分析， 以更有效地捕捉图像中的光源信息， 进而提升光源分析的精度。

2、一种基于retinex模块和 gan 的图像场景中光源分析网络，包括retinex模块，光源估计生成器和鉴别器，所述的retinex模块，光源估计生成器和鉴别器构成了光源分析总体架构；所述的retinex模块内设置有retinex拆分模块，还包括光源分析模块，gan架构模块和raw数据，所述的raw数据主要利用相机成像传感器所采集；所述的光源估计生成器主干采用的resnet50，stack表示一个残差模块；所述的光源估计生成器能够找到一个函数f，所述的函数f主要利用raw数据拆分得到的反射分量ir进行光源分析任务，以使得分析得到的光源矢量lg尽可能接近groundtruth光源矢量lgt。

3、优选的，所述的gan架构模块通常由一个光源估计生成器和鉴别器组成，核心原则是靠光源估计生成器和鉴别器之间互相博弈来实现平衡；其中所述的鉴别器用于区分输入是真实样本还是生成的伪样本，而所述的光源估计生成器的目的是通过学习来生成与真实样本相接近的伪样本；其中，gan网络将颜色恒常性任务表述为图像到图像的转换问题，通过设计cc-gans(colorconstancygans)架构，在多个数据集上使用多个gan架构进行测试，证实了gan结构在颜色恒常性任务上的有效性。

4、优选的，所述的retinex模块模块其中含有retinex模块，所述的retinex模块是一种颜色恒常性理论，主要思想是基于人的视网膜皮层理论，即基于人眼对于颜色的感知不变性建模；该理论主要是通过消除照明光的影响，从而确定物体固有的反射性质，也就是人眼会在视觉信息的传输中消除光源强度和光线不均匀性的影响，从而保持人眼的颜色恒定性。

5、优选的，所述的retinex模块，图像可以拆分成反射分量和照明分量的乘积：iraw=ir·il

6、所述的ir表示拆分出的反射分量，il表示拆分出的照明分量；所述的retinex模块，假设可以从iraw中分析出照明分量il，则可以将反射分量从总光量中分离出来，从而减少场景明暗不均对于图像的影响，以此提升后续任务的精度，例如图像增强，色彩校正等。

7、优选的，所述的函数f的建模是通过gan网络的生成器进行拟合逼近的；总体上，本方案的方法可以形式化为以下处理过程：lg=[lr,lg,lb]=f(ir)

8、其中，lg是分析得到的光源矢量，ir是从raw数据中拆分得到的反射分量，而函数f则通过gan网络的生成器来实现；最后参照fc4的部分设定，通过最小化损失函数来训练f，损失函数之一是估计出的光源矢量lg和lgt之间的角度误差(单位是度)：lilluminant=*arccos(lg·lgt)。

9、优选的，所述的光源分析模块，主要由光源分析生成器和鉴别器组成；所述的光源分析生成器生成器模块主要功能是根据retinex模块拆分出的反射分量ir来回归出相应的光源矢量lg，用于偏色图像的校正工作；

10、在该模块中，分别采用resnet50和squeezenet两个网络作为主干进行设计；主干从输入的反射分量ir中提取图像特征并输入给最后的网络输出头，输出头由一组全连接层构成，这组全连接层的任务是将主干提取到的特征映射到全局光源矢量空间，并回归出正确的场景全局光源信息，其输出维度分别为：{1024，512，256，128，64，3}；

11、所述的生成器主干采用resnet50时，stack分别由一个带降采样的bottleneck模块以及若干个bottleneck模块组成，四个stack包含的bottleneck数量分别为：3、4、6和3。

12、优选的，所述的光源估计生成器内设置有损失函数，所述的损失函数由三个损失函数组成，分别是光源矢量相似度损失、pix2pix的对抗损失以及像素损失。

13、优选的，所述的光源矢量相似度损失主要反映网络分析出的光源矢量和groundtruth光源矢量之间的角度误差,以此量化光源分析生成回归出的全局光源矢量的准确性对抗损失

14、该损失主要是借鉴pix2pix所提出的对抗损失,如下所示:

15、lcgan(g,d)=ey[log(d(y))]+ex[log(1−d(x))]

16、y=iraw∗m(lgt)

17、x=iraw∗m(g(r(iraw)r))

18、其中g表示光源估计生成器,d表示判别器,这里g使得对抗目标最小化,而d使得对抗目标最大化,所以对抗损失为:lgan=mx g(mi)nlcgan(g,d)

19、所述的对抗损失主要利用鉴别器对光源估计生成器加以惩罚，通过这种对抗性的机制，迫使光源估计生成器生成更加真实和准确的光源分析结果；这样的设计有助于优化光源估计生成器的性能，并使其能够更好地逼近真实的光源矢量；

20、所述的像素损失该损失函数用于衡量生成的光源矢量校正后的图像和使用真实光源矢量校正后的图像之间的差异,使得生成的光源矢量逼近groundtruth,如所示:ll1(g)=ex,y[||y−x||1]

21、y=iraw∗m(lgt)

22、x=iraw∗m(g(r(iraw)r))

23、最终本方案使用的损失函数如下:l=lgan(g,d)+λ1ll1+λ2lilluminant

24、其中,λ1和λ2是损失权重,用于缩放对应损失值,以此来实现各个损失之间的平衡。

25、与现有技术相比，本发明的有益效果为：

26、首先通过 retinex模块模块从 raw数据模块中拆分出反射分量， 降低场景明暗信息的干扰， 随后通过设计的光源分析 gan 网络对该分量进行光源分析， 以更有效地捕捉图像中的光源信息， 进而提升光源分析的精度；在公开数据集 cube++ 上的实验结果表明， 所提出的算法相较于其它方案取得了具有竞争力的结果， 并且 worst25% 指标表现优异；此外， 对于不同源数据集的测试结果表明， recc-gan 具有较好的泛化性能， 从实验结果表明本方案的方法相较于其他先进的方案具有较强的竞争力；特别值得注意的是，本方案方法在主观效果和难以分析的数据上表现更为优越。

27、该基于retinex模块和 gan 的图像场景中光源分析网络，提出了一种基于retinex模块和gan的场景全局光源分析架构，针对raw数据拆分出的反射分量ir进行光源分析，以消除场景光暗信息对于光源分析的影响。

28、设计了光源分析gan网络，能够更有效地捕捉图像中的光源信息，提升了光源分析网络的的拟合和学习能力，提高了场景全局光源分析的精度。

技术特征：

1.一种基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，包括retinex模块，光源估计生成器和鉴别器，所述的retinex模块，光源估计生成器和鉴别器构成了光源分析总体架构；所述的retinex模块内设置有retinex拆分模块，还包括光源分析模块，gan架构模块和raw数据，所述的raw数据主要利用相机成像传感器所采集；所述的光源估计生成器主干采用的resnet50，stack表示一个残差模块；所述的光源估计生成器能够找到一个函数f，所述的函数f主要利用raw数据拆分得到的反射分量ir进行光源分析任务，以使得分析得到的光源矢量lg尽可能接近groundtruth光源矢量lgt。

2.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的gan架构模块通常由一个光源估计生成器和鉴别器组成，靠光源估计生成器和鉴别器之间互相博弈来实现平衡；其中所述的鉴别器用于区分输入是真实样本还是生成的伪样本，而所述的光源估计生成器的目的是通过学习来生成与真实样本相接近的伪样本。

3.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的retinex模块模块其中含有retinex模块，所述的retinex模块是一种颜色恒常性理论，是基于人的视网膜皮层理论，即基于人眼对于颜色的感知不变性建模；所述的retinex模块，图像拆分成反射分量和照明分量的乘积：

4.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的函数f的建模是通过gan网络的生成器进行拟合逼近的；总体上，本方案的方法形式化为以下处理过程：

5.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的光源分析模块，主要由光源分析生成器和鉴别器组成；所述的光源分析生成器生成器模块主要功能是根据retinex模块拆分出的反射分量ir来回归出相应的光源矢量lg，用于偏色图像的校正工作；

6.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的光源估计生成器内设置有损失函数，所述的损失函数由三个损失函数组成，分别是光源矢量相似度损失、pix2pix的对抗损失以及像素损失。

7.如权利要求1所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的光源矢量相似度损失主要反映网络分析出的光源矢量和groundtruth光源矢量之间的角度误差,以此量化光源分析生成回归出的全局光源矢量的准确性对抗损失是借鉴pix2pix所提出的对抗损失,如下所示:

8.如权利要求6所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的对抗损失利用鉴别器对光源估计生成器加以惩罚。

9.如权利要求6所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的像素损失该损失函数用于衡量生成的光源矢量校正后的图像和使用真实光源矢量校正后的图像之间的差异,使得生成的光源矢量逼近groundtruth,如所示:

10.如权利要求6所述的基于retinex模块和 gan 的图像场景中光源分析网络，其特征在于，所述的损失函数如下:l=lgan(g,d)+λ1ll1+λ2lilluminant

技术总结
本发明提供一种基于Retinex模块和GAN的图像场景中光源分析网络，包括Retinex模块，光源估计生成器和鉴别器，所述的Retinex模块，光源估计生成器和鉴别器构成了光源分析总体架构；所述的Retinex模块内设置有Retinex拆分模块，还包括光源分析模块，GAN架构模块和Raw数据，所述的Raw数据主要利用相机成像传感器所采集。本发明通过Retinex模块模块从Raw数据模块中拆分出反射分量，降低场景明暗信息的干扰，随后通过设计的光源分析GAN网络对该分量进行光源分析，以更有效地捕捉图像中的光源信息，进而提升光源分析的精度；方案具有较强的竞争力；特别值得注意的是，本方案方法在主观效果和难以分析的数据上表现更为优越。

技术研发人员：柴锐,郭昭彤,赵鹏程,秦品乐,于一,喻华兵,谢锋波,王琦,王一雄
受保护的技术使用者：中北大学
技术研发日：
技术公布日：2024/9/23