对可见光图像进行重照明的成像系统和方法与流程
本说明书涉及电子成像，并且具体地，涉及用于对场景和肖像进行成像的摄影照明。
背景技术：
1、数字摄影术使用包含电子光电检测器阵列的相机来捕获由透镜聚焦的图像。所捕获的图像被数字化并存储为准备进一步数字处理、查看、电子出版或数字印刷的计算机文件。数字图像或相片简单地记录光、颜色和阴影的图案；照明在控制图像的质量中极为重要。需要适当的光照来捕获被适当地曝光（例如，不太暗或褪色）、具有正确的颜色和阴影、并且不受照明伪影（例如，阴影、闪光灯反射或条纹等）困扰的图像。在一些类型的摄影术（例如，肖像摄影术）中，传统上已使用精细或复杂的照明设置（例如，3点照明设置）（例如，由专业摄影师在工作室设定中使用）来可控地照明被摄体的面部以用于被摄体的面部的质量图像再现。消费者数码相机（例如，与智能电话集成）现在在普通消费者（即，非专业摄影师）手中无处不在。数码相机电话已改变传统摄影术的观念，主要是因为更容易随身携带放在人的口袋里的相机电话。用户现在在各种各样的不受控光照条件下使用数码相机自由地拍摄场景（包括例如肖像）的相片。对于数码相机摄影术，光照可以由“设备上”光源（例如，附接到相机的小光源/闪光灯）提供。对于数码相机摄影术，仍然需要能够复制或模拟用于在较大设定中（例如，由专业摄影师在工作室设定中）进行质量成像的传统受控照明设置的小型（例如，袖珍型）照明设置。
技术实现思路
1、在一般方面中，一种成像系统包括：可见光相机，该可见光相机被配置成记录场景的第一图像；以及红外相机，该红外相机被配置成记录场景的第二图像。该成像系统还包括处理器和存储器。该成像系统能够包括或耦合到神经网络。处理器被配置成执行存储在存储器中的指令以将第一图像和第二图像输入到神经网络中。神经网络基于第二图像的特性对第一图像进行重照明，以对应于场景在规范光照条件下的图像。规范光照条件包括三点照明设置的主光、补充光和背光。
2、在一个方面中，该成像系统包括被配置成用红外光照照射场景的红外光源。该红外光源能够与红外相机的投影中心并置。可见光相机和红外相机能够被并置并且具有相同或重叠的视场。
3、在一个方面中，处理器被配置成操作可见光相机和红外相机以在单个曝光周期中同时地记录第一图像和第二图像。
4、在一个方面中，包括在成像系统中或耦合到成像系统的神经网络是卷积神经网络（例如，u-net）。神经网络通过以下步骤中的至少一个对第一图像进行重照明：去除阴影、去除镜面伪影、以及合成镜面特征。
5、在一般方面中，一种计算机实现的方法包括：接收由rgb相机在照明环境中记录的场景的红色-绿色-蓝色rgb图像；获得由红外相机在场景的红外光光照下记录的场景的红外图像；将场景的rgb图像和红外图像两者输入到神经网络中，该神经网络基于场景的红外图像的特性对rgb图像进行重照明；以及接收重照明后的rgb图像作为神经网络的输出。神经网络通过以下步骤中的至少一个对第一图像进行重照明：去除阴影、去除镜面伪影、以及合成镜面特征。在一个方面中，获得场景的红外图像包括并置rgb相机和红外相机。
6、在一个方面中，获得场景的红外图像包括在由rgb相机记录场景的rgb图像的同时记录红外图像。
7、在一个方面中，通过以下步骤来训练计算机实现的方法中使用的神经网络：提供包括多个光源的光台来可控地照射场景；提供包括可见光相机和红外相机的相机系统来在受控光照条件下捕获场景的图像；以及使用相机系统来记录训练数据图像集合以用于训练神经网络。训练包括通过神经网络来处理来自训练数据集合的场景的可见光图像和红外图像对以产生场景的重照明后的红色-绿色-蓝色rgb图像作为场景的输出图像；以及将场景的重照明后的rgb图像输出与场景的目标规范rgb图像进行比较。训练进一步包括调整神经网络参数以减少场景的重照明后的rgb图像输出与场景的目标规范rgb图像之间的差异。
8、在一般方面中，一种用于训练神经网络以对可见光图像进行重照明的方法包括：提供包括多个光源的光台来可控地照射场景；提供包括可见光相机和红外相机的相机系统来在受控光照条件下捕获场景的图像；以及使用相机系统来记录训练数据图像集合。训练神经网络涉及：通过神经网络来处理来自训练数据集合的场景的可见光图像和红外图像对以产生场景的重照明后的红色-绿色-蓝色rgb图像作为场景的输出图像；将场景的重照明后的rgb图像输出与场景的目标规范rgb图像进行比较；以及调整神经网络参数以减少场景的重照明后的rgb图像输出与场景的目标规范rgb图像之间的差异。
9、在一个方面中，记录训练数据图像集合包括：调整光台中的多个光源以对应于场景的规范照明环境；以及记录场景的目标规范rgb图像。使用相机系统来记录训练数据图像集合能够包括：逐个地打开光台中的多个光源；以及记录场景的一次一个光（one-light-at-a-time）olat rgb图像和olat红外图像对。
10、在一个方面中，记录训练数据图像集合进一步包括将在来自一个光源的光照下获得的场景的第一olat rgb图像与在来自一个或多个第二光源的光照下获得的一个或多个第二rgb图像组合以模拟场景的组合rgb图像。
11、在一个方面中，记录训练数据图像集合进一步包括将在来自一个光源的光照下获得的场景的所有olat rgb图像与在来自其他光源的光照下获得的一个或多个rgb图像组合以模拟组合rgb图像。
12、在一个方面中，使用相机系统来记录训练数据图像集合进一步包括使用相机系统包括记录多个不同场景的rgb图像和红外图像。
13、在一个方面中，调整神经网络参数以减少场景的重照明后的rgb图像输出与场景的目标规范rgb图像之间的差异涉及评估感知损失函数。
14、在一个方面中，调整神经网络参数以减少场景的重照明后的rgb图像输出与场景的目标规范rgb图像之间的差异涉及评估最小绝对误差（ll）函数。
技术特征：
1.一种成像系统，包括：
2.根据权利要求1所述的成像系统，其中，所述第一相机和所述第二相机是可见光相机。
3.根据权利要求2所述的成像系统，进一步包括：
4.根据权利要求1所述的成像系统，其中，所述第二相机是红外相机。
5.根据权利要求4所述的成像系统，进一步包括：
6.根据权利要求5所述的成像系统，其中，所述红外光源与所述第二相机并置。
7.根据权利要求1所述的成像系统，其中，所述第一相机和所述第二相机被并置并且具有相同或重叠的视场。
8.根据权利要求1所述的成像系统，其中，所述规范光照条件包括三点照明设置的主光、补充光和背光。
9.根据权利要求1所述的成像系统，其中，所述处理器被配置为操作所述第一相机和所述第二相机以在单个曝光周期中同时地记录所述第一图像和所述第二图像。
10.根据权利要求1所述的成像系统，其中，所述神经网络是卷积神经网络。
11.根据权利要求10所述的成像系统，其中，所述卷积神经网络包括u-net。
12.根据权利要求1至11中任一项所述的成像系统，其中，所述神经网络通过以下中的至少一个对所述第一图像进行重照明：
13.一种用于训练神经网络以重照明可见光图像的计算机实现的方法，包括：
14.根据权利要求13所述的计算机实现的方法，其中，所述第一相机和所述第二相机是可见光相机。
15.根据权利要求13所述的计算机实现的方法，其中，所述第二相机是红外相机。
16.根据权利要求13所述的计算机实现的方法，其中，所述神经网络通过以下中的至少一个对所述第一图像进行重照明：
17.根据权利要求13所述的计算机实现的方法，其中，获得所述场景的所述第一图像包括并置所述第一相机和所述第二相机。
18.根据权利要求13所述的计算机实现的方法，其中，获得所述第二图像包括由所述第一相机在记录所述场景的所述第一图像的同时记录所述第二图像。
19.根据权利要求13所述的计算机实现的方法，其中，所述神经网络通过以下方式被训练：
20.一种用于训练神经网络以重照明场景的图像的方法，所述方法包括：
21.根据权利要求20所述的方法，其中，所述第一相机和所述第二相机是可见光相机。
22.根据权利要求21所述的方法，其中，所述第二相机是红外相机。
23.根据权利要求20所述的方法，其中，记录所述训练数据图像集合包括调整所述光台中的所述多个光源以与所述场景的规范照明环境相对应，并且记录所述场景的所述目标规范rgb图像。
24.根据权利要求20所述的方法，其中，使用所述相机系统记录所述训练数据图像集合包括逐个地打开所述光台中的所述多个光源，以及记录所述场景的一次一个光olat rgb图像和olat红外图像对。
25.根据权利要求24所述的方法，进一步包括将在来自一个光源的光照下获得的场景的第一olat rgb图像与在来自一个或多个第二光源的光照下获得的一个或多个第二rgb图像组合以模拟所述场景的组合rgb图像。
26.根据权利要求24所述的方法，进一步包括将在来自一个光源的光照下获得的场景的所有olat rgb图像与在来自其他光源的光照下获得的一个或多个rgb图像组合以模拟组合rgb图像。
27.根据权利要求20所述的方法，其中，使用所述相机系统来记录所述训练数据图像集合包括记录多个不同场景的rgb图像和红外图像。
28.根据权利要求20至27中任一项所述的方法，其中，调整所述神经网络参数以减少所述场景的所述经重照明的rgb图像与所述场景的所述目标规范rgb图像之间的差异涉及评估感知损失函数。
29.根据权利要求20至27中任一项所述的方法，其中，调整所述神经网络参数以减少所述场景的所述经重照明的rgb图像与所述场景的所述目标规范rgb图像之间的差异涉及评估最小绝对误差（l1）函数。
技术总结
本申请公开了对可见光图像进行重照明的成像系统和方法。一种成像系统包括处理器、存储器、被配置成记录场景的第一图像的可见光相机和被配置成记录场景的第二图像的红外相机。处理器被配置成执行存储在存储器中的指令以将第一图像和第二图像输入到神经网络中。神经网络基于第二张图像的特性对第一图像进行重照明，以对应于场景在规范光照条件下的图像。
技术研发人员：杰森·劳伦斯,苏普瑞思·阿查尔,夏志豪
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/9/23