图像处理方法、装置、终端及存储介质与流程

本公开涉及终端，尤其涉及一种图像处理方法、装置、终端及存储介质。

背景技术：

1、在手机等终端的摄像头上，当前常规的方案是用一个镜头在一个图像传感器上成像，然后通过常规的图像信号处理方法对图像进行增强，实现良好拍照的功能。但是随着市场对于图像分辨率等质量的要求愈来愈高，手机厂商纷纷推出了大尺寸的成像传感器，相应的光学镜头也会增高，导致摄像头很明显的突出镜头，使用不便，并且美观效果欠佳。

2、而阵列镜头一般指，一个图像传感器配置多个镜头，从而降低相机模组的高度，阵列镜头修改了相机模组的硬件结构，一次曝光可以获得由四张低分辨率图像构成的图像，而无法直接得到分辨率较高的高质量图像，导致其最终的成像效果较差。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、终端及存储介质。

2、根据本公开实施例的第一方面，提供一种图像处理方法，应用于终端，所述图像处理方法包括：

3、获取阵列镜头采集到的原始图像；

4、根据所述原始图像，确定所述阵列镜头对应的多个待处理图像；其中，多个所述待处理图像与所述阵列镜头包括的多个镜头一一对应；

5、将多个所述待处理图像输入超分模型，以确定所述阵列镜头对应的目标图像。

6、可选地，所述将多个所述待处理图像输入超分模型，以确定所述阵列镜头对应的目标图像，包括：

7、对多个所述待处理图像进行编码处理，以确定多个深层特征图像；其中，多个所述深层特征图像与多个所述待处理图像一一对应；

8、对多个所述深层特征图像进行对齐处理，以确定多个对齐特征图像；其中，多个所述对齐特征图像与多个所述深层特征图像一一对应；

9、对多个所述对齐特征图像进行融合处理，以确定融合特征图像；

10、对所述融合特征图像进行解码处理，以确定融合图像；

11、根据所述融合图像，确定所述目标图像。

12、可选地，所述对多个所述深层特征图像进行对齐处理，以确定多个对齐特征图像，包括：

13、对多个所述深层特征图像进行光流计算，以确定偏移信息；

14、根据所述偏移信息对多个所述深层特征图像进行对齐处理，以确定多个所述对齐特征图像。

15、可选地，所述对多个所述深层特征图像进行光流计算，以确定偏移信息，包括：

16、从多个所述深层特征图像中，确定参考特征图像；

17、将多个所述深层特征图像中除所述参考特征图像以外的图像，分别与所述参考特征图像进行光流计算，以确定所述偏移信息；其中，所述偏移信息包括，多个所述深层特征图像中除所述参考特征图像以外的图像，分别与所述参考特征图像之间的偏移量。

18、可选地，所述超分模型包括光流网络，所述光流网络用语进行所述光流计算，所述光流网络包括raft光流网络。

19、可选地，所述根据所述融合图像，确定所述目标图像，包括：

20、对所述融合图像进行上采样处理，以确定所述目标图像。

21、可选地，所述超分模型包括相互对应的编码模块和解码模块，所述编码模块用于进行所述编码处理，所述解码模块用于进行所述解码处理，所述编码模块和/或所述解码编码分别包括，基于流线型构架的神经网络。

22、可选地，所述超分模型通过以下方式确定：

23、获取训练样本集；其中，所述训练样本集包括多个训练样本对，所述训练样本对包括输入样本和输出样本；所述输入样本包括，所述阵列镜头对应于设定采集目标的多个待处理图像样本；所述输出样本包括，参照镜头对应于所述设定采集目标的目标图像样本；所述阵列镜头与所述参照镜头的图像传感器相同；

24、根据所述训练样本集对原始模型进行训练，以确定所述超分模型。

25、可选地，所述根据所述原始图像，确定所述阵列镜头对应的多个待处理图像，包括：

26、根据所述原始图像，确定多个原始子图像；其中，多个所述原始子图像与多个所述镜头一一对应；

27、对多个所述原始子图像进行镜头阴影校正处理，以确定多个所述待处理图像。

28、根据本公开实施例的第二方面，提供一种图像处理装置，应用于终端，所述图像处理装置包括：

29、获取模块，用于获取阵列镜头采集到的原始图像；

30、确定模块，用于根据所述原始图像，确定所述阵列镜头对应的多个待处理图像；其中，多个所述待处理图像与所述阵列镜头包括的多个镜头一一对应；

31、还用于将多个所述待处理图像输入超分模型，以确定所述阵列镜头对应的目标图像。

32、可选地，所述确定模块，用于：

33、对多个所述待处理图像进行编码处理，以确定多个深层特征图像；其中，多个所述深层特征图像与多个所述待处理图像一一对应；

34、对多个所述深层特征图像进行对齐处理，以确定多个对齐特征图像；其中，多个所述对齐特征图像与多个所述深层特征图像一一对应；

35、对多个所述对齐特征图像进行融合处理，以确定融合特征图像；

36、对所述融合特征图像进行解码处理，以确定融合图像；

37、根据所述融合图像，确定所述目标图像。

38、可选地，所述确定模块，用于：

39、根据所述原始图像，确定多个原始子图像；其中，多个所述原始子图像与多个所述镜头一一对应；

40、对多个所述原始子图像进行镜头阴影校正处理，以确定多个所述待处理图像。

41、根据本公开实施例的第三方面，提供一种终端，所述终端包括：

42、处理器；

43、用于存储所述处理器可执行指令的存储器；

44、其中，所述处理器被配置为执行如第一方面所述的图像处理方法。

45、根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如第一方面所述的图像处理方法。

46、本公开的实施例提供的技术方案可以包括以下有益效果：本公开中，可先根据阵列镜头采集的原始图像，确定与阵列镜头中多个镜头一一对应的多个待处理图像，然后再基于超分模型对多个待处理图像进行处理，从而得到阵列镜头对应的目标图像，可以很好地得到高分辨率的图像，提升阵列镜头最终的成像效果，进一步提升用户的使用体验。

47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种图像处理方法，应用于终端，其特征在于，所述图像处理方法包括：

2.根据权利要求1所述的图像处理方法，其特征在于，所述将多个所述待处理图像输入超分模型，以确定所述阵列镜头对应的目标图像，包括：

3.根据权利要求2所述的图像处理方法，其特征在于，所述对多个所述深层特征图像进行对齐处理，以确定多个对齐特征图像，包括：

4.根据权利要求3所述的图像处理方法，其特征在于，所述对多个所述深层特征图像进行光流计算，以确定偏移信息，包括：

5.根据权利要求3所述的图像处理方法，其特征在于，所述超分模型包括光流网络，所述光流网络用语进行所述光流计算，所述光流网络包括raft光流网络。

6.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述融合图像，确定所述目标图像，包括：

7.根据权利要求2所述的图像处理方法，其特征在于，所述超分模型包括相互对应的编码模块和解码模块，所述编码模块用于进行所述编码处理，所述解码模块用于进行所述解码处理，所述编码模块和/或所述解码编码分别包括，基于流线型构架的神经网络。

8.根据权利要求1-7任一项所述的图像处理方法，其特征在于，所述超分模型通过以下方式确定：

9.根据权利要求1-7任一项所述的图像处理方法，其特征在于，所述根据所述原始图像，确定所述阵列镜头对应的多个待处理图像，包括：

10.一种图像处理装置，应用于终端，其特征在于，所述图像处理装置包括：

11.根据权利要求10所述的图像处理装置，其特征在于，所述确定模块，用于：

12.根据权利要求10或11所述的图像处理装置，其特征在于，所述确定模块，用于：

13.一种终端，其特征在于，所述终端包括：

14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如权利要求1-9任一项所述的图像处理方法。

技术总结
本公开提供一种图像处理方法、装置、终端及存储介质，其中，图像处理方法包括：获取阵列镜头采集到的原始图像；根据原始图像，确定阵列镜头对应的多个待处理图像；其中，多个待处理图像与阵列镜头包括的多个镜头一一对应；将多个待处理图像输入超分模型，以确定阵列镜头对应的目标图像。本公开中，可先根据阵列镜头采集的原始图像，确定与阵列镜头中多个镜头一一对应的多个待处理图像，然后再基于超分模型对多个待处理图像进行处理，从而得到阵列镜头对应的目标图像，可以很好地得到高分辨率的图像，提升阵列镜头最终的成像效果，进一步提升用户的使用体验。

技术研发人员：曹军
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：
技术公布日：2024/9/23