基于移动终端的图像处理方法、装置及系统的制作方法
基于移动终端的图像处理方法、装置及系统的制作方法
【技术领域】
[0001]本发明涉及通信技术领域，尤其涉及基于移动终端的图像处理方法、装置及系统。
【背景技术】
[0002]增强现实(Augmented Reality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过计算机等科学技术进行模拟仿真后再叠加，从而将虚拟信息应用到真实世界而被人类感官所感知，从而达到超越现实的感官体验。但现有大多数的移动增强现实系统要求用户随身佩戴便携式计算机、电源、头盔显示器、摄像机等，同时该类系统体积庞大笨重、造价高昂、不易长期携带及维护，因此应用领域较窄，同时头盔显示器定位精度要求高且用户使用时的视野较窄，因而不能为用户带来更佳的使用体验。
【发明内容】
[0003]本发明的主要目的在于提供基于移动终端的图像处理方法、装置及系统，旨在解决如何通过移动终端以扩展现有增强现实技术中的图像处理方式，进而为用户提供更具趣味性与便利性的图像处理方式的技术问题。
[0004]为实现上述目的，本发明提供一种基于移动终端的图像处理方法，所述图像处理方法包括:
[0005]开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0006]识别所述视频图像中是否存在可识别的目标图案图像；
[0007]若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0008]将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0009]优选地，所述识别所述视频图像中是否存在可识别的目标图案图像包括:
[0010]提取所述视频图像中的图像特征信息；
[0011 ]根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0012]优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括:
[0013]当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0014]优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括:
[0015]将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0016]进一步地，为实现上述目的，本发明还提供一种基于移动终端的图像处理装置，所述图像处理装置包括:
[0017]视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0018]目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像；
[0019]三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0020]图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0021 ]优选地，所述目标图案识别模块包括:
[0022]特征提取单元，用于提取所述视频图像中的图像特征信息；
[0023]图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0024]优选地，所述图像处理装置还包括:
[0025]图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0026]优选地，所述图像处理装置还包括:
[0027]图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0028]进一步地，本发明还提供一种图像处理系统，包括移动终端、服务器，其中，所述移动终端包括摄像头以及上述任一项所述的图像处理装置。
[0029]本发明基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
【附图说明】
[0030]图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图；
[0031]图2为图1中步骤S20的细化流程示意图；
[0032]图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图；
[0033]图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图；
[0034]图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图；
[0035]图6为图5中目标图案识别模块的细化功能模块示意图；
[0036]图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图；
[0037]图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图；
[0038]图9为本发明图像处理系统一实施例的功能模块示意图。
[0039]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0040]应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0041]参照图1，图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图。本实施例中，所述图像处理方法包括:
[0042]步骤S10，开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0043]现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
[0044]步骤S20，识别所述视频图像中是否存在可识别的目标图案图像；
[0045]本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另夕卜，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
[0046]步骤S30，若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0047]本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。本实施例中，为带给用户更为逼真的显示效果，因此，进一步需要将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
[0048]步骤S40，将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0049]本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界 场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，再以视频图像中目标图案图像为基准，进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
[0050]本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0051]参照图2，图2为图1中步骤S20的细化流程示意图。基于上述实施例，本实施例中，上述步骤S20包括:
[0052]步骤S201，提取所述视频图像中的图像特征信息；
[0053]步骤S202，根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0054]本实施例中，提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、0RB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
[0055]比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
[0056]参照图3，图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后包括:
[0057]步骤S50，当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0058]本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，需要保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
[0059]本实施例中，具体采用预置的跟踪算法目标图案图像，比如SIFT-K-CT(SIFT_K-means Contour Tracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
[0060]参照图4，图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后还包括:
[0061]步骤S60，将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0062]本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，具体可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0063]参照图5，图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图。本实施例中，所述图像处理装置包括:
[0064]视频图像获取模块10，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0065]现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
[0066]本实施例中，通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像。
[0067]目标图案识别模块20，用于识别所述视频图像中是否存在可识别的目标图案图像；
[0068]本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另夕卜，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
[0069]当通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像后，目标图案识别模块20识别所述视频图像中是否存在可识别的目标图案图像。
[0070]三维模型建立模块30，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0071]本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。
[0072]本实施例中，为带给用户更为逼真的显示效果，因此，进一步通过三维模型建立模块30将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
[0073]图像增强模块40，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0074]本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，通过图像增强模块40进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
[0075]本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0076]参照图6，图6为图5中目标图案识别模块的细化功能模块示意图。基于上述实施例，本实施例中，所述目标图案识别模块2 0包括:
[0077]特征提取单元201，用于提取所述视频图像中的图像特征信息；
[0078]图像匹配单元202，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0079]本实施例中，特征提取单元201所提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。图像匹配单元202根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、0RB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
[0080]比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
[0081]参照图7，图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括:
[0082]图像跟踪处理模块50，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0083]本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，通过图像跟踪处理模块50以保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
[0084]本实施例中，具体采用预置的跟踪算法跟踪目标图案图像，比如SIFT-K_CT(SIFT-K-means Contour Tracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
[0085]参照图8，图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括:
[0086]图案信息发送模块60，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0087]本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序以便于用户在移动终端上使用，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，通过图案信息发送模块60将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0088]参照图9，图9为本发明图像处理系统一实施例的功能模块示意图。本实施例中，所述图像处理系统包括移动终端210、服务器220，其中，移动终端210包括摄像头2101以及上述所述的图像处理装置2102。
[0089]本实施例中，用户使用移动终端210并通过移动终端210内的图像处理装置2102，对摄像头2101所拍摄的真实世界的视频图像进行图像处理，同时在移动终端210上显示相应的视频图像;此外，通过图像处理装置2102完成虚拟图像与视频图像的自动叠加处理，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0090]此外，为进一步了解用户使用产品(比如图像处理APP)的偏好程度，可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器220，从而服务器220可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0091]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种基于移动终端的图像处理方法，其特征在于，所述图像处理方法包括: 开启移动终端的摄像头以拍摄真实世界所对应的视频图像； 识别所述视频图像中是否存在可识别的目标图案图像； 若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像； 将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。2.如权利要求1所述的图像处理方法，其特征在于，所述识别所述视频图像中是否存在可识别的目标图案图像包括: 提取所述视频图像中的图像特征信息； 根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。3.如权利要求1或2所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括: 当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。4.如权利要求3所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括: 将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。5.一种基于移动终端的图像处理装置，其特征在于，所述图像处理装置包括: 视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像； 目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像； 三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像； 图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。6.如权利要求5所述的图像处理装置，其特征在于，所述目标图案识别模块包括: 特征提取单元，用于提取所述视频图像中的图像特征信息； 图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。7.如权利要求5或6所述的图像处理装置，其特征在于，所述图像处理装置还包括: 图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。8.如权利要求7所述的图像处理装置，其特征在于，所述图像处理装置还包括: 图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。9.一种图像处理系统，其特征在于，所述图像处理系统包括移动终端、服务器，其中，所述移动终端包括摄像头以及权利要求5-8中任一项所述的图像处理装置。
【专利摘要】本发明公开了一种基于移动终端的图像处理方法，包括：开启移动终端的摄像头以拍摄真实世界所对应的视频图像；识别所述视频图像中是否存在可识别的目标图案图像；若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。本发明还公开了一种基于移动终端的图像处理装置及系统。本发明基于移动终端进行增强现实的图像处理，实现了现实场景图像与移动终端内置虚拟内容的交互，进而扩展了增强现实的应用领域，提高用户使用体验。
【IPC分类】H04N13/00, H04N13/02
【公开号】CN105491365
【申请号】CN201510831279
【发明人】罗军
【申请人】罗军
【公开日】2016年4月13日
【申请日】2015年11月25日
【技术领域】
[0001]本发明涉及通信技术领域，尤其涉及基于移动终端的图像处理方法、装置及系统。
【背景技术】
[0002]增强现实(Augmented Reality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过计算机等科学技术进行模拟仿真后再叠加，从而将虚拟信息应用到真实世界而被人类感官所感知，从而达到超越现实的感官体验。但现有大多数的移动增强现实系统要求用户随身佩戴便携式计算机、电源、头盔显示器、摄像机等，同时该类系统体积庞大笨重、造价高昂、不易长期携带及维护，因此应用领域较窄，同时头盔显示器定位精度要求高且用户使用时的视野较窄，因而不能为用户带来更佳的使用体验。
【发明内容】
[0003]本发明的主要目的在于提供基于移动终端的图像处理方法、装置及系统，旨在解决如何通过移动终端以扩展现有增强现实技术中的图像处理方式，进而为用户提供更具趣味性与便利性的图像处理方式的技术问题。
[0004]为实现上述目的，本发明提供一种基于移动终端的图像处理方法，所述图像处理方法包括:
[0005]开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0006]识别所述视频图像中是否存在可识别的目标图案图像；
[0007]若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0008]将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0009]优选地，所述识别所述视频图像中是否存在可识别的目标图案图像包括:
[0010]提取所述视频图像中的图像特征信息；
[0011 ]根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0012]优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括:
[0013]当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0014]优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括:
[0015]将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0016]进一步地，为实现上述目的，本发明还提供一种基于移动终端的图像处理装置，所述图像处理装置包括:
[0017]视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0018]目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像；
[0019]三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0020]图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0021 ]优选地，所述目标图案识别模块包括:
[0022]特征提取单元，用于提取所述视频图像中的图像特征信息；
[0023]图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0024]优选地，所述图像处理装置还包括:
[0025]图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0026]优选地，所述图像处理装置还包括:
[0027]图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0028]进一步地，本发明还提供一种图像处理系统，包括移动终端、服务器，其中，所述移动终端包括摄像头以及上述任一项所述的图像处理装置。
[0029]本发明基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
【附图说明】
[0030]图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图；
[0031]图2为图1中步骤S20的细化流程示意图；
[0032]图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图；
[0033]图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图；
[0034]图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图；
[0035]图6为图5中目标图案识别模块的细化功能模块示意图；
[0036]图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图；
[0037]图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图；
[0038]图9为本发明图像处理系统一实施例的功能模块示意图。
[0039]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0040]应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0041]参照图1，图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图。本实施例中，所述图像处理方法包括:
[0042]步骤S10，开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0043]现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
[0044]步骤S20，识别所述视频图像中是否存在可识别的目标图案图像；
[0045]本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另夕卜，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
[0046]步骤S30，若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0047]本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。本实施例中，为带给用户更为逼真的显示效果，因此，进一步需要将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
[0048]步骤S40，将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0049]本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界 场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，再以视频图像中目标图案图像为基准，进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
[0050]本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0051]参照图2，图2为图1中步骤S20的细化流程示意图。基于上述实施例，本实施例中，上述步骤S20包括:
[0052]步骤S201，提取所述视频图像中的图像特征信息；
[0053]步骤S202，根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0054]本实施例中，提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、0RB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
[0055]比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
[0056]参照图3，图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后包括:
[0057]步骤S50，当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0058]本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，需要保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
[0059]本实施例中，具体采用预置的跟踪算法目标图案图像，比如SIFT-K-CT(SIFT_K-means Contour Tracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
[0060]参照图4，图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后还包括:
[0061]步骤S60，将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0062]本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，具体可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0063]参照图5，图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图。本实施例中，所述图像处理装置包括:
[0064]视频图像获取模块10，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
[0065]现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
[0066]本实施例中，通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像。
[0067]目标图案识别模块20，用于识别所述视频图像中是否存在可识别的目标图案图像；
[0068]本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另夕卜，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
[0069]当通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像后，目标图案识别模块20识别所述视频图像中是否存在可识别的目标图案图像。
[0070]三维模型建立模块30，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
[0071]本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。
[0072]本实施例中，为带给用户更为逼真的显示效果，因此，进一步通过三维模型建立模块30将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
[0073]图像增强模块40，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
[0074]本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，通过图像增强模块40进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
[0075]本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像;为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0076]参照图6，图6为图5中目标图案识别模块的细化功能模块示意图。基于上述实施例，本实施例中，所述目标图案识别模块2 0包括:
[0077]特征提取单元201，用于提取所述视频图像中的图像特征信息；
[0078]图像匹配单元202，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
[0079]本实施例中，特征提取单元201所提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。图像匹配单元202根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、0RB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
[0080]比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
[0081]参照图7，图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括:
[0082]图像跟踪处理模块50，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
[0083]本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，通过图像跟踪处理模块50以保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
[0084]本实施例中，具体采用预置的跟踪算法跟踪目标图案图像，比如SIFT-K_CT(SIFT-K-means Contour Tracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
[0085]参照图8，图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括:
[0086]图案信息发送模块60，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
[0087]本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序以便于用户在移动终端上使用，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，通过图案信息发送模块60将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0088]参照图9，图9为本发明图像处理系统一实施例的功能模块示意图。本实施例中，所述图像处理系统包括移动终端210、服务器220，其中，移动终端210包括摄像头2101以及上述所述的图像处理装置2102。
[0089]本实施例中，用户使用移动终端210并通过移动终端210内的图像处理装置2102，对摄像头2101所拍摄的真实世界的视频图像进行图像处理，同时在移动终端210上显示相应的视频图像;此外，通过图像处理装置2102完成虚拟图像与视频图像的自动叠加处理，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
[0090]此外，为进一步了解用户使用产品(比如图像处理APP)的偏好程度，可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器220，从而服务器220可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
[0091]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种基于移动终端的图像处理方法，其特征在于，所述图像处理方法包括: 开启移动终端的摄像头以拍摄真实世界所对应的视频图像； 识别所述视频图像中是否存在可识别的目标图案图像； 若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像； 将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。2.如权利要求1所述的图像处理方法，其特征在于，所述识别所述视频图像中是否存在可识别的目标图案图像包括: 提取所述视频图像中的图像特征信息； 根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。3.如权利要求1或2所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括: 当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。4.如权利要求3所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括: 将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。5.一种基于移动终端的图像处理装置，其特征在于，所述图像处理装置包括: 视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像； 目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像； 三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像； 图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。6.如权利要求5所述的图像处理装置，其特征在于，所述目标图案识别模块包括: 特征提取单元，用于提取所述视频图像中的图像特征信息； 图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。7.如权利要求5或6所述的图像处理装置，其特征在于，所述图像处理装置还包括: 图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。8.如权利要求7所述的图像处理装置，其特征在于，所述图像处理装置还包括: 图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。9.一种图像处理系统，其特征在于，所述图像处理系统包括移动终端、服务器，其中，所述移动终端包括摄像头以及权利要求5-8中任一项所述的图像处理装置。
【专利摘要】本发明公开了一种基于移动终端的图像处理方法，包括：开启移动终端的摄像头以拍摄真实世界所对应的视频图像；识别所述视频图像中是否存在可识别的目标图案图像；若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。本发明还公开了一种基于移动终端的图像处理装置及系统。本发明基于移动终端进行增强现实的图像处理，实现了现实场景图像与移动终端内置虚拟内容的交互，进而扩展了增强现实的应用领域，提高用户使用体验。
【IPC分类】H04N13/00, H04N13/02
【公开号】CN105491365
【申请号】CN201510831279
【发明人】罗军
【申请人】罗军
【公开日】2016年4月13日
【申请日】2015年11月25日
最新回复(0)