图像处理方法和电子设备的制造方法
图像处理方法和电子设备的制造方法
【技术领域】
[0001] 本发明涉及电子设备的领域，更具体地，涉及图像处理方法和电子设备。
【背景技术】
[0002] 目前，3D显示和立体相机已经受到越来越多的关注。在利用立体相机产生深度图 时，通常深度算法需要使用比较大的缓冲器，并且缓冲器的大小与深度图的分辨率W及深 度图中物体距离的远近有直接的联系。
[0003] 另一方面，在利用硬件电路实现时，大缓冲器意味着更多成本。
[0004] 为此，期望提供一种图像处理方法和电子设备，其能够减少深度计算使用的缓冲 器，同时保证深度信息的使用效果。
【发明内容】
[0005] 本发明的实施例提供了一种图像处理方法，应用于包括至少两个图像采集模块的 电子设备中，所述方法包括：
[0006] 检测所述图像采集模块的对焦操作，确定对焦区域；
[0007] 确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离；
[0008] 当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及
[0009] 当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分 辨率小于所述第一分辨率。
[0010] 优选地，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距 离进一步包括：
[0011] 检测所述电子设备的音圈马达的驱动电流的值；
[0012] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0013] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0014] 优选地，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的 距离进一步包括：
[0015] 获取所述电子设备的透镜传感器的感测值；
[0016] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0017] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0018] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0019] 根据本发明另一实施例，提供了一种电子设备，包括：
[0020] 至少两个图像采集模块，用于采集被摄体的图像；
[0021] 对焦区域确定单元，用于检测所述图像采集模块的对焦操作，确定对焦区域；
[0022] 距离确定单元，用于确定与所述对焦区域对应的对焦点与所述图像采集模块中预 定平面的距离；
[0023] 控制单元，用于当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及 当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分辨率小于 所述第一分辨率。
[0024] 优选地，所述距离确定单元进一步用于：
[00巧]检测所述电子设备的音圈马达的驱动电流的值；
[0026] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0027] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0028] 优选地，所述距离确定单元进一步包括：
[0029] 获取所述电子设备的透镜传感器的感测值；
[0030] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0031] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0032] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0033] 因此，根据本发明实施例的图像处理方法和电子设备，其能够减少深度计算使用 的缓冲器，同时保证深度信息的使用效果。
【附图说明】
[0034] 图la-lc是描述产生深度图信息的原理的说明图；
[0035] 图2是说明根据本发明实施例的图像处理方法的原理的示意图；
[0036] 图3是说明根据本发明实施例的图像处理方法的流程图；W及
[0037] 图4是说明根据本发明实施例的电子设备的功能配置框图。
【具体实施方式】
[0038] 在描述根据本发明实施例的图像处理方法和电子设备之前，首先简单地描述获取 深度信息的原理。
[0039] 目前，利用深度相机（stereo camera)产生深度图信息是当前业内流行的技术。例 女口，最常用的方式是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图。送 样的系统也称为双目相机系统。当然，除了双目相机系统，还可W采用相机阵列系统，其包 括多个相机组成的相机阵列，用于获取场景图像。
[0040] 下面参考图la-lc，W双目相机系统为例来简单地描述获取深度信息的原理。
[0041] 最基本的双目立体几何关系如图la所示，它是由两个完全相同的摄像机构成，两 个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，且X轴重合，摄像机之间在X 方向上的间距为基线距离b。在送个模型中，场景中同一个特征点在两个摄像机图像平面上 的成像位置是不同的。送里，将场景中同一点在两个不同图像中的投影点称为共辆对，其中 的一个投影点是另一个投影点的对应，求共辆对就是求解对应性问题。两幅图像重叠时的 共辆对点的位置之差（共辆对点之间的距离）称为视差，通过两个摄像机中必并且通过场 景特征点的平面称为外极（epipolar)平面，外极平面与图像平面的交线称为外极线。
[004引在图化中，场景点P在左、右图像平面中的投影点分为Pi和心不失一般性，假 设坐标系原点与左透镜中必重合。比较相似Η角形PMCi和PiLCi，可得到下式：
[004引
（公式1)
[0044] 同理，从相似立角形PNCr和PiRCr，可得到下式：
[004引
（公式。
[0046] 合并W上两式，可得：
[0047]
(公式如
[0048] 其中F是焦距，B是基线距离。
[0049] 因此，各种场景点的深度恢复可W通过计算视差来实现。
[0050] 对于两幅从不同角度获取的同一场景的图像来说，传统的特征点搜索方法是首先 在第一幅图像上选择一个特征点，然后在第二幅图像上搜索对应的特征点。也就是说，通过 特征点匹配计算，找到第一幅图中的选定特征点在第二幅中的位置，从而进行图像的匹配。
[0051] 如图1C所示，根据成像几何原理，第一幅图像上的特征点一定位于另一幅图像上 对应的外极线上。也就是说，第一幅图像中的每个特征点都位于第二幅图像中的同一行中。
[0052] 另一方面，由于数字图像的离散特性，该特征点在第一幅图像和第二幅图像中 的位置差W像素为单位进行测量。显然，特征点在高分辨率（例如，采用VGA分辨率 化40X480))时的像素差和低分辨率（例如，采用QVGA分辨率（240X320))时的像素差是 不同的，由此导致特征点搜索的计算量也不同。像素差大时，计算量大，需要的缓冲器大。像 素差小时，计算量小，需要的缓冲器小。
[0053] 另一方面，物体离摄像机的距离也影响特征点在两幅图像上的像素差。当物体离 摄像机远时，物体在两幅图像上的像素差变化较小，此时用一定的缓冲器就能支持高分辨 率（如VGA)的深度图的计算。另一方面，当物体离摄像机近时，物体在两幅图像上的像素 差变化较大，此时，相同的缓冲器不能支持高分辨率深度图的计算。但是，如果将此时深度 图的分辨率设置为低分辨率（如QVGA)，则物体在两个图像中的像素差将变小，此时，相同 的缓冲器又能支持当前的计算量。
[0054] 另一方面，如果已知目标与摄像机之间的距离在某一区间内，则搜索范围可W限 制在第二图像上的一行中的一个较小区间内，如Ic所示。因此，可W提高特征点搜索速度 并且减小计算量。
[0055] 由此可见，深度图的计算量，W及因此导致的缓冲器的大小，与深度图的分辨率W 及物体与摄像机的距离有直接关系。
[0056] 下面，将参考图2描述根据本发明实施例的图像处理方法。
[0057] 根据本发明实施例的图像处理方法应用于包括至少两个图像采集模块的电子设 备中。送样的电子设备例如是包括两个或多个摄像头的立体相机。
[0058] 所述方法包括：
[0059] 步骤S101 ;检测所述图像采集模块的对焦操作，确定对焦区域；
[0060] 步骤S102 ;确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面 的距离；
[0061] 步骤S103 ;当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及
[0062] 步骤S104 ;当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中 所述第二分辨率小于所述第一分辨率。
[0063] 具体来说，在步骤S101中，当立体相机开始图像采集时，在显示单元上显示预览 图像。此时，例如通过自动对焦或手动对焦，确定预览图像中的对焦区域。例如，通过在显 示单元上显示的小方框等确定对焦区域。在确定对焦区域后，电子设备的音圈马达将驱动 图像采集单元包括透镜单元移动到相应的位置。
[0064] 然后，在步骤S102中，确定与所述对焦区域对应的对焦点与所述图像采集模块中 预定平面的距离。
[0065] 在一个实施例中，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定 平面的距离进一步包括：
[0066] 检测电子设备的音圈马达的驱动电流的值。例如，音圈马达的驱动电流通过向寄 存器中写入相应数值来确定。例如，当向寄存器中写入1时，表示驱动电流为Ima，当向寄存 器中写入2时，表示驱动电流为2ma等等。
[0067] 然后，根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位 置。也就是说，当驱动电流为Ima时，可W确定透镜单元被驱动1mm。当驱动电流为2ma时， 可W确定透镜单元被驱动2mm等等。< br>[0068] 然后，根据所述透镜单元的位置计算对焦点与所述预定平面的距离。也就是说，根 据透镜单元被驱动的位置，可W确定此时的对焦点，从而可W确定对焦点与预定平面的距 离。
[0069] 在另一实施例中，电子设备还可W提供透镜传感器，用于测量透镜单元的位置。
[0070] 因此，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离 进一步包括：
[0071] 获取所述电子设备的透镜传感器的感测值；
[0072] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0073] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0074] 也就是说，因为透镜传感器能够直接地确定透镜单元的位置，从而能够确定对焦 点的位置，也就相应地确定了对焦点与预定平面的距离。
[00巧]然后，在步骤S103中，当所述距离超过第一阔值时，W第一分辨率获取第一深度 图；W及
[0076] 步骤S104;当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中 所述第二分辨率小于所述第一分辨率。
[0077] 具体来说，如图3所示，当对焦点与预定屏幕的距离超过第一阔值（如大于35cm， 图3中的A段）时，即此时物体离摄像机远，物体在两幅图像上的像素差变化较小，此时用 一定的缓冲器就能支持高分辨率（如VGA)的深度图的计算。
[0078] 另一方面，当所述距离不超过第一阔值（如小于35cm，图3中的B段）时，物体在 两幅图像上的像素差变化较小，此时为了使用相同的缓冲器，只能支持低分辨率（如QVGA) 的深度图的计算。需要注意的是，此时，因为物体距离摄像机距离较近，因此物体在图像中 所占范围较大（此时，属于微距阶段）。因此，虽然降低了深度图的分辨率，但送并不影响深 度信息的实际使用效果。
[0079] 此时，如公式3所示，深度z受xi' -Xr'的影响，也就是说特征点在第一图像和第 二图像上的投影点的距离差（即，像素差）的影响。该像素差也就是深度图计算算法中的 跨距。
[0080] 也就是说，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0081] 因此，根据本发明第一实施例的图像处理方法，当对焦点与预定屏幕的距离超过 第一阔值时，使用高分辨率进行深度图的计算，当对焦点与预定屏幕的距离不超过第一阔 值时，使用低分辨率进行深度图的计算，从而有效地减小了深度计算的计算量，因此减少了 使用的缓冲器，同时能够保证深度信息的使用效果。
[0082] 下面，将参考图4描述根据本发明另一实施例的电子设备。
[0083] 该电子设备400包括：
[0084] 至少两个图像采集模块401，用于采集被摄体的图像；
[0085] 对焦区域确定单元402,用于检测所述图像采集模块401的对焦操作，确定对焦区 域；
[0086] 距离确定单元403,用于确定与所述对焦区域对应的对焦点与所述图像采集模块 中预定平面的距离；
[0087] 控制单元404,用于当所述距离超过第一阔值时，W第一分辨率获取第一深度图； W及当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分辨率 小于所述第一分辨率。
[008引该图像采集模块401例如包括透镜单元、音圈马达、透镜位置传感器等。电子设备 400例如还包括寄存器等，用于写入音圈马达的驱动电流的值。
[0089] 优选地，所述距离确定单元403进一步用于：
[0090] 检测所述电子设备的音圈马达的驱动电流的值；
[0091] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0092] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0093] 优选地，所述距离确定单元403进一步包括：
[0094] 获取所述电子设备的透镜传感器的感测值；
[0095] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0096] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0097] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0098] 需要注意的是，电子设备400的各个功能块配置为执行根据第一实施例的图像处 理方法的各个步骤，从而执行根据本发明第一实施例的图像处理方法，在此省略其详细描 述。
[0099] 因此，根据本发明实施例的电子设备，当对焦点与预定屏幕的距离超过第一阔值 时，使用高分辨率进行深度图的计算，当对焦点与预定屏幕的距离不超过第一阔值时，使 用低分辨率进行深度图的计算，从而有效地减小了深度计算的计算量，因此减少了使用的 缓冲器，同时能够保证深度信息的使用效果。
[0100] 需要注意的是，在图示根据各个实施例的电子设备时仅仅示出了其功能单元，并 没有具体描述各个功能单元的连接关系，本领域技术人员可W理解的是，各个功能单元可 w通过总线、内部连接线等等适当地连接，送样的连接对于本领域技术人员来说是熟知的。
[0101] 需要说明的是，在本说明书中，术语"包括"、"包含"或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括郝些要 素，而且还包括没有明确列出的其他要素，或者是还包括为送种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0102] 最后，还需要说明的是，上述一系列处理不仅包括W送里所述的顺序按时间序列 执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
[0103] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到本发明可借助 软件加必需的硬件平台的方式来实现，当然也可W全部通过硬件来实施。基于送样的理解， 本发明的技术方案对【背景技术】做出贡献的全部或者部分可软件产品的形式体现出来， 该计算机软件产品可W存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用W使 得一台计算机设备（可W是个人计算机，服务器，或者网络设备等）执行本发明各个实施例 或者实施例的某些部分所述的方法。
[0104] W上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方 式进行了阐述，W上实施例的说明只是用于帮助理解本发明的方法及其核必思想；同时，对 于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变 之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1. 一种图像处理方法，应用于包括至少两个图像采集模块的电子设备中，所述方法包 括： 检测所述图像采集模块的对焦操作，确定对焦区域； 确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离； 当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及 当所述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率 小于所述第一分辨率。2. 如权利要求1所述的图像处理方法，其中，确定与所述对焦区域对应的对焦点与所 述图像采集模块中预定平面的距离进一步包括： 检测所述电子设备的音圈马达的驱动电流的值； 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。3. 如权利要求1所述的图像处理方法，其中，确定与所述对焦区域对应的对焦点与所 述图像采集模块中预定平面的距离进一步包括： 获取所述电子设备的透镜传感器的感测值； 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。4. 如权利要求1所述的图像处理方法，其中， 所述第一阈值由深度图计算算法中使用的预定跨距和分辨率确定。5. -种电子设备，包括： 至少两个图像采集模块，用于采集被摄体的图像； 对焦区域确定单元，用于检测所述图像采集模块的对焦操作，确定对焦区域； 距离确定单元，用于确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平 面的距离； 控制单元，用于当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及当所 述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率小于所述 第一分辨率。6. 如权利要求4所述的电子设备，其中，所述距离确定单元进一步用于： 检测所述电子设备的音圈马达的驱动电流的值； 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。7. 如权利要求4所述的电子设备，其中，所述距离确定单元进一步包括： 获取所述电子设备的透镜传感器的感测值； 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。8. 如权利要求4所述的电子设备，其中， 所述第一阈值由深度图计算算法中使用的预定跨距和分辨率确定。
【专利摘要】本发明提供一种图像处理方法和电子设备。所述方法应用于包括至少两个图像采集模块的电子设备中，所述方法包括：检测所述图像采集模块的对焦操作，确定对焦区域；确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离；当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及当所述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率小于所述第一分辨率。
【IPC分类】H04N13/00, H04N13/02, H04N5/232
【公开号】CN105491277
【申请号】CN201410469899
【发明人】刘永华, 李立华, 李锐
【申请人】联想(北京)有限公司
【公开日】2016年4月13日
【申请日】2014年9月15日
【技术领域】
[0001] 本发明涉及电子设备的领域，更具体地，涉及图像处理方法和电子设备。
【背景技术】
[0002] 目前，3D显示和立体相机已经受到越来越多的关注。在利用立体相机产生深度图 时，通常深度算法需要使用比较大的缓冲器，并且缓冲器的大小与深度图的分辨率W及深 度图中物体距离的远近有直接的联系。
[0003] 另一方面，在利用硬件电路实现时，大缓冲器意味着更多成本。
[0004] 为此，期望提供一种图像处理方法和电子设备，其能够减少深度计算使用的缓冲 器，同时保证深度信息的使用效果。
【发明内容】
[0005] 本发明的实施例提供了一种图像处理方法，应用于包括至少两个图像采集模块的 电子设备中，所述方法包括：
[0006] 检测所述图像采集模块的对焦操作，确定对焦区域；
[0007] 确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离；
[0008] 当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及
[0009] 当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分 辨率小于所述第一分辨率。
[0010] 优选地，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距 离进一步包括：
[0011] 检测所述电子设备的音圈马达的驱动电流的值；
[0012] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0013] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0014] 优选地，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的 距离进一步包括：
[0015] 获取所述电子设备的透镜传感器的感测值；
[0016] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0017] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0018] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0019] 根据本发明另一实施例，提供了一种电子设备，包括：
[0020] 至少两个图像采集模块，用于采集被摄体的图像；
[0021] 对焦区域确定单元，用于检测所述图像采集模块的对焦操作，确定对焦区域；
[0022] 距离确定单元，用于确定与所述对焦区域对应的对焦点与所述图像采集模块中预 定平面的距离；
[0023] 控制单元，用于当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及 当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分辨率小于 所述第一分辨率。
[0024] 优选地，所述距离确定单元进一步用于：
[00巧]检测所述电子设备的音圈马达的驱动电流的值；
[0026] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0027] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0028] 优选地，所述距离确定单元进一步包括：
[0029] 获取所述电子设备的透镜传感器的感测值；
[0030] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0031] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0032] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0033] 因此，根据本发明实施例的图像处理方法和电子设备，其能够减少深度计算使用 的缓冲器，同时保证深度信息的使用效果。
【附图说明】
[0034] 图la-lc是描述产生深度图信息的原理的说明图；
[0035] 图2是说明根据本发明实施例的图像处理方法的原理的示意图；
[0036] 图3是说明根据本发明实施例的图像处理方法的流程图；W及
[0037] 图4是说明根据本发明实施例的电子设备的功能配置框图。
【具体实施方式】
[0038] 在描述根据本发明实施例的图像处理方法和电子设备之前，首先简单地描述获取 深度信息的原理。
[0039] 目前，利用深度相机（stereo camera)产生深度图信息是当前业内流行的技术。例 女口，最常用的方式是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图。送 样的系统也称为双目相机系统。当然，除了双目相机系统，还可W采用相机阵列系统，其包 括多个相机组成的相机阵列，用于获取场景图像。
[0040] 下面参考图la-lc，W双目相机系统为例来简单地描述获取深度信息的原理。
[0041] 最基本的双目立体几何关系如图la所示，它是由两个完全相同的摄像机构成，两 个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，且X轴重合，摄像机之间在X 方向上的间距为基线距离b。在送个模型中，场景中同一个特征点在两个摄像机图像平面上 的成像位置是不同的。送里，将场景中同一点在两个不同图像中的投影点称为共辆对，其中 的一个投影点是另一个投影点的对应，求共辆对就是求解对应性问题。两幅图像重叠时的 共辆对点的位置之差（共辆对点之间的距离）称为视差，通过两个摄像机中必并且通过场 景特征点的平面称为外极（epipolar)平面，外极平面与图像平面的交线称为外极线。
[004引在图化中，场景点P在左、右图像平面中的投影点分为Pi和心不失一般性，假 设坐标系原点与左透镜中必重合。比较相似Η角形PMCi和PiLCi，可得到下式：
[004引
（公式1)
[0044] 同理，从相似立角形PNCr和PiRCr，可得到下式：
[004引
（公式。
[0046] 合并W上两式，可得：
[0047]
(公式如
[0048] 其中F是焦距，B是基线距离。
[0049] 因此，各种场景点的深度恢复可W通过计算视差来实现。
[0050] 对于两幅从不同角度获取的同一场景的图像来说，传统的特征点搜索方法是首先 在第一幅图像上选择一个特征点，然后在第二幅图像上搜索对应的特征点。也就是说，通过 特征点匹配计算，找到第一幅图中的选定特征点在第二幅中的位置，从而进行图像的匹配。
[0051] 如图1C所示，根据成像几何原理，第一幅图像上的特征点一定位于另一幅图像上 对应的外极线上。也就是说，第一幅图像中的每个特征点都位于第二幅图像中的同一行中。
[0052] 另一方面，由于数字图像的离散特性，该特征点在第一幅图像和第二幅图像中 的位置差W像素为单位进行测量。显然，特征点在高分辨率（例如，采用VGA分辨率 化40X480))时的像素差和低分辨率（例如，采用QVGA分辨率（240X320))时的像素差是 不同的，由此导致特征点搜索的计算量也不同。像素差大时，计算量大，需要的缓冲器大。像 素差小时，计算量小，需要的缓冲器小。
[0053] 另一方面，物体离摄像机的距离也影响特征点在两幅图像上的像素差。当物体离 摄像机远时，物体在两幅图像上的像素差变化较小，此时用一定的缓冲器就能支持高分辨 率（如VGA)的深度图的计算。另一方面，当物体离摄像机近时，物体在两幅图像上的像素 差变化较大，此时，相同的缓冲器不能支持高分辨率深度图的计算。但是，如果将此时深度 图的分辨率设置为低分辨率（如QVGA)，则物体在两个图像中的像素差将变小，此时，相同 的缓冲器又能支持当前的计算量。
[0054] 另一方面，如果已知目标与摄像机之间的距离在某一区间内，则搜索范围可W限 制在第二图像上的一行中的一个较小区间内，如Ic所示。因此，可W提高特征点搜索速度 并且减小计算量。
[0055] 由此可见，深度图的计算量，W及因此导致的缓冲器的大小，与深度图的分辨率W 及物体与摄像机的距离有直接关系。
[0056] 下面，将参考图2描述根据本发明实施例的图像处理方法。
[0057] 根据本发明实施例的图像处理方法应用于包括至少两个图像采集模块的电子设 备中。送样的电子设备例如是包括两个或多个摄像头的立体相机。
[0058] 所述方法包括：
[0059] 步骤S101 ;检测所述图像采集模块的对焦操作，确定对焦区域；
[0060] 步骤S102 ;确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面 的距离；
[0061] 步骤S103 ;当所述距离超过第一阔值时，W第一分辨率获取第一深度图；W及
[0062] 步骤S104 ;当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中 所述第二分辨率小于所述第一分辨率。
[0063] 具体来说，在步骤S101中，当立体相机开始图像采集时，在显示单元上显示预览 图像。此时，例如通过自动对焦或手动对焦，确定预览图像中的对焦区域。例如，通过在显 示单元上显示的小方框等确定对焦区域。在确定对焦区域后，电子设备的音圈马达将驱动 图像采集单元包括透镜单元移动到相应的位置。
[0064] 然后，在步骤S102中，确定与所述对焦区域对应的对焦点与所述图像采集模块中 预定平面的距离。
[0065] 在一个实施例中，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定 平面的距离进一步包括：
[0066] 检测电子设备的音圈马达的驱动电流的值。例如，音圈马达的驱动电流通过向寄 存器中写入相应数值来确定。例如，当向寄存器中写入1时，表示驱动电流为Ima，当向寄存 器中写入2时，表示驱动电流为2ma等等。
[0067] 然后，根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位 置。也就是说，当驱动电流为Ima时，可W确定透镜单元被驱动1mm。当驱动电流为2ma时， 可W确定透镜单元被驱动2mm等等。< br>[0068] 然后，根据所述透镜单元的位置计算对焦点与所述预定平面的距离。也就是说，根 据透镜单元被驱动的位置，可W确定此时的对焦点，从而可W确定对焦点与预定平面的距 离。
[0069] 在另一实施例中，电子设备还可W提供透镜传感器，用于测量透镜单元的位置。
[0070] 因此，确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离 进一步包括：
[0071] 获取所述电子设备的透镜传感器的感测值；
[0072] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0073] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0074] 也就是说，因为透镜传感器能够直接地确定透镜单元的位置，从而能够确定对焦 点的位置，也就相应地确定了对焦点与预定平面的距离。
[00巧]然后，在步骤S103中，当所述距离超过第一阔值时，W第一分辨率获取第一深度 图；W及
[0076] 步骤S104;当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中 所述第二分辨率小于所述第一分辨率。
[0077] 具体来说，如图3所示，当对焦点与预定屏幕的距离超过第一阔值（如大于35cm， 图3中的A段）时，即此时物体离摄像机远，物体在两幅图像上的像素差变化较小，此时用 一定的缓冲器就能支持高分辨率（如VGA)的深度图的计算。
[0078] 另一方面，当所述距离不超过第一阔值（如小于35cm，图3中的B段）时，物体在 两幅图像上的像素差变化较小，此时为了使用相同的缓冲器，只能支持低分辨率（如QVGA) 的深度图的计算。需要注意的是，此时，因为物体距离摄像机距离较近，因此物体在图像中 所占范围较大（此时，属于微距阶段）。因此，虽然降低了深度图的分辨率，但送并不影响深 度信息的实际使用效果。
[0079] 此时，如公式3所示，深度z受xi' -Xr'的影响，也就是说特征点在第一图像和第 二图像上的投影点的距离差（即，像素差）的影响。该像素差也就是深度图计算算法中的 跨距。
[0080] 也就是说，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0081] 因此，根据本发明第一实施例的图像处理方法，当对焦点与预定屏幕的距离超过 第一阔值时，使用高分辨率进行深度图的计算，当对焦点与预定屏幕的距离不超过第一阔 值时，使用低分辨率进行深度图的计算，从而有效地减小了深度计算的计算量，因此减少了 使用的缓冲器，同时能够保证深度信息的使用效果。
[0082] 下面，将参考图4描述根据本发明另一实施例的电子设备。
[0083] 该电子设备400包括：
[0084] 至少两个图像采集模块401，用于采集被摄体的图像；
[0085] 对焦区域确定单元402,用于检测所述图像采集模块401的对焦操作，确定对焦区 域；
[0086] 距离确定单元403,用于确定与所述对焦区域对应的对焦点与所述图像采集模块 中预定平面的距离；
[0087] 控制单元404,用于当所述距离超过第一阔值时，W第一分辨率获取第一深度图； W及当所述距离不超过第一阔值时，W第二分辨率获取第二深度图，其中所述第二分辨率 小于所述第一分辨率。
[008引该图像采集模块401例如包括透镜单元、音圈马达、透镜位置传感器等。电子设备 400例如还包括寄存器等，用于写入音圈马达的驱动电流的值。
[0089] 优选地，所述距离确定单元403进一步用于：
[0090] 检测所述电子设备的音圈马达的驱动电流的值；
[0091] 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；W 及
[0092] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0093] 优选地，所述距离确定单元403进一步包括：
[0094] 获取所述电子设备的透镜传感器的感测值；
[0095] 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；W及
[0096] 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。
[0097] 优选地，所述第一阔值由深度图计算算法中使用的预定跨距和分辨率确定。
[0098] 需要注意的是，电子设备400的各个功能块配置为执行根据第一实施例的图像处 理方法的各个步骤，从而执行根据本发明第一实施例的图像处理方法，在此省略其详细描 述。
[0099] 因此，根据本发明实施例的电子设备，当对焦点与预定屏幕的距离超过第一阔值 时，使用高分辨率进行深度图的计算，当对焦点与预定屏幕的距离不超过第一阔值时，使 用低分辨率进行深度图的计算，从而有效地减小了深度计算的计算量，因此减少了使用的 缓冲器，同时能够保证深度信息的使用效果。
[0100] 需要注意的是，在图示根据各个实施例的电子设备时仅仅示出了其功能单元，并 没有具体描述各个功能单元的连接关系，本领域技术人员可W理解的是，各个功能单元可 w通过总线、内部连接线等等适当地连接，送样的连接对于本领域技术人员来说是熟知的。
[0101] 需要说明的是，在本说明书中，术语"包括"、"包含"或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括郝些要 素，而且还包括没有明确列出的其他要素，或者是还包括为送种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0102] 最后，还需要说明的是，上述一系列处理不仅包括W送里所述的顺序按时间序列 执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
[0103] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到本发明可借助 软件加必需的硬件平台的方式来实现，当然也可W全部通过硬件来实施。基于送样的理解， 本发明的技术方案对【背景技术】做出贡献的全部或者部分可软件产品的形式体现出来， 该计算机软件产品可W存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用W使 得一台计算机设备（可W是个人计算机，服务器，或者网络设备等）执行本发明各个实施例 或者实施例的某些部分所述的方法。
[0104] W上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方 式进行了阐述，W上实施例的说明只是用于帮助理解本发明的方法及其核必思想；同时，对 于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变 之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1. 一种图像处理方法，应用于包括至少两个图像采集模块的电子设备中，所述方法包 括： 检测所述图像采集模块的对焦操作，确定对焦区域； 确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离； 当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及 当所述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率 小于所述第一分辨率。2. 如权利要求1所述的图像处理方法，其中，确定与所述对焦区域对应的对焦点与所 述图像采集模块中预定平面的距离进一步包括： 检测所述电子设备的音圈马达的驱动电流的值； 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。3. 如权利要求1所述的图像处理方法，其中，确定与所述对焦区域对应的对焦点与所 述图像采集模块中预定平面的距离进一步包括： 获取所述电子设备的透镜传感器的感测值； 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。4. 如权利要求1所述的图像处理方法，其中， 所述第一阈值由深度图计算算法中使用的预定跨距和分辨率确定。5. -种电子设备，包括： 至少两个图像采集模块，用于采集被摄体的图像； 对焦区域确定单元，用于检测所述图像采集模块的对焦操作，确定对焦区域； 距离确定单元，用于确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平 面的距离； 控制单元，用于当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及当所 述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率小于所述 第一分辨率。6. 如权利要求4所述的电子设备，其中，所述距离确定单元进一步用于： 检测所述电子设备的音圈马达的驱动电流的值； 根据所述驱动电流的值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。7. 如权利要求4所述的电子设备，其中，所述距离确定单元进一步包括： 获取所述电子设备的透镜传感器的感测值； 根据所述感测值计算所述至少两个图像采集模块中的透镜单元的位置；以及 根据所述透镜单元的位置计算对焦点与所述预定平面的距离。8. 如权利要求4所述的电子设备，其中， 所述第一阈值由深度图计算算法中使用的预定跨距和分辨率确定。
【专利摘要】本发明提供一种图像处理方法和电子设备。所述方法应用于包括至少两个图像采集模块的电子设备中，所述方法包括：检测所述图像采集模块的对焦操作，确定对焦区域；确定与所述对焦区域对应的对焦点与所述图像采集模块中预定平面的距离；当所述距离超过第一阈值时，以第一分辨率获取第一深度图；以及当所述距离不超过第一阈值时，以第二分辨率获取第二深度图，其中所述第二分辨率小于所述第一分辨率。
【IPC分类】H04N13/00, H04N13/02, H04N5/232
【公开号】CN105491277
【申请号】CN201410469899
【发明人】刘永华, 李立华, 李锐
【申请人】联想(北京)有限公司
【公开日】2016年4月13日
【申请日】2014年9月15日
最新回复(0)