立体影像校正系统及方法

专利名称：立体影像校正系统及方法
技术领域：
本发明涉及立体成像(stereo imaging),特别是涉及一种立体影像校正系统及方法。
背景技术：
三维成像技术通过呈现二影像(亦即，左场影像及右场影像)分别至观看者的左右眼以形成三维立体影像。无论是否配戴三维眼镜，观看者可根据二影像间的像差(disparity)以感知三维深度。然而，以三维成像系统所撷取的二影像之间很可能具有垂直偏移(verticalshift)，如图I所例示。所述偏移的产生可能因三维成像系统的倾斜或振动所造成。所述 偏移会造成深度噪声或干扰，因而降低三维影像观看的质量或甚至使观看者感到困扰。鉴于三维成像系统会因左场影像与右场影像之间的垂直偏移而产生深度干扰，因此亟需提出一种新颖机制，用以校正或补偿所述干扰。

发明内容
鉴于上述，本发明实施例的目的之一在于提出一种立体影像校正系统及方法，用以补偿三维成像系统当中左场影像与右场影像之间的垂直偏移。根据本发明实施例，立体影像校正系统包含偏移单元、深度产生器、高通滤波器、分析单元及补偿单元。偏移单元依据偏移量，将立体影像对的待偏移影像进行垂直偏移并维持另一影像不动，因而产生偏移影像对，该偏移影像对包含偏移影像及维持影像。深度产生器根据偏移影像对的像素或区块，以产生深度图。高通滤波器通过深度图中高于预设截止频率的频率成分，但衰减低于所述预设截止频率的频率成分，因而产生滤波输出，该滤波输出包含深度图的高频成分。分析单元根据多个滤波输出及多个相应偏移量，以决定匹配点，将位于所述匹配点的偏移量确定为匹配偏移量。补偿单元依据所述匹配偏移量，将立体影像对的待偏移影像进行垂直偏移，因而产生补偿影像对。


图I示出左场影像与右场影像之间具有垂直偏移；图2示出本发明实施例的立体影像校正系统的方块图；图3示出偏移左场影像(L)及维持右场影像(R);以及图4不出所记录的闻频成分及相应的偏移量。主要元件符号说明10 立体影像校正器101 偏移单元103 分析单元1031 内存
105深度产生器107高通滤波器(HPF)109补偿单元12立体格式转换器14显示装置L左场影像R右场影像
LI原始位置L2偏移位置
具体实施例方式图2示出本发明实施例的立体(或三维)影像校正系统的方块图。在本实施例中，立体影像对包含左场影像(L)及右场影像(R)，所述立体影像对被立体影像校正器10接收。立体影像对可由三维影像记录器或三维影像产生器提供。偏移単元101以ー偏移量，针对立体影像对的其中ー个影像(例如左场影像)进行垂直偏移，但保持另ー影像(例如右场影像)不动。举例而言，偏移単元101每经ー帧或多帧，将左场影像(上或下)移动至少ー线(line)。所述偏移量被馈至分析単元103，并记录于内存1031，其可位于分析単元103的内部或外部。偏移単元101所产生的偏移影像对(其包含偏移影像及維持影像)被馈至深度产生器105，用以产生深度图(cbpth map)，其包含所述偏移影像对的像素或区块的深度值。例如，愈靠近观看者的物体，其深度值大于远离观看者的物体。值得注意的是，在进入深度产生器105之前，偏移影像与維持影像之间的重叠影像区域可经比例缩放(scale)。图3所示的左场影像(L)从原始位置LI偏移至偏移位置L2，而右场影像R则维持不动。如图所示，偏移左场影像L2的顶部具空白影像。若将偏移左场影像L2及維持右场影像R的重叠影像区域(如斜线所示)予以放大，则可填满整个影像区域，且所述缩放影像(图中未示出)即可馈至深度产生器105。接着，深度图被高通滤波器(HPF) 107处理，其让深度图的高频成分通过，但衰减预设截止频率以下的成分。高通滤波器107的滤波输出包含有深度图的高频成分，可用以表示所述偏移影像对的ニ影像间的偏移情形。例如，当滤波输出的值较小(亦即，其高频噪声较小)时，表示偏移影像对的偏移影像及維持影像互相匹配。反过来说，当滤波输出的值较大(亦即，其高频噪声较大)时，表示偏移影像对的偏移影像及維持影像不匹配。上述高频成分的产生可通过计数大于所述预设截止频率的数量。或者，通过累积(或积分)大于所述预设截止频率的数值。滤波输出接着被馈至分析单元103并记录于内存1031。图4示出所记录的高频成分(Y轴)及相应的偏移量(X轴)。分析单兀103根据所记录的滤波输出及相应偏移量,决定较佳(或最佳)匹配点，例如绝对最小值的位置。位于匹配点处的偏移量即视为匹配偏移量。接下来，匹配偏移量被馈至补偿单元109，其接收有立体影像对。补偿单元109依据所述匹配偏移量，将立体影像对的其中ー个影像(例如左场影像)进行垂直偏移，但维持另一影像(例如右场影像)不动。在进行垂直偏移后，偏移影像的部分区域会具有空白影像。鉴于此，可采用类似图3所示的技术，将偏移左场影像L2及维持右场影像R的重叠影像区域(如斜线所示)予以放大，以填满整个影像区域，因而产生补偿影像对。值得注意的是，在本实施例中，立体影像对的补偿或校正是以时间为基础，换句话说，立体影像对是一边显示一边进行补偿的。相比于传统技术，其是将整个立体视频进行校正或补偿完毕后，才进行影像的显示。补偿影像对(其包含补偿影像及维持影像)的立体格式可依需要由立体格式转换器12进行转换。立体格式通常根据显示装置14的显示型态来决定。例如，显示装置14可操作于快门眼镜(shutter glasses)、极化眼镜(polarized glasses)或折光眼镜(diopterglasses)(例如红-青绿眼镜(red-cyan glasses))。以上所述仅为本发明的优选实施例而已，并非用以限定本发明的保护范围；凡其 它未脱离发明所揭示的精神下所完成的等效改变或修改，均应包含在权利要求的范围内。
权利要求
1.一种立体影像校正系统，包含 偏移单元，其依据偏移量，将立体影像对的待偏移影像进行垂直偏移并维持另一影像不动，因而产生偏移影像对，所述偏移影像对包含偏移影像及维持影像； 深度产生器，其根据所述偏移影像对的像素或区块，以产生深度图； 高通滤波器，其通过所述深度图中高于预设截止频率的频率成分，但衰减低于所述预设截止频率的频率成分，因而产生滤波输出，所述滤波输出包含所述深度图的高频成分； 分析单元，其根据多个滤波输出及多个相应偏移量，以决定匹配点，将位于所述匹配点的所述偏移量确定为匹配偏移量；及 补偿单元，其依据所述匹配偏移量，将所述立体影像对的待偏移影像进行垂直偏移，因而产生补偿影像对。
2.如权利要求I所述的立体影像校正系统，其中所述立体影像对由三维影像纪录器或三维影像产生器提供。
3.如权利要求I所述的立体影像校正系统，其中所述偏移单元在每一帧或多帧，将所述待偏移影像移动至少一线(line)。
4.如权利要求I所述的立体影像校正系统，还包含内存，用以记录所述偏移量及相应的所述滤波输出。
5.如权利要求I所述的立体影像校正系统，其中所述深度产生器根据所述偏移影像对产生所述深度图，其中所述偏移影像对的偏移影像与维持影像之间的重叠影像区域被缩放(scale)。
6.如权利要求I所述的立体影像校正系统，其中所述高频成分的产生是通过计数大于所述预设截止频率的数量。
7.如权利要求I所述的立体影像校正系统，其中所述高频成分的产生是通过累积大于所述预设截止频率的数值。
8.如权利要求I所述的立体影像校正系统，其中所述匹配点为绝对最小值位置，位于该处的所述滤波输出具有最小值。
9.如权利要求I所述的立体影像校正系统，其中所述补偿单元以时间为基础，使得所述立体影像对一边显示一边进行补偿。
10.如权利要求I所述的立体影像校正系统，还包含 显示装置，其具有立体格式；及 立体格式转换器，用以将所述补偿影像对转换至与所述显示装置的立体格式相对应的格式。
11.一种立体影像校正方法，包含 依据偏移量，将立体影像对的待偏移影像进行垂直偏移并维持另一影像不动，因而产生偏移影像对，所述偏移影像对包含偏移影像及维持影像； 根据所述偏移影像对的像素或区块，以产生深度图； 通过所述深度图中高于预设截止频率的频率成分，但衰减低于所述预设截止频率的频率成分，因而产生滤波输出，所述滤波输出包含所述深度图的高频成分； 根据多个所述滤波输出及多个相应偏移量，以决定匹配点，将位于所述匹配点的所述偏移量确定为匹配偏移量；及依据所述匹配偏移量，将所述立体影像对的待偏移影像进行垂直偏移，因而产生补偿影像对。
12.如权利要求11所述的立体影像校正方法，其中所述立体影像对由三维影像纪录器或三维影像产生器提供。
13.如权利要求11所述的立体影像校正方法，在所述立体影像对的偏移以产生所述偏移影像对的步骤中，在每一帧或多帧，将所述待偏移影像移动至少一线(line)。
14.如权利要求11所述的立体影像校正方法，还包含步骤用以记录所述偏移量及相应的所述滤波输出。
15.如权利要求11所述的立体影像校正方法，在所述深度图的产生步骤中，根据所述偏移影像对产生所述深度图，其中所述偏移影像对的偏移影像与维持影像之间的重叠影像区域被缩放(scale)。
16.如权利要求11所述的立体影像校正方法，其中所述高频成分的产生是通过计数大于所述预设截止频率的数量。
17.如权利要求11所述的立体影像校正方法，其中所述高频成分的产生是通过累积大于所述预设截止频率的数值。
18.如权利要求11所述的立体影像校正方法，其中所述匹配点为绝对最小值位置，位于该处的所述滤波输出具有最小值。
19.如权利要求11所述的立体影像校正方法，其中所述补偿影像对的产生步骤以时间为基础，使得所述立体影像对一边显示一边进行补偿。
20.如权利要求11所述的立体影像校正方法，还包含步骤用以将所述补偿影像对转换至与显示装置的立体格式相对应的格式。
全文摘要
本发明公开了一种立体影像校正系统及方法。偏移单元依据偏移量用以将立体影像对的待偏移影像进行垂直偏移，深度产生器根据偏移影像对产生深度图。高通滤波器处理所述深度图以产生滤波输出，分析单元根据多个滤波输出及相应偏移量决定匹配点，将位于所述匹配点的偏移量确定为匹配偏移量。补偿单元依据匹配偏移量，将立体影像对的待偏移影像进行垂直偏移。
文档编号H04N13/02GK102821287SQ20111015980
公开日2012年12月12日 申请日期2011年6月9日 优先权日2011年6月9日
发明者钮圣君 申请人:承景科技股份有限公司