用于基于照相机的设备的二维条形码定位的制作方法
专利名称：用于基于照相机的设备的二维条形码定位的制作方法
用于基于照相机的设备的二维条形码定位
背景技术：
QR码( ) (IS0/IEC 18004)是一种二维条形码格式，它正变得越来越流行地用于方便各种面向消费者的情景。使用QR码的一种方法是结合配备照相机的移动电话。然而，移动设备上的当前的QR码解码应用在定位，也就是自动在较大的容器图像内定位QR码图像的能力方面受到限制。定位是必需的，因为它使得QR码解码器能够忽略会打断或减慢解码算法的性能的背景伪像。当前的QR码解码应用通常尝试通过对位于符号的三个角上的QR码位置检测图案 (三个小黑框)进行专门扫描以确定边界框来实施定位。然而，这不是特别有效，因为它对于环境条件(尤其是光照、噪声以及模糊)以及算法性能非常敏感。用户能尝试通过以将条形码图像完全填满照相机的预览屏(通常是位于重叠的十字瞄准线图形内)的方式手动定位照相机来自己进行定位。这一技术很容易出错，并且遭受可用性和/或可访问性问题。另外，手动定位有时候是不可能的，诸如当条形码在远处而移动电话缺乏相机变焦功能时。
发明内容
提供本发明内容以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。简单来说，此处所描述的主题的各方面涉及基于与构成条形码符号(例如QR码) 的像素对应的角度签名来在图像内定位条形码符号(例如QR码)的技术。在一方面，图像被分成多个像素块。角度与每个像素相关联，并且基于每个角度所对应的块中的像素的数量的计数，赋予该块一个角度签名。该角度签名随后被用于定位该条形码符号。在一方面，角度签名指示哪个块具有与最多的大致垂直和/或水平的角度相关联的像素。那些块被选为候选块。选择(在图像的一组区域内的)具有最多个数的候选块的区域，并且从该区域逐块生成边界框，边界框的生成是通过将那些具有最多的大致垂直和/ 或水平的角度的块包含在边界框内并排除其它块来实现的。在生成时，边界框标识条形码符号的位置。结合附图阅读以下具体实施方式
，本发明的其他优点会变得显而易见。
作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中图1是示出示例计算设备/环境的方框图，在其中可实现条形码定位的各个方面。图2表示了确定对应于像素的角度以供定位过程中使用。图3表示了对角度进行归一化以供定位过程中使用。图4标识了对应于块的角度签名的直方图，其示出了一组可能的角度中的每个角度的像素计数。图5是表示用于图像的定位处理的示例步骤的流程图。图6是表示用于确定对应于图像的子部分内的可能的条形码位置的候选图像块的示例步骤的流程图。
具体实施例方式此处描述的技术的各方面一般针对根据从对条形码符号的像素的分布的角度分布分析中收集的签名来定位二维条形码符号；签名是从符号内以高频率发生的块状的大块中得到的。尽管此处描述的一些示例针对QR码条形码符号，但应当理解这些只是示例。例如，其它符号，包括具有可标识签名的其它类型的条形码，也可得益于类似的定位技术。如此，本发明不限于此处所描述的任何特定实施例、方面、概念、结构、功能或示例。相反，在此所描述的实施例、方面、概念、结构、功能或示例中的任何一个都是非限制性的，并且本发明可以按一般在计算和图像处理中提供益处和优点的各种方式来使用。转到图1，其中示出了照相机设备102，其通过照相机程序104捕捉原始图像106 之类来获得设备存储器中的包含图像108。包含图像包括二维条形码110，二维条形码包括本示例中的QR码。如下所述的，定位应用112(例如，由设备用户所启动的)定位包含图像108内的二维条形码110。得到的结果是例如以围绕条形码的边界框形式的条形码数据112(其可以是在同一存储器位置或被复制到一不同的位置)以根据用户所需来使用。如将被理解的，定位应用112要求有限的手工劳动，例如用户仅需要将他们的设备指向系统的QR码的大致方向来定位该QR码。定位应用112是稳健的，这反映在它能够可靠地定位遭受低光照、图像噪声/虚拟伪像、倾斜的捕捉角度和/或焦点失真/模糊的包含图像内的QR码边界框。另外，其性能在当代移动设备上足够快，以使得对于消费者使用来说可被认为是实时的。因此，此处所描述的技术即使在较差的环境条件下依然可靠，并且即使对于具有有限的硬件能力的设备来说也是足够轻便以维持高计算性能。在一实现中，进行了包括角度分布分析的各步骤。更具体地，取代了作为现有定位技术基础的搜索众所周知的位置检测图案(具有位于任何QR码符号的三个角上的围绕的正方形的黑块)，定位应用将整个QR码视为一个整体。也就是说，应用通过在考虑QR码的像素的角度分布时利用QR码在整体上具有一定的独特签名的事实来定位包含图像内的QR 码；这是符号内以高频率发生的块状的大块的结果。如由图5的步骤502(以及子步骤503-50 所大致表示的，为了执行角度分布分析，整个源图像被分为多个子集图像块(步骤50 。总的来说，这将定位问题降低为较小的问题，这使得系统更能从由虚拟伪像和其它环境条件引起的干扰中恢复。这可以实现，是由于当这些较小的问题被解决时，被确定为QR码的可能的部分的相邻块有助于指示QR码最有可能的位置。需要注意的是，块的实际像素大小是应用专用的。对于每一图像块，计算像素级角度分布(步骤504)。需要注意的是，图像最初被处理以检测边缘。这一任务的合适的算法是卷积遮罩(诸如Sobel)，以估算图像A的X轴和 Y轴的梯度，记为to和Gy，如以下Sobel卷积矩阵中所示
权利要求
1.在计算环境中，一种方法包括定位图像内的二维条形码符号，包括处理(502)所述图像以确定(504)对应于像素的角度签名，以及基于所述角度签名确定(507，509)所述条形码符号的位置。
2.如权利要求1所述的方法，其特征在于，每个像素由一角度所表示，并且其中处理所述图像包括将所述图像分成块，并且对于块中的每个像素，确定对应于该像素的角度，并且对每一可能的角度，对该块中对应于该角度的像素的个数进行计数，并且维持对可能的角度的计数。
3.如权利要求2所述的方法，其特征在于，所述方法还包括，归一化大于180度的角度， 使得可能的角度的范围为0到180度。
4.如权利要求2所述的方法，其特征在于，对应于一像素的所述角度被维持在包含该像素的原始像素值的存储空间中。
5.如权利要求2所述的方法，其特征在于，处理所述图像以确定角度签名包括估算所述块来确定是否每个块包含具有角度签名的像素，所述角度签名指示就成为所述条形码符号的一部分而言该块是否有资格作为候选块。
6.如权利要求5所述的方法，其特征在于，估算所述块包括根据所述计数确定所述块是否包含最多的大致垂直或大致水平、或者最多的大致垂直和大致水平的角度。
7.如权利要求5所述的方法，其特征在于，还包括通过处理所述候选块来确定最佳候选块。
8.如权利要求7所述的方法，其特征在于，所述图像被分为区域，并且其中确定最佳候选块包括确定哪个区域具有最多的候选块。
9.如权利要求8所述的方法，其特征在于，确定条形码符号的位置包括逼近包含所述条形码符号的一边界框，包括通过估算靠近最佳候选块的其它块来确定那些其它块的每个块的角度签名是否指示该其它块对应于所述条形码符号的一部分。
10.在计算环境中，一种系统，包括标识图像(106)内的条形码符号(110)所在的位置的定位程序(112)，包括通过估算所述图像的像素来将一角度与每一像素相关联，并通过根据与所述像素相关联的所述角度来确定所述条形码所在的位置。
11.如权利要求10所述的系统，其特征在于，所述条形码符号是QR码。
12.如权利要求10所述的系统，其特征在于，所述定位程序运行在具有照相机的移动电话设备中。
13.如权利要求10所述的系统，其特征在于，定位程序通过确定具有至少一个阈值数量的大致垂直或大致水平的角度、或大致垂直的角度和大致水平的角度两者的区域来定位所述条形码。
14.如权利要求13所述的系统，其特征在于，所述定位程序通过以下动作来来确定所述区域将图像分成块，根据每个块中大致垂直或水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块，并根据该区域内的候选块的数量相对于其它区域中候选块的数量来确定区域。
15.如权利要求14所述的系统，其特征在于，所述定位程序根据每个块中大致垂直或大致水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块。
16.如权利要求14所述的系统，其特征在于，所述定位程序通过以下动作来定位所述条形码选择所述区域内的一已选块，并通过估算靠近所述已选块的其它块来确定其它块中的哪些块具有指示那些块的像素是所述条形码符号的一部分的角度签名。
17.如权利要求16所述的系统，其特征在于，所述定位程序通过确定所述区域内的哪个候选块具有最多的大致垂直的角度、或最多的大致水平的角度、或最多的大致垂直和最多的大致水平的角度来选择所述已选块。
18.—个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时执行以下步骤，包括将图像分(50 成块；执行(60 角度分布分析以确定(614)就成为所述条形码符号的一部分而言哪些块是候选块；将所述图像分(507)成比所述块大的区域；确定(507)所述图像内的已选区域，其中基于每个区域内有多少候选块来定位所述条形码符号的至少一部分；以及通过基于所述已选区域内的块来生成边界框以标识(509)包含所述条形码符号的边界框。
19.如权利要求18所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析包括，对于每个块，确定所述块中的每一像素的角度值，并对每个可能的角度值的像素的个数进行计数。
20.如权利要求19所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析来确定就成为所述条形码符号的一部分而言哪些块是候选块包括，从每个可能的角度值的像素的个数来确定所述块是否包含大致水平或大致垂直的角度，或者大致水平的角度和大致垂直的角度两者。
全文摘要
描述的是一种通过查找指示高密度的大致垂直和/或水平角度的角度签名来在图像内定位二维条形码符号(例如QR码())的技术。图像被分为多个像素块。角度与每个像素相关联，根据与每个角度相关联的像素有多少来形成块的角度签名。角度签名指示哪个块具有与最多的大致垂直和/或水平角度相关联的像素。确定具有最多数量的含有这样的角度签名的块的一个区域，并且通过估算附近块来找出包含该条形码符号的最外面的块来从该区域块生成条形码符号的边界框。
文档编号G06K9/46GK102171707SQ200980139833
公开日2011年8月31日 申请日期2009年10月2日 优先权日2008年10月3日
发明者J·婷, M·R·斯科特, W·江 申请人:微软公司
用于基于照相机的设备的二维条形码定位
背景技术：
QR码( ) (IS0/IEC 18004)是一种二维条形码格式，它正变得越来越流行地用于方便各种面向消费者的情景。使用QR码的一种方法是结合配备照相机的移动电话。然而，移动设备上的当前的QR码解码应用在定位，也就是自动在较大的容器图像内定位QR码图像的能力方面受到限制。定位是必需的，因为它使得QR码解码器能够忽略会打断或减慢解码算法的性能的背景伪像。当前的QR码解码应用通常尝试通过对位于符号的三个角上的QR码位置检测图案 (三个小黑框)进行专门扫描以确定边界框来实施定位。然而，这不是特别有效，因为它对于环境条件(尤其是光照、噪声以及模糊)以及算法性能非常敏感。用户能尝试通过以将条形码图像完全填满照相机的预览屏(通常是位于重叠的十字瞄准线图形内)的方式手动定位照相机来自己进行定位。这一技术很容易出错，并且遭受可用性和/或可访问性问题。另外，手动定位有时候是不可能的，诸如当条形码在远处而移动电话缺乏相机变焦功能时。
发明内容
提供本发明内容以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。简单来说，此处所描述的主题的各方面涉及基于与构成条形码符号(例如QR码) 的像素对应的角度签名来在图像内定位条形码符号(例如QR码)的技术。在一方面，图像被分成多个像素块。角度与每个像素相关联，并且基于每个角度所对应的块中的像素的数量的计数，赋予该块一个角度签名。该角度签名随后被用于定位该条形码符号。在一方面，角度签名指示哪个块具有与最多的大致垂直和/或水平的角度相关联的像素。那些块被选为候选块。选择(在图像的一组区域内的)具有最多个数的候选块的区域，并且从该区域逐块生成边界框，边界框的生成是通过将那些具有最多的大致垂直和/ 或水平的角度的块包含在边界框内并排除其它块来实现的。在生成时，边界框标识条形码符号的位置。结合附图阅读以下具体实施方式
，本发明的其他优点会变得显而易见。
作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中图1是示出示例计算设备/环境的方框图，在其中可实现条形码定位的各个方面。图2表示了确定对应于像素的角度以供定位过程中使用。图3表示了对角度进行归一化以供定位过程中使用。图4标识了对应于块的角度签名的直方图，其示出了一组可能的角度中的每个角度的像素计数。图5是表示用于图像的定位处理的示例步骤的流程图。图6是表示用于确定对应于图像的子部分内的可能的条形码位置的候选图像块的示例步骤的流程图。
具体实施例方式此处描述的技术的各方面一般针对根据从对条形码符号的像素的分布的角度分布分析中收集的签名来定位二维条形码符号；签名是从符号内以高频率发生的块状的大块中得到的。尽管此处描述的一些示例针对QR码条形码符号，但应当理解这些只是示例。例如，其它符号，包括具有可标识签名的其它类型的条形码，也可得益于类似的定位技术。如此，本发明不限于此处所描述的任何特定实施例、方面、概念、结构、功能或示例。相反，在此所描述的实施例、方面、概念、结构、功能或示例中的任何一个都是非限制性的，并且本发明可以按一般在计算和图像处理中提供益处和优点的各种方式来使用。转到图1，其中示出了照相机设备102，其通过照相机程序104捕捉原始图像106 之类来获得设备存储器中的包含图像108。包含图像包括二维条形码110，二维条形码包括本示例中的QR码。如下所述的，定位应用112(例如，由设备用户所启动的)定位包含图像108内的二维条形码110。得到的结果是例如以围绕条形码的边界框形式的条形码数据112(其可以是在同一存储器位置或被复制到一不同的位置)以根据用户所需来使用。如将被理解的，定位应用112要求有限的手工劳动，例如用户仅需要将他们的设备指向系统的QR码的大致方向来定位该QR码。定位应用112是稳健的，这反映在它能够可靠地定位遭受低光照、图像噪声/虚拟伪像、倾斜的捕捉角度和/或焦点失真/模糊的包含图像内的QR码边界框。另外，其性能在当代移动设备上足够快，以使得对于消费者使用来说可被认为是实时的。因此，此处所描述的技术即使在较差的环境条件下依然可靠，并且即使对于具有有限的硬件能力的设备来说也是足够轻便以维持高计算性能。在一实现中，进行了包括角度分布分析的各步骤。更具体地，取代了作为现有定位技术基础的搜索众所周知的位置检测图案(具有位于任何QR码符号的三个角上的围绕的正方形的黑块)，定位应用将整个QR码视为一个整体。也就是说，应用通过在考虑QR码的像素的角度分布时利用QR码在整体上具有一定的独特签名的事实来定位包含图像内的QR 码；这是符号内以高频率发生的块状的大块的结果。如由图5的步骤502(以及子步骤503-50 所大致表示的，为了执行角度分布分析，整个源图像被分为多个子集图像块(步骤50 。总的来说，这将定位问题降低为较小的问题，这使得系统更能从由虚拟伪像和其它环境条件引起的干扰中恢复。这可以实现，是由于当这些较小的问题被解决时，被确定为QR码的可能的部分的相邻块有助于指示QR码最有可能的位置。需要注意的是，块的实际像素大小是应用专用的。对于每一图像块，计算像素级角度分布(步骤504)。需要注意的是，图像最初被处理以检测边缘。这一任务的合适的算法是卷积遮罩(诸如Sobel)，以估算图像A的X轴和 Y轴的梯度，记为to和Gy，如以下Sobel卷积矩阵中所示
权利要求
1.在计算环境中，一种方法包括定位图像内的二维条形码符号，包括处理(502)所述图像以确定(504)对应于像素的角度签名，以及基于所述角度签名确定(507，509)所述条形码符号的位置。
2.如权利要求1所述的方法，其特征在于，每个像素由一角度所表示，并且其中处理所述图像包括将所述图像分成块，并且对于块中的每个像素，确定对应于该像素的角度，并且对每一可能的角度，对该块中对应于该角度的像素的个数进行计数，并且维持对可能的角度的计数。
3.如权利要求2所述的方法，其特征在于，所述方法还包括，归一化大于180度的角度， 使得可能的角度的范围为0到180度。
4.如权利要求2所述的方法，其特征在于，对应于一像素的所述角度被维持在包含该像素的原始像素值的存储空间中。
5.如权利要求2所述的方法，其特征在于，处理所述图像以确定角度签名包括估算所述块来确定是否每个块包含具有角度签名的像素，所述角度签名指示就成为所述条形码符号的一部分而言该块是否有资格作为候选块。
6.如权利要求5所述的方法，其特征在于，估算所述块包括根据所述计数确定所述块是否包含最多的大致垂直或大致水平、或者最多的大致垂直和大致水平的角度。
7.如权利要求5所述的方法，其特征在于，还包括通过处理所述候选块来确定最佳候选块。
8.如权利要求7所述的方法，其特征在于，所述图像被分为区域，并且其中确定最佳候选块包括确定哪个区域具有最多的候选块。
9.如权利要求8所述的方法，其特征在于，确定条形码符号的位置包括逼近包含所述条形码符号的一边界框，包括通过估算靠近最佳候选块的其它块来确定那些其它块的每个块的角度签名是否指示该其它块对应于所述条形码符号的一部分。
10.在计算环境中，一种系统，包括标识图像(106)内的条形码符号(110)所在的位置的定位程序(112)，包括通过估算所述图像的像素来将一角度与每一像素相关联，并通过根据与所述像素相关联的所述角度来确定所述条形码所在的位置。
11.如权利要求10所述的系统，其特征在于，所述条形码符号是QR码。
12.如权利要求10所述的系统，其特征在于，所述定位程序运行在具有照相机的移动电话设备中。
13.如权利要求10所述的系统，其特征在于，定位程序通过确定具有至少一个阈值数量的大致垂直或大致水平的角度、或大致垂直的角度和大致水平的角度两者的区域来定位所述条形码。
14.如权利要求13所述的系统，其特征在于，所述定位程序通过以下动作来来确定所述区域将图像分成块，根据每个块中大致垂直或水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块，并根据该区域内的候选块的数量相对于其它区域中候选块的数量来确定区域。
15.如权利要求14所述的系统，其特征在于，所述定位程序根据每个块中大致垂直或大致水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块。
16.如权利要求14所述的系统，其特征在于，所述定位程序通过以下动作来定位所述条形码选择所述区域内的一已选块，并通过估算靠近所述已选块的其它块来确定其它块中的哪些块具有指示那些块的像素是所述条形码符号的一部分的角度签名。
17.如权利要求16所述的系统，其特征在于，所述定位程序通过确定所述区域内的哪个候选块具有最多的大致垂直的角度、或最多的大致水平的角度、或最多的大致垂直和最多的大致水平的角度来选择所述已选块。
18.—个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时执行以下步骤，包括将图像分(50 成块；执行(60 角度分布分析以确定(614)就成为所述条形码符号的一部分而言哪些块是候选块；将所述图像分(507)成比所述块大的区域；确定(507)所述图像内的已选区域，其中基于每个区域内有多少候选块来定位所述条形码符号的至少一部分；以及通过基于所述已选区域内的块来生成边界框以标识(509)包含所述条形码符号的边界框。
19.如权利要求18所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析包括，对于每个块，确定所述块中的每一像素的角度值，并对每个可能的角度值的像素的个数进行计数。
20.如权利要求19所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析来确定就成为所述条形码符号的一部分而言哪些块是候选块包括，从每个可能的角度值的像素的个数来确定所述块是否包含大致水平或大致垂直的角度，或者大致水平的角度和大致垂直的角度两者。
全文摘要
描述的是一种通过查找指示高密度的大致垂直和/或水平角度的角度签名来在图像内定位二维条形码符号(例如QR码())的技术。图像被分为多个像素块。角度与每个像素相关联，根据与每个角度相关联的像素有多少来形成块的角度签名。角度签名指示哪个块具有与最多的大致垂直和/或水平角度相关联的像素。确定具有最多数量的含有这样的角度签名的块的一个区域，并且通过估算附近块来找出包含该条形码符号的最外面的块来从该区域块生成条形码符号的边界框。
文档编号G06K9/46GK102171707SQ200980139833
公开日2011年8月31日 申请日期2009年10月2日 优先权日2008年10月3日
发明者J·婷, M·R·斯科特, W·江 申请人:微软公司
最新回复(0)