图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备的制作方法
专利名称：图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备的制作方法
技术领域：
本发明涉及包括图像拾取功能的图像输入设备、包括图像显示功能和图像拾取功 能的图像输入/输出设备、以及应用于这样的图像输入设备和这样的图像输入/输出设备 中的加标签处理的图像处理装置和图像处理方法。
背景技术：
一些图像显示器包括触摸面板。触摸面板的类型除了使用电阻的改变的电阻类型 触摸面板和使用电容的改变的电容类型触摸面板之外，还包括光学上检测手指等的光学类 型触摸面板。例如，在光学类型触摸面板中，通过调制来自液晶元件中的背光的光来在其显 示表面上显示图像，并且通过布置在显示表面上的光接收元件接收从显示表面发射、然后 从诸如手指之类的邻近对象反射的光，以检测邻近对象的位置等。专利文件1公开了这样 的图像显示器。专利文件1中公开的显示器包括显示部分，该显示部分包括用于显示图像 的显示装置和用于拾取对象的图像的图像拾取装置。当这样的光学类型触摸面板检测到多个点时，在一些情况下，对从光接收元件捕 获的作为图像的数据执行向被视为一组点的每个连接区域提供标识号的处理(例如，参考 专利文件2)。这样的处理被称为加标签(labeling)处理。[现有技术文件][专利文件][专利文件1]日本未审查专利申请公开No. 2004-127272[专利文件2]日本未审查专利申请公开No. 2002-16401
发明内容
然而，在专利文件2等中的现有技术中的加标签处理中，将作为加标图像的二维 数据暂时存储在帧存储器中，并基于加标图像执行加标签处理。因此，很难对从光接收元件 得到的数据执行实时处理，并且期望实现更高速的加标签处理。做出本发明以解决上述问题，并且本发明的目的是提供允许实现比以前更高速的 加标签处理的图像处理装置和图像处理方法，以及包括这样的图像处理装置的图像输入设 备和图像输入/输出设备。本发明的图像处理装置包括扫描部分，对由二进制化像素数据表示的图像中的 像素执行顺序扫描；以及信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随 时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的 标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和 面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息 的获取。这里，“连接区域”意为允许被视为一组点的像素区域。本发明的图像处理方法包括对由二进制化像素数据表示的图像中的像素执行顺
5序扫描，以及执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素 的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随 时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描 时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。本发明的图像输入设备包括输入面板，包括沿着图像拾取表面布置的多个光接 收元件，以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图 像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息 获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的 像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时， 随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫 描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部 分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象 的位置、形状和尺寸中的一个或多个有关的信息。本发明的第一图像输入/输出设备包括输入/输出面板，包括沿着显示表面布 置的多个显示元件以基于图像信号显示图像、和沿着显示表面布置的多个光接收元件以接 收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素 执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息获取部分，执 行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值 而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每 个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对 关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所 述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状 和尺寸中的一个或多个有关的信息。本发明的第二图像输入/输出设备包括输入/输出面板，包括显示面板和在所 述显示面板中形成的位置检测部分，所述显示面板包括在第一基板和第二基板之间的液晶 层，所述位置检测部分包括第一传感器电极和第二传感器电极，所述第一传感器电极和第 二传感器电极被允许在压下所述第二基板时变为互相接触，并且所述位置检测部分通过检 测由所述第一传感器电极和所述第二传感器电极之间的接触引起的电位改变来检测与外 部邻近对象的位置相应的所述第二基板的压下位置；扫描部分，对由二进制化像素数据表 示的图像中的像素执行顺序扫描，该图像是基于来自光接收元件的光接收信号而获取的； 信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像 素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目标像 素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成 顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置 检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻 近对象的位置、形状和尺寸中的一个或多个有关的信息。在本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备 中，对由二进制化像素数据表示的图像(例如，拾取图像)中的像素执行顺序扫描。这时， 当随时根据目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信 息和面积信息。从而，在完成这样的顺序扫描时，完成对关于整个图像的标签信息、上述位 置信息和上述面积信息的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一 个顺序扫描处理获取关于整个图像的标签信息等。根据本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设 备，对由二进制化像素数据表示的图像中的像素执行顺序扫描，并且在顺序扫描期间，当随 时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的 标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和 面积信息，所以通过一个顺序扫描处理，可以获取关于整个图像的标签信息、上述位置信息 和上述面积信息。因此，可以实现比以前更高速的加标签处理。
图1是图示根据本发明的第一实施例的图像输入/输出设备的配置的框图。图2是图示图1中的图像输入/输出设备的更具体的配置的框图。图3是输入/输出面板的一部分的放大截面图。图4是图示图1中的加标签处理部分的更具体的配置的框图。图5是图示在第一实施例的加标签处理中使用的二进制化数据、行缓冲器、地址 列表和附加信息的例子的示意图。图6是图像输入/输出设备的整个图像处理的流程图。图7是图示第一实施例的加标签处理的细节的流程图。图8是用于描述第一实施例的加标签处理的细节的示意图。图9是用于描述接着图8的加标签处理的细节的示意图。图10是用于描述接着图9的加标签处理的细节的示意图。图11是用于描述接着图10的加标签处理的细节的示意图。图12是用于描述接着图11的加标签处理的细节的示意图。图13是用于描述接着图12的加标签处理的细节的示意图。图14是用于描述接着图13的加标签处理的细节的示意图。图15是用于描述接着图14的加标签处理的细节的示意图。图16是用于描述接着图15的加标签处理的细节的示意图。图17是用于描述接着图16的加标签处理的细节的示意图。图18是用于描述接着图17的加标签处理的细节的示意图。图19是用于描述接着图18的加标签处理的细节的示意图。图20是用于描述接着图19的加标签处理的细节的示意图。图21是用于描述接着图20的加标签处理的细节的示意图。图22是用于描述接着图21的加标签处理的细节的示意图。图23是用于描述接着图22的加标签处理的细节的示意图。图24是图示根据第二实施例的加标签处理部分的具体配置的框图。图25是图示在第二实施例的加标签处理中使用的二进制化数据、行缓冲器、附加 信息和空闲地址信息的例子的示意图。
图26是图示第二实施例的加标签处理的细节的流程图。图27是图示接着图26的第二实施例的加标签处理的细节的流程图。图28是用于描述第二实施例的加标签处理的细节的示意图。图29是用于描述接着图28的加标签处理的细节的示意图。图30是用于描述接着图29的加标签处理的细节的示意图。图31是用于描述接着图30的加标签处理的细节的示意图。图32是接着图31用于描述加标签处理的细节的示意图。图33是用于描述接着图32的加标签处理的细节的示意图。图34是用于描述接着图33的加标签处理的细节的示意图。图35是用于描述接着图34的加标签处理的细节的示意图。图36是用于描述接着图35的加标签处理的细节的示意图。图37是用于描述接着图36的加标签处理的细节的示意图。图38是图示根据本发明的修改例子的输入/输出面板的配置的截面图。
具体实施例方式下面，将参考附图详细描述本发明的实施例。第一实施例图1图示了根据本发明的第一实施例的图像输入/输出设备1的示意性配置。此 外，图2图示了根据该实施例的图像输入/输出设备1的具体配置。而且，图3图示了输入 /输出面板的一部分的放大截面图。如图1所示，根据本实施例的图像输入/输出设备1包 括显示器10和使用显示器10的电子设备主体20。显示器10包括输入/输出面板11、显 示信号处理部分12、光接收信号处理部分13和图像处理部分14，以及电子设备主体20包 括控制部分21。另外，根据本发明的第一实施例的图像处理方法由本实施例的图像输入/ 输出设备1体现，并且也将在下面进行描述。如图2所示，输入/输出面板11由在其中以矩阵形式布置了多个像素16的液晶 显示面板配置，并包括显示元件11a和光接收元件lib。显示元件11a是通过使用从作为光 源的背光发射的光来将诸如图形或字符之类的图像显示在显示表面上的液晶元件。例如， 光接收元件lib是接收光以响应于光的接收来输出电信号的诸如光敏二极管之类的光接 收元件。光接收元件lib接收从背光发射、然后从位于输入/输出面板11之外的诸如手指 之类的外部邻近对象反射回来的反射光，然后光接收元件lib响应于反射光的接收来输出 光接收信号。在本实施例中，分别将多个光接收元件lib布置在面板中的各像素16中。如图2和3所示，通过在透明基板对30和31之间以矩阵形式布置彼此通过阻隔 肋(barrier rib) 32分离的多个光发射/接收单元CWR，来配置输入/输出面板11。光发
射/接收单元CWR包括光发射单元CW(CW1、CW2、CW3......)和包含在光发射单元CW中的
多个光接收单元CR(CR1、CR2、CR3......)。光发射单元CW由作为显示元件11a的液晶单
元配置，并且每个光接收单元CR包括作为光接收元件lib的光接收元件PD。另外，在光接 收单元CR中，在背光侧的透明基板30和光接收元件PD之间布置屏蔽层33，以阻止从背光 发射的光LB进入光接收单元CR，从而每个光接收元件PD仅仅检测从背光侧的相对侧的透 明基板31进入的光而不受背光光LB的影响。
图1中图示的显示信号处理部分21是与输入/输出面板11的前一级(former stage)相连、并驱动输入/输出面板11以基于显示数据显示图像的电路。如图2所示，显示信号处理部分12包括显示信号保持控制部分40、光发射侧扫描 器41、显示信号驱动器42和光接收侧扫描器43。显示信号保持控制部分40将针对每个屏 幕(针对显示器的每场)的从显示信号生成部分44输出的显示信号存储并保持在由例如 SRAM(静态随机存取存储器)等配置的场存储器中，并具有控制驱动每个光发射单元CW的 光发射侧扫描器41和显示信号驱动器42、以及驱动每个光接收单元CR以相互结合工作的 光接收侧扫描器43的功能。更具体地，分别向光发射侧扫描器41和光接收侧扫描器43输 出光发射定时控制信号和光接收定时控制信号，以及基于控制信号和场存储器中保持的显 示信号来向显示信号驱动器42输出针对一个水平行(line)的显示信号。响应于控制信号 和显示信号进行线序(line-sequential)操作。光发射侧扫描器41具有响应于从显示信号保持控制部分40输出的光发射定时控 制信号来选择将被驱动的光发射单元CW的功能。更具体地，通过与输入/输出面板11的 每个像素16相连的光发射栅极线来提供光发射选择信号，以控制光发射元件选择开关。换 言之，当响应于光发射选择信号而施加用于接通给定像素16的光发射元件选择开关的电 压时，该像素16发射具有与从显示信号驱动器42提供的电压相应的亮度的光。显示信号驱动器42具有响应于从显示信号保持控制部分40输出的针对一个水平 行的显示信号来向将被驱动的光发射单元CW提供显示数据的功能。更具体地，将与显示数 据相应的电压通过与输入/输出面板11的每个像素16相连的数据提供线提供给由上述光 发射侧扫描器41选择的像素16。当光发射侧扫描器41和显示信号驱动器42相互结合来 执行线序操作时，与任意显示数据相应的图像被显示在输入/输出面板11上。光接收侧扫描器43具有响应于从显示信号保持控制部分40输出的光接收定时控 制信号来选择将被驱动的光接收单元CR的功能。更具体地，通过与输入/输出面板11的 每个像素16相连的光接收栅极线来提供光接收选择信号，以控制光接收元件选择开关。换 言之，如上述光发射侧扫描器41的操作的情况下，当响应于光接收选择信号而施加用于接 通给定像素16的光接收元件选择开关的电压时，向光接收信号接收器45输出由该像素16 检测的光接收信号。从而，例如，允许由光接收单元CR接收和检测来自从给定光发射单元 CW发射的光的、从接触或邻近输入/输出面板11的对象反射的光。而且，光接收侧扫描器 43向光接收信号接收器45和光接收信号保持部分46输出光接收阻挡(block)控制信号， 并且还具有控制促成这些光接收操作的阻挡的功能。另外，在本实施例的信息输入/输出 设备1中，上述光发射栅极线和上述光接收栅极线分别与每个光发射/接收单元CWR相连， 并且光发射侧扫描器41和光接收侧扫描器43可独立地工作。图1中图示的光接收信号处理部分13与输入/输出面板11的后一级相连，并且 捕捉来自光接收元件lib的光接收信号以执行放大等。如图2所示，光接收信号处理部分 13包括光接收信号接收器45和光接收信号保持部分46。光接收信号接收器45具有响应于从光接收侧扫描器43输出的光接收阻挡控制信 号来获得来自光接收单元CR的针对一个水平行的光接收信号的功能。将在光接收信号接 收器45中获取的针对一个水平行的光接收信号输出到光接收信号保持部分46。光接收信号保持部分46具有响应于从光接收侧扫描器43输出的光接收阻挡控制
9信号来根据从光接收信号接收器45输出的光接收信号而重建针对每个屏幕(针对显示器 的每场)的光接收信号、并且将该光接收信号存储和保持在例如由SRAM等配置的场存储器 中的功能。将存储在光接收信号保持部分46中的光接收信号的数据输出到图像处理部分 14(参见图1)中的位置检测部分47。另外，可以由除了存储器之外的存储元件来配置光接 收信号保持部分46，并且例如，可以将光接收信号作为模拟数据(电荷)保持在电容元件 中。图像处理部分14(参见图1)是与光接收信号处理部分13的后一级相连、并捕捉 来自光接收信号处理部分13的拾取图像、然后执行诸如二进制化(binarization)、噪声去 除或加标之类的处理来获取关于外部邻近对象的点信息、即与外部邻近对象的重心或中心 坐标和外部邻近对象的区域(尺寸或形状)有关的信息的电路。更具体地，图像处理部分14中的加标签处理部分14a (图象处理装置)执行如将 在以下描述的加标签处理，以获取关于整个拾取图像的标签信息(表示拾取图像中连接区 域的标识号的信息)、以及每个连接区域的位置信息和区域信息(area information) 0换 言之，如下面将详细描述的，加标签处理部分14a对由二进制化像素数据表示的拾取图像 中的像素执行顺序扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素 数据的值来将标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域 的位置信息和面积信息，从而获取上述标签信息、上述位置信息和上述面积信息。另外，加 标签处理部分14a相应于本发明中的“扫描部分”和“信息获取部分”的具体例子。此外，图像处理部分14中的位置检测部分47 (参见图2)基于由加标签处理 部分14a获取的上述标签信息、上述位置信息和上述面积信息来执行信号处理以指明 (specify)由光接收单元CR检测的对象所在的位置等。从而，允许指明接触或邻近输入/ 输出面板11的手指等的位置。电子设备主体20 (参见图1)向显示器10的显示信号处理部分12输出显示数据， 并且来自图像处理部分14的点信息被输入到电子设备主体20中。控制部分21通过使用 点信息来改变显示图像。如图2所示，控制部分21(参见图1)包括显示信号生成部分44。显示信号生成 部分44由CPU(中央处理单元)(未示出)等配置，并且基于所提供的图像数据生成用于显 示每个屏幕(显示器的每场)的显示信号，以将该显示信号输出到显示信号保持控制部分 40。接下来，参考图4和5，将在下面描述加标签处理部分14a的具体配置。图4图示 了加标签处理部分14a的具体配置的框图。此外，图5示意性地图示了本实施例的加标签 处理中使用的二进制化数据、行缓冲器(line buffer)、地址列表和附加信息的例子。如图4所示，加标签处理部分14a包括条件确定电路141、新标签号发布电路142、 地址列表143、行缓冲器144、行缓冲器控制电路145、地址列表控制电路146、标签存储器控 制器147和附加信息存储器148。条件确定电路141依次获取例如如图5所示的作为二进制化像素数据的二进制化 数据Din，以基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息的 处理以及更新每个连接区域的位置信息和面积信息的处理。更具体地，条件确定电路141 确定目标像素的像素数据的值是有效还是无效(在该情况下，确定值是有效值“1”还是无效值“0”)，并参考关于相邻像素(在该情况下，目标像素左侧的像素以及目标像素上方的 像素)的标签信息，给出用于发布和分配无效标签或新标签(新标签信息)的命令以及用 于标签合并(结合)任务的命令。而且，当目标像素位于一行的结尾(在该情况下，在右 端)时，条件确定电路141给出用于重新排列地址列表的命令。新标签号发布电路142基于条件确定电路141的确定结果来发布新的标签。更 具体地，在标签是新的情况下，在地址列表143中发布未分配的登记号(register number) (相应于标签信息)。例如，如图5所示，行缓冲器144是存储一行登记号(标签信息)的部分。另外， 为了方便描述稍后将描述的加标签处理，图示了图5等中图示的行缓冲器(图像)144a，而 实际的行缓冲器144是包含一行的缓冲器。行缓冲器控制电路145控制行缓冲器144中的登记号的写、读等。例如，附加信息存储器148将图5中图示的附加信息、即相应于每个标签信息的每 个连接区域的位置信息(xsum ；每个连接区域中x坐标值的总和，ysum ；每个连接区域中y 坐标值的总和，region ；每个连接区域中x坐标和y坐标的最小值、最大值等)和面积信息 (sum;连接区域中像素的数量)与标签号(相应于地址号)相关联，然后存储附加信息。例如，如图5所示，地址列表143将存储在行缓冲器144中的登记号(RegNo ；相应 于标签信息)、存储在附加信息存储器148中的标签号(No ；相应于地址号)和是否分配了 标签信息的状态(Flag)彼此关联，然后存储它们。更具体地，将登记号保持为阵列的指针， 并在阵列中列出标签号，并且标签号是它们自己的地址。从而，标签号与登记号相连。地址列表控制电路146控制地址列表143中的信息的写、读等。标签存储器控制器147控制附加信息存储器148中的附加信息的写、读等，并将关 于整个拾取图像的上述标签信息、以及每个连接区域的上述位置信息和上述面积信息作为 标签信息Dout输出。接下来，除了图1至5之外还参考图6至23，将在下面描述实施例的图像输入/输 出设备1的功能。图6图示了图像输入/输出设备1的整个图像处理的流程。此外，图7 图示了实施例的加标签处理的细节的流程图。而且，图8至23示意性地图示了实施例的加 标签处理的细节。首先，参考图6，将在下面描述图像输入/输出设备1的基本操作。将从电子设备主体20输出的显示数据输入到显示信号处理部分12中。显示信号 处理部分12驱动输入/输出面板11，以基于显示数据将图像显示在输入/输出面板11上。当输入/输出面板11通过使用从背光发射的光来将图像显示在显示元件11a上 时，输2/输出面板11驱动光接收元件lib。然后，当诸如手指之类的外部邻近对象接触或 靠近显示元件11a时，从外部邻近对象反射在显示元件11a上显示的图像，并且由光接收元 件lib检测反射光。通过检测，从光接收元件lib输出光接收信号。然后，光接收信号被输 入到光接收信号处理部分13中，并且光接收信号处理部分13执行诸如放大之类的处理以 处理光接收信号(图6中的步骤S10)。从而，在光接收信号处理部分13中得到拾取图像。接下来，将拾取图像从光接收信号处理部分13输入到图像处理部分14，并且图像 处理部分14对拾取图像执行二进制化处理(步骤S11)。换言之，图像处理部分14存储预 设阈值，并执行二进制化过程，在该二进制化过程中，取决于拾取图像数据的信号强度是小
11于阈值还是等于或大于阈值，将拾取图像数据的信号强度设置为“0”或“1”。从而，在其处 接收从外部邻近对象反射的光的部分被设置为“ 1”，而其他部分被设置为“0”。然后，图像处理部分14从二进制化拾取图像中去除孤立点(isolatedpoint)(步 骤S12)。换言之，在以上述方式对拾取图像二进制化的情况下，图像处理部分14通过去除 与外部邻近对象隔离的、被设置为“1”的部分来执行噪声去除。在这之后，图像处理部分14在标签处理部分14a中执行加标签处理(步骤S13)。 换言之，在以上述方式对拾取图像二进制化的情况下，加标签处理部分14a对被设置为“ 1，， 的部分上执行加标签处理。然后，加标签处理部分14a将被设置为“1”的区域检测为外部 邻近对象的区域，并获取该区域的重心或中心坐标。将这样的数据作为点信息(上述标签 信息Dout)输出到控制部分21。接下来，控制部分21通过使用从图像处理部分14输入的点信息来执行诸如改变 显示图像之类的必要处理。例如，如果操作菜单显示在屏幕上，则检测由用户的手指选择了 操作菜单中的哪个按钮，并执行与所选按钮相应的命令。从而，完成图像输入/输出设备1 中的基本操作。接下来，参考图7至23，将在下面详细描述作为本发明的特征部分之一的、加标签 处理部分14a的加标签处理。首先，例如，如图8所示，初始化行缓冲器144、地址列表143和附加信息存储器 148的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾取图像中目 标像素的像素值(像素数据)是否是“1” (有效值)(图7中的步骤S131)。在该情况下，例如，如图9所示，在目标像素的像素数据是“0”(无效值)的情况下 (步骤S131 :N)，行缓冲器控制电路145和地址列表控制电路146都不向目标像素发布和分 配标签信息。换言之，例如，如图10所示，在行缓冲器144和地址列表143中将“z”(无效 标签)分配给该目标像素(步骤S132)。接着，在这之后，条件确定电路141确定是否完成 沿着一行的扫描(目标像素是否位于一行的右端)(步骤S144)。在该情况下，在还没有完成沿着一行的扫描的情况下(步骤S144 :N)，例如，如 图11所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤 S145)。然后，加标签处理返回到步骤S131。在该情况下，例如，如图11所示，在目标像素的像素数据是“1”(有效值)的情况 下(步骤S131 :Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况 下，目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像 素数据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S133)。在该情况下， 如图11所示，在目标像素上方的像素和在目标像素左侧的像素的标签无效(像素数据是 “0”(无效值)，并且目标像素是孤立点)(步骤S133 两者都无效)；因此，例如，如图12所 示，新标签号发布电路142向目标像素发布和分配新的标签(新标签信息)(步骤S134)。 而且，除此之外，例如，如图12所示，行缓冲器控制电路145、地址列表控制电路146和标签 存储器控制器147每个还更新附加信息(步骤S135)。在这之后，在该情况下，例如，如图 13所示，重复步骤S144和S145中的处理。另外，在图13等中的二进制化数据Din中的像 素中图示的“(1)，，等表示分配给该像素的登记号(标签信息)。接下来，例如，如图14所示，重复步骤S131、S132、S144和S145中的处理或者步骤S131、S134、S135、S144和S145中的处理。然后，在确定完成沿着一行的扫描的情况下(步 骤S144 :Y)，接下来，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描(步 骤 S146)。现在，如图14所示，在还没有完成沿着所有行的扫描的情况下(步骤S146 :N), 接下来，重新排列与完成沿着一行的扫描有关的地址列表(步骤S147)，并且例如，如图15 所示，将目标像素移动到下一行中的第一像素(最左端的像素)(执行顺序扫描)(步骤 S148)。然而，在该情况下(在图14中图示的情况下)，没有重新排列地址列表，因此稍后将 描述地址列表的重新排列。另外，在这之后，加标签处理返回到步骤S131。另一方面，例如，如图16所示，地址列表控制电路146执行将在下面描述的地址列 表的重新排列(步骤S147)。更具体地，例如，如图17所示，在地址列表143中，将没有在行 缓冲器144中出现的登记号的标记设置为“0” (表示没有分配与登记号相应的标签信息)。 从而，例如，如图18所示，在这之后，允许重新使用在地址列表143中标签为“0”的登记号 (允许重新使用标签信息)。另外，在这之后，如图18所示，将目标像素移动到下一行的第 一像素(步骤S148)，并且加标签处理返回到步骤S131。接下来，例如，如图19所示，在步骤S131中确定目标像素的像素数据是“1”(有效 值)(步骤S131 ￥)、并且在步骤S133中确定仅仅在目标像素上方的像素的标签有效(像 素数据是“1”(有效值))(步骤S133 仅仅上方的像素有效)的情况下，执行将在下面描述 的步骤S136和137中的处理。换言之，例如，如图19所示，将与在目标像素上方的像素的 标签相同的标签分配给目标像素(将已经分配给了具有有效值的像素的已发布的标签信 息分配给目标像素)(步骤S136)，并且更新附加信息(每个连接区域的位置信息和面积信 息)(步骤S137)。另一方面，在步骤S131中确定目标像素的像素数据是“1”(步骤S131 :Y)、并且在 步骤S133中确定仅仅目标像素左侧的像素的标签有效(步骤S133 仅仅左侧的像素有效) 的情况下，执行将在下面描述的步骤S138和S139中的处理。换言之，将与左侧的像素的标 签相同的标签分配给目标像素(步骤S138)，并且更新附加信息(步骤S139)。此外，例如，如图20所示，在步骤S131中确定目标像素的像素数据是“1”(步骤 S131 :Y)、并且在步骤S133中确定在目标像素上方的像素和在目标像素左侧的像素的标签 都有效(步骤S133:两者都有效)的情况下，接下来，条件确定电路141确定在目标像素上 方的像素的标签和在目标像素左侧的像素的标签彼此是否不同(步骤S140)。在该情况下， 在目标像素上方的像素的标签与在目标像素左侧的像素的标签彼此相同的情况下(步骤 S140 :N)，执行上述步骤S138和S139中的处理。另一方面，在步骤S140中确定目标像素上方的像素的标签与目标像素左侧的像 素的标签彼此不同的情况下(步骤S140 :Y)，执行将在下面描述的地址列表合并处理(步 骤S141)，并且分配与目标像素上方的像素和目标像素左侧的像素之一的标签相同的标签 (步骤S142)，并更新附加信息(步骤S143)。更具体地，例如，如图21和22所示，行缓冲器 控制电路145、地址列表控制电路146和标签存储器控制器147中的每一个从目标像素上方 的像素和目标像素左侧的像素中选择目标像素左侧的像素的登记号(RegNo ；相应于标签 信息)，并且将附加信息合并到更小的标签号(No;相应于地址号)。从而，合并了两个连接 区域，并且将相同的标签分配给了被合并的两个连接区域中的像素。
13
从而，当执行由步骤S131至148所示的加标签处理时，例如，如图23所示，获得关 于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签信息Dout。 然后，在步骤S146中确定完成沿着所有行的扫描的情况下(步骤S146 :Y)，加标签处理完 成。在本实施例的加标签处理中，以此方式对由二进制化数据Din表示的拾取图像中 的像素执行顺序扫描。然后，在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数 据的值而将登记号分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的附 加信息(位置信息和面积信息)。从而，在完成顺序扫描时，完成对关于整个拾取图像的标 签信息以及每个连接区域的位置信息和面积信息的获取。换言之，不像现有技术，不需要形 成加标图像，并且通过一个顺序扫描处理来获得关于整个图像的加标信息等。从而，在本实施例中，对由二进制化数据Din表示的拾取图像中的像素执行顺序 扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示 拾取图像中每个连接区域的标识号的登记号(标签信息)分配给目标像素时，随时更新与 每个标签信息相应的每个连接区域的附加信息(位置信息和面积信息)，因此通过一个顺 序扫描处理，可获得标签信息、位置信息和面积信息。因此，可以实现比以前更高速的加标 签处理。此外，因为实现了高速加标签处理，所以相比于现有技术，允许改善加标签处理的 实时能力，并且可以实现流处理(streaming process)。而且，不像现有技术，因为不需要形成加标图像，所以也不需要用于保持这样的图 像的帧存储器。换言之，在本实施例中，因为使用行缓冲器执行加标签处理，所以相比于现 有技术，允许减小所使用的存储器量。因此，在硬件上容易实现该加标签处理。第二实施例接下来，将在下面描述本发明的第二实施例。除了布置加标签处理部分14b而不 是加标签处理部分14a之外，本实施例的图像输入/输出设备与图1中图示的第一实施例 的图像输入/输出设备1相同。另外，相同的部件通过与第一实施例相同的标号来表示，并 将不进行进一步描述。图24图示了实施例的加标签处理部分14b的框图。加标签处理部分14b包括条 件确定电路141、新标签号发布电路142、行缓冲器144b、标签存储器控制器147、附加信息 存储器148和空闲地址信息寄存器149。换言之，除了布置空闲地址信息寄存器149而不是 地址列表143和地址列表控制电路146、以及布置行缓冲器144b而不是行缓冲器144和行 缓冲器控制电路145之外，加标签处理部分14b与图4中图示的第一实施例的加标签处理 部分14a相同。例如，如图25所示，行缓冲器144b是存储一行的标签号(相应于标签信息)的 部分。而且，行缓冲器144b由用于每个像素的控制器配置，从而允许目标像素及其相邻像 素(在该情况下，目标像素上方的像素和目标像素左侧的像素)的标签号的参考、写、更新 等。另外，为了便于描述稍后将描述的加标签处理，图示了图25等中图示的行缓冲器(图 像)144c，而实际的行缓冲器144b是包含一行的缓冲器。例如，如图25所示，空闲地址信息寄存器149存储是否分配了每个标签号的状态 (空白列表)。空闲地址信息寄存器149与新标签号发布电路142 —起执行对使用或未使用的标签号的控制、新标签号的搜索等。更具体地，分别将新发布的标签号和通过合并而擦 除的标签号重写为使用中的号码和未使用的号码。从而，允许将使用了的标签号反复重用。 另外，以数字升序顺序使用标签号。而且，本实施例的附加信息存储器148将例如图25中图示的附加信息、即上述标 签号(No)、以及与每个标签信息相应的每个连接区域的位置信息(xsum、ysum、region)和 面积信息(sum)相互关联，然后存储它们。此外，在对正由标签存储器控制器147存取的 (目标像素的)当前标签更新标签号的情况下，以及在改变号码的情况下，或者当完成沿着 一行的扫描时，执行向附加信息存储器148的写。接下来，除了图24和25之外，还参考图26至37，将在下面描述本实施例的图像输 入/输出设备的功能。图26和27图示了本实施例的加标签处理的细节的流程图。此外， 图28至37示意性图示了本实施例的加标签处理的细节。另外，该图像输入/输出设备的 基本操作与第一实施例相同，并将不进行进一步描述。首先，例如，如图28所示，初始化行缓冲器144b、附加信息存储器148和空闲地址 信息寄存器149的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾 取图像中目标像素的像素值(像素数据)是否是“1” (有效值)(图26中的步骤S231)。在该情况下，例如，如图29所示，在目标像素的像素数据是“0”(无效值)的情况 下(步骤S231 :N)，不向目标像素发布和分配标签信息。更具体地，接下来，条件确定电路 141确定目标像素左侧的像素的标签是否是“0”(步骤S232)。在该情况下，因为左侧像素 的标签不是“0” (步骤S232 :N)，所以行缓冲器144b和标签存储器控制器147分别执行步 骤S233和S234中的接下来的处理。换言之，如图29所示，当前标签信息“0”被存储在附 加信息存储器148中(步骤S233)，并且从标签存储器控制器147中擦除当前标签信息(步 骤S234)，然后加标签处理前进到步骤S245。另外，在目标像素左侧的像素的标签是“ 0，，的 情况下(步骤S232 :Y)，加标签处理直接前进到步骤S245。在步骤S245中，条件确定电路 141确定是否完成了沿着一行的扫描(目标像素是否位于右端处)(图27中的步骤S245)。在该情况下，在还没有完成沿着一行的扫描的情况下，(步骤S245 :N)，例如，如 图30所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤 S246)。然后，接下来，加标签处理返回到步骤S231。另一方面，在确定完成了沿着一行的扫描的情况下(步骤S245:Y)，接下来，条件 确定电路141确定目标像素左侧的像素的标签是否是“0”(步骤S247)。在该情况下，目标 像素左侧的像素的标签是“0”(步骤S232 :Y)，接下来，加标签处理前进到步骤S250。另外， 在目标像素左侧的像素的标签是“1”的情况下(步骤S247 :N)，行缓冲器144b和标签存储 器控制器147分别执行步骤S248和S249中的接下来的处理。换言之，当前标签信息“0” 被存储在附加信息存储器148中(步骤S248)，并从标签存储器控制器147中擦除当前标签 信息(步骤S249)，然后，加标签处理前进到步骤S250。在步骤S250中，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描 (步骤S250)。在该情况下，还没有完成沿着所有行的扫描(步骤S250 :N)，例如，如图30所 示，将目标像素移动到下一行中的像素(执行顺序扫描)(步骤S251)，然后加标签处理返回 到步骤S231。这时，在本实施例中，因为没有布置地址列表143，所以不像第一实施例，不重 新排列地址。
15
另一方面，例如，如图30所示，在目标像素的像素数据是“1”(有效值)的情况下 (步骤S231 :Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况下， 目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像素数 据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S235)。在该情况下，如图30 所示，因为目标像素上方的像素和目标像素左侧的像素的标签无效(像素数据是“0”(无效 值)，并且目标像素是孤立点)(步骤S235 两者无效)，例如，如图30所示，所以新标签号 发布电路142通过使用空闲地址信息寄存器149搜索空闲标签号(步骤S236)。而且，除此 之外，例如，如图30所示，行缓冲器144b和标签存储器控制器147将现在的位置信息用作 当前标签信息以向目标像素分配新的标签(新标签信息)(步骤S237)。此外，在这之后，在 该情况下，例如，如图31所示，重复步骤S245和S246中的处理。另外，在图31等中的二进 制化数据Din中的像素中图示的“(1)”等意为分配给该像素的标签号(标签信息)。接下来，例如，如图32所示，在该情况下，重复步骤S231、S232至S234、S245禾口 S246中的处理或者步骤5231、5235、5236、5237、5245和S246中的处理。 接下来，例如，如图32所示，在步骤S321中确定目标像素的像素数据是“ 1”(有效 值)(步骤S231 :Y)、并且在步骤S235中确定仅仅目标像素上方的像素的标签有效(像素 数据是“1”(有效值))(步骤S235 仅仅上方的像素有效)的情况下，执行稍后将描述的步 骤S238中的处理。换言之，例如，如图32所示，行缓冲器144b和标签存储器控制器147使 用(现在的位置信息+关于目标像素上方的像素的标签信息)作为当前标签信息，从而将 与目标像素上方的像素的标签相同的标签分配给目标像素。从而，例如，如图33所示，更新 附加信息(每个连接区域的位置信息和面积信息)。另一方面，例如，如图34所示，在步骤S231中确定目标像素的像素数据是“ 1”(步 骤S231 =Y)、并且在步骤S235中确定仅仅目标像素左侧的像素的标签有效(步骤S235 左 侧的像素有效)的情况下，执行将在下面描述的步骤S239中的处理。换言之，例如，如图34 所示，使用(现在的位置信息+与目标像素左侧的像素有关的标签信息)作为当前标签信 息，从而，将与目标像素左侧的像素的标签相同的标签分配给目标像素。此外，例如，如图35所示，在步骤S231中确定目标像素的像素数据是“ 1”(步骤 S231 :Υ)、并且在步骤S235中确定目标像素上方的像素和目标像素左侧的像素的标签有效 (步骤S235 两者都有效)的情况下，接下来，条件确定电路141确定目标像素上方的像素 的标签是否与目标像素左侧的像素的标签彼此不同(步骤S240)。在该情况下，在目标像素 上方的像素的标签与目标像素左侧的像素的标签彼此相同的情况下(步骤S240 :Ν)，执行 上述步骤S239中的处理。另一方面，在步骤S240中确定目标像素上方的像素的标签与目标像素左侧的像 素的标签彼此不同的情况下(步骤S240 :Υ)，执行将在下面描述的步骤S241至S244中的处 理，并且将与从目标像素上方的像素和目标像素左侧的像素中选择的一个像素的标签相同 的标签分配给目标像素，并且更新附加信息。更具体地，例如，如图35所示，行缓冲器144b 和标签存储器控制器147每个使用(现在的位置信息+关于目标像素上方的像素的标签信 息+关于目标像素左侧的像素的标签信息)作为当前标签信息(步骤S241)。而且，除此之 夕卜，例如，如图35所示，将行缓冲器144b上的标签号共同更新为将被更新的标签号(步骤 S242)。然后，从附加信息存储器148中擦除目标像素上方的像素和目标像素左侧的像素的标签号中较大的标签号(步骤S243)，并且更新空闲地址信息(空闲标签号)(步骤S244)。 从而，例如，如图36所示，合并了两个连接区域，并且将相同的标签分配给被合并的两个连 接区域中的像素。以这样的方式执行由步骤S231至251表示的加标签处理，从而，例如，如图37所 示，获得关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签 信息Dout。然后，在步骤S250中确定完成沿着所有行的扫描的情况下(步骤S250 :Y)，加 标签处理完成。在该情况下，同样在本实施例的加标签处理中，如在第一实施例的情况下，对由二 进制化数据Din表示的拾取图像中的像素执行顺序扫描。然后，在顺序扫描期间，当随时基 于目标像素及其相邻像素的像素数据的值而将标签号分配给目标像素时，随时更新与每个 标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，在完成这样的顺 序扫描时，完成对关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息 的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一个顺序扫描处理获得关 于整个图像的加标信息等。从而，同样在本实施例中，通过与第一实施例中相同的功能，可以得到与第一实施 例中相同的效果。换言之，通过一个顺序扫描处理，可以得到关于整个拾取图像的标签信 息、位置信息和面积信息。因此，可以实现比以前更高速的加标签处理。而且，在本实施例中，因为不需要第一实施例中的地址列表143，并且允许直接更 新标签信息，所以相比于第一实施例，进一步改善了实时能力。因此，更容易在硬件上实现 加标签处理，并且允许减少所使用的存储器量。虽然参考第一和第二实施例描述了本发明，但是本发明不限于此，并且可以进行 各种各样的修改。例如，在上述实施例中，描述了使用两个方向上的像素、即目标像素上方和目标像 素左侧的像素作为相邻像素来执行加标签处理的情况；然而，例如，可以使用三个方向上的 像素、即目标像素上方、目标像素左侧和目标像素右上方的像素作为相邻像素来执行加标 签处理。此外，在上述实施例中，描述了作为像素数据的值、“ 1 ”是有效值而“0 ”是无效值 的情况；然而，相反，作为像素数据的值，“0”可以是有效值，而“1”可以是无效值。而且，在图2和3中图示的例子中，相应于一个光发射单元来布置一个光接收单 元；然而，可以相应于多个光发射单元来布置一个光接收单元。此外，在上述实施例中描述的图像输入/输出设备1和2中，作为输入/输出面板 11，描述了使用液晶显示面板的配置。然而，本发明的信息输入/输出设备可以具有将有机 电致发光(EL)面板等用作输入/输出面板的配置。有机EL元件具有当施加正向偏压时发 光、并当施加反向偏压时接收光来生成电流的特性。因此，有机EL元件包括显示元件11a 和光接收元件lib。在该情况下，通过为每个像素布置有机EL元件来配置输入/输出面板 11，并且当向每个有机EL元件施加正向偏压时，从而允许每个有机EL元件发光，显示图像， 以及当向其他有机EL元件施加反向偏压时，允许有机EL元件接收反射光。而且，在上述实施例中，参考作为例子的包括输入/输出面板11的图像输入/输 出设备1描述了本发明，其中输入/输出面板11包含多个显示元件11a和多个光接收元件lib ；然而，本发明可应用于包括如下输入面板的图像输入设备(图像拾取设备)该输入面 板包括多个光接收元件lib。此外，本发明的图像处理装置不仅可应用于基于由光接收元件1 Ib获得的光接收 信号的拾取图像，而且可应用于通过任何其他技术产生的图像。更具体地，例如，本发明的 图像处理装置可应用于在包括图38中图示的输入/输出面板5 (具有像素Px中的截面配 置)的图像输入/输出设备中产生的图像。输入/输出面板5包括第一基板50、第二基板 60和液晶层70，第一基板50包括玻璃基板50A、栅极绝缘膜51A、第一中间层绝缘膜12A、信 号线SL、第二中间层绝缘膜52B、公共电极53、第三中间层绝缘膜52C和像素电极54(第一 传感器电极)，第二基板60包括玻璃基板60A、滤色器61和相对传感器电极62 (第二传感 器电极)，以及液晶层70包括液晶分子71。换言之，在输入/输出面板5中，电阻型触摸传 感器由像素电极54和相对传感器电极62配置。在该情况下，例如，像素电极54具有包括 多个边缘(edge)54B的截面形状。边缘54B上的对准膜(alignment film)(未示出)倾向 于是薄的，并且边缘54B从对准膜暴露。而且，相对于边缘54B布置相对传感器电极62 (由 切口 62A和图案62B配置)。从而，当第二基板60弯曲时，相对传感器电极62接触像素电 极54的被暴露的边缘54B以直接导致导通，所以阻止了位置检测的不稳定性。特别地，在 输入/输出面板5是FFS(边缘场切换)系统液晶显示面板时，因为像素电极54最初具有 包括多个切口 54A的平坦形状，所以允许增强位置检测性能而无需减小孔径比。 此外，可以通过硬件或软件来执行上述实施例中描述的处理。在通过软件执行处 理的情况下，将形成软件的程序安装在通用计算机等中。可以提前将这样的程序存储在安 装在计算机中的记录介质中。
权利要求
一种图像处理装置，包括扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描；以及信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。
2.根据权利要求1所述的图像处理装置，其中在目标像素的像素数据具有有效值而相邻像素的像素数据具有无效值的情况下，所述 信息获取部分向目标像素发布和分配新的标签信息。
3.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有有效值而相邻像素中仅一个像素的像素数据具有有效值 的情况下，所述信息获取部分向目标像素分配已经被分配给具有有效值的该一个像素的已 发布的标签信息，以更新每个连接区域的位置信息和面积信息。
4.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有有效值并且相邻像素的多个像素的像素数据具有有效值 的情况下，所述信息获取部分向目标像素分配已经被分配给从具有有效值的所述多个像素 中选择的一个像素的已发布的标签信息，以更新每个连接区域的位置信息和面积信息。
5.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有无效值的情况下，所述信息获取部分不向目标像素发布和 分配标签信息。
6.根据权利要求1或2所述的图像处理装置，其中 所述信息获取部分包括确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息 的处理以及更新每个连接区域的位置信息和面积信息的处理，标签发布部分，基于所述确定部分的确定结果来发布新的标签信息， 行缓冲器，包括针对每个像素的控制器，并存储标签信息，附加信息存储器，将标签信息以及位置信息和面积信息互相关联，然后存储它们，以及 空闲地址信息寄存器，存储是否分配了每个标签信息的状态。
7.根据权利要求1或2所述的图像处理装置，其中 所述信息获取部分包括确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息 的处理以及更新每个连接区域的位置信息和面积信息的处理，标签发布部分，基于所述确定部分的确定结果来发布新的标签信息， 行缓冲器，存储标签信息，附加信息存储器，将位置信息和面积信息与地址号相关联，然后存储它们，以及 地址列表，将存储在所述行缓冲器中的标签信息、存储在所述附加信息存储器中的地 址号和是否分配了标签信息的状态相互关联，然后存储它们。
8.一种图像处理方法，包括对由二进制化像素数据表示的图像中的像素执行顺序扫描，以及执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数 据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与 每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成 对关于整个图像的标签信息、位置信息和面积信息的获取。
9.一种图像输入设备，包括输入面板，包括沿着图像拾取表面布置的多个光接收元件，以接收从外部邻近对象反 射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像 是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
10.一种图像输入/输出设备，包括输入/输出面板，包括沿着显示表面布置的多个显示元件以基于图像信号显示图像、 和沿着显示表面布置的多个光接收元件以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像 是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
11.一种图像输入/输出设备，包括输入/输出面板，包括显示面板和在所述显示面板中形成的位置检测部分，所述显示 面板包括在第一基板和第二基板之间的液晶层，所述位置检测部分包括第一传感器电极和 第二传感器电极，所述第一传感器电极和第二传感器电极被允许在压下所述第二基板时变 为互相接触，并且所述位置检测部分通过检测由所述第一传感器电极和所述第二传感器电 极之间的接触引起的电位改变来检测与外部邻近对象的位置相应的所述第二基板的压下 位置；扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描，该图像是基于 来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
全文摘要
公开了能够比过去更快速执行加标签处理的图像处理设备。顺序扫描通过二进制化数据(Din)呈现的照相图像的每个像素。另外，当执行所述顺序扫描时，根据感兴趣的像素及其外围像素的像素数据的值，在需要时将表示照相图像中每个连接区域的标识号的登记号(标签信息)分配给该兴趣的像素，并且在需要时更新与每组标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，通过单个顺序扫描获取整个照相图像的标签信息、位置信息和面积信息。
文档编号G09G3/20GK101878465SQ200980101109
公开日2010年11月3日 申请日期2009年7月28日 优先权日2008年8月5日
发明者原田勉, 山口和范, 建内满, 津崎亮一, 黑川壮一郎 申请人:索尼公司
技术领域：
本发明涉及包括图像拾取功能的图像输入设备、包括图像显示功能和图像拾取功 能的图像输入/输出设备、以及应用于这样的图像输入设备和这样的图像输入/输出设备 中的加标签处理的图像处理装置和图像处理方法。
背景技术：
一些图像显示器包括触摸面板。触摸面板的类型除了使用电阻的改变的电阻类型 触摸面板和使用电容的改变的电容类型触摸面板之外，还包括光学上检测手指等的光学类 型触摸面板。例如，在光学类型触摸面板中，通过调制来自液晶元件中的背光的光来在其显 示表面上显示图像，并且通过布置在显示表面上的光接收元件接收从显示表面发射、然后 从诸如手指之类的邻近对象反射的光，以检测邻近对象的位置等。专利文件1公开了这样 的图像显示器。专利文件1中公开的显示器包括显示部分，该显示部分包括用于显示图像 的显示装置和用于拾取对象的图像的图像拾取装置。当这样的光学类型触摸面板检测到多个点时，在一些情况下，对从光接收元件捕 获的作为图像的数据执行向被视为一组点的每个连接区域提供标识号的处理(例如，参考 专利文件2)。这样的处理被称为加标签(labeling)处理。[现有技术文件][专利文件][专利文件1]日本未审查专利申请公开No. 2004-127272[专利文件2]日本未审查专利申请公开No. 2002-16401
发明内容
然而，在专利文件2等中的现有技术中的加标签处理中，将作为加标图像的二维 数据暂时存储在帧存储器中，并基于加标图像执行加标签处理。因此，很难对从光接收元件 得到的数据执行实时处理，并且期望实现更高速的加标签处理。做出本发明以解决上述问题，并且本发明的目的是提供允许实现比以前更高速的 加标签处理的图像处理装置和图像处理方法，以及包括这样的图像处理装置的图像输入设 备和图像输入/输出设备。本发明的图像处理装置包括扫描部分，对由二进制化像素数据表示的图像中的 像素执行顺序扫描；以及信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随 时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的 标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和 面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息 的获取。这里，“连接区域”意为允许被视为一组点的像素区域。本发明的图像处理方法包括对由二进制化像素数据表示的图像中的像素执行顺
5序扫描，以及执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素 的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随 时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描 时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。本发明的图像输入设备包括输入面板，包括沿着图像拾取表面布置的多个光接 收元件，以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图 像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息 获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的 像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时， 随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫 描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部 分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象 的位置、形状和尺寸中的一个或多个有关的信息。本发明的第一图像输入/输出设备包括输入/输出面板，包括沿着显示表面布 置的多个显示元件以基于图像信号显示图像、和沿着显示表面布置的多个光接收元件以接 收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素 执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息获取部分，执 行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值 而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每 个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对 关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所 述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状 和尺寸中的一个或多个有关的信息。本发明的第二图像输入/输出设备包括输入/输出面板，包括显示面板和在所 述显示面板中形成的位置检测部分，所述显示面板包括在第一基板和第二基板之间的液晶 层，所述位置检测部分包括第一传感器电极和第二传感器电极，所述第一传感器电极和第 二传感器电极被允许在压下所述第二基板时变为互相接触，并且所述位置检测部分通过检 测由所述第一传感器电极和所述第二传感器电极之间的接触引起的电位改变来检测与外 部邻近对象的位置相应的所述第二基板的压下位置；扫描部分，对由二进制化像素数据表 示的图像中的像素执行顺序扫描，该图像是基于来自光接收元件的光接收信号而获取的； 信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像 素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目标像 素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成 顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置 检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻 近对象的位置、形状和尺寸中的一个或多个有关的信息。在本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备 中，对由二进制化像素数据表示的图像(例如，拾取图像)中的像素执行顺序扫描。这时， 当随时根据目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信 息和面积信息。从而，在完成这样的顺序扫描时，完成对关于整个图像的标签信息、上述位 置信息和上述面积信息的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一 个顺序扫描处理获取关于整个图像的标签信息等。根据本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设 备，对由二进制化像素数据表示的图像中的像素执行顺序扫描，并且在顺序扫描期间，当随 时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的 标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和 面积信息，所以通过一个顺序扫描处理，可以获取关于整个图像的标签信息、上述位置信息 和上述面积信息。因此，可以实现比以前更高速的加标签处理。
图1是图示根据本发明的第一实施例的图像输入/输出设备的配置的框图。图2是图示图1中的图像输入/输出设备的更具体的配置的框图。图3是输入/输出面板的一部分的放大截面图。图4是图示图1中的加标签处理部分的更具体的配置的框图。图5是图示在第一实施例的加标签处理中使用的二进制化数据、行缓冲器、地址 列表和附加信息的例子的示意图。图6是图像输入/输出设备的整个图像处理的流程图。图7是图示第一实施例的加标签处理的细节的流程图。图8是用于描述第一实施例的加标签处理的细节的示意图。图9是用于描述接着图8的加标签处理的细节的示意图。图10是用于描述接着图9的加标签处理的细节的示意图。图11是用于描述接着图10的加标签处理的细节的示意图。图12是用于描述接着图11的加标签处理的细节的示意图。图13是用于描述接着图12的加标签处理的细节的示意图。图14是用于描述接着图13的加标签处理的细节的示意图。图15是用于描述接着图14的加标签处理的细节的示意图。图16是用于描述接着图15的加标签处理的细节的示意图。图17是用于描述接着图16的加标签处理的细节的示意图。图18是用于描述接着图17的加标签处理的细节的示意图。图19是用于描述接着图18的加标签处理的细节的示意图。图20是用于描述接着图19的加标签处理的细节的示意图。图21是用于描述接着图20的加标签处理的细节的示意图。图22是用于描述接着图21的加标签处理的细节的示意图。图23是用于描述接着图22的加标签处理的细节的示意图。图24是图示根据第二实施例的加标签处理部分的具体配置的框图。图25是图示在第二实施例的加标签处理中使用的二进制化数据、行缓冲器、附加 信息和空闲地址信息的例子的示意图。
图26是图示第二实施例的加标签处理的细节的流程图。图27是图示接着图26的第二实施例的加标签处理的细节的流程图。图28是用于描述第二实施例的加标签处理的细节的示意图。图29是用于描述接着图28的加标签处理的细节的示意图。图30是用于描述接着图29的加标签处理的细节的示意图。图31是用于描述接着图30的加标签处理的细节的示意图。图32是接着图31用于描述加标签处理的细节的示意图。图33是用于描述接着图32的加标签处理的细节的示意图。图34是用于描述接着图33的加标签处理的细节的示意图。图35是用于描述接着图34的加标签处理的细节的示意图。图36是用于描述接着图35的加标签处理的细节的示意图。图37是用于描述接着图36的加标签处理的细节的示意图。图38是图示根据本发明的修改例子的输入/输出面板的配置的截面图。
具体实施例方式下面，将参考附图详细描述本发明的实施例。第一实施例图1图示了根据本发明的第一实施例的图像输入/输出设备1的示意性配置。此 外，图2图示了根据该实施例的图像输入/输出设备1的具体配置。而且，图3图示了输入 /输出面板的一部分的放大截面图。如图1所示，根据本实施例的图像输入/输出设备1包 括显示器10和使用显示器10的电子设备主体20。显示器10包括输入/输出面板11、显 示信号处理部分12、光接收信号处理部分13和图像处理部分14，以及电子设备主体20包 括控制部分21。另外，根据本发明的第一实施例的图像处理方法由本实施例的图像输入/ 输出设备1体现，并且也将在下面进行描述。如图2所示，输入/输出面板11由在其中以矩阵形式布置了多个像素16的液晶 显示面板配置，并包括显示元件11a和光接收元件lib。显示元件11a是通过使用从作为光 源的背光发射的光来将诸如图形或字符之类的图像显示在显示表面上的液晶元件。例如， 光接收元件lib是接收光以响应于光的接收来输出电信号的诸如光敏二极管之类的光接 收元件。光接收元件lib接收从背光发射、然后从位于输入/输出面板11之外的诸如手指 之类的外部邻近对象反射回来的反射光，然后光接收元件lib响应于反射光的接收来输出 光接收信号。在本实施例中，分别将多个光接收元件lib布置在面板中的各像素16中。如图2和3所示，通过在透明基板对30和31之间以矩阵形式布置彼此通过阻隔 肋(barrier rib) 32分离的多个光发射/接收单元CWR，来配置输入/输出面板11。光发
射/接收单元CWR包括光发射单元CW(CW1、CW2、CW3......)和包含在光发射单元CW中的
多个光接收单元CR(CR1、CR2、CR3......)。光发射单元CW由作为显示元件11a的液晶单
元配置，并且每个光接收单元CR包括作为光接收元件lib的光接收元件PD。另外，在光接 收单元CR中，在背光侧的透明基板30和光接收元件PD之间布置屏蔽层33，以阻止从背光 发射的光LB进入光接收单元CR，从而每个光接收元件PD仅仅检测从背光侧的相对侧的透 明基板31进入的光而不受背光光LB的影响。
图1中图示的显示信号处理部分21是与输入/输出面板11的前一级(former stage)相连、并驱动输入/输出面板11以基于显示数据显示图像的电路。如图2所示，显示信号处理部分12包括显示信号保持控制部分40、光发射侧扫描 器41、显示信号驱动器42和光接收侧扫描器43。显示信号保持控制部分40将针对每个屏 幕(针对显示器的每场)的从显示信号生成部分44输出的显示信号存储并保持在由例如 SRAM(静态随机存取存储器)等配置的场存储器中，并具有控制驱动每个光发射单元CW的 光发射侧扫描器41和显示信号驱动器42、以及驱动每个光接收单元CR以相互结合工作的 光接收侧扫描器43的功能。更具体地，分别向光发射侧扫描器41和光接收侧扫描器43输 出光发射定时控制信号和光接收定时控制信号，以及基于控制信号和场存储器中保持的显 示信号来向显示信号驱动器42输出针对一个水平行(line)的显示信号。响应于控制信号 和显示信号进行线序(line-sequential)操作。光发射侧扫描器41具有响应于从显示信号保持控制部分40输出的光发射定时控 制信号来选择将被驱动的光发射单元CW的功能。更具体地，通过与输入/输出面板11的 每个像素16相连的光发射栅极线来提供光发射选择信号，以控制光发射元件选择开关。换 言之，当响应于光发射选择信号而施加用于接通给定像素16的光发射元件选择开关的电 压时，该像素16发射具有与从显示信号驱动器42提供的电压相应的亮度的光。显示信号驱动器42具有响应于从显示信号保持控制部分40输出的针对一个水平 行的显示信号来向将被驱动的光发射单元CW提供显示数据的功能。更具体地，将与显示数 据相应的电压通过与输入/输出面板11的每个像素16相连的数据提供线提供给由上述光 发射侧扫描器41选择的像素16。当光发射侧扫描器41和显示信号驱动器42相互结合来 执行线序操作时，与任意显示数据相应的图像被显示在输入/输出面板11上。光接收侧扫描器43具有响应于从显示信号保持控制部分40输出的光接收定时控 制信号来选择将被驱动的光接收单元CR的功能。更具体地，通过与输入/输出面板11的 每个像素16相连的光接收栅极线来提供光接收选择信号，以控制光接收元件选择开关。换 言之，如上述光发射侧扫描器41的操作的情况下，当响应于光接收选择信号而施加用于接 通给定像素16的光接收元件选择开关的电压时，向光接收信号接收器45输出由该像素16 检测的光接收信号。从而，例如，允许由光接收单元CR接收和检测来自从给定光发射单元 CW发射的光的、从接触或邻近输入/输出面板11的对象反射的光。而且，光接收侧扫描器 43向光接收信号接收器45和光接收信号保持部分46输出光接收阻挡(block)控制信号， 并且还具有控制促成这些光接收操作的阻挡的功能。另外，在本实施例的信息输入/输出 设备1中，上述光发射栅极线和上述光接收栅极线分别与每个光发射/接收单元CWR相连， 并且光发射侧扫描器41和光接收侧扫描器43可独立地工作。图1中图示的光接收信号处理部分13与输入/输出面板11的后一级相连，并且 捕捉来自光接收元件lib的光接收信号以执行放大等。如图2所示，光接收信号处理部分 13包括光接收信号接收器45和光接收信号保持部分46。光接收信号接收器45具有响应于从光接收侧扫描器43输出的光接收阻挡控制信 号来获得来自光接收单元CR的针对一个水平行的光接收信号的功能。将在光接收信号接 收器45中获取的针对一个水平行的光接收信号输出到光接收信号保持部分46。光接收信号保持部分46具有响应于从光接收侧扫描器43输出的光接收阻挡控制
9信号来根据从光接收信号接收器45输出的光接收信号而重建针对每个屏幕(针对显示器 的每场)的光接收信号、并且将该光接收信号存储和保持在例如由SRAM等配置的场存储器 中的功能。将存储在光接收信号保持部分46中的光接收信号的数据输出到图像处理部分 14(参见图1)中的位置检测部分47。另外，可以由除了存储器之外的存储元件来配置光接 收信号保持部分46，并且例如，可以将光接收信号作为模拟数据(电荷)保持在电容元件 中。图像处理部分14(参见图1)是与光接收信号处理部分13的后一级相连、并捕捉 来自光接收信号处理部分13的拾取图像、然后执行诸如二进制化(binarization)、噪声去 除或加标之类的处理来获取关于外部邻近对象的点信息、即与外部邻近对象的重心或中心 坐标和外部邻近对象的区域(尺寸或形状)有关的信息的电路。更具体地，图像处理部分14中的加标签处理部分14a (图象处理装置)执行如将 在以下描述的加标签处理，以获取关于整个拾取图像的标签信息(表示拾取图像中连接区 域的标识号的信息)、以及每个连接区域的位置信息和区域信息(area information) 0换 言之，如下面将详细描述的，加标签处理部分14a对由二进制化像素数据表示的拾取图像 中的像素执行顺序扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素 数据的值来将标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域 的位置信息和面积信息，从而获取上述标签信息、上述位置信息和上述面积信息。另外，加 标签处理部分14a相应于本发明中的“扫描部分”和“信息获取部分”的具体例子。此外，图像处理部分14中的位置检测部分47 (参见图2)基于由加标签处理 部分14a获取的上述标签信息、上述位置信息和上述面积信息来执行信号处理以指明 (specify)由光接收单元CR检测的对象所在的位置等。从而，允许指明接触或邻近输入/ 输出面板11的手指等的位置。电子设备主体20 (参见图1)向显示器10的显示信号处理部分12输出显示数据， 并且来自图像处理部分14的点信息被输入到电子设备主体20中。控制部分21通过使用 点信息来改变显示图像。如图2所示，控制部分21(参见图1)包括显示信号生成部分44。显示信号生成 部分44由CPU(中央处理单元)(未示出)等配置，并且基于所提供的图像数据生成用于显 示每个屏幕(显示器的每场)的显示信号，以将该显示信号输出到显示信号保持控制部分 40。接下来，参考图4和5，将在下面描述加标签处理部分14a的具体配置。图4图示 了加标签处理部分14a的具体配置的框图。此外，图5示意性地图示了本实施例的加标签 处理中使用的二进制化数据、行缓冲器(line buffer)、地址列表和附加信息的例子。如图4所示，加标签处理部分14a包括条件确定电路141、新标签号发布电路142、 地址列表143、行缓冲器144、行缓冲器控制电路145、地址列表控制电路146、标签存储器控 制器147和附加信息存储器148。条件确定电路141依次获取例如如图5所示的作为二进制化像素数据的二进制化 数据Din，以基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息的 处理以及更新每个连接区域的位置信息和面积信息的处理。更具体地，条件确定电路141 确定目标像素的像素数据的值是有效还是无效(在该情况下，确定值是有效值“1”还是无效值“0”)，并参考关于相邻像素(在该情况下，目标像素左侧的像素以及目标像素上方的 像素)的标签信息，给出用于发布和分配无效标签或新标签(新标签信息)的命令以及用 于标签合并(结合)任务的命令。而且，当目标像素位于一行的结尾(在该情况下，在右 端)时，条件确定电路141给出用于重新排列地址列表的命令。新标签号发布电路142基于条件确定电路141的确定结果来发布新的标签。更 具体地，在标签是新的情况下，在地址列表143中发布未分配的登记号(register number) (相应于标签信息)。例如，如图5所示，行缓冲器144是存储一行登记号(标签信息)的部分。另外， 为了方便描述稍后将描述的加标签处理，图示了图5等中图示的行缓冲器(图像)144a，而 实际的行缓冲器144是包含一行的缓冲器。行缓冲器控制电路145控制行缓冲器144中的登记号的写、读等。例如，附加信息存储器148将图5中图示的附加信息、即相应于每个标签信息的每 个连接区域的位置信息(xsum ；每个连接区域中x坐标值的总和，ysum ；每个连接区域中y 坐标值的总和，region ；每个连接区域中x坐标和y坐标的最小值、最大值等)和面积信息 (sum;连接区域中像素的数量)与标签号(相应于地址号)相关联，然后存储附加信息。例如，如图5所示，地址列表143将存储在行缓冲器144中的登记号(RegNo ；相应 于标签信息)、存储在附加信息存储器148中的标签号(No ；相应于地址号)和是否分配了 标签信息的状态(Flag)彼此关联，然后存储它们。更具体地，将登记号保持为阵列的指针， 并在阵列中列出标签号，并且标签号是它们自己的地址。从而，标签号与登记号相连。地址列表控制电路146控制地址列表143中的信息的写、读等。标签存储器控制器147控制附加信息存储器148中的附加信息的写、读等，并将关 于整个拾取图像的上述标签信息、以及每个连接区域的上述位置信息和上述面积信息作为 标签信息Dout输出。接下来，除了图1至5之外还参考图6至23，将在下面描述实施例的图像输入/输 出设备1的功能。图6图示了图像输入/输出设备1的整个图像处理的流程。此外，图7 图示了实施例的加标签处理的细节的流程图。而且，图8至23示意性地图示了实施例的加 标签处理的细节。首先，参考图6，将在下面描述图像输入/输出设备1的基本操作。将从电子设备主体20输出的显示数据输入到显示信号处理部分12中。显示信号 处理部分12驱动输入/输出面板11，以基于显示数据将图像显示在输入/输出面板11上。当输入/输出面板11通过使用从背光发射的光来将图像显示在显示元件11a上 时，输2/输出面板11驱动光接收元件lib。然后，当诸如手指之类的外部邻近对象接触或 靠近显示元件11a时，从外部邻近对象反射在显示元件11a上显示的图像，并且由光接收元 件lib检测反射光。通过检测，从光接收元件lib输出光接收信号。然后，光接收信号被输 入到光接收信号处理部分13中，并且光接收信号处理部分13执行诸如放大之类的处理以 处理光接收信号(图6中的步骤S10)。从而，在光接收信号处理部分13中得到拾取图像。接下来，将拾取图像从光接收信号处理部分13输入到图像处理部分14，并且图像 处理部分14对拾取图像执行二进制化处理(步骤S11)。换言之，图像处理部分14存储预 设阈值，并执行二进制化过程，在该二进制化过程中，取决于拾取图像数据的信号强度是小
11于阈值还是等于或大于阈值，将拾取图像数据的信号强度设置为“0”或“1”。从而，在其处 接收从外部邻近对象反射的光的部分被设置为“ 1”，而其他部分被设置为“0”。然后，图像处理部分14从二进制化拾取图像中去除孤立点(isolatedpoint)(步 骤S12)。换言之，在以上述方式对拾取图像二进制化的情况下，图像处理部分14通过去除 与外部邻近对象隔离的、被设置为“1”的部分来执行噪声去除。在这之后，图像处理部分14在标签处理部分14a中执行加标签处理(步骤S13)。 换言之，在以上述方式对拾取图像二进制化的情况下，加标签处理部分14a对被设置为“ 1，， 的部分上执行加标签处理。然后，加标签处理部分14a将被设置为“1”的区域检测为外部 邻近对象的区域，并获取该区域的重心或中心坐标。将这样的数据作为点信息(上述标签 信息Dout)输出到控制部分21。接下来，控制部分21通过使用从图像处理部分14输入的点信息来执行诸如改变 显示图像之类的必要处理。例如，如果操作菜单显示在屏幕上，则检测由用户的手指选择了 操作菜单中的哪个按钮，并执行与所选按钮相应的命令。从而，完成图像输入/输出设备1 中的基本操作。接下来，参考图7至23，将在下面详细描述作为本发明的特征部分之一的、加标签 处理部分14a的加标签处理。首先，例如，如图8所示，初始化行缓冲器144、地址列表143和附加信息存储器 148的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾取图像中目 标像素的像素值(像素数据)是否是“1” (有效值)(图7中的步骤S131)。在该情况下，例如，如图9所示，在目标像素的像素数据是“0”(无效值)的情况下 (步骤S131 :N)，行缓冲器控制电路145和地址列表控制电路146都不向目标像素发布和分 配标签信息。换言之，例如，如图10所示，在行缓冲器144和地址列表143中将“z”(无效 标签)分配给该目标像素(步骤S132)。接着，在这之后，条件确定电路141确定是否完成 沿着一行的扫描(目标像素是否位于一行的右端)(步骤S144)。在该情况下，在还没有完成沿着一行的扫描的情况下(步骤S144 :N)，例如，如 图11所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤 S145)。然后，加标签处理返回到步骤S131。在该情况下，例如，如图11所示，在目标像素的像素数据是“1”(有效值)的情况 下(步骤S131 :Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况 下，目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像 素数据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S133)。在该情况下， 如图11所示，在目标像素上方的像素和在目标像素左侧的像素的标签无效(像素数据是 “0”(无效值)，并且目标像素是孤立点)(步骤S133 两者都无效)；因此，例如，如图12所 示，新标签号发布电路142向目标像素发布和分配新的标签(新标签信息)(步骤S134)。 而且，除此之外，例如，如图12所示，行缓冲器控制电路145、地址列表控制电路146和标签 存储器控制器147每个还更新附加信息(步骤S135)。在这之后，在该情况下，例如，如图 13所示，重复步骤S144和S145中的处理。另外，在图13等中的二进制化数据Din中的像 素中图示的“(1)，，等表示分配给该像素的登记号(标签信息)。接下来，例如，如图14所示，重复步骤S131、S132、S144和S145中的处理或者步骤S131、S134、S135、S144和S145中的处理。然后，在确定完成沿着一行的扫描的情况下(步 骤S144 :Y)，接下来，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描(步 骤 S146)。现在，如图14所示，在还没有完成沿着所有行的扫描的情况下(步骤S146 :N), 接下来，重新排列与完成沿着一行的扫描有关的地址列表(步骤S147)，并且例如，如图15 所示，将目标像素移动到下一行中的第一像素(最左端的像素)(执行顺序扫描)(步骤 S148)。然而，在该情况下(在图14中图示的情况下)，没有重新排列地址列表，因此稍后将 描述地址列表的重新排列。另外，在这之后，加标签处理返回到步骤S131。另一方面，例如，如图16所示，地址列表控制电路146执行将在下面描述的地址列 表的重新排列(步骤S147)。更具体地，例如，如图17所示，在地址列表143中，将没有在行 缓冲器144中出现的登记号的标记设置为“0” (表示没有分配与登记号相应的标签信息)。 从而，例如，如图18所示，在这之后，允许重新使用在地址列表143中标签为“0”的登记号 (允许重新使用标签信息)。另外，在这之后，如图18所示，将目标像素移动到下一行的第 一像素(步骤S148)，并且加标签处理返回到步骤S131。接下来，例如，如图19所示，在步骤S131中确定目标像素的像素数据是“1”(有效 值)(步骤S131 ￥)、并且在步骤S133中确定仅仅在目标像素上方的像素的标签有效(像 素数据是“1”(有效值))(步骤S133 仅仅上方的像素有效)的情况下，执行将在下面描述 的步骤S136和137中的处理。换言之，例如，如图19所示，将与在目标像素上方的像素的 标签相同的标签分配给目标像素(将已经分配给了具有有效值的像素的已发布的标签信 息分配给目标像素)(步骤S136)，并且更新附加信息(每个连接区域的位置信息和面积信 息)(步骤S137)。另一方面，在步骤S131中确定目标像素的像素数据是“1”(步骤S131 :Y)、并且在 步骤S133中确定仅仅目标像素左侧的像素的标签有效(步骤S133 仅仅左侧的像素有效) 的情况下，执行将在下面描述的步骤S138和S139中的处理。换言之，将与左侧的像素的标 签相同的标签分配给目标像素(步骤S138)，并且更新附加信息(步骤S139)。此外，例如，如图20所示，在步骤S131中确定目标像素的像素数据是“1”(步骤 S131 :Y)、并且在步骤S133中确定在目标像素上方的像素和在目标像素左侧的像素的标签 都有效(步骤S133:两者都有效)的情况下，接下来，条件确定电路141确定在目标像素上 方的像素的标签和在目标像素左侧的像素的标签彼此是否不同(步骤S140)。在该情况下， 在目标像素上方的像素的标签与在目标像素左侧的像素的标签彼此相同的情况下(步骤 S140 :N)，执行上述步骤S138和S139中的处理。另一方面，在步骤S140中确定目标像素上方的像素的标签与目标像素左侧的像 素的标签彼此不同的情况下(步骤S140 :Y)，执行将在下面描述的地址列表合并处理(步 骤S141)，并且分配与目标像素上方的像素和目标像素左侧的像素之一的标签相同的标签 (步骤S142)，并更新附加信息(步骤S143)。更具体地，例如，如图21和22所示，行缓冲器 控制电路145、地址列表控制电路146和标签存储器控制器147中的每一个从目标像素上方 的像素和目标像素左侧的像素中选择目标像素左侧的像素的登记号(RegNo ；相应于标签 信息)，并且将附加信息合并到更小的标签号(No;相应于地址号)。从而，合并了两个连接 区域，并且将相同的标签分配给了被合并的两个连接区域中的像素。
13
从而，当执行由步骤S131至148所示的加标签处理时，例如，如图23所示，获得关 于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签信息Dout。 然后，在步骤S146中确定完成沿着所有行的扫描的情况下(步骤S146 :Y)，加标签处理完 成。在本实施例的加标签处理中，以此方式对由二进制化数据Din表示的拾取图像中 的像素执行顺序扫描。然后，在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数 据的值而将登记号分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的附 加信息(位置信息和面积信息)。从而，在完成顺序扫描时，完成对关于整个拾取图像的标 签信息以及每个连接区域的位置信息和面积信息的获取。换言之，不像现有技术，不需要形 成加标图像，并且通过一个顺序扫描处理来获得关于整个图像的加标信息等。从而，在本实施例中，对由二进制化数据Din表示的拾取图像中的像素执行顺序 扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示 拾取图像中每个连接区域的标识号的登记号(标签信息)分配给目标像素时，随时更新与 每个标签信息相应的每个连接区域的附加信息(位置信息和面积信息)，因此通过一个顺 序扫描处理，可获得标签信息、位置信息和面积信息。因此，可以实现比以前更高速的加标 签处理。此外，因为实现了高速加标签处理，所以相比于现有技术，允许改善加标签处理的 实时能力，并且可以实现流处理(streaming process)。而且，不像现有技术，因为不需要形成加标图像，所以也不需要用于保持这样的图 像的帧存储器。换言之，在本实施例中，因为使用行缓冲器执行加标签处理，所以相比于现 有技术，允许减小所使用的存储器量。因此，在硬件上容易实现该加标签处理。第二实施例接下来，将在下面描述本发明的第二实施例。除了布置加标签处理部分14b而不 是加标签处理部分14a之外，本实施例的图像输入/输出设备与图1中图示的第一实施例 的图像输入/输出设备1相同。另外，相同的部件通过与第一实施例相同的标号来表示，并 将不进行进一步描述。图24图示了实施例的加标签处理部分14b的框图。加标签处理部分14b包括条 件确定电路141、新标签号发布电路142、行缓冲器144b、标签存储器控制器147、附加信息 存储器148和空闲地址信息寄存器149。换言之，除了布置空闲地址信息寄存器149而不是 地址列表143和地址列表控制电路146、以及布置行缓冲器144b而不是行缓冲器144和行 缓冲器控制电路145之外，加标签处理部分14b与图4中图示的第一实施例的加标签处理 部分14a相同。例如，如图25所示，行缓冲器144b是存储一行的标签号(相应于标签信息)的 部分。而且，行缓冲器144b由用于每个像素的控制器配置，从而允许目标像素及其相邻像 素(在该情况下，目标像素上方的像素和目标像素左侧的像素)的标签号的参考、写、更新 等。另外，为了便于描述稍后将描述的加标签处理，图示了图25等中图示的行缓冲器(图 像)144c，而实际的行缓冲器144b是包含一行的缓冲器。例如，如图25所示，空闲地址信息寄存器149存储是否分配了每个标签号的状态 (空白列表)。空闲地址信息寄存器149与新标签号发布电路142 —起执行对使用或未使用的标签号的控制、新标签号的搜索等。更具体地，分别将新发布的标签号和通过合并而擦 除的标签号重写为使用中的号码和未使用的号码。从而，允许将使用了的标签号反复重用。 另外，以数字升序顺序使用标签号。而且，本实施例的附加信息存储器148将例如图25中图示的附加信息、即上述标 签号(No)、以及与每个标签信息相应的每个连接区域的位置信息(xsum、ysum、region)和 面积信息(sum)相互关联，然后存储它们。此外，在对正由标签存储器控制器147存取的 (目标像素的)当前标签更新标签号的情况下，以及在改变号码的情况下，或者当完成沿着 一行的扫描时，执行向附加信息存储器148的写。接下来，除了图24和25之外，还参考图26至37，将在下面描述本实施例的图像输 入/输出设备的功能。图26和27图示了本实施例的加标签处理的细节的流程图。此外， 图28至37示意性图示了本实施例的加标签处理的细节。另外，该图像输入/输出设备的 基本操作与第一实施例相同，并将不进行进一步描述。首先，例如，如图28所示，初始化行缓冲器144b、附加信息存储器148和空闲地址 信息寄存器149的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾 取图像中目标像素的像素值(像素数据)是否是“1” (有效值)(图26中的步骤S231)。在该情况下，例如，如图29所示，在目标像素的像素数据是“0”(无效值)的情况 下(步骤S231 :N)，不向目标像素发布和分配标签信息。更具体地，接下来，条件确定电路 141确定目标像素左侧的像素的标签是否是“0”(步骤S232)。在该情况下，因为左侧像素 的标签不是“0” (步骤S232 :N)，所以行缓冲器144b和标签存储器控制器147分别执行步 骤S233和S234中的接下来的处理。换言之，如图29所示，当前标签信息“0”被存储在附 加信息存储器148中(步骤S233)，并且从标签存储器控制器147中擦除当前标签信息(步 骤S234)，然后加标签处理前进到步骤S245。另外，在目标像素左侧的像素的标签是“ 0，，的 情况下(步骤S232 :Y)，加标签处理直接前进到步骤S245。在步骤S245中，条件确定电路 141确定是否完成了沿着一行的扫描(目标像素是否位于右端处)(图27中的步骤S245)。在该情况下，在还没有完成沿着一行的扫描的情况下，(步骤S245 :N)，例如，如 图30所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤 S246)。然后，接下来，加标签处理返回到步骤S231。另一方面，在确定完成了沿着一行的扫描的情况下(步骤S245:Y)，接下来，条件 确定电路141确定目标像素左侧的像素的标签是否是“0”(步骤S247)。在该情况下，目标 像素左侧的像素的标签是“0”(步骤S232 :Y)，接下来，加标签处理前进到步骤S250。另外， 在目标像素左侧的像素的标签是“1”的情况下(步骤S247 :N)，行缓冲器144b和标签存储 器控制器147分别执行步骤S248和S249中的接下来的处理。换言之，当前标签信息“0” 被存储在附加信息存储器148中(步骤S248)，并从标签存储器控制器147中擦除当前标签 信息(步骤S249)，然后，加标签处理前进到步骤S250。在步骤S250中，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描 (步骤S250)。在该情况下，还没有完成沿着所有行的扫描(步骤S250 :N)，例如，如图30所 示，将目标像素移动到下一行中的像素(执行顺序扫描)(步骤S251)，然后加标签处理返回 到步骤S231。这时，在本实施例中，因为没有布置地址列表143，所以不像第一实施例，不重 新排列地址。
15
另一方面，例如，如图30所示，在目标像素的像素数据是“1”(有效值)的情况下 (步骤S231 :Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况下， 目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像素数 据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S235)。在该情况下，如图30 所示，因为目标像素上方的像素和目标像素左侧的像素的标签无效(像素数据是“0”(无效 值)，并且目标像素是孤立点)(步骤S235 两者无效)，例如，如图30所示，所以新标签号 发布电路142通过使用空闲地址信息寄存器149搜索空闲标签号(步骤S236)。而且，除此 之外，例如，如图30所示，行缓冲器144b和标签存储器控制器147将现在的位置信息用作 当前标签信息以向目标像素分配新的标签(新标签信息)(步骤S237)。此外，在这之后，在 该情况下，例如，如图31所示，重复步骤S245和S246中的处理。另外，在图31等中的二进 制化数据Din中的像素中图示的“(1)”等意为分配给该像素的标签号(标签信息)。接下来，例如，如图32所示，在该情况下，重复步骤S231、S232至S234、S245禾口 S246中的处理或者步骤5231、5235、5236、5237、5245和S246中的处理。 接下来，例如，如图32所示，在步骤S321中确定目标像素的像素数据是“ 1”(有效 值)(步骤S231 :Y)、并且在步骤S235中确定仅仅目标像素上方的像素的标签有效(像素 数据是“1”(有效值))(步骤S235 仅仅上方的像素有效)的情况下，执行稍后将描述的步 骤S238中的处理。换言之，例如，如图32所示，行缓冲器144b和标签存储器控制器147使 用(现在的位置信息+关于目标像素上方的像素的标签信息)作为当前标签信息，从而将 与目标像素上方的像素的标签相同的标签分配给目标像素。从而，例如，如图33所示，更新 附加信息(每个连接区域的位置信息和面积信息)。另一方面，例如，如图34所示，在步骤S231中确定目标像素的像素数据是“ 1”(步 骤S231 =Y)、并且在步骤S235中确定仅仅目标像素左侧的像素的标签有效(步骤S235 左 侧的像素有效)的情况下，执行将在下面描述的步骤S239中的处理。换言之，例如，如图34 所示，使用(现在的位置信息+与目标像素左侧的像素有关的标签信息)作为当前标签信 息，从而，将与目标像素左侧的像素的标签相同的标签分配给目标像素。此外，例如，如图35所示，在步骤S231中确定目标像素的像素数据是“ 1”(步骤 S231 :Υ)、并且在步骤S235中确定目标像素上方的像素和目标像素左侧的像素的标签有效 (步骤S235 两者都有效)的情况下，接下来，条件确定电路141确定目标像素上方的像素 的标签是否与目标像素左侧的像素的标签彼此不同(步骤S240)。在该情况下，在目标像素 上方的像素的标签与目标像素左侧的像素的标签彼此相同的情况下(步骤S240 :Ν)，执行 上述步骤S239中的处理。另一方面，在步骤S240中确定目标像素上方的像素的标签与目标像素左侧的像 素的标签彼此不同的情况下(步骤S240 :Υ)，执行将在下面描述的步骤S241至S244中的处 理，并且将与从目标像素上方的像素和目标像素左侧的像素中选择的一个像素的标签相同 的标签分配给目标像素，并且更新附加信息。更具体地，例如，如图35所示，行缓冲器144b 和标签存储器控制器147每个使用(现在的位置信息+关于目标像素上方的像素的标签信 息+关于目标像素左侧的像素的标签信息)作为当前标签信息(步骤S241)。而且，除此之 夕卜，例如，如图35所示，将行缓冲器144b上的标签号共同更新为将被更新的标签号(步骤 S242)。然后，从附加信息存储器148中擦除目标像素上方的像素和目标像素左侧的像素的标签号中较大的标签号(步骤S243)，并且更新空闲地址信息(空闲标签号)(步骤S244)。 从而，例如，如图36所示，合并了两个连接区域，并且将相同的标签分配给被合并的两个连 接区域中的像素。以这样的方式执行由步骤S231至251表示的加标签处理，从而，例如，如图37所 示，获得关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签 信息Dout。然后，在步骤S250中确定完成沿着所有行的扫描的情况下(步骤S250 :Y)，加 标签处理完成。在该情况下，同样在本实施例的加标签处理中，如在第一实施例的情况下，对由二 进制化数据Din表示的拾取图像中的像素执行顺序扫描。然后，在顺序扫描期间，当随时基 于目标像素及其相邻像素的像素数据的值而将标签号分配给目标像素时，随时更新与每个 标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，在完成这样的顺 序扫描时，完成对关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息 的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一个顺序扫描处理获得关 于整个图像的加标信息等。从而，同样在本实施例中，通过与第一实施例中相同的功能，可以得到与第一实施 例中相同的效果。换言之，通过一个顺序扫描处理，可以得到关于整个拾取图像的标签信 息、位置信息和面积信息。因此，可以实现比以前更高速的加标签处理。而且，在本实施例中，因为不需要第一实施例中的地址列表143，并且允许直接更 新标签信息，所以相比于第一实施例，进一步改善了实时能力。因此，更容易在硬件上实现 加标签处理，并且允许减少所使用的存储器量。虽然参考第一和第二实施例描述了本发明，但是本发明不限于此，并且可以进行 各种各样的修改。例如，在上述实施例中，描述了使用两个方向上的像素、即目标像素上方和目标像 素左侧的像素作为相邻像素来执行加标签处理的情况；然而，例如，可以使用三个方向上的 像素、即目标像素上方、目标像素左侧和目标像素右上方的像素作为相邻像素来执行加标 签处理。此外，在上述实施例中，描述了作为像素数据的值、“ 1 ”是有效值而“0 ”是无效值 的情况；然而，相反，作为像素数据的值，“0”可以是有效值，而“1”可以是无效值。而且，在图2和3中图示的例子中，相应于一个光发射单元来布置一个光接收单 元；然而，可以相应于多个光发射单元来布置一个光接收单元。此外，在上述实施例中描述的图像输入/输出设备1和2中，作为输入/输出面板 11，描述了使用液晶显示面板的配置。然而，本发明的信息输入/输出设备可以具有将有机 电致发光(EL)面板等用作输入/输出面板的配置。有机EL元件具有当施加正向偏压时发 光、并当施加反向偏压时接收光来生成电流的特性。因此，有机EL元件包括显示元件11a 和光接收元件lib。在该情况下，通过为每个像素布置有机EL元件来配置输入/输出面板 11，并且当向每个有机EL元件施加正向偏压时，从而允许每个有机EL元件发光，显示图像， 以及当向其他有机EL元件施加反向偏压时，允许有机EL元件接收反射光。而且，在上述实施例中，参考作为例子的包括输入/输出面板11的图像输入/输 出设备1描述了本发明，其中输入/输出面板11包含多个显示元件11a和多个光接收元件lib ；然而，本发明可应用于包括如下输入面板的图像输入设备(图像拾取设备)该输入面 板包括多个光接收元件lib。此外，本发明的图像处理装置不仅可应用于基于由光接收元件1 Ib获得的光接收 信号的拾取图像，而且可应用于通过任何其他技术产生的图像。更具体地，例如，本发明的 图像处理装置可应用于在包括图38中图示的输入/输出面板5 (具有像素Px中的截面配 置)的图像输入/输出设备中产生的图像。输入/输出面板5包括第一基板50、第二基板 60和液晶层70，第一基板50包括玻璃基板50A、栅极绝缘膜51A、第一中间层绝缘膜12A、信 号线SL、第二中间层绝缘膜52B、公共电极53、第三中间层绝缘膜52C和像素电极54(第一 传感器电极)，第二基板60包括玻璃基板60A、滤色器61和相对传感器电极62 (第二传感 器电极)，以及液晶层70包括液晶分子71。换言之，在输入/输出面板5中，电阻型触摸传 感器由像素电极54和相对传感器电极62配置。在该情况下，例如，像素电极54具有包括 多个边缘(edge)54B的截面形状。边缘54B上的对准膜(alignment film)(未示出)倾向 于是薄的，并且边缘54B从对准膜暴露。而且，相对于边缘54B布置相对传感器电极62 (由 切口 62A和图案62B配置)。从而，当第二基板60弯曲时，相对传感器电极62接触像素电 极54的被暴露的边缘54B以直接导致导通，所以阻止了位置检测的不稳定性。特别地，在 输入/输出面板5是FFS(边缘场切换)系统液晶显示面板时，因为像素电极54最初具有 包括多个切口 54A的平坦形状，所以允许增强位置检测性能而无需减小孔径比。 此外，可以通过硬件或软件来执行上述实施例中描述的处理。在通过软件执行处 理的情况下，将形成软件的程序安装在通用计算机等中。可以提前将这样的程序存储在安 装在计算机中的记录介质中。
权利要求
一种图像处理装置，包括扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描；以及信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。
2.根据权利要求1所述的图像处理装置，其中在目标像素的像素数据具有有效值而相邻像素的像素数据具有无效值的情况下，所述 信息获取部分向目标像素发布和分配新的标签信息。
3.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有有效值而相邻像素中仅一个像素的像素数据具有有效值 的情况下，所述信息获取部分向目标像素分配已经被分配给具有有效值的该一个像素的已 发布的标签信息，以更新每个连接区域的位置信息和面积信息。
4.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有有效值并且相邻像素的多个像素的像素数据具有有效值 的情况下，所述信息获取部分向目标像素分配已经被分配给从具有有效值的所述多个像素 中选择的一个像素的已发布的标签信息，以更新每个连接区域的位置信息和面积信息。
5.根据权利要求1或2所述的图像处理装置，其中在目标像素的像素数据具有无效值的情况下，所述信息获取部分不向目标像素发布和 分配标签信息。
6.根据权利要求1或2所述的图像处理装置，其中 所述信息获取部分包括确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息 的处理以及更新每个连接区域的位置信息和面积信息的处理，标签发布部分，基于所述确定部分的确定结果来发布新的标签信息， 行缓冲器，包括针对每个像素的控制器，并存储标签信息，附加信息存储器，将标签信息以及位置信息和面积信息互相关联，然后存储它们，以及 空闲地址信息寄存器，存储是否分配了每个标签信息的状态。
7.根据权利要求1或2所述的图像处理装置，其中 所述信息获取部分包括确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息 的处理以及更新每个连接区域的位置信息和面积信息的处理，标签发布部分，基于所述确定部分的确定结果来发布新的标签信息， 行缓冲器，存储标签信息，附加信息存储器，将位置信息和面积信息与地址号相关联，然后存储它们，以及 地址列表，将存储在所述行缓冲器中的标签信息、存储在所述附加信息存储器中的地 址号和是否分配了标签信息的状态相互关联，然后存储它们。
8.一种图像处理方法，包括对由二进制化像素数据表示的图像中的像素执行顺序扫描，以及执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数 据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与 每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成 对关于整个图像的标签信息、位置信息和面积信息的获取。
9.一种图像输入设备，包括输入面板，包括沿着图像拾取表面布置的多个光接收元件，以接收从外部邻近对象反 射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像 是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
10.一种图像输入/输出设备，包括输入/输出面板，包括沿着显示表面布置的多个显示元件以基于图像信号显示图像、 和沿着显示表面布置的多个光接收元件以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像 是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
11.一种图像输入/输出设备，包括输入/输出面板，包括显示面板和在所述显示面板中形成的位置检测部分，所述显示 面板包括在第一基板和第二基板之间的液晶层，所述位置检测部分包括第一传感器电极和 第二传感器电极，所述第一传感器电极和第二传感器电极被允许在压下所述第二基板时变 为互相接触，并且所述位置检测部分通过检测由所述第一传感器电极和所述第二传感器电 极之间的接触引起的电位改变来检测与外部邻近对象的位置相应的所述第二基板的压下 位置；扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描，该图像是基于 来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相 邻像素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目 标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在 完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取 与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
全文摘要
公开了能够比过去更快速执行加标签处理的图像处理设备。顺序扫描通过二进制化数据(Din)呈现的照相图像的每个像素。另外，当执行所述顺序扫描时，根据感兴趣的像素及其外围像素的像素数据的值，在需要时将表示照相图像中每个连接区域的标识号的登记号(标签信息)分配给该兴趣的像素，并且在需要时更新与每组标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，通过单个顺序扫描获取整个照相图像的标签信息、位置信息和面积信息。
文档编号G09G3/20GK101878465SQ200980101109
公开日2010年11月3日 申请日期2009年7月28日 优先权日2008年8月5日
发明者原田勉, 山口和范, 建内满, 津崎亮一, 黑川壮一郎 申请人:索尼公司
最新回复(0)