信息处理设备、信息处理方法以及记录介质的制作方法
信息处理设备、信息处理方法以及记录介质的制作方法
【专利摘要】一种图像输入单元（71），该图像输入单元（71）输入图像数据，在图像数据中已经捕获了用户。一种提取单元（72），该提取单元（72）提取与由所述图像输入单元（71）输入的图像数据中所包括的用户的手对应的区域。一种确定单元（73），该确定单元（73）确定与由所述提取单元（72）提取的用户的手对应的区域是否处于静止状态。一种识别单元（74），如果与用户的手对应的区域被所述确定单元（73）确定为处于静止状态，该识别单元（74）识别与由所述提取单元（72）提取的用户的手对应的区域的形状。另一方面，如果与用户的手对应的区域被所述确定单元（73）确定为不处于静止状态，该识别单元（74）识别与由所述提取单元（72）提取的用户的手对应的区域的运动。一种输入单元（75），输入与由所述识别单元（74）识别的形状或运动相关联的数据。
【专利说明】信息处理设备、信息处理方法以及记录介质
【技术领域】
[0001]本发明涉及信息处理设备、信息处理方法以及记录介质。
【背景技术】
[0002]所称的手势设备是已知的，其利用由光学相机捕获的手的运动以非接触的方式操作装备。
[0003]例如，在专利文献I中，公开了一种指示(pointing)手势检测方法和设备，其中八或十六个摄像机(video camera)以径向的方式布置,在其中心处检测到人的手的运动。
[0004]此外，在专利文献2中，公开了一种手势识别设备，其中已被预先建模的手掌被多个摄像机捕获,从手的重心到手的边缘的重心骨架(skeleton)值被计算，围绕手的主轴的旋转角度通过最大似然法得以估计。
[0005]此外，在专利文献3中，公开了一种图像处理设备和方法，其中由摄像机捕获的手的图像区域的运动分布被计算，该区域的重心的运动被检测以便识别握拳的动作。
[0006]引用列表
[0007]专利文献
[0008]专利文献1:未经审查的日本专利申请公开2002-259989。
[0009]专利文献2:未经审查的日本专利申请公开H10-63864。
[0010]专利文献3:未经审查的日本专利申请公开2001-307107。
【发明内容】
[0011]技术问题
[0012]在输入指令通过由光学相机捕获的手的运动来实现的情况下，当手的运动快时，由于照明条件等的影响，有时在图像中会出现残留图像。因此，存在识别准确率下降以及发生错误输入的情形。此外，由于在相机与操作者之间的距离以及操作者手大小的不同，存在不可能在图像中准确地识别手部区域、受到外部噪声的影响、以及发生错误输入的情形。
[0013]本发明考虑到前面提到的情况，本发明的目标在于提供一种信息处理设备、信息处理方法以及记录介质，由此数据有可能以较高的准确性得以输入。
[0014]问题的解决方案
[0015]根据本发明第一方面的信息处理设备包括:
[0016]图像输入器，该图像输入器输入图像数据，在该图像数据已经捕获了对象(subject)；
[0017]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0018]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0019]识别器，如果与该对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的该对象的手对应的区域的形状；以及
[0020]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0021]根据本发明第二方面的信息处理方法包括:
[0022]图像输入步骤，用于输入图像数据，在该图像数据已经捕获了对象；
[0023]提取步骤，用于提取与包括于在图像输入步骤中输入的图像数据中该对象的手对应的区域；
[0024]确定步骤，用于确定与在提取步骤中提取的该对象的手对应的区域是否处于静止状态；
[0025]识别步骤，用于如果与该对象的手对应的区域在确定步骤中被确定为处于静止状态，识别与在提取步骤中提取的对象的手对应的区域的形状；以及
[0026]输入步骤，用于输入与在识别步骤中识别的形状相关联的数据。
[0027]根据本发明第三方面的记录在记录介质上的程序使计算机充当:
[0028]图像输入器，该图像输入器输入图像数据，在该图像数据已经捕获了对象；
[0029]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0030]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0031]识别器，如果与对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的对象的手对应的区域的形状；以及
[0032]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0033]发明的有益效果
[0034]根据本发明，有可能以更高的准确性输入数据。
【专利附图】
【附图说明】
[0035]图1是根据本发明一种实施方式的模式的信息处理设备的透视图；
[0036]图2是图1中的信息处理设备的功能框图；
[0037]图3是绘出了将手的运动作为由手做出手势的示例的图；
[0038]图4A、4B和4C是绘出了各种形状的示例的图，其中作为由手做出手势的手指指的方向是不同的；
[0039]图5A、5B和5C是绘出了各种形状的示例的图，其中作为由手做出手势的伸出手指的数量是不同的；
[0040]图6是绘出了 二值化图像的图；
[0041]图7是绘出了由图像数据指明的运动区域的图；
[0042]图8是绘出了包围运动区域的矩形区域的图；
[0043]图9是绘出了重心以及与从图像数据指明的手腕对应的区域的图；
[0044]图10是绘出了通过细化处理产生的细化图像的图；
[0045]图11是绘出了在其上进行指尖搜索的区域的图；
[0046]图12是输入过程的流程图；
[0047]图13是绘出了在显示器中手的图像显示的示例的图；以及[0048]图14是绘出了包括手区域的矩形区域的图。
【具体实施方式】
[0049]下面将参照图1至图14来描述根据本发明的实施方式的信息处理设备100。
[0050]根据本实施方式的信息处理设备100具有手势输入功能，用来输入与由手200做出的手势对应的数据(包括指令、命令等)，这些手势比如作为对象的用户的手200的运动、形状或方向。信息处理设备100是普通的计算设备。在信息处理设备100中，通过前面提到的手势输入功能而输入的数据例如由任意的应用软件处理。
[0051]如图1所示，信息处理设备100包括操作器1、相机2以及显示器3。操作器I包括键盘、鼠标和/或类似物。操作器I根据用户的操作输入向信息处理设备100输入数据，比如各种命令。
[0052]相机2包括成像元件，比如CXD (电荷耦合设备)或CMOS (互补金属氧化物半导体)传感器。例如，相机2捕获信息处理设备100的用户的手200的图像，作为位于视野中的对象。该用户通过由手200做出的各种手势来输入各种数据，手200的形状或运动在相机2的视野内变化。
[0053]显示器3包括IXD (液晶显示器)等。显示器3显示与正被信息处理设备100执行的应用软件有关的图像。此外，显示器3持续地或者响应于预先确定的操作而显示手势输入支持窗口 3W。选择目标S (比如菜单项、文件或图标)以及选择光标C被显示在手势输入支持窗口 3W中。
[0054]图2绘出了信息处理设备100的功能构造。信息处理设备100包括相机接口 4、显示接口 5、存储器6和控制器7，以及上面描述的操作器1、相机2和显示器3。操作器1、相机接口 4、显示接口 5、存储器6和控制器7以允许数据在它们之间传递的方式而通过总线8彼此连接。此外，相机2连接至相机接口 4，显示器3连接至显示接口 5。
[0055]相机接口 4通过总线8向控制器7输入与由相机2所捕获的图像对应的图像数据。显示接口 5向显示器3输入由控制器7输入的图像数据。
[0056]存储器6包括比如RAM (随机存取存储器)或硬盘的存储设备，并存储比如程序的各种类型的数据。存储器6存储与由相机2捕获的图像对应的图像数据。存储器6能够存储各种格式的图像数据。例如，存储器6存储帧单元形式的图像数据。
[0057]此外，存储器6存储用于识别由手200做出的手势(各个方面，比如运动、形状以及方向)的参考数据。例如，用于识别手200的形状的参考数据是模式数据等，为此手的形状已经被转换为数据。用于识别手200的运动的参考数据例如是，与每单位时间的手200的重心的运动量有关的数据，或者模式数据，为此当手200移动时重心的轨迹已经被转换成数据，或者类似的事物。存储器6存储与数据(包括指令、命令等)相关联的参考数据。
[0058]如图3所示，基于参考数据识别的由手200做出的手势，例如是手200的向上、向下、向左、或者向右运动。与此运动相关联的命令例如是，用于沿该运动的方向移动光标C的命令，或者用于使屏幕沿该运动的方向滚动的命令。例如，如果手200已经向上移动，则光标C向上移动。此外，如果手200已经移动至右侧，则光标C移动至右侧。
[0059]此外，如图4A到4C所示，基于参考数据识别的由手200做出的手势是手200的各种形状，这些形状根据食指指向方向而不同。与这些形状相关联的命令例如是，用于沿食指指向方向移动光标的命令，或者用于使屏幕沿食指指向方向滚动的命令。例如，在图4A中，由于食指指向方向是左，光标C向左移动。在图4B中，因为食指指向方向是上，光标C向上移动。在图4C中，因为食指指向方向是右，光标C向右移动。
[0060]此外，如图5A至5C所示，基于参考数据识别的由手200做出的手势是手200的形状，这些形状因伸出手指的数量而不同。与这些形状相关联的命令例如是，用于输入与伸出手指的数量匹配的数字数据的命令。在图5A中，由于伸出手指的数量是一，因此输入“I”。在图5B中，由于伸出手指的数量是二，因此输入“2”。在图5C中，由于伸出手指的数量是三，因此输入“3”。
[0061]控制器7包括处理器等。控制器执行存储在存储器6中的程序以便执行数据处理。控制器7执行普通数据处理，并且还执行与手势输入功能有关的数据处理。控制器7包括图像输入器71、提取器72、确定器73、识别器74以及输入器75。
[0062]图像输入器71输入其中已捕获作为对象的用户的图像数据。图像输入器71以帧单元的形式处理与由相机2捕获的图像对应的图像数据，并使得图像数据被存储于存储器6中。
[0063]提取器72提取与由图像输入器71输入的图像数据中所包括的用户的手对应的区域。为了提取与用户的手对应的区域，提取器72执行如下的图像数据处理。首先，提取器72设置包围运动区域的矩形，该运动区域是从由图像输入器71输入的图像数据中的帧之间的差异数据获得的。
[0064]更具体地说，提取器72查看存储器6，计算当前处理的帧单元的图像数据和先前紧接着的帧单元的图像数据之间的差异数据，并取得与运动区域对应的图像数据。
[0065]接着，为了提取运动区域，提取器72将与取得的图像数据对应的图像二值化。图6绘出了二值化的图像中的运动区域201。如果在二值化的图像上每个白色像素周围的八个相邻的像素值都大于预先设定的阈值，则提取器72就扩大该白色像素区域。通过这么做，提取器72执行用于连接和扩大白色区域的扩展处理。此外，如果在二值化的图像上每个黑色像素周围的八个相邻的像素值都小于预先设定的阈值，提取器72就缩小黑色像素区域。通过这么做，提取器72执行用于移除构成噪声的黑点的缩减处理。通过这种方式，提取器72从图像数据中指定运动区域202，如图7所示。此外，当运动区域202被指定，提取器72设置包围该运动区域202的最小的矩形区域203，如图8所示。
[0066]接着，提取器72基于包括在通过扫描矩形区域203的内部获得的运动区域202中的线段的长度，指定与用户的手腕对应的区域。例如，提取器72获取所设置的矩形区域203相对于图像平面的垂直方向的倾斜方向。提取器72沿矩形区域203的纵向方向，从图像平面的顶部至底部扫描与该倾斜方向正交的直线，并获得与运动区域202重叠的线段的长度，作为手200的宽度204。如图9所示，在取得最大的宽度205后，具有最小宽度206的所获得的宽度204的位置被指定为与手200的手腕对应的区域。
[0067]接着，提取器72基于与用户的手腕对应的所指定的区域，提取与用户的手200对应的区域。例如，提取器72在矩形区域203内从与手腕对应的所指定的区域中提取在位于图形平面顶部的白色像素区域，作为与用户的手对应的区域207。
[0068]这里，提取器72计算组成与用户的手对应的区域207的白色像素的每个X坐标和Y坐标的平均值，作为与用户的手对应的区域207的重心208。所计算出的重心208如图9所示。提取器72使所计算出的重心208与图像数据相关联地被存储于存储器6中。
[0069]确定器73确定与由提取器72提取的与用户的手对应的区域2072是否处于静止状态。例如，确定器73基于由提取器72提取的区域207的重心208的运动量，确定与用户的手对应的区域207是否处于静止状态。更具体地，确定器73查看存储器6，并根据先前处理所得的重心(Xt+ Yt-!)和当前处理所得的重心(Xt，Yt)来计算运动量。这里，如果运动量以M表示，则确定器73能够通过M= {(Xt-Xw)2+ (W1) 211/2计算出运动量M。
[0070]确定器73比较计算出的运动量M和预先确定的阈值Dth。如果运动量M小于或等于阈值Dth，确定器73确定手是处于静止状态；如果运动量M大于阈值Dth，则确定手在移动。
[0071]如果确定器73确定与用户的手对应的区域207处于静止状态，则识别器74识别由提取器72提取的与用户的手对应的区域207的形状。否则，如果确定器73确定用户的手不处于静止状态，识别器74识别由提取器72提取的与用户的手对应的区域207的运动。将在下文描述通过识别器74对与用户的手对应的区域207的形状的识别。
[0072]识别器74指定指尖在由提取器72提取的与用户的手对应的区域中的位置，并基于所指定的指尖位置，识别与用户的手对应的区域207的形状。例如，首先，识别器74通过在由提取器72提取的区域207上执行细化处理来指定指尖的位置。细化处理是用于将二值化的图像转换成具有 一个像素宽度的细化图像的处理。细化处理是用于强调被捕获的对像的几何特征的处理。利用比如Hilditch、Tamura、或Zhang-Suen算法的任意算法来执行细化处理是可能的。例如，如图10所示，识别器74通过以一定方式执行该处理来获得细化的图像209，该方式使得由提取器72提取的区域207的单一中心像素得以保留。
[0073]识别器74基于由提取器72提取的与用户的手对应的区域207中的预先确定的位置的长度，通过估计指尖和重心之间的距离来指定指尖的位置，该重心是根据由提取器72提取的与用户的手对应的区域207计算出来的。例如，一个人的手的宽度与手指的长度相关联。因此，识别器74利用由提取器72提取的手200的宽度204来估计到指尖的距离。首先，如图11所示，识别器74设定源自重心208的特定的半径rl和r2(r2>rl)，以及特定的角度Θ I和θ 2( θ 2> Θ I)。识别器74接下来在由已经设定的rl，r2，Θ I和Θ 2所包围的扇形范围内搜索从重心208的位置延伸越过固定距离或更大距离的细化图像209的梢端，并且将找到的梢端作为指尖位置211。
[0074]应该注意到，半径rl和r2例如通过从距重心208的位置的最大宽度204中减去预先确定的长度来确定。此外，扇形范围是用来限制在其中实施指尖位置211搜索的区域以便增加搜索处理的速度，允许使用用来限制搜索在其中实施的区域的其他技术。备选地，允许从重心208的位置搜索全部范围而不限制搜索在其中实施的区域。应该注意到，在图11中，绘出了指定食指的指尖的示例，然而，同样存在指定多个指尖的情况。
[0075]在对与用户的手对应的区域207的运动进行识别时，识别器74查看(refer to)存储器6，并基于重心位置的运动历史(Xt_n ’ Yt_n)(Xt+ YtJ，(Xt, Yt)，识别与用户的手对应的区域207的运动。这里，允许识别器74计算与指定的指尖对应的坐标的运动量。
[0076]输入器75输入与由识别器74识别的形状或运动相关联的数据。例如，输入器75查看存储器6，并输入与由识别器74识别的手200的形状相关联的命令。输入器75将参考数据和与包括指定的指尖位置211的手200的形状对应的数据进行比较，并且，如果手200的形状与由参考数据识别的手的形状相匹配，输入器75输入与该参考数据相关联的命令。例如，在命令为使光标C移动的情况下，输入器75将光标C运动指令输入至显示器3。因此，显不器3的手势输入支持窗口 3W中的光标C移动。
[0077]在手200的运动被识别器74识别的情况下，例如，如果手200向上移动，输入器75向显不器3输入用于向上移动光标C的指令。因此,显不器3的手势输入支持窗口 3W中的光标C向上移动。
[0078]接下来，描述了由信息处理设备100进行的输入处理的流程。信息处理设备100能够执行多种应用软件。为了向应用软件进行输入，正如下面描述的，在用户通过手势执行输入的情况下，除来自操作器I的输入处理之外，信息处理设备100实现的输入处理。
[0079]控制器7例如以时间分割(time-divided)的方式重复地执行图12中绘出的输入处理。应该注意到，允许控制器7以一定的方式配置以便随着输入处理的开始一起显示手势输入支持窗口 3W，或者利用手势或来自输入器I的输入来切换手势输入支持窗口 3W的显示和不显示。
[0080]图像输入器71将图像数据输入到控制器7 (步骤SI)。接着，提取器72提取运动区域201 (步骤S2)。然后，提取器72提取与用户的手对应的区域207 (步骤S3)。提取器72计算与用户的手对应的区域207的重心208 (步骤S4)。
[0081]确定器73计算重心208的运动量(步骤S5)。然后，确定器基于重心208的运动量来确定与用户的手对应的区域207是否处于静止状态(步骤S6)。
[0082]如果与用户的手对应的区域207处于静止状态(步骤S6:是)，识别器74执行细化处理(步骤S7)。然后，识别器74通过指定指尖位置211来识别手200的形状(步骤S8)。如果手200的形状与参考数据不匹配(步骤S9:否)，控制器7返回到步骤SI。否则，如果手200的形状确实与参考数据匹配(步骤S9:是)，则输入器75输入与由识别器74识别的手200的形状相关联的命令(步骤S10)。然后，控制器7结束该输入处理。
[0083]否则，如果与用户的手对应的区域207不处于静止状态(步骤S6:否)，识别器74计算重心208的运动量，并识别用户的手的运动(步骤S11)。然后，如果手200的运动与参考数据不匹配(步骤S9:否)，控制器7返回步骤SI。如果手200的运动确实与参考数据匹配(步骤S9:是)，输入器75输入与由识别器74识别的手200的运动相关联的命令(步骤S10)。然后，控制器7完成输入处理。
[0084]正如上面详细描述的，根据当前实施方式的模式的信息处理设备100，确定手200是否是静止的，并且如果处于静止状态，基于手200的形状输入数据。因此，有可能最大限度地防止由于不静止的手200的图像中的残留图像导致的识别准确性的下降以及随之产生的错误输入。而且，由于使用了静止的手200的图像，手200的区域能够被准确地识别，因此需要较小的处理载荷，并且有可能最大限度地防止外部噪声的影响以及随之产生的错误输入。因此，用户能够以很高的准确性输入数据。
[0085]应该注意到，在本实施方式中，识别器74以一定方式配置以便通过在由提取器72提取的区域207中指定指尖位置211来识别与用户的手对应的区域207的形状。由此，能够将与手对应的区域207从图像数据中适当地修剪(clip)，因此有可能使捕获的并非手200的图像等的噪声的影响在最大程度上得到抑制。此外，由于指尖是手势输入中经常移动的位置，通过准确地指定指尖位置211，有可能输入多种数据。
[0086]此外，在本实施方式的模式中，识别器74以一定方式配置以便通过在由提取器72提取的区域207上实施细化处理来指定指尖位置211。由于细化处理，图像的几何特征变得更容易捕获，因此有可能以很高的准确性指定指尖位置211。而且，由于细化处理，图像被转换为线，因此有可能减低所处理的数据量，并提高处理的速度。
[0087]应该注意到，在本实施方式的模式中，识别器74以一定方式配置以便基于由提取器72提取的区域207内的手的宽度204，通过估计从由提取器72提取的区域207的重心208到指尖的距离来指定指尖位置211。因为手的宽度和到梢端的手指的长度通常相关联，有可能通过一个人的手的大小准确地估计指尖位置211。
[0088]而且，在本实施方式的模式中，确定器73以一定方式配置以便基于由提取器72提取的区域207的重心208的运动量，确定用户的手200是否处于静止状态。通过这么做，有可能以高的准确度确定手200是否处于静止状态。
[0089]应该注意到，在本实施方式中，识别器74以一定的方式配置以便，如果由确定器73确定用户的手200不处于静止状态，则识别由提取器72提取的区域207的运动，并且输入器75以一定方式配置以便输入与由识别器74识别的运动相关联的命令。因此，因为还有可能通过手200的运动来输入数据，而不仅仅是手的形状，能够通过手势输入的数据的类型有可能增加。结果，由于很多类型的数据能够通过手势来输入，改善了用户的便利性。
[0090]此外，在本实施方式的模式中，提取器72以一定方式配置以便设置包围运动区域202的矩形区域203，该运动区域202是根据由图像输入器71输入的图像数据中各帧之间的差异数据获得，以便基于运动区域202中所包括的线段长度，指定与用户的手腕对应的区域，该线段长度通过扫描矩形区域203的内部获得，以及基于与用户的手腕对应的所指定的区域，提取与用户的手200对应的区域207。通过这么做，提取器72能够准确地提取手200的区域。此外，所捕获的不同于手200的图像等的噪声的影响能够被最大程度地抑制。
[0091]应该注意到，如图13所示，允许显示器3以一定的方式配置以便在手势输入支持窗口 3W中显示与由图像输入器71输入的图像数据对应的图像。通过这么做，由于用户能够在确认由手200做出的手势的同时实现操作输入，用户能够更加可靠地输入数据。
[0092]应该注意到，在该实施方式的模式中，如果手200不处于静止状态，基于手200被识别的运动输入数据，以及如果手200处于静止状态，基于手200被识别的形状输入数据。然而，本发明并不限于此。
[0093]例如，允许确定器73以一定方式配置，以便从时间T间隔的帧单元的图像数据中的、手200的重心208的移动量L获得运动速度V(=L/T)。在这种情况下，如果运动速度V大于第一阈值VI，识别器74基于手200的运动输入数据。此外，如果运动速度V介于第一阈值Vl和第二阈值V2之间(V1>V>V2)，识别器74基于手200的运动和手200的形状和方向的组合输入数据。此外，如果运动速度V小于第二阈值V2(V2>V ;换句话说，基本上停止的状态)，识别器74基于手200的形状和方向输入数据。也是通过这种方式，手200的姿势能够以高精确度被识别，并且数据可以被适当地输入。应该注意，为速度提供三个或更多的阈值是允许的。
[0094]此外，用于提取与用户的手200对应的区域207的方法，用于计算重心208的方法，以及用于指定指尖位置211的方法等等，不限于前述提及的实施方式的模式。例如，关于与用户的手200对应的区域207，允许提取图像内具有特定颜色(皮肤颜色)的部分。此夕卜，为了提取与用户的手200对应的区域207，例如，允许提取器41设置包括所指定的运动区域202的最小的矩形区域212，以如图14所示的方法。在这种情况下，允许提取器72从重心208在图像平面的顶端提取白色像素区域，作为与用户的手对应的区域207。此外，用于确定是否存在手200的运动的技术也是任意的。例如，允许获得与运动或速度的量关联的值，而无须获得运动或速度的实际量，并且允许该值与参考值进行比较，类似的技术也是被允许的。
[0095]此外，例如，在关于指尖位置211的规定中，如图14所示，允许识别器74在构成图像的像素中，将从重心208在图像平面的顶端距离重心208最远(具有大的距离)的像素的位置作为指尖位置211。
[0096]此外，在图12的步骤SlO中，输入器75已输入了与由识别器74识别的手200的形状或运动相关联的命令。并不局限于此，允许输入器75使与所识别的手200的形状或运动对应的数据存储在存储器6中，并且查看存储器6以及协同其他的处理来输入命令等，该其他的处理比如为通过操作器I实施的操作输入。
[0097]在该实施方式的模式中，给出了提供相机2的配置方式的示例，然而，同样允许本发明应用于如下的系统中，其中由相机2捕获的图像数据通过数据通信的方式接收或者通过记录介质取得，或者其他方式，并且图像数据被处理。
[0098]应该注意到，由手200做出的手势，比如图3到图5C中绘出的手200的运动或形状都是示例，手势并不局限于此。
[0099]允许本实施方式的模式的信息处理设备100通过专门的系统实现，或者通过通常的计算机系统实现。例如，允许在计算机可读记录介质上存储并分发用于执行上述操作的程序，以及允许通过在计算机上安装来配置输入设备100并执行前述的处理。而且，允许使在比如互联网的网络上的服务设备中提供的硬盘设备上进行存储，并例如将其下载到计算机中。此外，允许通过OS (操作系统)与应用软件的协同工作来实现上面描述的功能。在这种情况下，允许仅在介质中存储和分发OS以外的部分，并且允许将这些部分被下载到计算机上。
[0100]作为记录程序的记录介质,有可能使用如下计算机可读记录介质，比如USB存储器、软盘(flexible disk)、CD、DVD、蓝光光盘(注册商标)、MO、SD卡、记忆棒(注册商标)以及磁盘、光盘、磁光盘、半导体存储器、或者磁带。此外，有可能使用在系统或设备中通常固定使用的存储介质，比如硬盘或SSD (固态驱动器)。
[0101]在不背离本发明宽泛的精神以及范围的情况下，本发明有可能具有各种实施方式的模式和修改。而且，前面提及的实施方式的模式是用来描述本发明，而并非限制本发明的范围。换言之，本发明的范围是由权利要求的范围表示的，而并非实施方式。在权利要求的范围内以及与权利要求的范围相当的发明的意思范围内实现的各种修改被认为落入本发明的范围之内。
[0102]前面提及的实施方式的模式中的一些或全部还有可能被描述为如下的附录，但是并不局限于下面的附录。
[0103](附录I)
[0104]—种信息处理设备,包括:
[0105]图像输入器，该图像输入器输入图像数据，在该图像数据中已经捕获了对象(subject)；[0106]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0107]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0108]识别器，如果与该对象的手对应的区域由确定器确定为处于静止状态，识别与由提取器提取的该对象的手对应的区域的形状；以及
[0109]输入器，输入与由识别器识别的形状相关联的数据。
[0110](附录2)
[0111]根据附录I所述的信息处理设备，其中
[0112]该识别器指定指尖在与由提取器提取的该对象的手对应的区域中的位置，并基于所指定的指尖的位置识别与该对象的手对应的区域的形状。
[0113](附录3)
[0114]根据附录2所述的信息处理设备，其中
[0115]该识别器通过在与由提取器提取的该对象的手对应的区域上实施细化处理来指定指尖的位置。
[0116](附录4)
[0117]根据附录2或3所述的信息处理设备，其中
[0118]基于与由提取器提取的该对象的手对应的区域内的预先确定的位置的长度，识别器通过估计指尖与重心之间的距离来指定指尖的位置，该重心是根据与由提取器提取的该对象的手对应的区域而计算。
[0119](附录5)
[0120]根据附录I至4中任意一项所述的信息处理设备，其中
[0121]确定器在基于与由提取器提取的该对象的手对应的区域的重心的运动量，确定该对象的手是否处于静止状态。
[0122](附录6)
[0123]根据附录I至5中任意一项所述的信息处理设备，其中
[0124]如果由确定器确定该对象的手不处于静止状态，则识别器识别与由提取器提取的该对象的手对应的区域的运动，并且
[0125]输入器输入与由识别器识别的运动相关联的数据。
[0126](附录7)
[0127]根据附录I至6中任意一项所述的信息处理设备，其中
[0128]提取器设置包围运动区域的矩形，该运动区域根据由图像输入器输入的图像数据中的帧之间的差异数据而获得，基于运动区域中所包括的线段长度，指定与该对象的手腕对应的区域，该线段长度通过扫描矩形的内部获得，以及基于与该对象的手腕对应的所指定的区域，提取与该对象的手对应的区域。
[0129](附录8)
[0130]根据附录I至7中任意一项所述的信息处理设备，进一步包括显示器，显示与由图像输入器输入的图像数据对应的图像。
[0131](附录9)[0132]—种信息处理方法,包括:
[0133]图像输入步骤，用于输入图像数据，在该图像数据中已经捕获了对象；
[0134]提取步骤，用于提取与包括于在图像输入步骤中所输入的图像数据中的该对象的手对应的区域；
[0135]确定步骤，用于确定与在提取步骤中提取的该对象的手对应的区域是否处于静止状态；
[0136]识别步骤，用于如果与该对象的手对应的区域在确定步骤中被确定为处于静止状态，识别与在提取步骤中提取的该对象的手对应的区域的形状；以及
[0137]输入步骤，用于输入与在识别步骤中识别的形状相关联的数据。
[0138](附录10)
[0139]一种记录有程序的记录介质，该程序使计算机充当:
[0140]图像输入器，该图像输入器输入图像数据，在该图像数据中已经捕获了对象；
[0141]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0142]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0143]识别器，如果与该对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的该对象的手对应的区域的形状；以及
[0144]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0145]本发明基于2011年4月28日提交的日本专利申请2011-102529。该日本专利申请2011-102529的整个说明书、专利权利要求的范围以及附图被并入本说明书作为参考。
[0146]工业实用性
[0147]本发明适用于利用对象的手势来输入数据的信息处理设备、信息处理方法以及记录介质。
[0148]附图标记列表
[0149]I 操作器
[0150]2 相机
[0151]3 显示器
[0152]3W 手势输入支持窗口
[0153]3i 窗口
[0154]4 相机接口
[0155]5 显示器接口
[0156]6 存储器
[0157]7 控制器
[0158]8 总线
[0159]71 图像输入器
[0160]72 提取器
[0161]73 确定器
[0162]74 识别器[0163]75输入器
[0164]100信息处理设备
[0165]200手
[0166]201、202 运动区域
[0167]203,212 矩形区域
[0168]204宽度
[0169]205最大宽度
[0170]206最小宽度
[0171]207与用户的手对应的区域
[0172]208重心
[0173]209细化的图像
[0174]201扇形区域
[0175]211指尖位 置
【权利要求】
1.一种信息处理设备,包括: 图像输入器，所述图像输入器输入图像数据，在所述图像数据中已经捕获了对象； 提取器，所述提取器提取与由所述图像输入器输入的图像数据中所包括的所述对象的手对应的区域； 确定器，所述确定器确定与由所述提取器提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别器，如果与所述对象的所述手对应的所述区域被所述确定器确定为处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的形状；以及 输入器，所述输入器输入与由所述识别器识别的所述形状相关联的数据。
2.根据权利要求1所述的信息处理设备，其中 所述识别器指定指尖在与由所述提取器提取的所述对象的所述手对应的所述区域中的位置，并基于指定的所述指尖的所述位置来识别与所述对象的所述手对应的所述区域的所述形状。
3.根据权利要求2所述的信息处理设备，其中 所述识别器通过在与由所述提取器提取的所述对象的所述手对应的所述区域上实施细化处理，来指定所述指尖 的所述位置。
4.根据权利要求2或3所述的信息处理设备，其中， 基于与由所述提取器提取的所述对象的所述手对应的所述区域内的预先确定的位置的长度，所述识别器通过估计所述指尖与重心之间的距离来指定所述指尖的所述位置，所述重心根据与由所述提取器提取的所述对象的所述手对应的所述区域而计算。
5.根据权利要求1至4中任意一项所述的信息处理设备，其中 所述确定器基于与由所述提取器提取的所述对象的所述手对应的所述区域的所述重心的运动量，来确定所述对象的所述手是否处于静止状态。
6.根据权利要求1至5中任意一项所述的信息处理设备，其中， 如果所述确定器确定所述对象的所述手不处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的运动，以及 所述输入器输入与由所述识别器识别的所述运动相关联的数据。
7.根据权利要求1至6中任意一项所述的信息处理设备，其中 所述提取器:设置包围运动区域的矩形，所述运动区域根据由所述图像输入器输入的所述图像数据中的帧之间的差异数据而获得；基于所述运动区域中所包括的线段的长度，指定与所述对象的手腕对应的区域，所述线段的长度通过扫描所述矩形的内部而获得；以及基于与所述对象的所述手腕对应的指定的所述区域，提取与所述对象的所述手对应的所述区域。
8.根据权利要求1至7中任意一项所述的信息处理设备，进一步包括 显示器，所述显示器显示与由所述图像输入器输入的所述图像数据对应的图像。
9.一种信息处理方法,包括: 图像输入步骤，用于输入图像数据，在所述图像数据中已经捕获了对象； 提取步骤，用于提取与在所述图像输入步骤中输入的所述图像数据中所包括的所述对象的手对应的区域； 确定步骤，用于确定与在所述提取步骤中提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别步骤，用于如果与所述对象的所述手对应的所述区域在所述确定步骤中被确定为处于静止状态，识别与在所述提取步骤中提取的所述对象的所述手对应的所述区域的形状；以及 输入步骤，用于输入与在所述识别步骤中识别的所述形状相关联的数据。
10.一种记录介质，所述记录介质上记录有程序，所述程序使计算机充当: 图像输入器，所述图像输入器输入图像数据，在所述图像数据中已经捕获了对象； 提取器，所述提取器提取与由所述图像输入器输入的所述图像数据中所包括的所述对象的手对应的区域； 确定器，所述确定器确定与由所述提取器提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别器，如果与所述对象的所述手对应的所述区域被所述确定器确定为处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的形状；以及 输入器，所述输入器输入与由所述识别器识别的所述形状相关联的数据。
【文档编号】G06T7/20GK103562822SQ201280020651
【公开日】2014年2月5日 申请日期:2012年4月27日 优先权日:2011年4月28日
【发明者】黑河尊文, 谷村龙太郎 申请人:Nec软件系统科技有限公司
【专利摘要】一种图像输入单元（71），该图像输入单元（71）输入图像数据，在图像数据中已经捕获了用户。一种提取单元（72），该提取单元（72）提取与由所述图像输入单元（71）输入的图像数据中所包括的用户的手对应的区域。一种确定单元（73），该确定单元（73）确定与由所述提取单元（72）提取的用户的手对应的区域是否处于静止状态。一种识别单元（74），如果与用户的手对应的区域被所述确定单元（73）确定为处于静止状态，该识别单元（74）识别与由所述提取单元（72）提取的用户的手对应的区域的形状。另一方面，如果与用户的手对应的区域被所述确定单元（73）确定为不处于静止状态，该识别单元（74）识别与由所述提取单元（72）提取的用户的手对应的区域的运动。一种输入单元（75），输入与由所述识别单元（74）识别的形状或运动相关联的数据。
【专利说明】信息处理设备、信息处理方法以及记录介质
【技术领域】
[0001]本发明涉及信息处理设备、信息处理方法以及记录介质。
【背景技术】
[0002]所称的手势设备是已知的，其利用由光学相机捕获的手的运动以非接触的方式操作装备。
[0003]例如，在专利文献I中，公开了一种指示(pointing)手势检测方法和设备，其中八或十六个摄像机(video camera)以径向的方式布置,在其中心处检测到人的手的运动。
[0004]此外，在专利文献2中，公开了一种手势识别设备，其中已被预先建模的手掌被多个摄像机捕获,从手的重心到手的边缘的重心骨架(skeleton)值被计算，围绕手的主轴的旋转角度通过最大似然法得以估计。
[0005]此外，在专利文献3中，公开了一种图像处理设备和方法，其中由摄像机捕获的手的图像区域的运动分布被计算，该区域的重心的运动被检测以便识别握拳的动作。
[0006]引用列表
[0007]专利文献
[0008]专利文献1:未经审查的日本专利申请公开2002-259989。
[0009]专利文献2:未经审查的日本专利申请公开H10-63864。
[0010]专利文献3:未经审查的日本专利申请公开2001-307107。
【发明内容】
[0011]技术问题
[0012]在输入指令通过由光学相机捕获的手的运动来实现的情况下，当手的运动快时，由于照明条件等的影响，有时在图像中会出现残留图像。因此，存在识别准确率下降以及发生错误输入的情形。此外，由于在相机与操作者之间的距离以及操作者手大小的不同，存在不可能在图像中准确地识别手部区域、受到外部噪声的影响、以及发生错误输入的情形。
[0013]本发明考虑到前面提到的情况，本发明的目标在于提供一种信息处理设备、信息处理方法以及记录介质，由此数据有可能以较高的准确性得以输入。
[0014]问题的解决方案
[0015]根据本发明第一方面的信息处理设备包括:
[0016]图像输入器，该图像输入器输入图像数据，在该图像数据已经捕获了对象(subject)；
[0017]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0018]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0019]识别器，如果与该对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的该对象的手对应的区域的形状；以及
[0020]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0021]根据本发明第二方面的信息处理方法包括:
[0022]图像输入步骤，用于输入图像数据，在该图像数据已经捕获了对象；
[0023]提取步骤，用于提取与包括于在图像输入步骤中输入的图像数据中该对象的手对应的区域；
[0024]确定步骤，用于确定与在提取步骤中提取的该对象的手对应的区域是否处于静止状态；
[0025]识别步骤，用于如果与该对象的手对应的区域在确定步骤中被确定为处于静止状态，识别与在提取步骤中提取的对象的手对应的区域的形状；以及
[0026]输入步骤，用于输入与在识别步骤中识别的形状相关联的数据。
[0027]根据本发明第三方面的记录在记录介质上的程序使计算机充当:
[0028]图像输入器，该图像输入器输入图像数据，在该图像数据已经捕获了对象；
[0029]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0030]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0031]识别器，如果与对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的对象的手对应的区域的形状；以及
[0032]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0033]发明的有益效果
[0034]根据本发明，有可能以更高的准确性输入数据。
【专利附图】
【附图说明】
[0035]图1是根据本发明一种实施方式的模式的信息处理设备的透视图；
[0036]图2是图1中的信息处理设备的功能框图；
[0037]图3是绘出了将手的运动作为由手做出手势的示例的图；
[0038]图4A、4B和4C是绘出了各种形状的示例的图，其中作为由手做出手势的手指指的方向是不同的；
[0039]图5A、5B和5C是绘出了各种形状的示例的图，其中作为由手做出手势的伸出手指的数量是不同的；
[0040]图6是绘出了 二值化图像的图；
[0041]图7是绘出了由图像数据指明的运动区域的图；
[0042]图8是绘出了包围运动区域的矩形区域的图；
[0043]图9是绘出了重心以及与从图像数据指明的手腕对应的区域的图；
[0044]图10是绘出了通过细化处理产生的细化图像的图；
[0045]图11是绘出了在其上进行指尖搜索的区域的图；
[0046]图12是输入过程的流程图；
[0047]图13是绘出了在显示器中手的图像显示的示例的图；以及[0048]图14是绘出了包括手区域的矩形区域的图。
【具体实施方式】
[0049]下面将参照图1至图14来描述根据本发明的实施方式的信息处理设备100。
[0050]根据本实施方式的信息处理设备100具有手势输入功能，用来输入与由手200做出的手势对应的数据(包括指令、命令等)，这些手势比如作为对象的用户的手200的运动、形状或方向。信息处理设备100是普通的计算设备。在信息处理设备100中，通过前面提到的手势输入功能而输入的数据例如由任意的应用软件处理。
[0051]如图1所示，信息处理设备100包括操作器1、相机2以及显示器3。操作器I包括键盘、鼠标和/或类似物。操作器I根据用户的操作输入向信息处理设备100输入数据，比如各种命令。
[0052]相机2包括成像元件，比如CXD (电荷耦合设备)或CMOS (互补金属氧化物半导体)传感器。例如，相机2捕获信息处理设备100的用户的手200的图像，作为位于视野中的对象。该用户通过由手200做出的各种手势来输入各种数据，手200的形状或运动在相机2的视野内变化。
[0053]显示器3包括IXD (液晶显示器)等。显示器3显示与正被信息处理设备100执行的应用软件有关的图像。此外，显示器3持续地或者响应于预先确定的操作而显示手势输入支持窗口 3W。选择目标S (比如菜单项、文件或图标)以及选择光标C被显示在手势输入支持窗口 3W中。
[0054]图2绘出了信息处理设备100的功能构造。信息处理设备100包括相机接口 4、显示接口 5、存储器6和控制器7，以及上面描述的操作器1、相机2和显示器3。操作器1、相机接口 4、显示接口 5、存储器6和控制器7以允许数据在它们之间传递的方式而通过总线8彼此连接。此外，相机2连接至相机接口 4，显示器3连接至显示接口 5。
[0055]相机接口 4通过总线8向控制器7输入与由相机2所捕获的图像对应的图像数据。显示接口 5向显示器3输入由控制器7输入的图像数据。
[0056]存储器6包括比如RAM (随机存取存储器)或硬盘的存储设备，并存储比如程序的各种类型的数据。存储器6存储与由相机2捕获的图像对应的图像数据。存储器6能够存储各种格式的图像数据。例如，存储器6存储帧单元形式的图像数据。
[0057]此外，存储器6存储用于识别由手200做出的手势(各个方面，比如运动、形状以及方向)的参考数据。例如，用于识别手200的形状的参考数据是模式数据等，为此手的形状已经被转换为数据。用于识别手200的运动的参考数据例如是，与每单位时间的手200的重心的运动量有关的数据，或者模式数据，为此当手200移动时重心的轨迹已经被转换成数据，或者类似的事物。存储器6存储与数据(包括指令、命令等)相关联的参考数据。
[0058]如图3所示，基于参考数据识别的由手200做出的手势，例如是手200的向上、向下、向左、或者向右运动。与此运动相关联的命令例如是，用于沿该运动的方向移动光标C的命令，或者用于使屏幕沿该运动的方向滚动的命令。例如，如果手200已经向上移动，则光标C向上移动。此外，如果手200已经移动至右侧，则光标C移动至右侧。
[0059]此外，如图4A到4C所示，基于参考数据识别的由手200做出的手势是手200的各种形状，这些形状根据食指指向方向而不同。与这些形状相关联的命令例如是，用于沿食指指向方向移动光标的命令，或者用于使屏幕沿食指指向方向滚动的命令。例如，在图4A中，由于食指指向方向是左，光标C向左移动。在图4B中，因为食指指向方向是上，光标C向上移动。在图4C中，因为食指指向方向是右，光标C向右移动。
[0060]此外，如图5A至5C所示，基于参考数据识别的由手200做出的手势是手200的形状，这些形状因伸出手指的数量而不同。与这些形状相关联的命令例如是，用于输入与伸出手指的数量匹配的数字数据的命令。在图5A中，由于伸出手指的数量是一，因此输入“I”。在图5B中，由于伸出手指的数量是二，因此输入“2”。在图5C中，由于伸出手指的数量是三，因此输入“3”。
[0061]控制器7包括处理器等。控制器执行存储在存储器6中的程序以便执行数据处理。控制器7执行普通数据处理，并且还执行与手势输入功能有关的数据处理。控制器7包括图像输入器71、提取器72、确定器73、识别器74以及输入器75。
[0062]图像输入器71输入其中已捕获作为对象的用户的图像数据。图像输入器71以帧单元的形式处理与由相机2捕获的图像对应的图像数据，并使得图像数据被存储于存储器6中。
[0063]提取器72提取与由图像输入器71输入的图像数据中所包括的用户的手对应的区域。为了提取与用户的手对应的区域，提取器72执行如下的图像数据处理。首先，提取器72设置包围运动区域的矩形，该运动区域是从由图像输入器71输入的图像数据中的帧之间的差异数据获得的。
[0064]更具体地说，提取器72查看存储器6，计算当前处理的帧单元的图像数据和先前紧接着的帧单元的图像数据之间的差异数据，并取得与运动区域对应的图像数据。
[0065]接着，为了提取运动区域，提取器72将与取得的图像数据对应的图像二值化。图6绘出了二值化的图像中的运动区域201。如果在二值化的图像上每个白色像素周围的八个相邻的像素值都大于预先设定的阈值，则提取器72就扩大该白色像素区域。通过这么做，提取器72执行用于连接和扩大白色区域的扩展处理。此外，如果在二值化的图像上每个黑色像素周围的八个相邻的像素值都小于预先设定的阈值，提取器72就缩小黑色像素区域。通过这么做，提取器72执行用于移除构成噪声的黑点的缩减处理。通过这种方式，提取器72从图像数据中指定运动区域202，如图7所示。此外，当运动区域202被指定，提取器72设置包围该运动区域202的最小的矩形区域203，如图8所示。
[0066]接着，提取器72基于包括在通过扫描矩形区域203的内部获得的运动区域202中的线段的长度，指定与用户的手腕对应的区域。例如，提取器72获取所设置的矩形区域203相对于图像平面的垂直方向的倾斜方向。提取器72沿矩形区域203的纵向方向，从图像平面的顶部至底部扫描与该倾斜方向正交的直线，并获得与运动区域202重叠的线段的长度，作为手200的宽度204。如图9所示，在取得最大的宽度205后，具有最小宽度206的所获得的宽度204的位置被指定为与手200的手腕对应的区域。
[0067]接着，提取器72基于与用户的手腕对应的所指定的区域，提取与用户的手200对应的区域。例如，提取器72在矩形区域203内从与手腕对应的所指定的区域中提取在位于图形平面顶部的白色像素区域，作为与用户的手对应的区域207。
[0068]这里，提取器72计算组成与用户的手对应的区域207的白色像素的每个X坐标和Y坐标的平均值，作为与用户的手对应的区域207的重心208。所计算出的重心208如图9所示。提取器72使所计算出的重心208与图像数据相关联地被存储于存储器6中。
[0069]确定器73确定与由提取器72提取的与用户的手对应的区域2072是否处于静止状态。例如，确定器73基于由提取器72提取的区域207的重心208的运动量，确定与用户的手对应的区域207是否处于静止状态。更具体地，确定器73查看存储器6，并根据先前处理所得的重心(Xt+ Yt-!)和当前处理所得的重心(Xt，Yt)来计算运动量。这里，如果运动量以M表示，则确定器73能够通过M= {(Xt-Xw)2+ (W1) 211/2计算出运动量M。
[0070]确定器73比较计算出的运动量M和预先确定的阈值Dth。如果运动量M小于或等于阈值Dth，确定器73确定手是处于静止状态；如果运动量M大于阈值Dth，则确定手在移动。
[0071]如果确定器73确定与用户的手对应的区域207处于静止状态，则识别器74识别由提取器72提取的与用户的手对应的区域207的形状。否则，如果确定器73确定用户的手不处于静止状态，识别器74识别由提取器72提取的与用户的手对应的区域207的运动。将在下文描述通过识别器74对与用户的手对应的区域207的形状的识别。
[0072]识别器74指定指尖在由提取器72提取的与用户的手对应的区域中的位置，并基于所指定的指尖位置，识别与用户的手对应的区域207的形状。例如，首先，识别器74通过在由提取器72提取的区域207上执行细化处理来指定指尖的位置。细化处理是用于将二值化的图像转换成具有 一个像素宽度的细化图像的处理。细化处理是用于强调被捕获的对像的几何特征的处理。利用比如Hilditch、Tamura、或Zhang-Suen算法的任意算法来执行细化处理是可能的。例如，如图10所示，识别器74通过以一定方式执行该处理来获得细化的图像209，该方式使得由提取器72提取的区域207的单一中心像素得以保留。
[0073]识别器74基于由提取器72提取的与用户的手对应的区域207中的预先确定的位置的长度，通过估计指尖和重心之间的距离来指定指尖的位置，该重心是根据由提取器72提取的与用户的手对应的区域207计算出来的。例如，一个人的手的宽度与手指的长度相关联。因此，识别器74利用由提取器72提取的手200的宽度204来估计到指尖的距离。首先，如图11所示，识别器74设定源自重心208的特定的半径rl和r2(r2>rl)，以及特定的角度Θ I和θ 2( θ 2> Θ I)。识别器74接下来在由已经设定的rl，r2，Θ I和Θ 2所包围的扇形范围内搜索从重心208的位置延伸越过固定距离或更大距离的细化图像209的梢端，并且将找到的梢端作为指尖位置211。
[0074]应该注意到，半径rl和r2例如通过从距重心208的位置的最大宽度204中减去预先确定的长度来确定。此外，扇形范围是用来限制在其中实施指尖位置211搜索的区域以便增加搜索处理的速度，允许使用用来限制搜索在其中实施的区域的其他技术。备选地，允许从重心208的位置搜索全部范围而不限制搜索在其中实施的区域。应该注意到，在图11中，绘出了指定食指的指尖的示例，然而，同样存在指定多个指尖的情况。
[0075]在对与用户的手对应的区域207的运动进行识别时，识别器74查看(refer to)存储器6，并基于重心位置的运动历史(Xt_n ’ Yt_n)(Xt+ YtJ，(Xt, Yt)，识别与用户的手对应的区域207的运动。这里，允许识别器74计算与指定的指尖对应的坐标的运动量。
[0076]输入器75输入与由识别器74识别的形状或运动相关联的数据。例如，输入器75查看存储器6，并输入与由识别器74识别的手200的形状相关联的命令。输入器75将参考数据和与包括指定的指尖位置211的手200的形状对应的数据进行比较，并且，如果手200的形状与由参考数据识别的手的形状相匹配，输入器75输入与该参考数据相关联的命令。例如，在命令为使光标C移动的情况下，输入器75将光标C运动指令输入至显示器3。因此，显不器3的手势输入支持窗口 3W中的光标C移动。
[0077]在手200的运动被识别器74识别的情况下，例如，如果手200向上移动，输入器75向显不器3输入用于向上移动光标C的指令。因此,显不器3的手势输入支持窗口 3W中的光标C向上移动。
[0078]接下来，描述了由信息处理设备100进行的输入处理的流程。信息处理设备100能够执行多种应用软件。为了向应用软件进行输入，正如下面描述的，在用户通过手势执行输入的情况下，除来自操作器I的输入处理之外，信息处理设备100实现的输入处理。
[0079]控制器7例如以时间分割(time-divided)的方式重复地执行图12中绘出的输入处理。应该注意到，允许控制器7以一定的方式配置以便随着输入处理的开始一起显示手势输入支持窗口 3W，或者利用手势或来自输入器I的输入来切换手势输入支持窗口 3W的显示和不显示。
[0080]图像输入器71将图像数据输入到控制器7 (步骤SI)。接着，提取器72提取运动区域201 (步骤S2)。然后，提取器72提取与用户的手对应的区域207 (步骤S3)。提取器72计算与用户的手对应的区域207的重心208 (步骤S4)。
[0081]确定器73计算重心208的运动量(步骤S5)。然后，确定器基于重心208的运动量来确定与用户的手对应的区域207是否处于静止状态(步骤S6)。
[0082]如果与用户的手对应的区域207处于静止状态(步骤S6:是)，识别器74执行细化处理(步骤S7)。然后，识别器74通过指定指尖位置211来识别手200的形状(步骤S8)。如果手200的形状与参考数据不匹配(步骤S9:否)，控制器7返回到步骤SI。否则，如果手200的形状确实与参考数据匹配(步骤S9:是)，则输入器75输入与由识别器74识别的手200的形状相关联的命令(步骤S10)。然后，控制器7结束该输入处理。
[0083]否则，如果与用户的手对应的区域207不处于静止状态(步骤S6:否)，识别器74计算重心208的运动量，并识别用户的手的运动(步骤S11)。然后，如果手200的运动与参考数据不匹配(步骤S9:否)，控制器7返回步骤SI。如果手200的运动确实与参考数据匹配(步骤S9:是)，输入器75输入与由识别器74识别的手200的运动相关联的命令(步骤S10)。然后，控制器7完成输入处理。
[0084]正如上面详细描述的，根据当前实施方式的模式的信息处理设备100，确定手200是否是静止的，并且如果处于静止状态，基于手200的形状输入数据。因此，有可能最大限度地防止由于不静止的手200的图像中的残留图像导致的识别准确性的下降以及随之产生的错误输入。而且，由于使用了静止的手200的图像，手200的区域能够被准确地识别，因此需要较小的处理载荷，并且有可能最大限度地防止外部噪声的影响以及随之产生的错误输入。因此，用户能够以很高的准确性输入数据。
[0085]应该注意到，在本实施方式中，识别器74以一定方式配置以便通过在由提取器72提取的区域207中指定指尖位置211来识别与用户的手对应的区域207的形状。由此，能够将与手对应的区域207从图像数据中适当地修剪(clip)，因此有可能使捕获的并非手200的图像等的噪声的影响在最大程度上得到抑制。此外，由于指尖是手势输入中经常移动的位置，通过准确地指定指尖位置211，有可能输入多种数据。
[0086]此外，在本实施方式的模式中，识别器74以一定方式配置以便通过在由提取器72提取的区域207上实施细化处理来指定指尖位置211。由于细化处理，图像的几何特征变得更容易捕获，因此有可能以很高的准确性指定指尖位置211。而且，由于细化处理，图像被转换为线，因此有可能减低所处理的数据量，并提高处理的速度。
[0087]应该注意到，在本实施方式的模式中，识别器74以一定方式配置以便基于由提取器72提取的区域207内的手的宽度204，通过估计从由提取器72提取的区域207的重心208到指尖的距离来指定指尖位置211。因为手的宽度和到梢端的手指的长度通常相关联，有可能通过一个人的手的大小准确地估计指尖位置211。
[0088]而且，在本实施方式的模式中，确定器73以一定方式配置以便基于由提取器72提取的区域207的重心208的运动量，确定用户的手200是否处于静止状态。通过这么做，有可能以高的准确度确定手200是否处于静止状态。
[0089]应该注意到，在本实施方式中，识别器74以一定的方式配置以便，如果由确定器73确定用户的手200不处于静止状态，则识别由提取器72提取的区域207的运动，并且输入器75以一定方式配置以便输入与由识别器74识别的运动相关联的命令。因此，因为还有可能通过手200的运动来输入数据，而不仅仅是手的形状，能够通过手势输入的数据的类型有可能增加。结果，由于很多类型的数据能够通过手势来输入，改善了用户的便利性。
[0090]此外，在本实施方式的模式中，提取器72以一定方式配置以便设置包围运动区域202的矩形区域203，该运动区域202是根据由图像输入器71输入的图像数据中各帧之间的差异数据获得，以便基于运动区域202中所包括的线段长度，指定与用户的手腕对应的区域，该线段长度通过扫描矩形区域203的内部获得，以及基于与用户的手腕对应的所指定的区域，提取与用户的手200对应的区域207。通过这么做，提取器72能够准确地提取手200的区域。此外，所捕获的不同于手200的图像等的噪声的影响能够被最大程度地抑制。
[0091]应该注意到，如图13所示，允许显示器3以一定的方式配置以便在手势输入支持窗口 3W中显示与由图像输入器71输入的图像数据对应的图像。通过这么做，由于用户能够在确认由手200做出的手势的同时实现操作输入，用户能够更加可靠地输入数据。
[0092]应该注意到，在该实施方式的模式中，如果手200不处于静止状态，基于手200被识别的运动输入数据，以及如果手200处于静止状态，基于手200被识别的形状输入数据。然而，本发明并不限于此。
[0093]例如，允许确定器73以一定方式配置，以便从时间T间隔的帧单元的图像数据中的、手200的重心208的移动量L获得运动速度V(=L/T)。在这种情况下，如果运动速度V大于第一阈值VI，识别器74基于手200的运动输入数据。此外，如果运动速度V介于第一阈值Vl和第二阈值V2之间(V1>V>V2)，识别器74基于手200的运动和手200的形状和方向的组合输入数据。此外，如果运动速度V小于第二阈值V2(V2>V ;换句话说，基本上停止的状态)，识别器74基于手200的形状和方向输入数据。也是通过这种方式，手200的姿势能够以高精确度被识别，并且数据可以被适当地输入。应该注意，为速度提供三个或更多的阈值是允许的。
[0094]此外，用于提取与用户的手200对应的区域207的方法，用于计算重心208的方法，以及用于指定指尖位置211的方法等等，不限于前述提及的实施方式的模式。例如，关于与用户的手200对应的区域207，允许提取图像内具有特定颜色(皮肤颜色)的部分。此夕卜，为了提取与用户的手200对应的区域207，例如，允许提取器41设置包括所指定的运动区域202的最小的矩形区域212，以如图14所示的方法。在这种情况下，允许提取器72从重心208在图像平面的顶端提取白色像素区域，作为与用户的手对应的区域207。此外，用于确定是否存在手200的运动的技术也是任意的。例如，允许获得与运动或速度的量关联的值，而无须获得运动或速度的实际量，并且允许该值与参考值进行比较，类似的技术也是被允许的。
[0095]此外，例如，在关于指尖位置211的规定中，如图14所示，允许识别器74在构成图像的像素中，将从重心208在图像平面的顶端距离重心208最远(具有大的距离)的像素的位置作为指尖位置211。
[0096]此外，在图12的步骤SlO中，输入器75已输入了与由识别器74识别的手200的形状或运动相关联的命令。并不局限于此，允许输入器75使与所识别的手200的形状或运动对应的数据存储在存储器6中，并且查看存储器6以及协同其他的处理来输入命令等，该其他的处理比如为通过操作器I实施的操作输入。
[0097]在该实施方式的模式中，给出了提供相机2的配置方式的示例，然而，同样允许本发明应用于如下的系统中，其中由相机2捕获的图像数据通过数据通信的方式接收或者通过记录介质取得，或者其他方式，并且图像数据被处理。
[0098]应该注意到，由手200做出的手势，比如图3到图5C中绘出的手200的运动或形状都是示例，手势并不局限于此。
[0099]允许本实施方式的模式的信息处理设备100通过专门的系统实现，或者通过通常的计算机系统实现。例如，允许在计算机可读记录介质上存储并分发用于执行上述操作的程序，以及允许通过在计算机上安装来配置输入设备100并执行前述的处理。而且，允许使在比如互联网的网络上的服务设备中提供的硬盘设备上进行存储，并例如将其下载到计算机中。此外，允许通过OS (操作系统)与应用软件的协同工作来实现上面描述的功能。在这种情况下，允许仅在介质中存储和分发OS以外的部分，并且允许将这些部分被下载到计算机上。
[0100]作为记录程序的记录介质,有可能使用如下计算机可读记录介质，比如USB存储器、软盘(flexible disk)、CD、DVD、蓝光光盘(注册商标)、MO、SD卡、记忆棒(注册商标)以及磁盘、光盘、磁光盘、半导体存储器、或者磁带。此外，有可能使用在系统或设备中通常固定使用的存储介质，比如硬盘或SSD (固态驱动器)。
[0101]在不背离本发明宽泛的精神以及范围的情况下，本发明有可能具有各种实施方式的模式和修改。而且，前面提及的实施方式的模式是用来描述本发明，而并非限制本发明的范围。换言之，本发明的范围是由权利要求的范围表示的，而并非实施方式。在权利要求的范围内以及与权利要求的范围相当的发明的意思范围内实现的各种修改被认为落入本发明的范围之内。
[0102]前面提及的实施方式的模式中的一些或全部还有可能被描述为如下的附录，但是并不局限于下面的附录。
[0103](附录I)
[0104]—种信息处理设备,包括:
[0105]图像输入器，该图像输入器输入图像数据，在该图像数据中已经捕获了对象(subject)；[0106]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0107]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0108]识别器，如果与该对象的手对应的区域由确定器确定为处于静止状态，识别与由提取器提取的该对象的手对应的区域的形状；以及
[0109]输入器，输入与由识别器识别的形状相关联的数据。
[0110](附录2)
[0111]根据附录I所述的信息处理设备，其中
[0112]该识别器指定指尖在与由提取器提取的该对象的手对应的区域中的位置，并基于所指定的指尖的位置识别与该对象的手对应的区域的形状。
[0113](附录3)
[0114]根据附录2所述的信息处理设备，其中
[0115]该识别器通过在与由提取器提取的该对象的手对应的区域上实施细化处理来指定指尖的位置。
[0116](附录4)
[0117]根据附录2或3所述的信息处理设备，其中
[0118]基于与由提取器提取的该对象的手对应的区域内的预先确定的位置的长度，识别器通过估计指尖与重心之间的距离来指定指尖的位置，该重心是根据与由提取器提取的该对象的手对应的区域而计算。
[0119](附录5)
[0120]根据附录I至4中任意一项所述的信息处理设备，其中
[0121]确定器在基于与由提取器提取的该对象的手对应的区域的重心的运动量，确定该对象的手是否处于静止状态。
[0122](附录6)
[0123]根据附录I至5中任意一项所述的信息处理设备，其中
[0124]如果由确定器确定该对象的手不处于静止状态，则识别器识别与由提取器提取的该对象的手对应的区域的运动，并且
[0125]输入器输入与由识别器识别的运动相关联的数据。
[0126](附录7)
[0127]根据附录I至6中任意一项所述的信息处理设备，其中
[0128]提取器设置包围运动区域的矩形，该运动区域根据由图像输入器输入的图像数据中的帧之间的差异数据而获得，基于运动区域中所包括的线段长度，指定与该对象的手腕对应的区域，该线段长度通过扫描矩形的内部获得，以及基于与该对象的手腕对应的所指定的区域，提取与该对象的手对应的区域。
[0129](附录8)
[0130]根据附录I至7中任意一项所述的信息处理设备，进一步包括显示器，显示与由图像输入器输入的图像数据对应的图像。
[0131](附录9)[0132]—种信息处理方法,包括:
[0133]图像输入步骤，用于输入图像数据，在该图像数据中已经捕获了对象；
[0134]提取步骤，用于提取与包括于在图像输入步骤中所输入的图像数据中的该对象的手对应的区域；
[0135]确定步骤，用于确定与在提取步骤中提取的该对象的手对应的区域是否处于静止状态；
[0136]识别步骤，用于如果与该对象的手对应的区域在确定步骤中被确定为处于静止状态，识别与在提取步骤中提取的该对象的手对应的区域的形状；以及
[0137]输入步骤，用于输入与在识别步骤中识别的形状相关联的数据。
[0138](附录10)
[0139]一种记录有程序的记录介质，该程序使计算机充当:
[0140]图像输入器，该图像输入器输入图像数据，在该图像数据中已经捕获了对象；
[0141]提取器，该提取器提取与由图像输入器输入的图像数据中所包括的该对象的手对应的区域；
[0142]确定器，该确定器确定与由提取器提取的对象的手对应的区域是否处于静止状态；
[0143]识别器，如果与该对象的手对应的区域被确定器确定为处于静止状态，该识别器识别与由提取器提取的该对象的手对应的区域的形状；以及
[0144]输入器，该输入器输入与由识别器识别的形状相关联的数据。
[0145]本发明基于2011年4月28日提交的日本专利申请2011-102529。该日本专利申请2011-102529的整个说明书、专利权利要求的范围以及附图被并入本说明书作为参考。
[0146]工业实用性
[0147]本发明适用于利用对象的手势来输入数据的信息处理设备、信息处理方法以及记录介质。
[0148]附图标记列表
[0149]I 操作器
[0150]2 相机
[0151]3 显示器
[0152]3W 手势输入支持窗口
[0153]3i 窗口
[0154]4 相机接口
[0155]5 显示器接口
[0156]6 存储器
[0157]7 控制器
[0158]8 总线
[0159]71 图像输入器
[0160]72 提取器
[0161]73 确定器
[0162]74 识别器[0163]75输入器
[0164]100信息处理设备
[0165]200手
[0166]201、202 运动区域
[0167]203,212 矩形区域
[0168]204宽度
[0169]205最大宽度
[0170]206最小宽度
[0171]207与用户的手对应的区域
[0172]208重心
[0173]209细化的图像
[0174]201扇形区域
[0175]211指尖位 置
【权利要求】
1.一种信息处理设备,包括: 图像输入器，所述图像输入器输入图像数据，在所述图像数据中已经捕获了对象； 提取器，所述提取器提取与由所述图像输入器输入的图像数据中所包括的所述对象的手对应的区域； 确定器，所述确定器确定与由所述提取器提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别器，如果与所述对象的所述手对应的所述区域被所述确定器确定为处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的形状；以及 输入器，所述输入器输入与由所述识别器识别的所述形状相关联的数据。
2.根据权利要求1所述的信息处理设备，其中 所述识别器指定指尖在与由所述提取器提取的所述对象的所述手对应的所述区域中的位置，并基于指定的所述指尖的所述位置来识别与所述对象的所述手对应的所述区域的所述形状。
3.根据权利要求2所述的信息处理设备，其中 所述识别器通过在与由所述提取器提取的所述对象的所述手对应的所述区域上实施细化处理，来指定所述指尖 的所述位置。
4.根据权利要求2或3所述的信息处理设备，其中， 基于与由所述提取器提取的所述对象的所述手对应的所述区域内的预先确定的位置的长度，所述识别器通过估计所述指尖与重心之间的距离来指定所述指尖的所述位置，所述重心根据与由所述提取器提取的所述对象的所述手对应的所述区域而计算。
5.根据权利要求1至4中任意一项所述的信息处理设备，其中 所述确定器基于与由所述提取器提取的所述对象的所述手对应的所述区域的所述重心的运动量，来确定所述对象的所述手是否处于静止状态。
6.根据权利要求1至5中任意一项所述的信息处理设备，其中， 如果所述确定器确定所述对象的所述手不处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的运动，以及 所述输入器输入与由所述识别器识别的所述运动相关联的数据。
7.根据权利要求1至6中任意一项所述的信息处理设备，其中 所述提取器:设置包围运动区域的矩形，所述运动区域根据由所述图像输入器输入的所述图像数据中的帧之间的差异数据而获得；基于所述运动区域中所包括的线段的长度，指定与所述对象的手腕对应的区域，所述线段的长度通过扫描所述矩形的内部而获得；以及基于与所述对象的所述手腕对应的指定的所述区域，提取与所述对象的所述手对应的所述区域。
8.根据权利要求1至7中任意一项所述的信息处理设备，进一步包括 显示器，所述显示器显示与由所述图像输入器输入的所述图像数据对应的图像。
9.一种信息处理方法,包括: 图像输入步骤，用于输入图像数据，在所述图像数据中已经捕获了对象； 提取步骤，用于提取与在所述图像输入步骤中输入的所述图像数据中所包括的所述对象的手对应的区域； 确定步骤，用于确定与在所述提取步骤中提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别步骤，用于如果与所述对象的所述手对应的所述区域在所述确定步骤中被确定为处于静止状态，识别与在所述提取步骤中提取的所述对象的所述手对应的所述区域的形状；以及 输入步骤，用于输入与在所述识别步骤中识别的所述形状相关联的数据。
10.一种记录介质，所述记录介质上记录有程序，所述程序使计算机充当: 图像输入器，所述图像输入器输入图像数据，在所述图像数据中已经捕获了对象； 提取器，所述提取器提取与由所述图像输入器输入的所述图像数据中所包括的所述对象的手对应的区域； 确定器，所述确定器确定与由所述提取器提取的所述对象的所述手对应的所述区域是否处于静止状态； 识别器，如果与所述对象的所述手对应的所述区域被所述确定器确定为处于静止状态，所述识别器识别与由所述提取器提取的所述对象的所述手对应的所述区域的形状；以及 输入器，所述输入器输入与由所述识别器识别的所述形状相关联的数据。
【文档编号】G06T7/20GK103562822SQ201280020651
【公开日】2014年2月5日 申请日期:2012年4月27日 优先权日:2011年4月28日
【发明者】黑河尊文, 谷村龙太郎 申请人:Nec软件系统科技有限公司
最新回复(0)