显示装置和控制方法
专利名称：显示装置和控制方法
技术领域：
本发明涉及一种 具备触摸面板等显示部的显示装置。
背景技术：
对于能触摸输入的显示装置，典型的是能够通过在LCDCLiquidCrystal Display)
上层叠一张电阻膜方式或静电容量方式等的薄片来实现。这种显示装置被应用于银行等 设置的ATM、用来购买车票等的售票机、汽车导航系统、便携设备、游戏设备等各种情 况，将其作为能够直观输入的接口。基本上，对于这种能触摸输入的显示装置，用户都能以一点或多点输入。该显 示装置能判断是否触碰了显示画面的某个位置。作为实现触摸输入的技术已知如下的方式除了电阻膜方式、静电容量方式、 红外线方式、电磁感应方式、超声波方式以外，还有通过对光传感器内置LCD拍摄的图 像进行解析从而检测触摸位置来实现触摸输入的方式。例如，JP特开2006-244446号公 报(专利文献1)中对光传感器内置LCD进行了说明。这样，周知存在多个用于检测触摸位置的技术。但是，仅仅是触摸位置的检 测，还无法判别相对于触摸位置的触摸操作方向。因此，在JP特开2006-47534号公报(专利文献2)中提出了如下的技术对于 从左右观看的人能显示不同图像的分屏(dual view)显示LCD型车载用导航系统中，判别 是从驾驶席和助手席的其中哪一个对显示画面进行了触摸操作，并根据其判别结果进行 显示控制。该系统通过对车内的椅子或方向盘接地的人体由驾驶席和助手席将各自不同 的信号传达至显示装置，以此判别坐在左右哪个位置的人进行了触摸操作。专利文献1 JP特开2006-244446号公报专利文献2 JP特开2006-47534号公报但是，在专利文献2提出的系统中，人需要一直坐在椅子上、或者一直触摸方 向盘等，接触显示装置以外添置的信号传达装置。因此，上述系统仅在特定的状况下能 判别触摸操作方向。此外，在显示装置外部还需要用于传达信号的大规模的装置。因 此，对于在户外手持的情况下利用的移动设备等将无法应用上述系统。在专利文献2中除了通过人体传达判别信号的方式以外，还提出了如下的方 式在车内的后方顶部设置照相机，对从助手席以及驾驶席后方拍摄到显示装置的显示 画面的图像进行解析，以此来判别触摸操作方向的方式。但是，在该方式中，在由头部或背部等障碍物挡住了触摸的部分、或人与人的 手交错的情况下，上述系统正确检测出是从哪个方向进行的触摸将很困难。此外，与在 显示装置外部设置信号传达装置的方式相同，移动设备等在外部手持的情况下将无法应 用该方法。
发明内容
本发明是为解决上述问题而提出的，其目的在于提供一种显示装置和该显示装 置中的控制方法，在检测到触摸操作的情况下，显示装置其自身能确定触摸操作方向 (触摸操作中相对于显示画面的触摸方向)。本发明所涉及的显示装置具备显示部，具有显示画面；摄像部，从所述显示 部内部拍摄对所述显示画面的触摸操作；触摸位置检测部，检测所述触摸操作中对所述 显示画面的触摸位置；以及方向判别部，根据所述摄像部的摄像而得到的图像，判别所 述触摸操作中相对于所述显示画面的触摸方向。优选所述方向判别部根据所述摄像部进行摄像而得到的图像之中以所述触摸位 置为基准的规定范围的图像，判别所述触摸方向。优选所述方向判别部在由所述摄像部拍摄到为了所述触摸操作而接触所述显示 画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。优选所述摄像部是光传感器或温度传感器。优选所述触摸位置检测部根据所述摄像部拍摄的图像检测触摸位置。根据本发明，从显示部的内部拍摄对显示画面的触摸操作，根据其摄像图像判 别相对于触摸位置的触摸操作方向。因此，在检测到触摸操作的情况下，能以显示装置 自身确定触摸操作方向。
图1是表示实施方式1中的显示装置1的概略结构的框图。图2是用于说明光传感器内置LCD功能的图。图3是表示摄像图像的例子的图。图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的判别方法原理的图。图5是用于说明触摸操作方向判别处理Pl的流程图。图6是用于说明触摸操作方向判别处理Pl的概念图。图7是表示用于决定触摸操作方向的基准的处理步骤的流程图。图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方向原理的图。图9是用于说明触摸操作方向判别处理P2的流程图。图10是用于说明指纹特征的图。图11是将显示装置应用于游戏机时的画面图。图12是操作权限数据的概念图。图13是表示显示装置用于判定棋子操作的有效/无效的处理步骤的流程图。图14是表示设置了静电容量方式的触摸面板的显示装置的概略结构的框图。图15是表示本发明的实施方式2中的显示装置的概略结构框图。图16是表示LCD的显示画面例的图。图17是用于说明“基于椭圆长轴方向的判别方法”的原理的图。图18是表示根据“基于椭圆长轴方向 的判别方法”的处理步骤的流程图。图中
1、2、11-显示装置10、18-光传感器内置LCD14-触摸位置检测部15-触摸操作方向判别部17-静电容量方式触摸面板20-光传感器内置分屏显示LCD
具体实施例方式以下，参照附图对本发明的实施方式进行说明。在以下的说明中，对相同的部件以及结构要素附于相同的符号，并设它们的名称以及功能也相同。(实施方式1)图1是表示本发明的实施方式1的显示装置1的概略结构框图。显示装置1例 如可用于游戏机。显示装置1具备光传感器内置LCD(液晶面板/显示器)10，该光传感器内置 LCDlO在各像素中内置光传感器，不仅能显示还能进行图像拍摄。显示装置1还具备触 摸位置检测部14，其对光传感器内置LCDlO拍摄的图像进行解析从而检测触摸位置。显 示装置1还具备触摸方向判别部15，其对光传感器内置LCDlO拍摄的图像进行解析，从 而判别从哪个方向进行的触摸。显示装置1还具备控制部19，其接受表示触摸位置和触 摸操作方向的数据，进行显示装置1的全部控制。显示装置1还具备存储部12，其保存 数据和命令。显示装置1还具备图像生成部13，其生成对画面显示的图像。当检测到对显示画面的触摸操作时，光传感器内置LCDlO从显示画面内部对触 摸操作时的图像进行拍摄。光传感器内置LCDlO将拍摄到的图像输入至触摸位置检测部 14。触摸位置检测部14通过对图像进行解析来检测触摸位置。作为检测触摸位置的方法，例如采用边沿特征量提取、图案匹配等技术。这 样，通过图像处理进行触摸位置检测，即使同时触摸画面的多个位置，触摸位置检测部 14也能检测出这些多个触摸位置。因此，操作者能够同时操作画面上显示的多个操作对 象。此外，也能多个人同时进行操作。触摸操作方向判别部15以触摸位置检测部14检测出的触摸位置为基准，对光传 感器内置LCDlO所得到的图像进行解析。通过该解析，触摸操作方向判别部15判别触 摸操作方向。控制部19利用触摸位置检测部14所得到的触摸位置、和触摸操作方向判别部15 所得到的触摸操作方向，例如进行作为游戏机的显示装置1的控制。作为光传感器内置LCD10，对应于各像素内置传感器(省略图示)，该光传感器 主要反应可见光区域的频率。如图2所例示那样，光传感器内置LCDlO的各光传感器 被设计成接受室内光和太阳光等的外光、从背光灯16照射的光被置于显示画面上的手指 100等反射而成的反射光。光传感器内置LCDlO将光传感器接收到的光由AD转换器转 换为数字值，作为黑白的灰度(浓淡)图像输出。光传感器得到的触摸操作时的图像，因外光和背光灯的强度、手指的放置方式 等而不同。图3例示了 3个典型的例子。
即便外光的强度发生变化，与显示画面相接的或者位于其附近的指肚部分的亮 度不怎么变化。相对于此，外光没有被手指遮挡的部分依然受到外光亮度的变化。因 此，外光没有被手指遮挡的部分与指肚部分相比相对地变黑或变白，其对比度发生变 化。图3 (a)是一例显示装置1的显示画面被比较亮的外光照射时的图像。如图3 (a) 所示，没被手指遮住光的外侧部分较白。一部分与画面相接的指肚图像101因背光灯16 的反射光而稍白。指影图像102由于被遮挡住光而变黑。图3(b)是一例比较暗的外光的情况下的图像。如图3(b)所示，仅其一部分与 画面相接的指肚图像101因背光灯16的反射光而稍白，其他部分较黑。图3(c)是一例外光是太阳光那样的平行光且非常亮的情况下的图像。由于与一 部分与画面相接的指肚图像101的背光灯16所形成的反射光相比，指肚图像101周围的 外光更强，因此仅指肚图像 101较黑。接下来，对触摸操作方向判别部15判别触摸操作方向的方法进行详细说明。触 摸操作方向判别部15根据光传感器内置LCDlO拍摄的图像之中以触摸位置为基准的规定 范围的图像，判别触摸操作方向。作为触摸操作方向判别部15判别触摸操作方向的方 法，以下依次说明“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方 法”、“根据指纹形状的判别方法”的三种方法。(根据浓度梯度方向的判别方法)图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的原理的图。在该判别方法中，将光传感器内置LCDlO拍摄到的显示画面整体的画面之中被 检测到的触摸位置作为基准，通过研究触摸位置周边的黑白灰度图像的浓度梯度方向来 判别触摸操作方向。图4(a)中表示由光传感器内置LCDlO拍摄到的图像之中触摸位置周边的图像。 该图像中与图3(a)同样，显示了一部分与画面相接的手指的指肚图像101、指影图像 102。此外，图中的十字标记105是用于说明由触摸位置检测部14检测到的触摸位置的 标记。触摸位置由十字中心位置表示。十字标记105在实际的图像中并未显示。仔细观察图4(a)的指肚图像101就会发现如下特征如“指肚部分的放大图” 所示，以触摸位置为基准，指尖方向由于手指靠近画面因反射光而拍摄得较白；另一方 面，越是朝向指根方向，反射光的强度越弱而图像的浓度越浓，拍摄得较黑。这是因 为，手指以从手腕向斜下方倾斜的角度触摸画面。此外，不仅手指，由触摸笔进行触摸 操作的情况下，当然也会出现同样的特征。因此，在图4(a)的例子中，可认为指肚图像101之中图像浓度变浓的方向是朝 向手腕侧的指根方向、或者朝向操作者的方向。因此，在图4(a)的例子中，确定图像浓 度变浓的浓度梯度分哪敢想，从而将该方向作为触摸操作方向来进行判别即可。图4(b)中表示根据该原理判别触摸操作方向是上下左右4个方向的哪一个的判 别基准。如图4(b)所示，根据指肚图像101的浓度梯度方向(图中的“白一黑”)，能 够判别出触摸操作方向是左、右、上、下4个方向的哪一个。此外，尽管图4(b)中为了容易理解仅例示了 4个方向的触摸操作方向，但通过 更加细致地计算浓度梯度方向，能在加上倾斜方向的8个方向甚至16个方向等，更详细地判别触摸操作方向。此外，这里虽然将灰度图像从白朝向黑的方向(指根方向)判别为触摸操作方向，但是也可以将从黑朝向白的方向(指尖方向)判别为触摸操作方向。一般，在触摸位置附近，因例如因手指与显示画面用力相接的部分、轻轻相接 的部分、稍稍悬浮的部分等，而可得到不同的灰度图像。因此，显示装置1像这样根据 灰度图像的浓度梯度来判别触摸操作方向，从而能够精确地判别触摸操作方向。接下来，参照图5以及图6，根据图4所示的判定原理对显示装置1判别触摸操 作方向的具体步骤进行说明。图5是用于说明显示装置1实行的触摸方向判别处理Pl的 流程图。此外，图6是用于说明触摸操作方向判别处理Pl的概念图。在触摸操作方向判别处理Pl中，显示装置1首先取得以触摸位置坐标为中心的 灰度图像(Si)。所取得的灰度图像例如是光传感器内置LCDlO拍摄的图像之中、如图 6(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的纵横Ll XLl的正 方形解析区域80中包含的图像。在此，Ll的长度以标准手指的大小为基准进行预先设 定，并包含指肚图像101。此外，显示装置1中也可以设置登记用户手指尺寸的功能，根据其登记尺寸显 示装置1来设定解析区域80的尺寸。此外，解析区域80的形状并不限于正方形，也可 以是长方形、圆形、或椭圆形。接下来，为了对取得的灰度图像计算浓度梯度方向，显示装置1分别针对横方 向(χ方向)以及纵方向(y方向)实行索贝尔(Sobel)滤波处理(S2、S3)。图6(b)是分 别对应横方向(χ方向)以及纵方向(y方向)的索贝尔滤波的一例。此外，这里虽然例 示了使用索贝尔滤波器，但只要是边沿提取用的滤波器都可以使用。显示装置1通过对解析区域80内的灰度图像应用索贝尔滤波，从而针对构成灰 度图像的每个像素计算横方向(χ方向)以及纵方向(y方向)的索贝尔值。图6(b)是表 示具有浓度梯度角θ的浓度梯度向量111的图，该浓度梯度角θ针对特定的像素根据横 方向(χ方向)的索贝尔值Gx和纵方向(y方向)的索贝尔值Gy而求得。接下来，显示装置1根据S2以及S3中针对每个像素计算出的横方向及纵方向 的索贝尔值，将各像素的浓度梯度方向归类为上下左右4个方向的其中一个(S4)。如图 6(b)所示，对应各像素计算横方向(χ)方向的索贝尔值Gx和纵方向(y方向)的索贝尔 值Gy，但显示装置1由于将浓度梯度方向分类为上下左右4个方向，将基于Gx和Gy之 中绝对值较大的值的方向决定为该像素的浓度梯度方向。在此，横方向的索贝尔值为正 时表示左方向，为负时表示右方向；纵方向的索贝尔值为正时表示上方向，为负时表示 下方向。例如，若(Gx，Gy) = (-10，+15)，则显示装置1将Gy方向即纵方向中对应+ 方向的上方向决定为该像素的浓度梯度方向。不过，考虑到噪声等影响，设绝对值在预 先规定的阈值以下时，显示装置1无法确定对应该像素的浓度梯度方向。显示装置1像这样通过将各像素的浓度梯度方向归类为上下左右4个方向的其中 一个，从而针对解析区域80所包含的图像，如图6(c)图示那样计算每个像素的浓度梯度 方向。接下来，显示装置1计算上下左右方向的浓度梯度方向之中最多的方向，将该值判别为触摸操作方向65)，并结束处理。
此外，在显示装置1判别4个以上的方向时，只要根据在各像素计算出的横方向 和纵方向的索贝尔值的值来定义倾斜方向即可。例如，根据S2和S3的处理结果，显示 装置1针对每个像素计算浓度梯度向量111。然后，显示装置1比较合成各像素的浓度梯 度向量111而得到的合成向量的倾斜角、和上下左右倾斜方向，从而将角度差最少的方 向判别为触摸操作方向。
或者，显示装置1在从4个方向中判别触摸操作方向的情况下，也可以比较合成 向量的倾斜角和上下左右方向，从而将角度差最少的方向判别为触摸操作方向。
以上，所说明的根据浓度梯度方向的判别方法，应用于假定拍摄到图3(a)所示 的图像的情况。但是，实际上也存在图3(b)和图3(c)这种摄像图像输入至触摸操作方 向判别部15的情况。
特别如图3(c)所示，图像中没有出现指影图像，指肚图像101的背景较白的情 况下，根据浓度梯度方向判定触摸操作方向时的判定方向与图3(a)的情况相反。这是因 为与在背光灯的跟前照射的手指的指肚触摸位置相比，从触摸位置朝向指根方向的手 指的指肚部分被较强的外光照射，因此在指肚图像中指肚触摸位置附近的图像的像素浓 度比指肚的指根侧图像浓。
因此，优选显示装置1不是仅在以触摸位置为基准的指肚部分的图像处判别触 摸操作方向，而是将指肚部分以外的图像也作为判断因素加入条件中，来判别触摸操作 方向。
因此，为了显示装置1能将指肚部分以外的图像也作为判断因素加入条件中， 来判别触摸操作方向，图7中表示用于决定触摸操作方向基准的处理步骤的流程图。
参照图7，首先显示装置1针对检测到触摸操作时拍摄的图像判定是否存在指影 (Sii)0是否存在指影例如以如下方式判定。预先根据将存在指影时的图像作为对象的 直方图等来采集像素浓度分布数据，并将此数据存储在显示装置1中。在Sll中，显示 装置1根据摄像图像生成基于直方图等的像素浓度分布数据，并将此数据与预先存储的 像素浓度分布数据进行比较，在获得一定值以上的相似度时判定为存在指影。
如图3(a)所示图像中存在指影图像102的情况下，显示装置1将图像浓度变浓 的方向(参照图4(b))决定为触摸操作方向614)。相对于此，在图像中不存在指影图 像的情况下，显示装置1判断指肚图像101的背景是否为白色(S12)。
例如，在图3(b)所示的情况下，S12中判断为否；在图3(c)所示的情况下， S12中判断为是。
在S12中判断为否时，显示装置1使处理进入步骤S14，将图像浓度变浓的方向 决定为触摸操作方向。与此相对，在S12中判断为是时，显示装置1将图像浓度变淡的 方向决定为触摸操作方向613)。
以上，在所说明的图7的处理步骤中，显示装置1将图像浓度变淡的方向决定为 触摸操作方向的情况下，图5所示的触摸操作方向判别处理Pl中的上下方向以及左右方 向的判断相反。因此，显示装置1判断横方向的索贝尔值为正时表示右方向，为负时 表示左方向；纵方向的索贝尔值为正时表示下方向，为负时表示上方向。
(根据边沿特征量分布的判别方法)
接下来，对根据边沿特征量分布显示装置1判别触摸操作方向的判别方法进行 说明。图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方法的原理的图。
在该判别方法中，在由光传感器内置LCDlO拍摄到的显示画面整体的图像之中 将检测到的触摸位置作为基准，显示装置1从触摸位置周边的黑白灰度图像提取指尖周 边部分的边沿从而判别触摸操作方向。
图8(a)的左侧表示由光传感器内置LCDlO拍摄到的图像之中触摸位置周边的图 像。该图像中与图4(a)同样地示出了一部分与画面相接的手指的指肚图像101、指影图 像102、将触摸位置检测部14检测出的触摸位置表示在十字中心位置的十字标记105。
指影图像102如图所示，在指尖的尖端部分为较高的浓度值，与背景 的浓度差 较为明显，另一方面越是朝向指根方向其浓度值越淡。因此，当显示装置1以这种图像 为对象进行边沿提取时，得到图8(a)的右侧所示的边沿103。由于边沿103表示指尖部 分，因此当以触摸位置为基准时，处于与边沿103相对位置的开口表示指根方向即操作 者方向。
图8(b)中表示根据该原理将触摸操作方向判别为上下左右4个方向的其中一个 的判别基准。如图8(b)所示，显示装置1根据由边沿提取处理得到的边沿的开口方向， 判别触摸操作方向是左、右、上、下的4个方向的哪一个。
此外，尽管图8(b)中为了容易理解仅例示了 4个触摸操作方向，但显示装置1 可以通过对边沿的开口方向进行更加精细的计算，从而以加入了倾斜方向的8个方向甚 至16个方向等，更详细地判别触摸操作方向。
此外，尽管这里以将指根方向(边沿开口方向)判别为触摸操作方向的方式构成 显示装置1，但是也可以以将指尖方向判别为触摸操作方向的方式构成显示装置1。
这样，通过应用该边沿检测技术，显示装置1，例如因手指用力与显示画面上相 接的部分、轻轻相接的部分、稍稍悬浮的部分等，得到不同的触摸位置近旁的边沿特征 量。显示装置1通过分析该边沿特征量的分布，判别触摸操作方向，从而能够根据设置 在显示画面上的手指等微小的接触程度精确地判别触摸操作方向。
接下来，参照图9，对根据图8所示的判定原理显示装置1判别触摸操作方向的 具体步骤进行说明。图9是用于说明由显示装置1实行的触摸操作方向判别处理P2的流 程图。
在触摸操作方向判别处理P2中，显示装置1首先取得以触摸位置的坐标为中心 的灰度图像621)。所取得的灰度图像例如是光传感器内置LCDlO拍摄的图像之中、图 8(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的正方形解析区域 中包含的图像。在此，解析区域的尺寸以标准手指的大小为基准进行预先设定，使得包 含指肚图像101和指影图像102的一部分。此外，与图5的步骤Sl同样，显示装置1中 也可以设置登记用户手指尺寸的功能，根据其登记尺寸显示装置1来设定解析区域的尺 寸。此外，解析区域的形状并不限于正方形，也可以是长方形、圆形、或椭圆形。
接下来，显示装置1根据所取得的灰度图像，实行提取边沿特征量的处理 622)。在边沿特征量的提取中，显示装置1使用除索贝尔滤波以外的边沿提取用滤波。 然后，显示装置1利用规定阈值提取边沿特征量。
接下来，显示装置1确定从中心坐标(触摸位置的坐标)看去边沿特征量较少的10方向、即开口方向，将所确定的开口方向判别为触摸操作方向623)。由此，显示装置1结束处理。
或者，在步骤S23中，显示装置1也可以求得具有边沿特征量的多个像素的重 心坐标，从而判别触摸操作方向。具体而言，首先，显示装置1提取具有规定阈值以上 的边沿特征量的多个像素。接下来，显示装置1对各个提取像素加上对应像素值大小的 权重之后，计算重心坐标。显示装置1在连接计算出的中心坐标和解析区域的中心坐标 (触摸位置的坐标)的直线上，将从重心坐标位置朝向触摸位置坐标位置的方向设定为触 摸操作方向。
此外，使用了边沿特征量的触摸操作方向的判别当然并不限定于上述例子，也 可以采用其他方法，只要能够根据边沿特征量判别触摸操作方向即可。
(根据指纹的判别方法)
接下来，说明显示装置1根据指纹判别触摸操作方向的判别方法。如图10所 示，人的指纹中存在如下特点越是靠近指尖则横方向的线的花纹越多，而越是指根部 分纵方向的线的花纹越多。在此，显示装置1利用这种指纹的特征来判别触摸操作方 向。
具体而言，首先，显示装置1以指肚图像为对象，与根据浓度梯度方向的判别 方法同样地，利用索贝尔滤波等针对每个像素计算索贝尔值。接下来，显示装置1根据 计算出的索贝尔值，与根据浓度梯度方向的判别方法同样地计算分配给各像素的方向。 接下来，显示装置1根据计算出的分配给各像素的方向的分布，确定指尖部分和指根部 分。
未必总在图10的方向来拍摄指纹，这样虽因触摸操作方向会产生倾斜，但由于 纵方向的花纹与横方向的花纹垂直，因此通过分析这2方向的分布，能够粗略地确定指 尖和指根的方向。由此，显示装置1能判别触摸操作方向。
这样，显示装置1从手指进行触摸操作时的灰度图像读取指纹的花纹，进而根 据其花纹判别方向。由此，显示装置1能精度良好地判别触摸操作方向。
根据指纹判别触摸操作方向的判别方法并不限于上述内容。例如，可考虑如下 的方法预先将操作者的指纹登记在显示装置1中，显示装置1通过图案匹配对拍摄到的 指肚图像和登记的指纹进行比较，从而判别触摸操作方向。
接下来，对将上述各种判别方法应用于显示装置1的控制的例子进行说明。在 此，以曲棍球游戏的控制为例进行说明。
如图11所示，显示装置1在显示画面上显示操作者从左右方向操作来玩曲棍球 游戏的画面。在以下的说明中，将从图11所示的显示画面的左方向(图面的球门30a侧) 操作棋子的人称为“操作者A”，将从右方向(图面的球门30b侧)操作棋子的人称为“操作者B”，将曲棍球游戏中操作者A的球队称为“球队A”，将操作者B的球队称 为“球队B”。在显示装置1中，规定操作者A从图11的左侧操作，操作者B从右侧 操作。
显示装置1在显示画面的两端图像显示了球队A的球门30a、以及球队B的球门 30b。此外，显示装置1在两球门之间图像显示了以五角形图形显示的球队A的5个棋 子20a、以八角形图形显示的球队B的5个棋子20b、通过与棋子20a和20b撞击从而移动方向变化的球30。显示装置1中针对各棋子20a、20b显示1 5的后背号码。图中 手指IOOa表示操作者A的手指，手指IOOb表示操作者B的手指。此外，以下将后背号 码为n(n为1以上5以下的自然数)的棋子称为“棋子η”。
操作者A、B通过手指100a、IOOb彼此操作自己球队的棋子20a、20b，使球30 进入对方球队的球门30a、30b。当球进入对方球队的球门时，显示装置1计算得分。基 于操作者A、B的操作的以上游戏控制，例如通过显示装置1的控制部19(参照图1)来实行。
显示装置1对各棋子分配图12例示的操作权限。显示装置1以A球队的棋子 20a仅能由操作者A操作的方式控制显示装置1的动作。此外，显示装置1以B球队的 棋子20b仅能由操作者B操作的方式控制显示装置1的动作。
如图12所示，显示装置1通过在触摸操作方向上识别有无操作权限来实现上述 控制。也就是说，显示装置1针对A球队的棋子20a，仅在触摸操作方向为左时使操作 有效。另一方面，显示装置1针对B球队的棋子20b，仅在触摸操作方向为右时使操作 有效。此外，由于球30基本上是经由棋子20a、20b而被操作，因此显示装置1并不将 其操作权限分配给A、B的任意一个。如图12所示的操作权限数据例如存储在显示装置 1的存储部12中。
图13是表示用于显示装置1根据操作权限数据判定棋子的操作为有效/无效的 处理步骤的流程图。
首先，显示装置1判定是否由触摸位置检测部14检测到了对棋子的触摸操作 (S31)。显示装置1在没有检测到对棋子的触摸操作的情况下结束处理。
在图11所示的例子中，操作者A正要操作A球队的棋子20a中的“棋子1”和 “棋子2”。操作者B正要操作B球队的棋子20b中的“棋子3”和“棋子5”。该情况下，显示装置1在步骤S31中判断有触摸操作。
接下来，显示装置1判别检测到触摸操作的棋子的种类(图12的ID) (S32)。在 图11的情况下，显示装置1根据检测到的4个触摸位置和各棋子20a、20b的当前位置， 确定操作者要操作的“棋子” ID是“1”、“2”、“8”、“10”。
接下来，显示装置1，按照所确定的各棋子，分别确定由触摸操作方向判别部 15判别出的操作方向(S33)。接着，显示装置1比对按照各棋子确定的触摸操作方向、 和对应各棋子存储的触摸操作方向(S34)。显示装置1按照各棋子判定触摸操作方向是 否一致(S35)。
在图11的情况下，显示装置1将针对A球队的“棋子1”、“棋子2”的触摸 操作方向确定为左，并判断为操作者A正在进行操作。与此相对，显示装置1将针对B 球队的“棋子3”、“棋子5”的触摸操作方向确定为右，并判断为操作者B正在进行操 作。这些所确定的信息与图12的操作权限数据进行匹配。该情况下，在步骤S35中针 对任何棋子都判定为判别出的触摸操作方向与对应棋子存储的触摸操作方向一致。其结 果显示装置1使各棋子的操作有效(S36)。因此，在图11的例子的情况下，操作者A、 B都能移动想要操作的棋子。
但是，即便例如操作者A想要操作B球队的“棋子1”，由于与图12的操作权 限数据不匹配，因此显示装置1在S35中判断为否。其结果显示装置1使操作者A对B球队的“棋子1”的操作无效。由此，操作者A无法操作并移动B球队的“棋子1”。
这样，显示装置1以触摸位置检测部14检测出的触摸位置和各棋子20a、20b的 当前位置来确定检测出触摸操作的“棋子”。显示装置1根据触摸操作方向判别部15判 别的方向来确定“操作者”。由此，显示装置1可进行操作者仅能操作被赋予操作权限 的“棋子”之类的控制。
因此，显示装置1通过判别操作输入者，在操作者为多人的情况下也能准确地 确定是谁要进行操作。
此外，在相同画面上存在多个操作对象，多个操作输入者对其进行操作的情况 下，显示装置1通过使其仅能对操作对象与操作输入者的操作权限一致的棋子进行操 作，从而能够防止操作输入者进行误操作。再有，显示装置1可在游戏等当中加入彼此 仅能操作自己球队的棋子的限制。
以上，根据所说明的实施方式中的显示装置1，通过对进行输入的手指或笔等的 图像进行解析，能检测触摸位置并判别出触摸操作方向。因此，控制部19能够根据表示 触摸位置的信号以及表示触摸操作方向的信号、和存储于存储部12中的信息，判断出位 于哪个方向的操作者进行操作。因此，控制部19能进行与给操作者的操作权限相应的信 息处理。
此外，根据本实施方式所涉及的显示装置1，对设置在显示画面后方的光传感器 所得到的图像进行解析，能够判别出从画面看去是处于哪个方向的人在操作显示在显示 画面上的操作对象。因此，显示装置1能以小规模的结构正确地判别出操作方向。
也就是说，对于显示装置1，就算在显示画面的前方存在某种障碍物，在用于 判别操作方向的输入图像中反应出障碍物从而不会对判别带来干扰。此外，显示装置1 不需要像背景技术中介绍的系统那样在显示装置外部设置通过人体传达信号的装置。因 此，显示装置1能以显示装置单体的小规模且简单的结构下判别触摸操作方向，并进行 后面的信息处理。
在上述的实施方式中，以通过对从光传感器内置LCDlO得到的图像进行解析从 而检测触摸位置为例子进行了说明。但是，用于检测触摸位置的结构当然并不限于此， 也可考虑其他方式。
例如，也可以变更图1的显示装置1的结构，像图14例示的显示装置11那样在 光传感器内置LCD18上设置静电容量方式的触摸面板17。该情况下，显示装置11由静 电容量方式的触摸面板17检测触摸位置。此外，显示装置11通过对静电容量方式的触 摸面板17得到的触摸位置和光传感器内置LCD18得到的图像进行解析，来判别触摸操作 方向。
此外，对于触摸面板也可以采用电阻膜方式、红外线方式、电磁感应方式、超 声波方式等各种触摸面板方式的任意一种，只要能检测触摸位置即可。
但是，通过对光传感器内置LCD得到的图像进行解析来判别触摸操作方向的情 况下，优选不使用静电容量方式等的触摸面板，而由光传感器内置LCD —并检测出触摸 位置。这是因为能够减少电阻膜这种的触摸面板部件、和在显示画面上配置电阻膜的 工序，从而使得显示装置的结构变得简单。进而，由于结构变得简单，因此还有成本变 低的优点。
此外，在上述实施方式中，虽然作为拍摄图像的摄像装置(输入图像的输入装 置)，主要以反应可见光区域的光频率的光传感器内置LCD为例进行了说明，但摄像装 置的结构当然不限定于此，也可以考虑其他结构。
例如，可预先将反应可见光区域以外的频率、主要为红外线频率的光传感器内 置在显示装置1、11中。然后，在显示装置1、11中，从显示画面后方照射出的红外线 被手指或笔等反射，将反射的红外线输入光传感器中。进而，显示装置1、11将该输入 的红外线转换为图像。这样，当使用反应可见光以外主要为红外线的光传感器时，显示 装置1、11能够不受室内光等的外光影响，得到指肚的反射和指影的图像。此外，由于 反应红外线的光传感器得到的图像利用手指的反射，因此与反应可见光区域频率的光传 感器得到的图像基本相同。
这样，显示装置1、11通过由光传感器取得背光灯对手指等操作输入物体的反 射光等作为图像，从而能详细掌握手指或触摸笔等操作输入物体对显示画面的接触程度。
或者，显示装置1、11也可以代替光传感器而内置温度传感器，将放置手指或 笔等时的温度变化转换为图像并作为输入图像。对于由温度传感器得到的图像，只要确 定如图3(b)或图3(c)那样放置了手指的部分是变暖还是变冷，就能获得具有放置手指 的部分与周围对比度不同的图像。此外，由于手指用力与显示画面相接的部分和手指轻 轻相接的部分出现温度差，因此指肚部分的图像成为图4所示的黑白灰度图像。也就是 说，温度传感器得到的图像与光传感器得到的图像为相同图像。
显示装置1、11通过由温度传感器取得图像，能详细把握手指或触摸笔等操作 输入物体在显示画面上的接触程度。此外，也像光传感器那样不怎么受室内光和太阳光 这些外光影响。因此，显示装置1、11能仅取得因操作输入物体而引起的温度变化。
这样，显示装置1、11利用算法从上述的主要反应可见光区域的光传感器得到 的图像中检测出触摸位置并判别触摸方向，从而也能根据红外线等光传感器及温度传感 器所得到的图像检测触摸位置并判别触摸方向。
此外，作为摄像装置也可以采用其他方式的传感器或照相机，只要能在防止手 指或笔等的情况下拍摄图像即可。
(实施方式2)
在实施方式1中，作为显示装置1的一个实施方式，说明了将显示装置1应用于 游戏机的例子。再有，通过代替光传感器内置LCDlO而以组装光传感器内置分屏显示 LCD的结构来实现显示装置，从而能将该显示装置应用于汽车导航系统。
图15是表示本发明的实施方式2中的显示装置2的概略结构的框图。显示装置 2是具备光传感器内置分屏显示LCD20的汽车导航系统。
显示装置2，具备光传感器内置分屏显示LCD20(以下简称为“LCD20” )以及 上述说明的触摸位置检测部14。显示装置2还具备控制部21，根据从触摸操作方向判别 部15输入的信号进行左右方向操作者的识别和LCD20的控制等。显示装置20还具备存 储部22，其存储与控制相关的各种信息。显示装置22还具备输出装置沈 观(电视接 收机26、导航装置27、DVD播放器洲)，其输出各种视听用数据。显示装置2还具备图 像选择部25，将从各输出装置沈 洲输入的数据分为左方向用图像和右方向用图像并选择性进行输出。显示装置2还具备左方向显示控制部23以及右方向显示控制部对，其根 据图像选择部25输出的图像数据对LCD20进行图像显示控制，使得分别对应左方向和右 方向在LCD画面上显示应显示的图像。
图16是表示LCD20的显示画面的例子的图。如图16 (c)所示，显示装置2 在放映出云罩山巅风景的电视画面上显示着用于选择电视频道的频道按钮(图中能看见“2ch”)401。相对于此，如图16(d)所示，显示装置2在导航用地图上还显示着用于使 地图滚动的滚动按钮301。分屏显示的LCD20，具有同时显示功能，从助手席侧观看显 示图16(c)的画面、从驾驶席侧观看显示图16(d)的画面。
在图16(c)所示的画面中，助手席侧的操作者通过用自己的手指100L触碰频道 按钮401就能任意变更电视频道。另一方面，在图16(d)所示的画面中，驾驶席侧的操 作者通过用自己的手指100R触碰滚动按钮301就能任意滚动地图。
但是，如图16(a)所示，在画面上频道按钮401和滚动按钮301重复配置在相同 位置。因此，在助手席侧的操作者操作了频道按钮401时，需要显示装置2能够判别该 操作是由助手席侧的操作者进行的。
此外，如图16(b)所示，在驾驶席侧的操作者操作滚动按钮301并且助手席侧的 操作者同时操作频道按钮401时，显示装置2还需要如下功能。也就是说，需要显示装 置2能够判别触摸按钮的手指是驾驶席侧操作者的手指100R还是助手席侧操作者的手指 IOOL0再有，显示装置2需要起动按钮301、401之中对应操作者的按钮功能。
本实施方式2所涉及的显示装置2，与实施方式1所说明的显示装置1、11同 样，除了触摸位置检测部14还具备触摸操作方向判别部。因此，显示装置2能够检测对 按钮301、401的触摸操作，进而确定该触摸操作是来自助手席侧的触摸操作还是来自驾 驶席侧的触摸操作。
其结果，例如即便在图16(a)所示的这种情况下，通过触摸操作方向判别部15 也能够判别出是从左侧助手席进行的操作。因而，显示装置2仅实行TV节目的频道操 作，而不作为针对地图的操作进行反应。或者，即便在图16(b)所示的情况下，根据由 触摸位置检测装置14检测出的2点触摸位置和由触摸操作方向判别部15判别出的触摸操 作方向，显示装置2能够判别出左侧助手席的人按下的按钮是频道按钮41，右侧驾驶席 的人按下的按钮是滚动按钮301。这样，即便在TV节目的频道按钮401与地图操作的滚 动按钮301重复配置在相同位置的情况下，左侧助手席的人进行的操作也仅反映在TV节 目的选择操作上，右侧驾驶席的人进行的操作也仅反映在地图的滚动操作上。
另外，在此是以车内配置的汽车导航系统为前提，以与电视操作相关的按钮和 与导航相关的按钮为例进行的说明，但汽车导航系统以及与此相关的内容源(source)仅 仅是一例。当然，对于以分屏显示画面为中心，让一方(例如驾驶席侧)操作的内容源 与让另一方(例如助手席侧)操作的内容源不同的系统也能够应用。
此外，作为实施方式2中的触摸操作方向判别15的判别方法，也可以采用实 施方式1所说明的“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方 法”、“根据指纹形状的判别方法”的任意一种。
或者，作为由触摸操作方向判别部15进行的判别方法，也可采用接下来说明的 “根据椭圆长轴方向的判别方法”。15
图17是用于说明“根据椭圆长轴方向的判别方法”的原理的图。将显示装置2 应用于汽车导航系统的情况下，画面被配置在驾驶席与助手席之间。因此，若考虑通常 的操作方式，则从驾驶席侧以及助手席侧触摸画面时的手指的触摸操作方向被限制在一 定范围内。再有，触摸操作方向的范围两者并不重复。
例如，如图17(a)所示，一般可认为连接从画面左侧操作的操作者(助手席侧的 操作者)手指100L前端和指根的直线、与画面的χ轴方向所成的角(触摸操作方向角)Φ 处于超过0度未达到90度的范围。根据同样的原因，从右侧操作的操作者(驾驶席侧的 操作者)手指100R的触摸操作方向角的范围是与左侧操作的操作者的相应方向角左右对 称的范围。因此，从左侧操作的操作者的触摸操作方向的角度与从右侧操作的操作者的 触摸操作方向的角度不重复。
因此，如图17(b)所示，显示装置2在拍摄到检测出触摸操作时的指肚图像 101L、IOlR时，根据椭圆形状的指肚图像101L、101R,如图17 (c)所示那样计算长轴 52。再有，例如若长轴52的倾斜度为正，则显示装置2将触摸操作方向判别为“左”； 若长轴的倾斜度为负，则将触摸操作方向判别为“右”。也就是说，显示装置2根据长 轴的倾斜度判别左右的触摸操作方向。
这样，关注于手指进行触摸操作时的指肚部分的形状为椭圆状，显示装置2通 过根据该椭圆的长轴朝向判别触摸操作方向，从而能精确地判别触摸操作方向。
此外，显示装置2尽管在此根据椭圆的长轴52的倾斜度判别触摸操作方向，但 当然并不限定于椭圆的长轴52。显示装置52也可以根据椭圆的短轴判别触摸操作方向。
椭圆的长轴例如以如下方式能够计算。例如图17(d)所示，显示装置2根据二 值化处理或边沿检测处理所得到的椭圆图像计算外切长方形和对角线。在此计算出的一 对对角线为长轴和短轴。如图17(d)所示，与短轴相比，在长轴方向上因指肚而分布着 较多的浓度值高的像素。因此，显示装置2对长轴上的像素和短轴上的像素的分布进行 运算，将以黑白进行二值化之后的像素值中黑色较多的对角线判别为椭圆的长轴方向。
接下来，参照图18所示的流程图，根据图17所示的判定原理说明显示装置2的 动作。显示装置2首先判定是否检测到对按钮301、401的触摸操作(S41)。当检测到 触摸操作时，显示装置2根据触摸操作位置的椭圆形状的指肚图像，判别长轴的倾斜方 向(S42)。
接下来，显示装置2判别长轴的倾斜方向是否为正方向(图17的Φ是否满足 0° <Φ<90° MS43)。在判别为正方向时，显示装置2起动分配给对应左侧操作者即 助手席侧的按钮401的功能(S44)。与此相对，在判别为负方向时，显示装置2起动分 配给对应右侧操作者即驾驶席侧的按钮301的功能645)。
根据实施方式2所涉及的显示装置2，不需要为了确定操作者而在显示装置的外 部设置照相机或者在椅子和方向盘上设置信号传送装置。因此，仅由显示装置2就能够 判别操作者是从左右的哪一方进行的操作。此外，由于从显示画面的内侧拍摄图像，因 此能够排除干扰判别的障碍物。因此，例如图16(a)所示那样助手席或驾驶席的人手重 合的情况等、在显示画面的前方存在某种障碍物的情况下，也能正确地判别触摸操作方 向。由此，显示装置2能够以小规模的结构正确地判别助手席侧的和驾驶席侧的哪个人 按下了重合配置的按钮等。
此外，也可以将助手席用的按钮和驾驶席用的按钮配置在不重合的位置，使得 能够区别是助手席侧和驾驶席侧的哪一个人按下了按钮。但是，存在显示按钮的区域受 限的问题，在这一点上本实施方式2所涉及的显示装置2是有效的。
根据各实施方式所涉及的显示装置，不需要在显示装置的外部设置照相机或信 号传达装置等。因而，该显示装置在显示画面前方存在某种障碍物、站着或躺着的所有 状况下都能够正确地判别从哪个方向进行的触摸。因此，显示装置能利用该判别的信息 正确地进行后面的信息处理。此外，由于能仅以显示装置的简单的结构正确地判别从哪 个方向进行的操作，因此，能够将成本控制在与现有的触摸面板所带的显示装置相同程 度。因而，可在手持显示装置这种移动用途等多个情况下，利用各实施方式所涉及的显 示装置。
以上，列举了所说明的各实施方式的变形例和特征点。
(1)显示装置可以将触摸位置检测部14检测出的触摸位置作为基准来解析图 像，判别触摸操作方向。
(2)在各实施方式1、2中，显示装置将拍摄的图像之中规定范围的图像作为对 象进行图像解析，从而判别触摸操作方向。这样，由于显示装置仅以触摸位置周边的图 像为对象进行处理来判别触摸操作方向，因此能够使处理简单化、高速化。再有，显 示装置不需要关注不必要的图像区域。因而，显示装置能够提高触摸操作方向判别的精 度。此外，通过使处理简单化，能够减少制成电路时的门数。因此，能削减显示装置的 制造成本。不过，相对于此，显示装置也可以将拍摄的全图像作为解析对象。
(3)由触摸操作方向判别部15进行判别方法当然不限于上述实施方式所举的例 子，也可以采用其他判别方法，只要能根据图像判别触摸操作方向即可。
(4)在各实施方式1、2中，以手指进行触摸操作的情况为例进行了说明。但 是，在触摸笔等部件进行触摸操作的情况下也能应用各实施方式1、2。这是因为在由 触摸笔等进行触摸操作的情况下，以检测出触摸操作的坐标位置为中心的影图像会如图4 所示那样被拍摄到。
(5)实施方式2所涉及的显示装置2也可以构成为不包括电视接收机沈、导航装 置27、DVD播放器沘的结构。
(6)在实施方式2中说明的“根据椭圆长轴的判别方法”也可以应用于实施方式 1所涉及的显示装置1、11中。
(7)可以对显示装置1、2、11应用“根据浓度梯度方向的判别方法”、“根据 边沿特征量分布的判别方法”、“根据指纹形状的判别方法”、以及“根据椭圆长轴的 判别方法”之中的任意判别方法。再有，显示装置1、2、11也可以设置多个触摸操作方 向判别部15，使得能够选择实行基于这多个判别方法之中的任意多个判别方法的判别处 理。此外，显示装置1、2、11也可以设置选择操作部，使得能够由操作者的操作来选择 多个触摸操作方向判别部15的其中一个。或者，显示装置1、2、11也可以使多个触摸 操作方向判别部15共同发挥功能，根据其多个判别结果判别触摸操作方向。
本次公开的实施方式的全部内容仅仅是例示，而不应理解为受到限制。上述所 说明的并不是本发明的范围，其范围在权利要求书中示出，应该理解为在与权利要求书 同等意义及范围内可进行任意变更。
权利要求
1.一种显示装置(1、2、11)，其特征在于具备 显示部(10、18、20)，具有显示画面；摄像部，从所述显示部(10、18、20)内部拍摄对所述显示画面的触摸操作； 触摸位置检测部(14)，检测所述触摸操作中对所述显示画面的触摸位置；以及 方向判别部(15)，根据所述摄像部的摄像而得到的图像，判别所述触摸操作中对所 述显示画面的触摸方向。
2.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)根据所述摄像部进行摄像而得到的图像之中、以所述触摸位置 为基准的规定范围的图像，判别所述触摸方向。
3.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面 的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。
4.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括浓度梯度方向计算部，在由所述摄像部 (10、18、20)拍摄到为了所述触摸操作接触所述显示画面的手指或触摸部件时，计 算所述触摸位置的周边图像的浓度梯度方向，根据所述浓度梯度方向计算部计算出的浓度梯度方向，判别所述触摸方向。
5.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括边沿特征量分布计算部，在由所述摄像部(10、18、20) 拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，计算所述触摸位置 的周边图像的边沿特征量分布，根据所述边沿特征量分布计算部计算出的边沿特征量分布判别所述触摸方向。
6.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括长轴方向计算部，在由所述摄像部拍摄到为了所述触 摸操作而接触所述显示画面的手指时，计算所述触摸位置周边的手指图像的椭圆长轴方 向，根据所述长轴方向计算部计算出的椭圆长轴方向判别所述触摸方向。
7.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画 面的手指时，根据所述触摸位置周边的手指图像的指纹形状判别所述触摸方向。
8.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述显示部(10、18、20)能将将根据所述触摸操作而使规定功能有效的多个操作对 象图像显示在所述显示画面上，还具备存储部(12，22)，对所述多个操作对象图像，分别存储基于所述触摸操作 的功能被有效化的触摸方向；以及，功能有效化部，在检测到对所述操作对象图像的触摸操作时的触摸方向与对应该操 作对象图像而存储在所述存储部(12、22)中的触摸方向一致时，使基于对该操作对象图 像的触摸操作的功能有效。
9.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述显示部(10、18、20)能针对不同的方向显示不同的图像， 在所述显示画面的特定位置，在第1方向上显示通过触摸操作使第1功能有效的第1 按钮图像，在所述特定位置上，在第2方向上显示通过触摸操作使第2功能有效的第2按 钮图像，所述显示装置(1、2、11)还具备功能选择部，在由所述触摸位置检测部(14)检测 到的触摸位置是所述特定位置时，根据由所述方向判别部(15)判别的触摸方向，使所述 2种功能之中的任意一方有效。
10.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述摄像部是光传感器。
11.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述摄像部是温度传感器。
12.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述触摸位置检测部，根据所述摄像部拍摄的图像检测触摸位置。
13.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述显示装置(1、2、11)还具备控制部(19、21)，控制所述显示装置(1、2、11) 的动作，所述控制部(19、21)使所述显示装置(1、2、11)执行与所述检测到的所述触摸位置 和所述判别出的所述触摸方向相应的动作。
14.一种显示装置(1、2、11)，具有显示画面，通过触摸操作中使用的物体接触所述 显示画面来接受输入，其特征在于，具备摄像部，隔着所述显示画面，对接触所述显示画面的所述物体进行摄像； 检测部(14)，检测所述物体对所述显示画面的接触位置；判别部(15)，根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显 示画面的方向；以及控制部(19、21)，控制所述显示装置(1、2、11)的动作，所述控制部(19、21)使所述显示装置(1、2、11)执行与所述接触位置和所述判别出 的方向相应的动作。
15.—种显示装置(1、2、11)中的控制方法，该显示装置(1、2、11)通过触摸操作 中使用的物体接触显示画面来接受输入，其特征在于具备隔着所述显示画面，对接触所述显示画面的所述物体进行摄像的步骤； 检测所述物体对所述显示画面的接触位置的步骤；根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向 的步骤(Si S5，S13，S14，S23，S33)以及使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作的 步骤(S36，S37，S44，S45)。
全文摘要
本发明提供一种显示装置，在检测到触摸操作的情况下，由显示装置自身就能确定触摸操作方向。显示装置(1)中配置光传感器内置LCD(10)，从所述显示部的内部拍摄对显示画面的触摸操作；触摸操作方向判别部(15)，根据所拍摄的图像判别相对于触摸操作位置的触摸操作方向。
文档编号G09F9/00GK102027439SQ200980117158
公开日2011年4月20日 申请日期2009年3月6日 优先权日2008年5月12日
发明者吉本良治, 名古和行 申请人:夏普株式会社
技术领域：
本发明涉及一种 具备触摸面板等显示部的显示装置。
背景技术：
对于能触摸输入的显示装置，典型的是能够通过在LCDCLiquidCrystal Display)
上层叠一张电阻膜方式或静电容量方式等的薄片来实现。这种显示装置被应用于银行等 设置的ATM、用来购买车票等的售票机、汽车导航系统、便携设备、游戏设备等各种情 况，将其作为能够直观输入的接口。基本上，对于这种能触摸输入的显示装置，用户都能以一点或多点输入。该显 示装置能判断是否触碰了显示画面的某个位置。作为实现触摸输入的技术已知如下的方式除了电阻膜方式、静电容量方式、 红外线方式、电磁感应方式、超声波方式以外，还有通过对光传感器内置LCD拍摄的图 像进行解析从而检测触摸位置来实现触摸输入的方式。例如，JP特开2006-244446号公 报(专利文献1)中对光传感器内置LCD进行了说明。这样，周知存在多个用于检测触摸位置的技术。但是，仅仅是触摸位置的检 测，还无法判别相对于触摸位置的触摸操作方向。因此，在JP特开2006-47534号公报(专利文献2)中提出了如下的技术对于 从左右观看的人能显示不同图像的分屏(dual view)显示LCD型车载用导航系统中，判别 是从驾驶席和助手席的其中哪一个对显示画面进行了触摸操作，并根据其判别结果进行 显示控制。该系统通过对车内的椅子或方向盘接地的人体由驾驶席和助手席将各自不同 的信号传达至显示装置，以此判别坐在左右哪个位置的人进行了触摸操作。专利文献1 JP特开2006-244446号公报专利文献2 JP特开2006-47534号公报但是，在专利文献2提出的系统中，人需要一直坐在椅子上、或者一直触摸方 向盘等，接触显示装置以外添置的信号传达装置。因此，上述系统仅在特定的状况下能 判别触摸操作方向。此外，在显示装置外部还需要用于传达信号的大规模的装置。因 此，对于在户外手持的情况下利用的移动设备等将无法应用上述系统。在专利文献2中除了通过人体传达判别信号的方式以外，还提出了如下的方 式在车内的后方顶部设置照相机，对从助手席以及驾驶席后方拍摄到显示装置的显示 画面的图像进行解析，以此来判别触摸操作方向的方式。但是，在该方式中，在由头部或背部等障碍物挡住了触摸的部分、或人与人的 手交错的情况下，上述系统正确检测出是从哪个方向进行的触摸将很困难。此外，与在 显示装置外部设置信号传达装置的方式相同，移动设备等在外部手持的情况下将无法应 用该方法。
发明内容
本发明是为解决上述问题而提出的，其目的在于提供一种显示装置和该显示装 置中的控制方法，在检测到触摸操作的情况下，显示装置其自身能确定触摸操作方向 (触摸操作中相对于显示画面的触摸方向)。本发明所涉及的显示装置具备显示部，具有显示画面；摄像部，从所述显示 部内部拍摄对所述显示画面的触摸操作；触摸位置检测部，检测所述触摸操作中对所述 显示画面的触摸位置；以及方向判别部，根据所述摄像部的摄像而得到的图像，判别所 述触摸操作中相对于所述显示画面的触摸方向。优选所述方向判别部根据所述摄像部进行摄像而得到的图像之中以所述触摸位 置为基准的规定范围的图像，判别所述触摸方向。优选所述方向判别部在由所述摄像部拍摄到为了所述触摸操作而接触所述显示 画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。优选所述摄像部是光传感器或温度传感器。优选所述触摸位置检测部根据所述摄像部拍摄的图像检测触摸位置。根据本发明，从显示部的内部拍摄对显示画面的触摸操作，根据其摄像图像判 别相对于触摸位置的触摸操作方向。因此，在检测到触摸操作的情况下，能以显示装置 自身确定触摸操作方向。
图1是表示实施方式1中的显示装置1的概略结构的框图。图2是用于说明光传感器内置LCD功能的图。图3是表示摄像图像的例子的图。图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的判别方法原理的图。图5是用于说明触摸操作方向判别处理Pl的流程图。图6是用于说明触摸操作方向判别处理Pl的概念图。图7是表示用于决定触摸操作方向的基准的处理步骤的流程图。图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方向原理的图。图9是用于说明触摸操作方向判别处理P2的流程图。图10是用于说明指纹特征的图。图11是将显示装置应用于游戏机时的画面图。图12是操作权限数据的概念图。图13是表示显示装置用于判定棋子操作的有效/无效的处理步骤的流程图。图14是表示设置了静电容量方式的触摸面板的显示装置的概略结构的框图。图15是表示本发明的实施方式2中的显示装置的概略结构框图。图16是表示LCD的显示画面例的图。图17是用于说明“基于椭圆长轴方向的判别方法”的原理的图。图18是表示根据“基于椭圆长轴方向 的判别方法”的处理步骤的流程图。图中
1、2、11-显示装置10、18-光传感器内置LCD14-触摸位置检测部15-触摸操作方向判别部17-静电容量方式触摸面板20-光传感器内置分屏显示LCD
具体实施例方式以下，参照附图对本发明的实施方式进行说明。在以下的说明中，对相同的部件以及结构要素附于相同的符号，并设它们的名称以及功能也相同。(实施方式1)图1是表示本发明的实施方式1的显示装置1的概略结构框图。显示装置1例 如可用于游戏机。显示装置1具备光传感器内置LCD(液晶面板/显示器)10，该光传感器内置 LCDlO在各像素中内置光传感器，不仅能显示还能进行图像拍摄。显示装置1还具备触 摸位置检测部14，其对光传感器内置LCDlO拍摄的图像进行解析从而检测触摸位置。显 示装置1还具备触摸方向判别部15，其对光传感器内置LCDlO拍摄的图像进行解析，从 而判别从哪个方向进行的触摸。显示装置1还具备控制部19，其接受表示触摸位置和触 摸操作方向的数据，进行显示装置1的全部控制。显示装置1还具备存储部12，其保存 数据和命令。显示装置1还具备图像生成部13，其生成对画面显示的图像。当检测到对显示画面的触摸操作时，光传感器内置LCDlO从显示画面内部对触 摸操作时的图像进行拍摄。光传感器内置LCDlO将拍摄到的图像输入至触摸位置检测部 14。触摸位置检测部14通过对图像进行解析来检测触摸位置。作为检测触摸位置的方法，例如采用边沿特征量提取、图案匹配等技术。这 样，通过图像处理进行触摸位置检测，即使同时触摸画面的多个位置，触摸位置检测部 14也能检测出这些多个触摸位置。因此，操作者能够同时操作画面上显示的多个操作对 象。此外，也能多个人同时进行操作。触摸操作方向判别部15以触摸位置检测部14检测出的触摸位置为基准，对光传 感器内置LCDlO所得到的图像进行解析。通过该解析，触摸操作方向判别部15判别触 摸操作方向。控制部19利用触摸位置检测部14所得到的触摸位置、和触摸操作方向判别部15 所得到的触摸操作方向，例如进行作为游戏机的显示装置1的控制。作为光传感器内置LCD10，对应于各像素内置传感器(省略图示)，该光传感器 主要反应可见光区域的频率。如图2所例示那样，光传感器内置LCDlO的各光传感器 被设计成接受室内光和太阳光等的外光、从背光灯16照射的光被置于显示画面上的手指 100等反射而成的反射光。光传感器内置LCDlO将光传感器接收到的光由AD转换器转 换为数字值，作为黑白的灰度(浓淡)图像输出。光传感器得到的触摸操作时的图像，因外光和背光灯的强度、手指的放置方式 等而不同。图3例示了 3个典型的例子。
即便外光的强度发生变化，与显示画面相接的或者位于其附近的指肚部分的亮 度不怎么变化。相对于此，外光没有被手指遮挡的部分依然受到外光亮度的变化。因 此，外光没有被手指遮挡的部分与指肚部分相比相对地变黑或变白，其对比度发生变 化。图3 (a)是一例显示装置1的显示画面被比较亮的外光照射时的图像。如图3 (a) 所示，没被手指遮住光的外侧部分较白。一部分与画面相接的指肚图像101因背光灯16 的反射光而稍白。指影图像102由于被遮挡住光而变黑。图3(b)是一例比较暗的外光的情况下的图像。如图3(b)所示，仅其一部分与 画面相接的指肚图像101因背光灯16的反射光而稍白，其他部分较黑。图3(c)是一例外光是太阳光那样的平行光且非常亮的情况下的图像。由于与一 部分与画面相接的指肚图像101的背光灯16所形成的反射光相比，指肚图像101周围的 外光更强，因此仅指肚图像 101较黑。接下来，对触摸操作方向判别部15判别触摸操作方向的方法进行详细说明。触 摸操作方向判别部15根据光传感器内置LCDlO拍摄的图像之中以触摸位置为基准的规定 范围的图像，判别触摸操作方向。作为触摸操作方向判别部15判别触摸操作方向的方 法，以下依次说明“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方 法”、“根据指纹形状的判别方法”的三种方法。(根据浓度梯度方向的判别方法)图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的原理的图。在该判别方法中，将光传感器内置LCDlO拍摄到的显示画面整体的画面之中被 检测到的触摸位置作为基准，通过研究触摸位置周边的黑白灰度图像的浓度梯度方向来 判别触摸操作方向。图4(a)中表示由光传感器内置LCDlO拍摄到的图像之中触摸位置周边的图像。 该图像中与图3(a)同样，显示了一部分与画面相接的手指的指肚图像101、指影图像 102。此外，图中的十字标记105是用于说明由触摸位置检测部14检测到的触摸位置的 标记。触摸位置由十字中心位置表示。十字标记105在实际的图像中并未显示。仔细观察图4(a)的指肚图像101就会发现如下特征如“指肚部分的放大图” 所示，以触摸位置为基准，指尖方向由于手指靠近画面因反射光而拍摄得较白；另一方 面，越是朝向指根方向，反射光的强度越弱而图像的浓度越浓，拍摄得较黑。这是因 为，手指以从手腕向斜下方倾斜的角度触摸画面。此外，不仅手指，由触摸笔进行触摸 操作的情况下，当然也会出现同样的特征。因此，在图4(a)的例子中，可认为指肚图像101之中图像浓度变浓的方向是朝 向手腕侧的指根方向、或者朝向操作者的方向。因此，在图4(a)的例子中，确定图像浓 度变浓的浓度梯度分哪敢想，从而将该方向作为触摸操作方向来进行判别即可。图4(b)中表示根据该原理判别触摸操作方向是上下左右4个方向的哪一个的判 别基准。如图4(b)所示，根据指肚图像101的浓度梯度方向(图中的“白一黑”)，能 够判别出触摸操作方向是左、右、上、下4个方向的哪一个。此外，尽管图4(b)中为了容易理解仅例示了 4个方向的触摸操作方向，但通过 更加细致地计算浓度梯度方向，能在加上倾斜方向的8个方向甚至16个方向等，更详细地判别触摸操作方向。此外，这里虽然将灰度图像从白朝向黑的方向(指根方向)判别为触摸操作方向，但是也可以将从黑朝向白的方向(指尖方向)判别为触摸操作方向。一般，在触摸位置附近，因例如因手指与显示画面用力相接的部分、轻轻相接 的部分、稍稍悬浮的部分等，而可得到不同的灰度图像。因此，显示装置1像这样根据 灰度图像的浓度梯度来判别触摸操作方向，从而能够精确地判别触摸操作方向。接下来，参照图5以及图6，根据图4所示的判定原理对显示装置1判别触摸操 作方向的具体步骤进行说明。图5是用于说明显示装置1实行的触摸方向判别处理Pl的 流程图。此外，图6是用于说明触摸操作方向判别处理Pl的概念图。在触摸操作方向判别处理Pl中，显示装置1首先取得以触摸位置坐标为中心的 灰度图像(Si)。所取得的灰度图像例如是光传感器内置LCDlO拍摄的图像之中、如图 6(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的纵横Ll XLl的正 方形解析区域80中包含的图像。在此，Ll的长度以标准手指的大小为基准进行预先设 定，并包含指肚图像101。此外，显示装置1中也可以设置登记用户手指尺寸的功能，根据其登记尺寸显 示装置1来设定解析区域80的尺寸。此外，解析区域80的形状并不限于正方形，也可 以是长方形、圆形、或椭圆形。接下来，为了对取得的灰度图像计算浓度梯度方向，显示装置1分别针对横方 向(χ方向)以及纵方向(y方向)实行索贝尔(Sobel)滤波处理(S2、S3)。图6(b)是分 别对应横方向(χ方向)以及纵方向(y方向)的索贝尔滤波的一例。此外，这里虽然例 示了使用索贝尔滤波器，但只要是边沿提取用的滤波器都可以使用。显示装置1通过对解析区域80内的灰度图像应用索贝尔滤波，从而针对构成灰 度图像的每个像素计算横方向(χ方向)以及纵方向(y方向)的索贝尔值。图6(b)是表 示具有浓度梯度角θ的浓度梯度向量111的图，该浓度梯度角θ针对特定的像素根据横 方向(χ方向)的索贝尔值Gx和纵方向(y方向)的索贝尔值Gy而求得。接下来，显示装置1根据S2以及S3中针对每个像素计算出的横方向及纵方向 的索贝尔值，将各像素的浓度梯度方向归类为上下左右4个方向的其中一个(S4)。如图 6(b)所示，对应各像素计算横方向(χ)方向的索贝尔值Gx和纵方向(y方向)的索贝尔 值Gy，但显示装置1由于将浓度梯度方向分类为上下左右4个方向，将基于Gx和Gy之 中绝对值较大的值的方向决定为该像素的浓度梯度方向。在此，横方向的索贝尔值为正 时表示左方向，为负时表示右方向；纵方向的索贝尔值为正时表示上方向，为负时表示 下方向。例如，若(Gx，Gy) = (-10，+15)，则显示装置1将Gy方向即纵方向中对应+ 方向的上方向决定为该像素的浓度梯度方向。不过，考虑到噪声等影响，设绝对值在预 先规定的阈值以下时，显示装置1无法确定对应该像素的浓度梯度方向。显示装置1像这样通过将各像素的浓度梯度方向归类为上下左右4个方向的其中 一个，从而针对解析区域80所包含的图像，如图6(c)图示那样计算每个像素的浓度梯度 方向。接下来，显示装置1计算上下左右方向的浓度梯度方向之中最多的方向，将该值判别为触摸操作方向65)，并结束处理。
此外，在显示装置1判别4个以上的方向时，只要根据在各像素计算出的横方向 和纵方向的索贝尔值的值来定义倾斜方向即可。例如，根据S2和S3的处理结果，显示 装置1针对每个像素计算浓度梯度向量111。然后，显示装置1比较合成各像素的浓度梯 度向量111而得到的合成向量的倾斜角、和上下左右倾斜方向，从而将角度差最少的方 向判别为触摸操作方向。
或者，显示装置1在从4个方向中判别触摸操作方向的情况下，也可以比较合成 向量的倾斜角和上下左右方向，从而将角度差最少的方向判别为触摸操作方向。
以上，所说明的根据浓度梯度方向的判别方法，应用于假定拍摄到图3(a)所示 的图像的情况。但是，实际上也存在图3(b)和图3(c)这种摄像图像输入至触摸操作方 向判别部15的情况。
特别如图3(c)所示，图像中没有出现指影图像，指肚图像101的背景较白的情 况下，根据浓度梯度方向判定触摸操作方向时的判定方向与图3(a)的情况相反。这是因 为与在背光灯的跟前照射的手指的指肚触摸位置相比，从触摸位置朝向指根方向的手 指的指肚部分被较强的外光照射，因此在指肚图像中指肚触摸位置附近的图像的像素浓 度比指肚的指根侧图像浓。
因此，优选显示装置1不是仅在以触摸位置为基准的指肚部分的图像处判别触 摸操作方向，而是将指肚部分以外的图像也作为判断因素加入条件中，来判别触摸操作 方向。
因此，为了显示装置1能将指肚部分以外的图像也作为判断因素加入条件中， 来判别触摸操作方向，图7中表示用于决定触摸操作方向基准的处理步骤的流程图。
参照图7，首先显示装置1针对检测到触摸操作时拍摄的图像判定是否存在指影 (Sii)0是否存在指影例如以如下方式判定。预先根据将存在指影时的图像作为对象的 直方图等来采集像素浓度分布数据，并将此数据存储在显示装置1中。在Sll中，显示 装置1根据摄像图像生成基于直方图等的像素浓度分布数据，并将此数据与预先存储的 像素浓度分布数据进行比较，在获得一定值以上的相似度时判定为存在指影。
如图3(a)所示图像中存在指影图像102的情况下，显示装置1将图像浓度变浓 的方向(参照图4(b))决定为触摸操作方向614)。相对于此，在图像中不存在指影图 像的情况下，显示装置1判断指肚图像101的背景是否为白色(S12)。
例如，在图3(b)所示的情况下，S12中判断为否；在图3(c)所示的情况下， S12中判断为是。
在S12中判断为否时，显示装置1使处理进入步骤S14，将图像浓度变浓的方向 决定为触摸操作方向。与此相对，在S12中判断为是时，显示装置1将图像浓度变淡的 方向决定为触摸操作方向613)。
以上，在所说明的图7的处理步骤中，显示装置1将图像浓度变淡的方向决定为 触摸操作方向的情况下，图5所示的触摸操作方向判别处理Pl中的上下方向以及左右方 向的判断相反。因此，显示装置1判断横方向的索贝尔值为正时表示右方向，为负时 表示左方向；纵方向的索贝尔值为正时表示下方向，为负时表示上方向。
(根据边沿特征量分布的判别方法)
接下来，对根据边沿特征量分布显示装置1判别触摸操作方向的判别方法进行 说明。图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方法的原理的图。
在该判别方法中，在由光传感器内置LCDlO拍摄到的显示画面整体的图像之中 将检测到的触摸位置作为基准，显示装置1从触摸位置周边的黑白灰度图像提取指尖周 边部分的边沿从而判别触摸操作方向。
图8(a)的左侧表示由光传感器内置LCDlO拍摄到的图像之中触摸位置周边的图 像。该图像中与图4(a)同样地示出了一部分与画面相接的手指的指肚图像101、指影图 像102、将触摸位置检测部14检测出的触摸位置表示在十字中心位置的十字标记105。
指影图像102如图所示，在指尖的尖端部分为较高的浓度值，与背景 的浓度差 较为明显，另一方面越是朝向指根方向其浓度值越淡。因此，当显示装置1以这种图像 为对象进行边沿提取时，得到图8(a)的右侧所示的边沿103。由于边沿103表示指尖部 分，因此当以触摸位置为基准时，处于与边沿103相对位置的开口表示指根方向即操作 者方向。
图8(b)中表示根据该原理将触摸操作方向判别为上下左右4个方向的其中一个 的判别基准。如图8(b)所示，显示装置1根据由边沿提取处理得到的边沿的开口方向， 判别触摸操作方向是左、右、上、下的4个方向的哪一个。
此外，尽管图8(b)中为了容易理解仅例示了 4个触摸操作方向，但显示装置1 可以通过对边沿的开口方向进行更加精细的计算，从而以加入了倾斜方向的8个方向甚 至16个方向等，更详细地判别触摸操作方向。
此外，尽管这里以将指根方向(边沿开口方向)判别为触摸操作方向的方式构成 显示装置1，但是也可以以将指尖方向判别为触摸操作方向的方式构成显示装置1。
这样，通过应用该边沿检测技术，显示装置1，例如因手指用力与显示画面上相 接的部分、轻轻相接的部分、稍稍悬浮的部分等，得到不同的触摸位置近旁的边沿特征 量。显示装置1通过分析该边沿特征量的分布，判别触摸操作方向，从而能够根据设置 在显示画面上的手指等微小的接触程度精确地判别触摸操作方向。
接下来，参照图9，对根据图8所示的判定原理显示装置1判别触摸操作方向的 具体步骤进行说明。图9是用于说明由显示装置1实行的触摸操作方向判别处理P2的流 程图。
在触摸操作方向判别处理P2中，显示装置1首先取得以触摸位置的坐标为中心 的灰度图像621)。所取得的灰度图像例如是光传感器内置LCDlO拍摄的图像之中、图 8(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的正方形解析区域 中包含的图像。在此，解析区域的尺寸以标准手指的大小为基准进行预先设定，使得包 含指肚图像101和指影图像102的一部分。此外，与图5的步骤Sl同样，显示装置1中 也可以设置登记用户手指尺寸的功能，根据其登记尺寸显示装置1来设定解析区域的尺 寸。此外，解析区域的形状并不限于正方形，也可以是长方形、圆形、或椭圆形。
接下来，显示装置1根据所取得的灰度图像，实行提取边沿特征量的处理 622)。在边沿特征量的提取中，显示装置1使用除索贝尔滤波以外的边沿提取用滤波。 然后，显示装置1利用规定阈值提取边沿特征量。
接下来，显示装置1确定从中心坐标(触摸位置的坐标)看去边沿特征量较少的10方向、即开口方向，将所确定的开口方向判别为触摸操作方向623)。由此，显示装置1结束处理。
或者，在步骤S23中，显示装置1也可以求得具有边沿特征量的多个像素的重 心坐标，从而判别触摸操作方向。具体而言，首先，显示装置1提取具有规定阈值以上 的边沿特征量的多个像素。接下来，显示装置1对各个提取像素加上对应像素值大小的 权重之后，计算重心坐标。显示装置1在连接计算出的中心坐标和解析区域的中心坐标 (触摸位置的坐标)的直线上，将从重心坐标位置朝向触摸位置坐标位置的方向设定为触 摸操作方向。
此外，使用了边沿特征量的触摸操作方向的判别当然并不限定于上述例子，也 可以采用其他方法，只要能够根据边沿特征量判别触摸操作方向即可。
(根据指纹的判别方法)
接下来，说明显示装置1根据指纹判别触摸操作方向的判别方法。如图10所 示，人的指纹中存在如下特点越是靠近指尖则横方向的线的花纹越多，而越是指根部 分纵方向的线的花纹越多。在此，显示装置1利用这种指纹的特征来判别触摸操作方 向。
具体而言，首先，显示装置1以指肚图像为对象，与根据浓度梯度方向的判别 方法同样地，利用索贝尔滤波等针对每个像素计算索贝尔值。接下来，显示装置1根据 计算出的索贝尔值，与根据浓度梯度方向的判别方法同样地计算分配给各像素的方向。 接下来，显示装置1根据计算出的分配给各像素的方向的分布，确定指尖部分和指根部 分。
未必总在图10的方向来拍摄指纹，这样虽因触摸操作方向会产生倾斜，但由于 纵方向的花纹与横方向的花纹垂直，因此通过分析这2方向的分布，能够粗略地确定指 尖和指根的方向。由此，显示装置1能判别触摸操作方向。
这样，显示装置1从手指进行触摸操作时的灰度图像读取指纹的花纹，进而根 据其花纹判别方向。由此，显示装置1能精度良好地判别触摸操作方向。
根据指纹判别触摸操作方向的判别方法并不限于上述内容。例如，可考虑如下 的方法预先将操作者的指纹登记在显示装置1中，显示装置1通过图案匹配对拍摄到的 指肚图像和登记的指纹进行比较，从而判别触摸操作方向。
接下来，对将上述各种判别方法应用于显示装置1的控制的例子进行说明。在 此，以曲棍球游戏的控制为例进行说明。
如图11所示，显示装置1在显示画面上显示操作者从左右方向操作来玩曲棍球 游戏的画面。在以下的说明中，将从图11所示的显示画面的左方向(图面的球门30a侧) 操作棋子的人称为“操作者A”，将从右方向(图面的球门30b侧)操作棋子的人称为“操作者B”，将曲棍球游戏中操作者A的球队称为“球队A”，将操作者B的球队称 为“球队B”。在显示装置1中，规定操作者A从图11的左侧操作，操作者B从右侧 操作。
显示装置1在显示画面的两端图像显示了球队A的球门30a、以及球队B的球门 30b。此外，显示装置1在两球门之间图像显示了以五角形图形显示的球队A的5个棋 子20a、以八角形图形显示的球队B的5个棋子20b、通过与棋子20a和20b撞击从而移动方向变化的球30。显示装置1中针对各棋子20a、20b显示1 5的后背号码。图中 手指IOOa表示操作者A的手指，手指IOOb表示操作者B的手指。此外，以下将后背号 码为n(n为1以上5以下的自然数)的棋子称为“棋子η”。
操作者A、B通过手指100a、IOOb彼此操作自己球队的棋子20a、20b，使球30 进入对方球队的球门30a、30b。当球进入对方球队的球门时，显示装置1计算得分。基 于操作者A、B的操作的以上游戏控制，例如通过显示装置1的控制部19(参照图1)来实行。
显示装置1对各棋子分配图12例示的操作权限。显示装置1以A球队的棋子 20a仅能由操作者A操作的方式控制显示装置1的动作。此外，显示装置1以B球队的 棋子20b仅能由操作者B操作的方式控制显示装置1的动作。
如图12所示，显示装置1通过在触摸操作方向上识别有无操作权限来实现上述 控制。也就是说，显示装置1针对A球队的棋子20a，仅在触摸操作方向为左时使操作 有效。另一方面，显示装置1针对B球队的棋子20b，仅在触摸操作方向为右时使操作 有效。此外，由于球30基本上是经由棋子20a、20b而被操作，因此显示装置1并不将 其操作权限分配给A、B的任意一个。如图12所示的操作权限数据例如存储在显示装置 1的存储部12中。
图13是表示用于显示装置1根据操作权限数据判定棋子的操作为有效/无效的 处理步骤的流程图。
首先，显示装置1判定是否由触摸位置检测部14检测到了对棋子的触摸操作 (S31)。显示装置1在没有检测到对棋子的触摸操作的情况下结束处理。
在图11所示的例子中，操作者A正要操作A球队的棋子20a中的“棋子1”和 “棋子2”。操作者B正要操作B球队的棋子20b中的“棋子3”和“棋子5”。该情况下，显示装置1在步骤S31中判断有触摸操作。
接下来，显示装置1判别检测到触摸操作的棋子的种类(图12的ID) (S32)。在 图11的情况下，显示装置1根据检测到的4个触摸位置和各棋子20a、20b的当前位置， 确定操作者要操作的“棋子” ID是“1”、“2”、“8”、“10”。
接下来，显示装置1，按照所确定的各棋子，分别确定由触摸操作方向判别部 15判别出的操作方向(S33)。接着，显示装置1比对按照各棋子确定的触摸操作方向、 和对应各棋子存储的触摸操作方向(S34)。显示装置1按照各棋子判定触摸操作方向是 否一致(S35)。
在图11的情况下，显示装置1将针对A球队的“棋子1”、“棋子2”的触摸 操作方向确定为左，并判断为操作者A正在进行操作。与此相对，显示装置1将针对B 球队的“棋子3”、“棋子5”的触摸操作方向确定为右，并判断为操作者B正在进行操 作。这些所确定的信息与图12的操作权限数据进行匹配。该情况下，在步骤S35中针 对任何棋子都判定为判别出的触摸操作方向与对应棋子存储的触摸操作方向一致。其结 果显示装置1使各棋子的操作有效(S36)。因此，在图11的例子的情况下，操作者A、 B都能移动想要操作的棋子。
但是，即便例如操作者A想要操作B球队的“棋子1”，由于与图12的操作权 限数据不匹配，因此显示装置1在S35中判断为否。其结果显示装置1使操作者A对B球队的“棋子1”的操作无效。由此，操作者A无法操作并移动B球队的“棋子1”。
这样，显示装置1以触摸位置检测部14检测出的触摸位置和各棋子20a、20b的 当前位置来确定检测出触摸操作的“棋子”。显示装置1根据触摸操作方向判别部15判 别的方向来确定“操作者”。由此，显示装置1可进行操作者仅能操作被赋予操作权限 的“棋子”之类的控制。
因此，显示装置1通过判别操作输入者，在操作者为多人的情况下也能准确地 确定是谁要进行操作。
此外，在相同画面上存在多个操作对象，多个操作输入者对其进行操作的情况 下，显示装置1通过使其仅能对操作对象与操作输入者的操作权限一致的棋子进行操 作，从而能够防止操作输入者进行误操作。再有，显示装置1可在游戏等当中加入彼此 仅能操作自己球队的棋子的限制。
以上，根据所说明的实施方式中的显示装置1，通过对进行输入的手指或笔等的 图像进行解析，能检测触摸位置并判别出触摸操作方向。因此，控制部19能够根据表示 触摸位置的信号以及表示触摸操作方向的信号、和存储于存储部12中的信息，判断出位 于哪个方向的操作者进行操作。因此，控制部19能进行与给操作者的操作权限相应的信 息处理。
此外，根据本实施方式所涉及的显示装置1，对设置在显示画面后方的光传感器 所得到的图像进行解析，能够判别出从画面看去是处于哪个方向的人在操作显示在显示 画面上的操作对象。因此，显示装置1能以小规模的结构正确地判别出操作方向。
也就是说，对于显示装置1，就算在显示画面的前方存在某种障碍物，在用于 判别操作方向的输入图像中反应出障碍物从而不会对判别带来干扰。此外，显示装置1 不需要像背景技术中介绍的系统那样在显示装置外部设置通过人体传达信号的装置。因 此，显示装置1能以显示装置单体的小规模且简单的结构下判别触摸操作方向，并进行 后面的信息处理。
在上述的实施方式中，以通过对从光传感器内置LCDlO得到的图像进行解析从 而检测触摸位置为例子进行了说明。但是，用于检测触摸位置的结构当然并不限于此， 也可考虑其他方式。
例如，也可以变更图1的显示装置1的结构，像图14例示的显示装置11那样在 光传感器内置LCD18上设置静电容量方式的触摸面板17。该情况下，显示装置11由静 电容量方式的触摸面板17检测触摸位置。此外，显示装置11通过对静电容量方式的触 摸面板17得到的触摸位置和光传感器内置LCD18得到的图像进行解析，来判别触摸操作 方向。
此外，对于触摸面板也可以采用电阻膜方式、红外线方式、电磁感应方式、超 声波方式等各种触摸面板方式的任意一种，只要能检测触摸位置即可。
但是，通过对光传感器内置LCD得到的图像进行解析来判别触摸操作方向的情 况下，优选不使用静电容量方式等的触摸面板，而由光传感器内置LCD —并检测出触摸 位置。这是因为能够减少电阻膜这种的触摸面板部件、和在显示画面上配置电阻膜的 工序，从而使得显示装置的结构变得简单。进而，由于结构变得简单，因此还有成本变 低的优点。
此外，在上述实施方式中，虽然作为拍摄图像的摄像装置(输入图像的输入装 置)，主要以反应可见光区域的光频率的光传感器内置LCD为例进行了说明，但摄像装 置的结构当然不限定于此，也可以考虑其他结构。
例如，可预先将反应可见光区域以外的频率、主要为红外线频率的光传感器内 置在显示装置1、11中。然后，在显示装置1、11中，从显示画面后方照射出的红外线 被手指或笔等反射，将反射的红外线输入光传感器中。进而，显示装置1、11将该输入 的红外线转换为图像。这样，当使用反应可见光以外主要为红外线的光传感器时，显示 装置1、11能够不受室内光等的外光影响，得到指肚的反射和指影的图像。此外，由于 反应红外线的光传感器得到的图像利用手指的反射，因此与反应可见光区域频率的光传 感器得到的图像基本相同。
这样，显示装置1、11通过由光传感器取得背光灯对手指等操作输入物体的反 射光等作为图像，从而能详细掌握手指或触摸笔等操作输入物体对显示画面的接触程度。
或者，显示装置1、11也可以代替光传感器而内置温度传感器，将放置手指或 笔等时的温度变化转换为图像并作为输入图像。对于由温度传感器得到的图像，只要确 定如图3(b)或图3(c)那样放置了手指的部分是变暖还是变冷，就能获得具有放置手指 的部分与周围对比度不同的图像。此外，由于手指用力与显示画面相接的部分和手指轻 轻相接的部分出现温度差，因此指肚部分的图像成为图4所示的黑白灰度图像。也就是 说，温度传感器得到的图像与光传感器得到的图像为相同图像。
显示装置1、11通过由温度传感器取得图像，能详细把握手指或触摸笔等操作 输入物体在显示画面上的接触程度。此外，也像光传感器那样不怎么受室内光和太阳光 这些外光影响。因此，显示装置1、11能仅取得因操作输入物体而引起的温度变化。
这样，显示装置1、11利用算法从上述的主要反应可见光区域的光传感器得到 的图像中检测出触摸位置并判别触摸方向，从而也能根据红外线等光传感器及温度传感 器所得到的图像检测触摸位置并判别触摸方向。
此外，作为摄像装置也可以采用其他方式的传感器或照相机，只要能在防止手 指或笔等的情况下拍摄图像即可。
(实施方式2)
在实施方式1中，作为显示装置1的一个实施方式，说明了将显示装置1应用于 游戏机的例子。再有，通过代替光传感器内置LCDlO而以组装光传感器内置分屏显示 LCD的结构来实现显示装置，从而能将该显示装置应用于汽车导航系统。
图15是表示本发明的实施方式2中的显示装置2的概略结构的框图。显示装置 2是具备光传感器内置分屏显示LCD20的汽车导航系统。
显示装置2，具备光传感器内置分屏显示LCD20(以下简称为“LCD20” )以及 上述说明的触摸位置检测部14。显示装置2还具备控制部21，根据从触摸操作方向判别 部15输入的信号进行左右方向操作者的识别和LCD20的控制等。显示装置20还具备存 储部22，其存储与控制相关的各种信息。显示装置22还具备输出装置沈 观(电视接 收机26、导航装置27、DVD播放器洲)，其输出各种视听用数据。显示装置2还具备图 像选择部25，将从各输出装置沈 洲输入的数据分为左方向用图像和右方向用图像并选择性进行输出。显示装置2还具备左方向显示控制部23以及右方向显示控制部对，其根 据图像选择部25输出的图像数据对LCD20进行图像显示控制，使得分别对应左方向和右 方向在LCD画面上显示应显示的图像。
图16是表示LCD20的显示画面的例子的图。如图16 (c)所示，显示装置2 在放映出云罩山巅风景的电视画面上显示着用于选择电视频道的频道按钮(图中能看见“2ch”)401。相对于此，如图16(d)所示，显示装置2在导航用地图上还显示着用于使 地图滚动的滚动按钮301。分屏显示的LCD20，具有同时显示功能，从助手席侧观看显 示图16(c)的画面、从驾驶席侧观看显示图16(d)的画面。
在图16(c)所示的画面中，助手席侧的操作者通过用自己的手指100L触碰频道 按钮401就能任意变更电视频道。另一方面，在图16(d)所示的画面中，驾驶席侧的操 作者通过用自己的手指100R触碰滚动按钮301就能任意滚动地图。
但是，如图16(a)所示，在画面上频道按钮401和滚动按钮301重复配置在相同 位置。因此，在助手席侧的操作者操作了频道按钮401时，需要显示装置2能够判别该 操作是由助手席侧的操作者进行的。
此外，如图16(b)所示，在驾驶席侧的操作者操作滚动按钮301并且助手席侧的 操作者同时操作频道按钮401时，显示装置2还需要如下功能。也就是说，需要显示装 置2能够判别触摸按钮的手指是驾驶席侧操作者的手指100R还是助手席侧操作者的手指 IOOL0再有，显示装置2需要起动按钮301、401之中对应操作者的按钮功能。
本实施方式2所涉及的显示装置2，与实施方式1所说明的显示装置1、11同 样，除了触摸位置检测部14还具备触摸操作方向判别部。因此，显示装置2能够检测对 按钮301、401的触摸操作，进而确定该触摸操作是来自助手席侧的触摸操作还是来自驾 驶席侧的触摸操作。
其结果，例如即便在图16(a)所示的这种情况下，通过触摸操作方向判别部15 也能够判别出是从左侧助手席进行的操作。因而，显示装置2仅实行TV节目的频道操 作，而不作为针对地图的操作进行反应。或者，即便在图16(b)所示的情况下，根据由 触摸位置检测装置14检测出的2点触摸位置和由触摸操作方向判别部15判别出的触摸操 作方向，显示装置2能够判别出左侧助手席的人按下的按钮是频道按钮41，右侧驾驶席 的人按下的按钮是滚动按钮301。这样，即便在TV节目的频道按钮401与地图操作的滚 动按钮301重复配置在相同位置的情况下，左侧助手席的人进行的操作也仅反映在TV节 目的选择操作上，右侧驾驶席的人进行的操作也仅反映在地图的滚动操作上。
另外，在此是以车内配置的汽车导航系统为前提，以与电视操作相关的按钮和 与导航相关的按钮为例进行的说明，但汽车导航系统以及与此相关的内容源(source)仅 仅是一例。当然，对于以分屏显示画面为中心，让一方(例如驾驶席侧)操作的内容源 与让另一方(例如助手席侧)操作的内容源不同的系统也能够应用。
此外，作为实施方式2中的触摸操作方向判别15的判别方法，也可以采用实 施方式1所说明的“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方 法”、“根据指纹形状的判别方法”的任意一种。
或者，作为由触摸操作方向判别部15进行的判别方法，也可采用接下来说明的 “根据椭圆长轴方向的判别方法”。15
图17是用于说明“根据椭圆长轴方向的判别方法”的原理的图。将显示装置2 应用于汽车导航系统的情况下，画面被配置在驾驶席与助手席之间。因此，若考虑通常 的操作方式，则从驾驶席侧以及助手席侧触摸画面时的手指的触摸操作方向被限制在一 定范围内。再有，触摸操作方向的范围两者并不重复。
例如，如图17(a)所示，一般可认为连接从画面左侧操作的操作者(助手席侧的 操作者)手指100L前端和指根的直线、与画面的χ轴方向所成的角(触摸操作方向角)Φ 处于超过0度未达到90度的范围。根据同样的原因，从右侧操作的操作者(驾驶席侧的 操作者)手指100R的触摸操作方向角的范围是与左侧操作的操作者的相应方向角左右对 称的范围。因此，从左侧操作的操作者的触摸操作方向的角度与从右侧操作的操作者的 触摸操作方向的角度不重复。
因此，如图17(b)所示，显示装置2在拍摄到检测出触摸操作时的指肚图像 101L、IOlR时，根据椭圆形状的指肚图像101L、101R,如图17 (c)所示那样计算长轴 52。再有，例如若长轴52的倾斜度为正，则显示装置2将触摸操作方向判别为“左”； 若长轴的倾斜度为负，则将触摸操作方向判别为“右”。也就是说，显示装置2根据长 轴的倾斜度判别左右的触摸操作方向。
这样，关注于手指进行触摸操作时的指肚部分的形状为椭圆状，显示装置2通 过根据该椭圆的长轴朝向判别触摸操作方向，从而能精确地判别触摸操作方向。
此外，显示装置2尽管在此根据椭圆的长轴52的倾斜度判别触摸操作方向，但 当然并不限定于椭圆的长轴52。显示装置52也可以根据椭圆的短轴判别触摸操作方向。
椭圆的长轴例如以如下方式能够计算。例如图17(d)所示，显示装置2根据二 值化处理或边沿检测处理所得到的椭圆图像计算外切长方形和对角线。在此计算出的一 对对角线为长轴和短轴。如图17(d)所示，与短轴相比，在长轴方向上因指肚而分布着 较多的浓度值高的像素。因此，显示装置2对长轴上的像素和短轴上的像素的分布进行 运算，将以黑白进行二值化之后的像素值中黑色较多的对角线判别为椭圆的长轴方向。
接下来，参照图18所示的流程图，根据图17所示的判定原理说明显示装置2的 动作。显示装置2首先判定是否检测到对按钮301、401的触摸操作(S41)。当检测到 触摸操作时，显示装置2根据触摸操作位置的椭圆形状的指肚图像，判别长轴的倾斜方 向(S42)。
接下来，显示装置2判别长轴的倾斜方向是否为正方向(图17的Φ是否满足 0° <Φ<90° MS43)。在判别为正方向时，显示装置2起动分配给对应左侧操作者即 助手席侧的按钮401的功能(S44)。与此相对，在判别为负方向时，显示装置2起动分 配给对应右侧操作者即驾驶席侧的按钮301的功能645)。
根据实施方式2所涉及的显示装置2，不需要为了确定操作者而在显示装置的外 部设置照相机或者在椅子和方向盘上设置信号传送装置。因此，仅由显示装置2就能够 判别操作者是从左右的哪一方进行的操作。此外，由于从显示画面的内侧拍摄图像，因 此能够排除干扰判别的障碍物。因此，例如图16(a)所示那样助手席或驾驶席的人手重 合的情况等、在显示画面的前方存在某种障碍物的情况下，也能正确地判别触摸操作方 向。由此，显示装置2能够以小规模的结构正确地判别助手席侧的和驾驶席侧的哪个人 按下了重合配置的按钮等。
此外，也可以将助手席用的按钮和驾驶席用的按钮配置在不重合的位置，使得 能够区别是助手席侧和驾驶席侧的哪一个人按下了按钮。但是，存在显示按钮的区域受 限的问题，在这一点上本实施方式2所涉及的显示装置2是有效的。
根据各实施方式所涉及的显示装置，不需要在显示装置的外部设置照相机或信 号传达装置等。因而，该显示装置在显示画面前方存在某种障碍物、站着或躺着的所有 状况下都能够正确地判别从哪个方向进行的触摸。因此，显示装置能利用该判别的信息 正确地进行后面的信息处理。此外，由于能仅以显示装置的简单的结构正确地判别从哪 个方向进行的操作，因此，能够将成本控制在与现有的触摸面板所带的显示装置相同程 度。因而，可在手持显示装置这种移动用途等多个情况下，利用各实施方式所涉及的显 示装置。
以上，列举了所说明的各实施方式的变形例和特征点。
(1)显示装置可以将触摸位置检测部14检测出的触摸位置作为基准来解析图 像，判别触摸操作方向。
(2)在各实施方式1、2中，显示装置将拍摄的图像之中规定范围的图像作为对 象进行图像解析，从而判别触摸操作方向。这样，由于显示装置仅以触摸位置周边的图 像为对象进行处理来判别触摸操作方向，因此能够使处理简单化、高速化。再有，显 示装置不需要关注不必要的图像区域。因而，显示装置能够提高触摸操作方向判别的精 度。此外，通过使处理简单化，能够减少制成电路时的门数。因此，能削减显示装置的 制造成本。不过，相对于此，显示装置也可以将拍摄的全图像作为解析对象。
(3)由触摸操作方向判别部15进行判别方法当然不限于上述实施方式所举的例 子，也可以采用其他判别方法，只要能根据图像判别触摸操作方向即可。
(4)在各实施方式1、2中，以手指进行触摸操作的情况为例进行了说明。但 是，在触摸笔等部件进行触摸操作的情况下也能应用各实施方式1、2。这是因为在由 触摸笔等进行触摸操作的情况下，以检测出触摸操作的坐标位置为中心的影图像会如图4 所示那样被拍摄到。
(5)实施方式2所涉及的显示装置2也可以构成为不包括电视接收机沈、导航装 置27、DVD播放器沘的结构。
(6)在实施方式2中说明的“根据椭圆长轴的判别方法”也可以应用于实施方式 1所涉及的显示装置1、11中。
(7)可以对显示装置1、2、11应用“根据浓度梯度方向的判别方法”、“根据 边沿特征量分布的判别方法”、“根据指纹形状的判别方法”、以及“根据椭圆长轴的 判别方法”之中的任意判别方法。再有，显示装置1、2、11也可以设置多个触摸操作方 向判别部15，使得能够选择实行基于这多个判别方法之中的任意多个判别方法的判别处 理。此外，显示装置1、2、11也可以设置选择操作部，使得能够由操作者的操作来选择 多个触摸操作方向判别部15的其中一个。或者，显示装置1、2、11也可以使多个触摸 操作方向判别部15共同发挥功能，根据其多个判别结果判别触摸操作方向。
本次公开的实施方式的全部内容仅仅是例示，而不应理解为受到限制。上述所 说明的并不是本发明的范围，其范围在权利要求书中示出，应该理解为在与权利要求书 同等意义及范围内可进行任意变更。
权利要求
1.一种显示装置(1、2、11)，其特征在于具备 显示部(10、18、20)，具有显示画面；摄像部，从所述显示部(10、18、20)内部拍摄对所述显示画面的触摸操作； 触摸位置检测部(14)，检测所述触摸操作中对所述显示画面的触摸位置；以及 方向判别部(15)，根据所述摄像部的摄像而得到的图像，判别所述触摸操作中对所 述显示画面的触摸方向。
2.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)根据所述摄像部进行摄像而得到的图像之中、以所述触摸位置 为基准的规定范围的图像，判别所述触摸方向。
3.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面 的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。
4.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括浓度梯度方向计算部，在由所述摄像部 (10、18、20)拍摄到为了所述触摸操作接触所述显示画面的手指或触摸部件时，计 算所述触摸位置的周边图像的浓度梯度方向，根据所述浓度梯度方向计算部计算出的浓度梯度方向，判别所述触摸方向。
5.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括边沿特征量分布计算部，在由所述摄像部(10、18、20) 拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，计算所述触摸位置 的周边图像的边沿特征量分布，根据所述边沿特征量分布计算部计算出的边沿特征量分布判别所述触摸方向。
6.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)包括长轴方向计算部，在由所述摄像部拍摄到为了所述触 摸操作而接触所述显示画面的手指时，计算所述触摸位置周边的手指图像的椭圆长轴方 向，根据所述长轴方向计算部计算出的椭圆长轴方向判别所述触摸方向。
7.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述方向判别部(15)，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画 面的手指时，根据所述触摸位置周边的手指图像的指纹形状判别所述触摸方向。
8.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述显示部(10、18、20)能将将根据所述触摸操作而使规定功能有效的多个操作对 象图像显示在所述显示画面上，还具备存储部(12，22)，对所述多个操作对象图像，分别存储基于所述触摸操作 的功能被有效化的触摸方向；以及，功能有效化部，在检测到对所述操作对象图像的触摸操作时的触摸方向与对应该操 作对象图像而存储在所述存储部(12、22)中的触摸方向一致时，使基于对该操作对象图 像的触摸操作的功能有效。
9.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述显示部(10、18、20)能针对不同的方向显示不同的图像， 在所述显示画面的特定位置，在第1方向上显示通过触摸操作使第1功能有效的第1 按钮图像，在所述特定位置上，在第2方向上显示通过触摸操作使第2功能有效的第2按 钮图像，所述显示装置(1、2、11)还具备功能选择部，在由所述触摸位置检测部(14)检测 到的触摸位置是所述特定位置时，根据由所述方向判别部(15)判别的触摸方向，使所述 2种功能之中的任意一方有效。
10.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述摄像部是光传感器。
11.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述摄像部是温度传感器。
12.根据权利要求1所述的显示装置(1、2、11)，其特征在于， 所述触摸位置检测部，根据所述摄像部拍摄的图像检测触摸位置。
13.根据权利要求1所述的显示装置(1、2、11)，其特征在于，所述显示装置(1、2、11)还具备控制部(19、21)，控制所述显示装置(1、2、11) 的动作，所述控制部(19、21)使所述显示装置(1、2、11)执行与所述检测到的所述触摸位置 和所述判别出的所述触摸方向相应的动作。
14.一种显示装置(1、2、11)，具有显示画面，通过触摸操作中使用的物体接触所述 显示画面来接受输入，其特征在于，具备摄像部，隔着所述显示画面，对接触所述显示画面的所述物体进行摄像； 检测部(14)，检测所述物体对所述显示画面的接触位置；判别部(15)，根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显 示画面的方向；以及控制部(19、21)，控制所述显示装置(1、2、11)的动作，所述控制部(19、21)使所述显示装置(1、2、11)执行与所述接触位置和所述判别出 的方向相应的动作。
15.—种显示装置(1、2、11)中的控制方法，该显示装置(1、2、11)通过触摸操作 中使用的物体接触显示画面来接受输入，其特征在于具备隔着所述显示画面，对接触所述显示画面的所述物体进行摄像的步骤； 检测所述物体对所述显示画面的接触位置的步骤；根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向 的步骤(Si S5，S13，S14，S23，S33)以及使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作的 步骤(S36，S37，S44，S45)。
全文摘要
本发明提供一种显示装置，在检测到触摸操作的情况下，由显示装置自身就能确定触摸操作方向。显示装置(1)中配置光传感器内置LCD(10)，从所述显示部的内部拍摄对显示画面的触摸操作；触摸操作方向判别部(15)，根据所拍摄的图像判别相对于触摸操作位置的触摸操作方向。
文档编号G09F9/00GK102027439SQ200980117158
公开日2011年4月20日 申请日期2009年3月6日 优先权日2008年5月12日
发明者吉本良治, 名古和行 申请人:夏普株式会社
最新回复(0)