显示装置和用于检测显示装置上的表面剪切力的方法

显示装置和用于检测显示装置上的表面剪切力的方法
【技术领域】
[0001]本发明的实施方式涉及用于检测显示装置上的表面剪切力的装置和方法。
【背景技术】
[0002]显示装置日益流行并被广泛地使用，诸如在蜂窝电话、计算机监视器、电视机、平板等中。这些显示装置可以是任何类型的显示器，包括有机发光显示器(OLED)、液晶显示器(IXD)等。具体地，已经发展了例如包括光学传感器的显示装置以检测使用者与显示装置的交互作用(interact1n)(例如，经由使用者的手指或经由使用者使用触摸笔而与显示装置的交互作用)。
[0003]然而，尽管显示装置能够检测使用者交互作用(例如，使用者的触摸)的位置，但是显示装置在用于检测与使用者相关的触摸交互作用的压力的能力上受到限制。具体地，显示装置在用于检测由使用者施加在显示装置上的剪切力(或切力)的能力上受到限制。与显示装置的剪切力交互作用的示例可以发生在使用者通过其手指在显示装置上的一点处施加压力并在保持手指的位置和向下力的同时在沿显示装置的表面的任何方向上施加静态(isometric)水平力(剪切力)时。
[0004]能够感测使用者在装置上的剪切力的显示装置是所期望的，因为这种能力扩展了使用者和显示器之间的交互作用的广度。此外，容易且廉价制造的能够感测剪切力的显示装置也是期望的。

【发明内容】

[0005]本发明的实施方式的方面针对一种能够感测由使用者与显示装置的剪切力交互作用的显示装置，该显示装置也是实用的并制造起来是廉价的。
[0006]本发明的实施方式提供一种具有增加的感测各种使用者手势的能力的显示装置。
[0007]根据本发明的实施方式，提供一种显示装置，该显示装置包括:像素阵列，包括多个像素；可变形层，具有在像素上并平行于像素阵列的第一表面和基本上平行于第一表面的第二表面；一个或多个红外(IR)发射器，用于发射IR光到可变形层；多个IR探测器，用于检测IR光；以及在可变形层处的多个示踪物，用于使由一个或多个IR发射器发射的IR光朝向IR探测器重定向，并用于响应于在第二表面的触摸点处施加的具有一大小和一方向的剪切力而在剪切力的方向上移动，使得在多个IR探测器中的IR探测器处的IR光的辐照度改变。
[0008]在一个实施方式中，一个或多个IR发射器包括在第一表面处以朝向第二表面发射IR光的多个IR发射器。每个像素可以包括IR发射器中的其中一个和IR探测器中的其中一个。
[0009]多个像素可以包括多个第一像素和多个第二像素，多个第一像素的每个包括IR发射器中的其中一个，多个第二像素的每个包括IR探测器中的其中一个。
[0010]第二像素可以比第一像素多。
[0011]第一像素和第二像素可以在整个像素阵列规则地交替，形成重复的图案。
[0012]显示装置可以追踪移动的示踪物的位移以确定剪切力的大小和剪切力的方向。
[0013]显示装置可以确定在触摸点周围的示踪物的密度以确定剪切力的大小和剪切力的方向。
[0014]示踪物可以包括用于反射IR光并允许可见光通过的分色(dichroic mirror)镜。
[0015]示踪物可以跨显示装置的表面以规则的间隔被图案化。
[0016]示踪物可以例如利用沉积工艺被随机地图案化。
[0017]在一个实施方式中，一个或多个IR发射器包括在可变形层的边缘处的IR发射器，该IR发射器用于基本上平行于第一表面发射IR光到可变形层中，所述多个示踪物包括在第二表面的多个抑止位置(frustrat1n site)，以朝向IR探测器散射IR光。
[0018]抑止位置可以跨显示装置的表面以规则的间隔被图案化。
[0019]抑止位置可以被随机地图案化。
[0020]抑止位置可以包括在可变形层处的空腔。
[0021]抑止位置可以包括纳米颗粒的团簇以允许可见光通过并散射从IR发射器发射的IR光。
[0022]纳米颗粒可以包括具有硅石芯的银纳米颗粒。
[0023]显示装置可以追踪移动的抑止位置的位移以确定剪切力的大小和剪切力的方向。
[0024]显示装置可以确定在触摸点周围的抑止位置的密度以确定剪切力的大小和剪切力的方向。
[0025]根据本发明的实施方式，提供一种用于检测显示装置上的表面剪切力的方法，该表面剪切力具有一大小和一方向，该显示装置包括多个示踪物和多个红外(IR)探测器，该方法包括:激活一个或多个IR发射器；从所述多个IR探测器接收IR图像，该图像包括对于所述多个IR探测器的每个IR探测器的所检测的IR辐照度；利用IR图像的信号处理，确定在显示装置上是否存在触摸；以及当触摸存在时:检测该触摸的坐标；以及检测在触摸处的剪切力的大小和方向。
[0026]在一个实施方式中，检测在触摸处的剪切力的大小和方向包括:从示踪物的一组参考位置和示踪物的一组相应的变形位置之间的差异计算矢量位移图，该矢量位移图包括多个矢量；计算作为矢量的平均方向的所述剪切力的方向，以及计算作为矢量的大小的平均值乘以比例常数的所述剪切力的大小。
[0027]在一个实施方式中，检测在触摸处的剪切力的大小和方向包括:将触摸的坐标周围的区域划分成极坐标区域；估算每个区域中的示踪物密度；从估算的示踪物密度确定具有一大小和一方向的最大密度梯度；计算作为最大密度梯度的方向的所述剪切力的方向；以及计算作为最大密度梯度的大小乘以比例常数的所述剪切力的大小。
【附图说明】
[0028]通过参照附图详细描述本发明的示例实施方式，本发明的实施方式的以上和其它的方面将变得更加明显，附图中:
[0029]图1A示出根据本发明的实施方式的显示器的像素阵列的俯视图；
[0030]图1B示出根据本发明的实施方式的图1A所示的像素阵列的像素的透视图；
[0031]图2示出根据本发明的另一实施方式的显示器的像素阵列的俯视图；
[0032]图3A示出根据本发明的实施方式的在未被触摸状态下的显示装置的表面的截面图；
[0033]图3B示出根据本发明的实施方式的图3A所示的显示装置的表面经受剪切力的截面图；
[0034]图4示出根据本发明另一实施方式的显示装置的表面经受剪切力的截面图；
[0035]图5A示出根据本发明另一实施方式的显示装置的利用抑止位置(frustrat1nsite)的表面的截面图；
[0036]图5B示出根据本发明的实施方式的图5A所示的显示装置的利用抑止位置的表面经受剪切力的截面图；
[0037]图6示出根据本发明另一实施方式的显示装置的利用抑止位置的表面的截面图；
[0038]图7A示出根据本发明的实施方式的用于检测在显示装置处的剪切力的过程；
[0039]图7B示出实现图7A所示的过程的显示装置的俯视图；
[0040]图8A示出根据本发明的另一实施方式的用于检测在显示装置处的剪切力的过程;
[0041]图8B示出实现图8A所示的过程的显示装置的俯视图；以及
[0042]图8C示出图8B所示的显示装置的示踪物(tracer)的密度图。
【具体实施方式】
[0043]在下文，将参照附图更充分地描述本发明的实施方式，附图中示出了本发明的示例实施方式。如本领域技术人员将理解的，所描述的实施方式可允许各种变形和可选的形式，而没有脱离本发明的精神或范围。为了本发明的描述的清晰，可以省略对于本发明的完整理解不需要的一些元件或特征。
[0044]在本说明书中使用的术语用于描述特定的实施方式，而不旨在限制本发明。例如，将理解，虽然这里可以使用术语“第一”、“第二”等来描述不同的元件，但是这些元件将不受这些术语的狭义解释限制。代替地，这些术语仅用于将一个部件与另一个区别开。此外，以单数形式使用的表述涵盖复数表述，除非其在上下文具有明显不同的含义。在本说明书中，将理解，术语诸如“包括”、“包含”、“具有”等旨在指示在本说明书中公开的特征、数字、步骤、动作、成分、部件或其组合的存在，而并不旨在排除一个或更多其它特征、数字、步骤、动作、成分、部件或其组合可存在或可被添加的可能性。在这里使用时，术语“使用”、“正使用”、“使用了 ”可以被认为分别与术语“利用”、“正利用”和“利用了 ”是同义的。在这里使用时，术语“基本上”、“大约”以及类似术语用作大致的术语，而不是程度的术语，并旨在说明如本领域普通技术人员将认识到的测量或计算值的固有偏差。
[0045]将理解，当一元件或层被称为在另一元件或层“上”、“连接到”或“联接到”另一元件或层时，它可以直接在另一元件或层上、直接连接到或直接联接到另一元件或层，或者还可以存在一个或多个居间元件或层。类似地，当一元件或层被称为“连接在”或“联接在”另一元件或层时，该元件或层可以直接或间接地“连接在”或“联接在”所述另一元件或层。当一元件被称为“直接在”另一元件或层上、“直接连接到”、“直接联接到”、“直接连接在”或“直接联接在”另一元件或层时，不存在居间元件或层。相同的附图标记始终指代相同的元件。当在 这里使用时，术语“和/或”包括一个或多个所列相关项目的任意和所有组合。
[0046]为了便于描述，这里可以使用空间关系术语诸如“在…下面”、“以下”、“下”、“在…上”、“上”等来描述一个元件或特征与另一个(些)元件或特征如附图所示的关系。将理解，空间关系术语旨在涵盖除了附图中示出的取向之外装置在使用或操作中的其它不同取向。例如，如果附图中的装置被翻转，则被描述为在其它元件或特征“下面”或“下方”的元件将会取向为在该其它元件或特征“上面”或“上方”。因而，示例术语“在…下面”可以涵盖之上和之下两种取向。装置可以被另外地取向(旋转90度或在其它取向)并且这里使用的空间关系描述语应当被相应地解释。
[0047]除非另外地定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员通常理解的相同含义。还将理解，诸如通用词典中所定义的术语应当被解释为具有与它们在相关领域的语境中的含义相一致的含义，而不应被解释为理想化的或过度形式化的意义，除非此处明确地如此定义。此外，在描述本发明的实施方式时，“可以”的使用指的是“本发明的一个或多个实施方式”。
[0048]附图中的同样的附图标记表示同样的元件，其重复描述可以被省略。
[0049]根据本发明的实施方式，显示装置能够响应于使用者与显示装置的交互作用(例如，当使用者触摸显示器时)而改变在其表面处的性质。显示装置响应于使用者交互作用的变化在触摸点处产生自未触摸的显示器的正常光学性质偏离的增加的光学性质。显示装置在其表面处的改变的光学性质指示在触摸点处的剪切力。根据本发明的实施方式，光反射的光学变化被嵌入在显示装置中的光传感器检测从而辨别在被触摸表面处力的方向和大小。
[0050]由于本发明的实施方式能够感测在显示装置的表面处的剪切力，所以可以实现许多新的特性和应用。例如，在显示装置的触摸屏上的任何位置能够经由在显示装置上引起剪切力的使用者静态移动而控制显示器上的指点杆(track point)虚拟指针，类似于鼠标控制计算机上的指针。类似地，作为另一示例，剪切力的可检测能力能够用于实现虚拟操纵杆。
[0051]在一些实施方式中，这些应用可以例如被应用于具有有限屏幕面积的小型显示装置(例如，智能手表)的环境中。此外，因为使用者的静态移动倾向于被更精细地控制，所以指针的控制可以更精确。然而，本发明的实施方式不限于单点手势，因为多点静态手势也可以被检测，这将在下面被更详细地描述。
[0052]图1A示出根据本发明的实施方式的显示器的像素阵列的俯视图。
[0053]参照图1A，显示装置包括像素阵列100。像素阵列100包括多个像素102。每个像素102包括多个子像素101。每个像素102包括三个子像素101，并且子像素101可以每个对应于不同的颜色(例如，红色、绿色和蓝色)。然而，本发明的实施方式不限于包括三个子像素的像素，因为任何适合数目的子像素可以被包括在每个像素中，例如每一像素有四个子像素。
[0054]此外，在被一子像素正常地占据的空间中，红外(IR)发射器104设置在邻近于所述子像素101的区域。类似地，在被另一个子像素101正常地占据的空间中，IR探测器106设置在邻近于所述另一个子像素101的区域处。IR发射器104可以邻近并占据被分配给红色子像素的空间，IR探测器106可以邻近于并占据被分配给绿色子像素的空间，或反之亦然。然而，本发明的实施方式不限于子像素、IR发射器和IR探测器的这种布置，因为可以采用任何适合的布置。例如，IR探测器和IR发射器可以位于像素之间的黑矩阵处。
[0055]图1B示出根据本发明的实施方式的图1A所示的像素阵列的像素的透视图。
[0056]参照图1B，可变形层108在像素102之上。可变形层108可以定位在基本上整个像素阵列100之上。可变形层108可以对于可见光是透明的。另外，分色镜(或热镜)110在与IR发射器104相应的区域在像素102之上的可变形层108上。分色镜110可以对于可见光是透明的但是对于IR光是反射的。
[0057]因而，根据本发明的实施方式，马赛克像素阵列(mosaic pixel array)被实现为包括IR发射器和IR探测器二者。在可变形层上方，顶表面通过发射器之上的薄膜分色镜而被图案化，分色镜被调制为重定向(例如，反射)IR光同时允许具有其它波长的光(例如，可见光)通过。因此，如以下进一步论述的，在剪切力施加到显示器期间，分色镜的位置将移动，探测器能够测量该移动并推断出剪切。
[0058]根据本发明的其它实施方式，IR光可以被朝向显示装置的设置有分色镜的表面(例如，通过背光照明)泛光照明(flood illuminate)。这些实施方式可以结合例如IXD使用。
[0059]尽管图1A和图1B示出包括一比一比例的IR发射器和IR探测器的显示装置，但是本发明的实施方式不限于该比例，可以按照期望采用任何适合的比例。例如，显示装置可以包括比IR发射器多的IR探测器。
[0060]图2示出根据本发明的另一实施方式的显示器的像素阵列的俯视图。
[0061]参照图2，显示装置包括像素阵列200。像素阵列200包括多个像素202。每个像素202包括多个子像素201。每个像素202包括三个子像素201，并且子像素201可以每个对应于不同的颜色(例如，红色、绿色和蓝色)。
[0062]此外，在某些像素处，例如在多个第一像素处，并且在被两个子像素201正常地占据的空间中，IR发射器204设置在邻近于该两个子像素201的区域处。根据本实施方式，IR发射器204具有矩形形状并具有相对于子像素201的垂直取向的水平取向。类似于IR发射器204的布置和形状，IR探测器206设置在像素阵列200中的一些像素处，例如在多个第二像素处。
[0063]根据本实施方式，IR发射器204和IR探测器206在整个像素阵列以规则间隔被图案化，IR探测器206比IR发射器204的多(例如，第二像素比第一像素多)。在一个实施方式中，第一和第二像素同样多，并在整个显示器中规则地交替，形成重复的图案。如图2所示，IR发射器204出现在像素阵列200的每三行处并且在这些行内在每三个像素202处。因而，其余的像素202包括IR探测器206。然而，本发明的实施方式不限于示出的布置，因为IR发射器和IR探测器的任何适合的布置可以如所期望地使用。例如，IR发射器204可以位于像素阵列200的每行并且还可以位于每行中的每三个像素202处。此外，代替位于像素处，IR探测器和IR发射器可以位于像素之间的黑矩阵处。
[0064]图3A示出根据本发明的实施方式的显示装置的处于未被触摸状态的表面的截面图。
[0065]参照图3A，显示装置300的表面包括多个IR探测器306、IR发射器304、在IR探测器306和IR发射器304上的可变形层308、以及在可变形层308上的热镜(hot mirror) 310。如所示的，可变形层具有在像素上、在IR发射器304上以及在IR探测器306上的第一表面(如图3A和3B所示的可变形层308的下表面)以及基本上平行于第一表面的第二表面(如图3A和3B所示的可变形层308的上表面)。显示装置在图3A和3B中被示为基本上平坦的，但是它可以是弯曲的或柔性的。在这样的实施方式中，尽管不是平坦的，但是可变形层可以具有第一表面和基本上平行于第一表面的第二表面，就在显示装置300上的任一点的意义而言，第二表面可以局部地基本上平行于第一表面。
[0066]如所示的，IR发射器304产生穿过可变形层308朝向热镜310行进的IR光。所产生的IR光被热镜310朝向IR探测器306重定向(例如，反射)。图3A示出其中显示装置300处于没被触摸的缺省状态的状态，因而，热镜310也在没被触摸的缺省位置(例如，当没有剪切力被施加到显示装置300时)。因此，当显示装置300处于未被触摸的状态时，被热镜310反射的IR光被反射到某些IR探测器306上。
[0067]图3B示出根据本发明的实施方式的图3A所示的显示装置的表面经受剪切力的截面图。
[0068]参照图3B，使用者的手指312在显示装置300上施加剪切力。由于所施加的剪切力，热镜310在与剪切力相同的方向上横向地移动或位移。因此，由于热镜310的改变的位置，在IR探测器处的IR辐照度可以改变。被热镜310反射的IR光被导向与热镜310处于缺省状态时接收IR光的那些(例如，在图3A中接收IR光的IR探测器，诸如探测器306A，其在热镜位移时经历IR辐照度的降低)不同的IR探测器306 (其经历IR辐照度的增加，例如探测器306B)。因而，从IR探测器306检测的初始缺省反射的IR反射的移动能够指示发生在显示装置300的表面处的剪切力的方向。
[0069]尽管图3A和图3B示出一个热镜，但是根据本发明的实施方式，规则地间隔的热镜的阵列可以在显示装置的整个表面被图案化。热镜也可以比使用者的手指小得多。因而，根据本发明的一些实施方式，可以感测由使用者的手指引起的宽带反射，邻近于使用者手指的热镜能够用于确定使用者手指和显示装置之间的触摸点周围的热镜密度。
[ 0070]图4示出根据本发明的另一实施方式的显示装置的表面经受剪切力的截面图。
[0071]参照图4，显示装置400的表面包括多个IR探测器406、多个IR发射器404、在IR探测器406上和在IR发射器404上的可变形层408、以及在可变形层408处的多个热镜410。
[0072]当显示装置400处于未被触摸的缺省状态时，热镜410可以跨显示装置400的表面规则地间隔。然而，如图4所示，使用者的手指412对显示装置400的表面施加向前的剪切力，引起在剪切力的方向上在触摸点(即，使用者的手指412和显示装置400的表面彼此接触的点)前面的前部区域处热镜410的增大的密度，并引起在与剪切力相反的方向上在触摸点后面的后部区域处热镜410的减小的密度。
[0073]因此，IR探测器406能够通过感测由IR发射器404产生的IR光的改变的反射而检测一些热镜410的位置的该移动。具体地，在剪切力的方向上在触摸点前面的IR探测器406将通过感测在前面区域处增大的IR反射而感测热镜密度的增大，在与剪切力相反的方向上在触摸点后面的IR探测器406将通过感测在后部区域处减小的IR反射而感测热镜密度的减小。
[0074]根据本发明的实施方式，使用者的手指产生强的宽带反射，因此为了更准确的剪切力感测，由手指引起的反射能够被显示装置用来定位触摸的位置。
[0075]根据本发明的实施方式，热镜的图案可以被沉积在可变形层的顶表面处，热镜可以表现出对可见光的最小干扰同时能够反射IR光的特性，导致可容易通过IR探测器成像的IR光反射图案。根据本发明的一些实施方式，保护涂层可以被施加在热镜的图案上。根据本发明的其它实施方式，热镜可以被嵌入在可变形层内。热镜和IR发射器之间的垂直距离可以是使得IR发射器能够充分地照射热镜的任何适当距离。
[0076]图5A示出根据本发明的实施方式的显示装置的利用抑止位置(frustrat1nsite)的表面的截面图。
[0077]根据本发明的另一实施方式，可变形层可以利用抑止位置被图案化，可变形层可以用作波导。可变形层上的剪切力可以使抑止位置移动，探测器能够在使反射图案成像时检测该变化(作为移动的抑止位置的位移，或作为抑止位置的密度的变化)。
[0078]参照图5A，显示装置500的表面包括多个IR探测器506、在IR探测器506上的可变形层508、在可变形层508处的多个抑止位置510、以及在可变形层的一端的IR发射器514。根据本发明的实施方式，IR发射器514沿可变形层508的长度并且基本上在可变形层508的面内(例如，基本上平行于可变形层的第一表面内)脉冲IR光，使得IR光在可变形层508内通过全反射或基本上全内反射被引导，IR光的一部分从每个抑止位置510朝向IR探测器506(图5B)散射。在本实施方式中，抑止位置510是可变形层508中的空腔或凹点。当显示装置500处于未被触摸的缺省状态时，抑止位置510可以跨显示装置500的表面规则地间隔(或它们可以被随机地图案化)。IR发射器514可以是任何适合的光发射器，例如发射IR的发光二极管(LED)。
[0079]由于每个抑止位置在所有的方向上散射IR光，如图5A所示，所以它们还能用作检测浮动(hover)手势的照明源。此外，除了抑止位置之外，使用者与显示装置的表面的交互作用也将抑止可变形层的全内反射，这种特性能够被用于触摸检测。
[0080]图5B示出根据本发明的实施方式的图5A所示的显示装置的利用抑止位置的表面经受剪切力的截面图。
[0081 ] 参照图5B，使用者的手指512对显示装置500的表面施加向前的剪切力，引起在剪切力的方向上在触摸点(即，使用者的手指512和显示装置500的表面彼此接触的点)前面的前部区域处抑止位置510之间的间距被压缩的区域，并引起在与剪切力相反的方向上在触摸点后面的后部区域处抑止位置510之间的间距被拉伸的区域。
[0082]因此，IR探测器506能够通过感测由抑止位置510引起的IR光的反射(例如，散射)的变化而检测抑止位置510之间的间距的该压缩和拉伸。例如，在剪切力的方向上在触摸点前面的IR探测器510将通过感测在前面区域处的增多的IR反射而感测IR的增加，在与剪切力相反的方向上在触摸点后面的IR探测器510将通过感测在后部区域处的减少的IR反射而检测IR的降低。
[0083]图6示出根据本发明的另一实施方式的显示装置的利用纳米颗粒散射位置的表面的截面图。
[0084]参照图6，显示装置600的表面包括多个IR探测器606、在IR探测器606上的可变形层608、在可变形层608处的多个抑止位置610、以及在可变形层的一端的IR发射器614。根据本发明的实施方式，IR发射器614沿可变形层608的长度发射IR光，可变形层608用作波导使得IR光通过每个抑止位置610重定向(例如，从每个抑止位置610散射)。在本实施方式中，抑止位置610是嵌入在可变形层608中的纳米颗粒的团簇。当显示装置600处于未被触摸的缺省状态时，抑止位置610可以跨显示装置600的表面规则地间隔。在一个实施方式中，所述团簇随机地分布在波导中。
[0085]类似于图5A所示的抑止位置，纳米颗粒的每个团簇散射IR光，引起IR光离开可变形层波导608并被IR探测器606检测。纳米颗粒团簇可以对于来自显示器的可见光是透明的，从而可以减小与所显示的图像的干涉。纳米颗粒可以是具有硅石芯的银纳米颗粒。纳米颗粒可以被调制为散射具有特定波长的光(例如，具有对应于IR的波长的光)同时允许具有其它波长的光通过。具有一种材料的芯与第二材料的涂层的纳米颗粒(诸如具有硅石芯的银纳米颗粒)可以通过调节其外径、其芯的半径以及其中支撑纳米颗粒的介质的折射率来调制波长。
[0086]图7A示出根据本发明的实施方式的用于检测显示装置处的剪切力的过程。
[0087]根据本发明的一些实施方式，涉及在显示装置的表面处的示踪物(tracer)(例如，热镜或抑止位置)的矢量位移的分析可以被用于确定剪切力的方向和大小。示踪物可以跨显示装置的表面以规则的间隔图案化，或它们可以跨显示装置的表面被随机地图案化(例如，利用沉积工艺)。
[0088]参照图7A，根据本实施方式，用于检测显示装置处的剪切力的过程700通过激活或选通IR发射器或发光器(illuminator)而在702开始。在704，嵌入在显示装置中的光学感测阵列输出所捕获的显示装置的表面的光学图像(例如，在显示装置的表面处捕获的IR光的图像)。
[0089]在706，显示装置应用图像信号处理来识别是否存在触摸交互作用。如果在708不存在触摸交互作用，则过程700返回到步骤702。如果存在触摸交互作用，则在710，显示装置起动对于每个触摸位置的标准X-Y坐标感测以确定触摸事件的位置(例如，坐标)。在712，该装置测量在触摸点处的任何剪切力的大小和方向。
[0090]该测量如下进行。在714，显示装置计算在显示装置的表面处的示踪物的参考位置与它们的变形位置之间的对准度或偏差。在716，显示装置计算在触摸位置周围的区域处对应于步骤714的矢量位移图(vector displacement map)。在718，显示装置对矢量方向平均以确定剪切方向，在720，显示装置组合(pool)触摸位置下面的矢量大小以确定剪切力的大小，并且过程700重复。具体地，在矢量位移图中矢量的平均大小可以乘以一比例常数(其可以与可变形层的剪切模量成正比并与其厚度成反比)以计算剪切力。
[0091]根据本实施方式的在显示装置处的剪切力的分析，单个示踪物移动被映射并且剪切力与示踪物移动的大部分矢量的轴对准。显示装置可以保持起始位置和位移后位置的严格对准(registrat1n)。当示踪物移动小于示踪物间距时，可以采用本实施方式。
[0092]图7B示出实现图7A所示的过程的显示装置的俯视图。
[0093]参照图7B，显示装置750的表面包括多个参考位置示踪物752。在剪切力被施加到显示装置750的表面之后，参考位置示踪物752移动到触摸点周围的新位置754。因而，显示装置750能够分析示踪物的移动以确定剪切力方向和大小。例如，显示装置750可以利用图7A所示的矢量分析法以确定剪切力的方向和大小。
[0094]图8A示出根据本发明的另一实施方式的用于检测在显示装置处的剪切力的过程。
[0095]根据本发明的一些实施方式，涉及在显示装置的表面处的示踪物的密度的分析可以被用于确定剪切力方向和大小。
[0096]参照图8A，根据本实施方式，用于检测显示装置处的剪切力的过程800通过激活或选通IR发射器或发光器而在802开始。在804，嵌入在显示装置中的光学感测阵列输出捕获的显示装置的表面的光学图像(例如，捕获在显示装置的表面处的IR光的图像)。
[0097]在806，显示装置应用图像信号处理来识别是否存在触摸交互作用。如果在808不存在触摸交互作用，则过程800返回到步骤802。如果存在触摸交互作用，则在810，显示装置起动对于每个触摸位置的标准x_y坐标感测以确定触摸事件的位置。在812，该装置测量在触摸点处的任 何剪切力的大小和方向。
[0098]该测量如下进行。在814，显示装置将触摸点周围的区域划分成极坐标区域并估算每个区域的示踪物密度。在816，显示装置确定最大密度梯度。在818，显示装置识别峰值梯度方向以确定剪切方向，并在820，显示装置利用材料模量确定梯度以确定剪切力的大小，并且过程800重复。具体地，最大梯度的大小可以乘以一比例常数(其可以与可变形层的剪切模量成正比并与其厚度成反比)以计算剪切力。
[0099]图8B示出实现图8A所示的过程的显示装置的俯视图。图8C示出图8B所示的显示装置的示踪物的密度图。
[0100]参照图8B，显示装置包括多个示踪物852、触摸点854以及以触摸点854为中心的极坐标图形856。当受到朝向显示装置的右上角的剪切力时，示踪物跟随剪切力的方向，示踪物的密度因此在极坐标图形856的右上象限增大，而示踪物的密度在极坐标图形856的左下象限减小。
[0101 ] 参照图8C，来自图8B的极坐标图形856用阴影示出以表示在极坐标图形856的各部分处的示踪物密度。较暗的阴影表示较高的示踪物密度，而较浅的部分表示较低的示踪物密度。如所示的，较暗的阴影在极坐标图形的右上象限，而左下象限包含较浅的阴影，从而表示剪切力发生在从极坐标图形的左下象限到右上象限的方向上。极坐标图形856的中心是触摸点。
[0102]因而，显示器的表面的IR成像将输出如图8C所示的类似图形。因为更多的示踪物从左下象限移到右上象限，所以更多的IR光在右上象限处反射，更少的IR光在左下象限处被反射。因而，显示装置可以例如根据图8A所示的分析来分析该信息以确定剪切力的方向和大小。
[0103]图7A或图8A所示的分析过程的实施的选择可以取决于各种因素。例如，一种或另一种的使用可以取决于有多少示踪物在显示装置的表面处。具体地，如果存在较少的示踪物并且示踪物之间的间隔是稀疏的，则可以使用图7A所示的矢量位移分析使得对应的示踪物位移能够从原来的示踪物位置被准确地追踪。另一方面，当显示装置处的示踪物的数目很多时，会更难辨别哪个移动的示踪物对应于哪个原示踪物位置，因此可以实施图8A所示的密度分析。
[0104]根据本发明的实施方式，包括剪切力的多触摸手势也能够被检测。当多触摸事件被检测时，关于每个触摸点单独地进行分析。因为剪切的分析被局部地进行，所以剪切力能够具体地结合到它们相应的触摸点。因此，本发明的实施方式能够用于任何期望数目的触摸点。
[0105]而且，本发明的实施方式能够检测硬滑动，硬滑动能够通过跨显示装置的表面的光碰撞(light swipe)来区分。硬滑动可以在使用者用来自使用者手指的压力在显示器上按压并且使用者在保持该压力的同时滑动手指越过显示器时出现(也就是，硬滑动是在剪切力同时被施加期间在显示器上的移动力)。在此情形下，使用者通过手指的移动并通过在移动手指的同时在显示器上施加剪切力而与显示器交互作用。因而，本发明的实施方式能够将硬滑动感测为平移越过显示器的光学剪切特征。根据本发明的一些实施方式，硬滑动的检测可以被用于允许例如不同的卷动功能或关于显示装置的各种其它使用者体验。
[0106]此外，本发明的实施方式可以向显示装置提供增加的安全性。因为由使用者实施的静态剪切力手势难以被观察者辨别，所以本发明的实施方式可以提供通过利用静态手势来解锁显示装置的能力。例如，根据本发明的实施方式，为了输入静态剪切手势的组合来解锁装置，使用者的手指不需要对于使用者而言可见地移动。
[0107]尽管已经结合某些示范性实施方式描述了本发明，但是将理解，本发明不限于所公开的实施方式，而是相反的，旨在涵盖包括在权利要求书及其等同物的精神和范围内的各种变形和等同布置。
[0108]本申请要求于2014年2月27日提交的发明名称为“显示器光学剪切检测系统(DISPLAY OPTICAL SHEAR DETECT1N SYSTEM) ” 的美国临时申请 N0.61/945，743 的优先权和权益，其全部内容通过引用整体结合于此。
【主权项】
1.一种显示装置，包括: 像素阵列，包括多个像素； 可变形层，具有在所述像素上并平行于所述像素阵列的第一表面以及基本上平行于所述第一表面的第二表面； 一个或多个红外发射器，用于发射红外光到所述可变形层中； 多个红外探测器，用于检测红外光；以及 在所述可变形层处的多个示踪物，用于使由所述一个或多个红外发射器发射的红外光朝向所述红外探测器重定向，并用于响应于在所述第二表面的触摸点处施加的具有一大小和一方向的剪切力而在所述剪切力的方向上移动，使得红外光在所述多个红外探测器中的红外探测器处的辐照度改变。2.如权利要求1所述的显示装置，其中所述一个或多个红外发射器包括在所述第一表面处且用于朝向所述第二表面发射红外光的多个红外发射器。3.如权利要求2所述的显示装置，其中每个所述像素包括所述红外发射器中的其中一个和所述红外探测器中的其中一个。4.如权利要求2所述的显示装置，其中所述多个像素包括: 多个第一像素，每个包括所述红外发射器中的其中一个；和 多个第二像素，每个包括所述红外探测器中的其中一个。5.如权利要求4所述的显示装置，其中所述第二像素比所述第一像素多。6.如权利要求5所述的显示装置，其中所述第一像素和所述第二像素在整个所述像素阵列规则地交替。7.如权利要求1所述的显示装置，其中所述显示装置追踪移动后的示踪物的位移以确定所述剪切力的大小和所述剪切力的方向。8.如权利要求1所述的显示装置，其中所述显示装置确定在所述触摸点周围的所述示踪物的密度以确定所述剪切力的大小和所述剪切力的方向。9.如权利要求2所述的显示装置，其中所述示踪物包括反射红外光并允许可见光通过的分色镜。10.如权利要求9所述的显示装置，其中所述示踪物跨所述显示装置的所述表面以规则的间隔被图案化。11.如权利要求1所述的显示装置，其中: 所述一个或多个红外发射器包括在所述可变形层的边缘处的红外发射器，该用于基本上平行于所述第一表面发射红外光到所述可变形层中，以及 所述多个示踪物包括在所述第二表面的多个抑止位置，以朝向所述红外探测器散射红外光。12.如权利要求11所述的显示装置，其中所述抑止位置跨所述显示装置的所述表面以规则的间隔被图案化。13.如权利要求12所述的显示装置，其中所述抑止位置包括在所述可变形层处的空腔。14.如权利要求12所述的显示装置，其中所述抑止位置包括纳米颗粒的团簇以允许可见光通过并散射从所述红外发射器发射的红外光。15.如权利要求14所述的显示装置，其中所述纳米颗粒包括具有硅石芯的银纳米颗粒。16.如权利要求11所述的显示装置，其中所述显示装置追踪移动后的抑止位置的位移以确定所述剪切力的大小和所述剪切力的方向。17.如权利要求11所述的显示装置，其中所述显示装置确定在所述触摸点周围的所述抑止位置的密度以确定所述剪切力的大小和所述剪切力的方向。18.一种用于检测显示装置上的表面剪切力的方法，该剪切力具有一大小和一方向，该显示装置包括多个示踪物和多个红外探测器，该方法包括: 激活一个或多个红外发射器； 从所述多个红外探测器接收红外图像，该图像包括对于所述多个红外探测器的每个红外探测器所检测的红外辐照度； 利用所述红外图像的信号处理，确定在所述显示装置上是否存在触摸；在触摸存在时: 检测所述触摸的坐标；以及 检测在所述触摸处的剪切力的大小和方向。19.如权利要求18所述的方法，其中所述检测在所述触摸处的剪切力的大小和方向包括: 从所述示踪物的一组参考位置和所述示踪物的一组相应的变形位置之间的差异计算矢量位移图，该矢量位移图包括多个矢量， 计算作为所述矢量的平均方向的所述剪切力的方向，以及 计算作为所述矢量的大小的平均值乘以比例常数的所述剪切力的大小。20.如权利要求18所述的方法，其中所述检测在所述触摸处的剪切力的大小和方向包括: 将所述触摸的坐标周围的区域划分成极坐标区域； 估算每个区域中的示踪物密度； 从估算的示踪物密度确定具有一大小和一方向的最大密度梯度； 计算作为所述最大密度梯度的方向的所述剪切力的方向；以及 计算作为所述最大密度梯度的大小乘以比例常数的所述剪切力的大小。
【专利摘要】本发明提供了一种显示装置以及用于检测显示装置上的表面剪切力的方法。该显示装置包括：像素阵列，包括多个像素；多个红外(IR)发射器，用于朝向显示装置的表面发射IR光；用于检测IR光的多个IR探测器；可变形层，在像素上、在IR发射器上、在IR探测器上并在显示装置的表面处；以及在可变形层处的多个示踪物，用于朝向IR探测器反射由IR发射器发射的IR光，并且用于在剪切力被施加在显示装置的表面处的触摸点时使示踪物中在触摸点周围的一些在剪切力的方向上移动，使得在显示装置的表面处的IR反射改变。
【IPC分类】G06F3/041
【公开号】CN104881166
【申请号】CN201510090015
【发明人】戴维.M.霍夫曼
【申请人】三星显示有限公司
【公开日】2015年9月2日
【申请日】2015年2月27日
【公告号】EP2913743A1, US20150242056