控制视标运动的方法和装置的制造方法
控制视标运动的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及电子设备领域，特别涉及一种控制视标运动的方法和装置。
【背景技术】
[0002] 随着视线追踪技术日趋完善，视线追踪交互技术作为一种新型交互模式越来越多 地被各类电子产品所采用。如图1所示的视线追踪系统的结构示意图，眼动数据采集设备 "眼动仪"将用户在交互界面上的视线坐标输入交互系统，该交互系统根据视线坐标在交互 界面上呈现一个视标，用来指示用户视线落在交互界面上位置，并根据眼动仪输入交互系 统的视线坐标的数据控制视标运动。
[0003] 研究发现，由于人类眼球生理结构导致的在注视过程中会存在漂移、震颤以及不 经意眼跳的现象，并且眼动仪存在固有的精度偏差，这些都会导致采集到的视线坐标存在 大量噪音，直接利用原始的视线坐标控制交互界面上视标的运动，会导致视标在交互界面 中不断抖动，从而影响用户的交互体验。
【发明内容】
[0004] 本发明实施例所要解决的一个技术问题是：如何使交互界面上的视标更加自然和 谐地运动。
[0005] 根据本发明实施例的一个方面，提供的一种控制视标运动的方法，包括：获取用户 在交互界面中不同时刻对应的视线坐标；将各时刻对应的视线坐标存入缓冲区；对缓冲区 内的视线坐标进行均值化处理；根据均值化处理后的视线坐标控制交互界面上视标的运 动。
[0006] 在一个实施例中，在将各时刻对应的视线坐标存入缓冲区之前，该方法还包括：根 据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存 入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0007] 在一个实施例中，根据预设过滤条件对获取的视线坐标进行降噪处理包括：计算 当前缓冲区中各视线坐标的标准差；计算新获取的视线坐标与当前缓冲区中各视线坐标的 平均值之间的距离；对该距离与该标准差的相关信息进行比较；根据比较结果对视线坐标 进行过滤。
[0008] 在一个实施例中，计算当前缓冲区中各视线坐标的标准差包括：对当前缓冲区中 视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的 标准差。
[0009] 在一个实施例中，对缓冲区内的视线坐标进行均值化处理包括：将缓冲区内的视 线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前 时间越近的视线坐标的权重值越大。
[0010] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0011] 根据本发明实施例的再一个方面，提供的一种控制视标运动的装置，包括：视线坐 标获取单元，用于获取用户在交互界面中不同时刻对应的视线坐标；缓存单元，用于将各时 刻对应的视线坐标存入缓冲区；均值化处理单元，用于对缓冲区内的视线坐标进行均值化 处理；视标控制单元，用于根据均值化处理后的视线坐标控制交互界面上视标的运动。
[0012] 在一个实施例中，该装置还包括：降噪单元，用于在将各时刻对应的视线坐标存入 缓冲区之前，根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的 正常视线坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0013] 在一个实施例中，降噪单元包括：标准差计算子单元，用于计算当前缓冲区中各视 线坐标的标准差；距离计算子单元，用于计算新获取的视线坐标与当前缓冲区中各视线坐 标的平均值之间的距离；比较子单元，用于对该距离与该标准差的相关信息进行比较；过 滤子单元，用于根据比较结果对视线坐标进行过滤。
[0014] 在一个实施例中，标准差计算子单元，具体用于：对当前缓冲区中视线横坐标的标 准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的标准差。
[0015] 在一个实施例中，均值化处理单元，具体用于：将缓冲区内的视线坐标的横坐标和 纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前时间越近的视线坐 标的权重值越大。
[0016] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0017] 本发明实施例至少具有以下优点：
[0018] 一方面，设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理，然后根据 均值化处理后的视线坐标控制交互界面上视标的运动，相对于直接利用原始的视线坐标控 制交互界面上视标的运动，可以有效降低人眼注视过程中震颤、漂移及系统噪音的影响，使 交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
[0019] 再一方面，对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极端 数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的真 实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，可以有效降低人眼 注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高 人机交互的自然性和和谐性。
[0020] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其 优点将会变得清楚。
【附图说明】
[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0022] 图1示出现有技术中视线追踪系统的结构示意图。
[0023] 图2为本发明控制视标运动的方法一个实施例的流程示意图。
[0024] 图3为本发明控制视标运动的方法再一个实施例的流程示意图。
[0025] 图4为本发明控制视标运动的方法一个具体应用的流程示意图。
[0026] 图5为本发明经过降噪和均值化处理的视标运动轨迹与现有技术的视标运动轨 迹的对比示意图。
[0027] 图6为本发明控制视标运动的装置一个实施例的结构示意图。
[0028] 图7为本发明控制视标运动的装置再一个实施例的结构示意图。
【具体实施方式】
[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下 对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使 用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
[0030] 除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表 达式和数值不限制本发明的范围。
[0031] 同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际 的比例关系绘制的。
[0032] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适 当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0033] 在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不 是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0034] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一 个附图中被定义，则在随后的附图中不需要对其进行进一步 讨论。
[0035] 在视线追踪交互技术中，由于人眼震颤、漂移、或不经意眼跳及系统噪音，造成采 集到的原始视线坐标存在大量噪音，而直接利用原始的视线坐标控制交互界面上视标的运 动，会导致视标在交互界面中不断抖动，影响用户的交互体验。为了解决这一问题，本发明 提出一种控制视标运动的方法，该方法对原始视线坐标进行降噪、均值化等处理，然后利用 处理后的视线坐标控制交互界面上视标的运动，从而有效降低人眼注视过程中震颤、漂移 及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和 和谐性。
[0036] 图2为本发明控制视标运动的方法一个实施例的流程示意图。
[0037] 如图2所示，本实施例的方法包括以下步骤：
[0038] 步骤S201，获取用户在交互界面中不同时刻对应的视线坐标。
[0039] 其中，眼动仪可以采集视线坐标等眼动数据，然后将采集到的视线坐标等数据输 入控制视标运动的装置(简称"控制装置")，控制装置即可获得用户在交互界面中的视线坐 标。控制装置也可以集成眼动仪的功能，即由控制装置自身采集并获得视线坐标等眼动数 据。
[0040] 一种示例性的视线坐标获取方法，可以利用眼动跟踪技术，通过边缘检测方法在 人脸图像中识别眼部区域，并在眼部区域中定位出眼球区域，然后根据各帧图像中定位出 的眼球区域建立眼部运动轨迹，可以将眼部初始位置与交互界面中的预设位置相对应，然 后根据眼部运动轨迹就可以确定出用户在交互界面中不同时刻对应的视线坐标。本领域技 术人员可以理解，还可以采用其他方法来获取视线坐标，对于获取视线坐标的具体方法本 发明不做限定。
[0041] 步骤S203,将各时刻对应的视线坐标存入缓冲区。缓冲区的容量通常有一定的限 制，在本发明中，使用缓冲区所能存储的视线坐标的个数N来代表缓冲区的容量。
[0042]例如，一个N为 5 的缓冲区，原本存储有p(n-5)、p(n-4)、p(n-3)、p(n-2)、p (n-1)共5个视线坐标，p(n)是当前欲存入缓冲区的视线坐标，p(n-1)表示p(n)前一 时刻存入的视线坐标。将P(n)存入缓冲区后，处于缓冲区末尾的p(n-5)将被舍弃，缓冲 区仍然存储5个视线坐标，并且是距离当前时刻最新的5个视线坐标。
[0043] 步骤S205,对缓冲区内的视线坐标进行均值化处理。
[0044] 其中，对缓冲区内的视线坐标进行均值化处理的一个示例性的方法包括：将缓冲 区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其 中，离当前时间越近的视线坐标的权重值越大，以使处理结果能够更准确地放映用户当前 视线所注视位置的情况。在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分 布来设置，高斯分布的参数可以根据实际情况进行调整。
[0045] 前述的均值化处理方法可以用如下公式表示：
[0047] 其中，M(n)为均值化处理后得到的视线坐标，p(n-i)为缓冲区中第i个视线坐标， iG[0,N-1]，N为缓冲区中视线坐标的个数，Wi为第i个视线坐标的权重值。
[0048] 需要说明的是，由于视线坐标是二维信号，因此均值化处理过程都是将视线坐标 中横坐标x和纵坐标y分别进行加权平均处理。公式表示如下：
[0050]其中，Mx(n)为均值化处理后得到的视线坐标的横坐标，px(n_i)为缓冲区中第 i个视线坐标的横坐标，也可以记为Xi;My(n)为均值化处理后得到的视线坐标的纵坐标， Py(n-i)为缓冲区中第i个视线坐标的纵坐标，也可以记为yi。
[0051] 步骤S207,根据均值化处理后的视线坐标控制交互界面上视标的运动，即将交互 界面上视标移动到均值化处理后的视线坐标所在的位置。
[0052] 上述实施例，通过设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理， 然后根据均值化处理后的视线坐标控制交互界面上视标的运动，相对于直接利用原始的视 线坐标控制交互界面上视标的运动，可以有效降低人眼注视过程中震颤、漂移及系统噪音 的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
[0053] 图3为本发明控制视标运动的方法再一个实施例的流程示意图。
[0054] 如图3所示，本实施例的方法包括：在步骤S201之后，执行步骤S302,然后再执行 步骤S203、步骤S205和步骤S207。
[0055] 步骤S302,根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤 条件的正常视线坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0056] 针对视线坐标这种二维信号，本发明实施例提出一种降噪处理方法包括：
[0057] 步骤A，计算当前缓冲区中各视线坐标的标准差，计算方法例如可以包括：对当前 缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视 线坐标的标准差。公式表示如下：
[0059] 其中，SD表示视线坐标的标准差，N表示缓冲区中视线坐标的个数，Xi表示缓冲区 中视线坐标P(n-i)的横坐标（x轴数据)，71表示缓冲区中视线坐标P(n-i)的纵坐标（y轴 数据)，Ux为缓冲区中所有视线坐标的横坐标的平均值，Uy为缓冲区中所有视线坐标的纵 坐标的平均值。
[0060] 步骤B，计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之间的距离， 简称"距离"，公式表示如下：
[0062] 其中，X和Y分别为新获取的视线坐标的横坐标和纵坐标，D表示距离。
[0063] 步骤C，对该距离与该标准差的相关信息进行比较，其中，根据降噪精度的需要，可 以规定对该距离与该标准差的若干倍进行比较，例如，对该距离与该标准差的3倍进行比 较，但不限于所举倍数，还可以是2倍、5倍等。
[0064] 步骤D，根据比较结果对视线坐标进行过滤，丢弃距离不小于该标准差的相关信息 的视线坐标，将距离小于该标准差的相关信息的视线坐标存入缓冲区。
[0065] 上述实施例，对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极 端数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的 真实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，可以有效降低人 眼注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提 高人机交互的自然性和和谐性。
[0066] 图4为本发明控制视标运动的方法一个具体应用的流程示意图。如图4所示，获 取一个视线坐标P，将"视线坐标P与当前缓冲区中各视线坐标的平均值之间的距离"与"当 前缓冲区中各视线坐标的标准差的3倍"进行比较，如果比较结果为不小于，则视线坐标p 为异常值(极端数据)，视线坐标P并非用户的真实注视意图，很可能是人眼震颤、漂移、或不 经意眼跳造成的，需要丢弃，如果比较结果为小于，将视线坐标P存入缓冲区。假设缓冲区 有6个视线坐标，将这6个视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理 后的视线坐标(设为M)，根据均值化处理后的视线坐标M控制交互界面上视标的运动，将交 互界面上视标移动到均值化处理后的视线坐标M所在的位置。
[0067] 图5为本发明经过降噪和均值化处理的视标运动轨迹(粗线所示)与现有技术的视 标运动轨迹(细线所示）的对比示意图。由图5可以看出，本发明的交互界面上的视标更加 自然和谐地运动，而现有技术的交互界面上的视标有很多 的抖动和突变。
[0068] 本发明实施例还提供一种控制视标运动的装置，简称"控制装置"，该控制装置可 以置于手机等移动终端中，实现基于视线追踪交互技术的视标运动的控制。
[0069] 图6为本发明控制视标运动的装置一个实施例的结构示意图。如图6所示，本实 施例的控制装置包括：
[0070] 视线坐标获取单元601，用于获取用户在交互界面中不同时刻对应的视线坐标；
[0071] 缓存单元602,用于将各时刻对应的视线坐标存入缓冲区；
[0072] 均值化处理单元603,用于对缓冲区内的视线坐标进行均值化处理；以及，
[0073] 视标控制单元604,用于根据均值化处理后的视线坐标控制交互界面上视标的运 动。
[0074] 在一个实施例中，均值化处理单元603,具体用于：将缓冲区内的视线坐标的横坐 标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前时间越近的视 线坐标的权重值越大。
[0075] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0076] 图7为本发明控制视标运动的装置再一个实施例的结构示意图。如图7所示，本 实施例的控制装置还包括：
[0077] 降噪单元705,用于在将各时刻对应的视线坐标存入缓冲区之前，根据预设过滤条 件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存入缓冲区，并 丢弃不符合预设过滤条件的异常视线坐标。
[0078] 在一个实施例中，降噪单元705包括：标准差计算子单元7051，用于计算当前缓冲 区中各视线坐标的标准差；距离计算子单元7052,用于计算新获取的视线坐标与当前缓冲 区中各视线坐标的平均值之间的距离；比较子单元7053,用于对该距离与该标准差的相关 信息进行比较，根据降噪精度的需要，可以规定对该距离与该标准差的若干倍进行比较；过 滤子单元7054,用于根据比较结果对视线坐标进行过滤，丢弃距离不小于该标准差的相关 信息的视线坐标，将距离小于该标准差的相关信息的视线坐标存入缓冲区。
[0079] 在一个实施例中，标准差计算子单元7051，具体可以用于：对当前缓冲区中视线 横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的标准 差。
[0080] 需要说明的是，控制视标运动的装置中所涉及的具体计算方法或公式可以参考控 制视标运动的方法中的描述，这里不再赘述。
[0081] 另外，作为另一种控制视标运动的方法，还可以获取用户在交互界面中不同时刻 对应的视线坐标，然后根据预设过滤条件对获取的视线坐标进行降噪处理（降噪的具体方 法可以参考前述)，然后根据符合预设过滤条件的正常视线坐标来控制交互界面上视标的 运动。该方法在一定程度上也能够降低人眼注视过程中震颤、漂移及系统噪音的影响，使交 互界面上的视标比较自然和谐地运动，提高人机交互的自然性和和谐性。
[0082] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件 来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读 存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0083] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种控制视标运动的方法,包括： 获取用户在交互界面中不同时刻对应的视线坐标； 将各时刻对应的视线坐标存入缓冲区； 对缓冲区内的视线坐标进行均值化处理； 根据均值化处理后的视线坐标控制交互界面上视标的运动。2. 根据权利要求1所述的方法，其特征在于，在将各时刻对应的视线坐标存入缓冲区 之前，该方法还包括： 根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线 坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。3. 根据权利要求2所述的方法，其特征在于，所述根据预设过滤条件对获取的视线坐 标进行降噪处理包括： 计算当前缓冲区中各视线坐标的标准差； 计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之间的距离； 对所述距离与所述标准差的相关信息进行比较； 根据比较结果对视线坐标进行过滤。4. 根据权利要求3所述的方法，其特征在于，所述计算当前缓冲区中各视线坐标的标 准差包括： 对当前缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓 冲区中各视线坐标的标准差。5. 根据权利要求1所述的方法，其特征在于，所述对缓冲区内的视线坐标进行均值化 处理包括： 将缓冲区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视 线坐标，其中，离当前时间越近的视线坐标的权重值越大。6. 根据权利要求5所述的方法，其特征在于，不同时刻的视线坐标的权重值按照高斯 分布来设置。7.-种控制视标运动的装置，包括： 视线坐标获取单元，用于获取用户在交互界面中不同时刻对应的视线坐标； 缓存单元，用于将各时刻对应的视线坐标存入缓冲区； 均值化处理单元，用于对缓冲区内的视线坐标进行均值化处理； 视标控制单元，用于根据均值化处理后的视线坐标控制交互界面上视标的运动。8. 根据权利要求7所述的装置，其特征在于，该装置还包括： 降噪单元，用于在将各时刻对应的视线坐标存入缓冲区之前，根据预设过滤条件对获 取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存入缓冲区，并丢弃不 符合预设过滤条件的异常视线坐标。9. 根据权利要求8所述的装置，其特征在于，所述降噪单元包括： 标准差计算子单元，用于计算当前缓冲区中各视线坐标的标准差； 距离计算子单元，用于计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之 间的距离； 比较子单元，用于对所述距离与所述标准差的相关信息进行比较；以及， 过滤子单元，用于根据比较结果对视线坐标进行过滤。10. 根据权利要求9所述的装置，其特征在于，所述标准差计算子单元，具体用于：对当 前缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各 视线坐标的标准差。11. 根据权利要求7所述的装置，其特征在于，所述均值化处理单元，具体用于：将缓冲 区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其 中，离当前时间越近的视线坐标的权重值越大。12. 根据权利要求11所述的装置，其特征在于，不同时刻的视线坐标的权重值按照高 斯分布来设置。
【专利摘要】本发明公开一种控制视标运动的方法和装置，涉及电子设备领域。本发明通过一方面通过设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理，然后根据均值化处理后的视线坐标控制交互界面上视标的运动，另一方面对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极端数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的真实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，从而有效降低人眼注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
【IPC分类】G06F3/01
【公开号】CN104898823
【申请号】CN201410075618
【发明人】刘森, 尹杰, 周蔚文, 何菁钦
【申请人】中国电信股份有限公司
【公开日】2015年9月9日
【申请日】2014年3月4日
【技术领域】
[0001] 本发明涉及电子设备领域，特别涉及一种控制视标运动的方法和装置。
【背景技术】
[0002] 随着视线追踪技术日趋完善，视线追踪交互技术作为一种新型交互模式越来越多 地被各类电子产品所采用。如图1所示的视线追踪系统的结构示意图，眼动数据采集设备 "眼动仪"将用户在交互界面上的视线坐标输入交互系统，该交互系统根据视线坐标在交互 界面上呈现一个视标，用来指示用户视线落在交互界面上位置，并根据眼动仪输入交互系 统的视线坐标的数据控制视标运动。
[0003] 研究发现，由于人类眼球生理结构导致的在注视过程中会存在漂移、震颤以及不 经意眼跳的现象，并且眼动仪存在固有的精度偏差，这些都会导致采集到的视线坐标存在 大量噪音，直接利用原始的视线坐标控制交互界面上视标的运动，会导致视标在交互界面 中不断抖动，从而影响用户的交互体验。
【发明内容】
[0004] 本发明实施例所要解决的一个技术问题是：如何使交互界面上的视标更加自然和 谐地运动。
[0005] 根据本发明实施例的一个方面，提供的一种控制视标运动的方法，包括：获取用户 在交互界面中不同时刻对应的视线坐标；将各时刻对应的视线坐标存入缓冲区；对缓冲区 内的视线坐标进行均值化处理；根据均值化处理后的视线坐标控制交互界面上视标的运 动。
[0006] 在一个实施例中，在将各时刻对应的视线坐标存入缓冲区之前，该方法还包括：根 据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存 入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0007] 在一个实施例中，根据预设过滤条件对获取的视线坐标进行降噪处理包括：计算 当前缓冲区中各视线坐标的标准差；计算新获取的视线坐标与当前缓冲区中各视线坐标的 平均值之间的距离；对该距离与该标准差的相关信息进行比较；根据比较结果对视线坐标 进行过滤。
[0008] 在一个实施例中，计算当前缓冲区中各视线坐标的标准差包括：对当前缓冲区中 视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的 标准差。
[0009] 在一个实施例中，对缓冲区内的视线坐标进行均值化处理包括：将缓冲区内的视 线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前 时间越近的视线坐标的权重值越大。
[0010] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0011] 根据本发明实施例的再一个方面，提供的一种控制视标运动的装置，包括：视线坐 标获取单元，用于获取用户在交互界面中不同时刻对应的视线坐标；缓存单元，用于将各时 刻对应的视线坐标存入缓冲区；均值化处理单元，用于对缓冲区内的视线坐标进行均值化 处理；视标控制单元，用于根据均值化处理后的视线坐标控制交互界面上视标的运动。
[0012] 在一个实施例中，该装置还包括：降噪单元，用于在将各时刻对应的视线坐标存入 缓冲区之前，根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的 正常视线坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0013] 在一个实施例中，降噪单元包括：标准差计算子单元，用于计算当前缓冲区中各视 线坐标的标准差；距离计算子单元，用于计算新获取的视线坐标与当前缓冲区中各视线坐 标的平均值之间的距离；比较子单元，用于对该距离与该标准差的相关信息进行比较；过 滤子单元，用于根据比较结果对视线坐标进行过滤。
[0014] 在一个实施例中，标准差计算子单元，具体用于：对当前缓冲区中视线横坐标的标 准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的标准差。
[0015] 在一个实施例中，均值化处理单元，具体用于：将缓冲区内的视线坐标的横坐标和 纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前时间越近的视线坐 标的权重值越大。
[0016] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0017] 本发明实施例至少具有以下优点：
[0018] 一方面，设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理，然后根据 均值化处理后的视线坐标控制交互界面上视标的运动，相对于直接利用原始的视线坐标控 制交互界面上视标的运动，可以有效降低人眼注视过程中震颤、漂移及系统噪音的影响，使 交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
[0019] 再一方面，对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极端 数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的真 实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，可以有效降低人眼 注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高 人机交互的自然性和和谐性。
[0020] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其 优点将会变得清楚。
【附图说明】
[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0022] 图1示出现有技术中视线追踪系统的结构示意图。
[0023] 图2为本发明控制视标运动的方法一个实施例的流程示意图。
[0024] 图3为本发明控制视标运动的方法再一个实施例的流程示意图。
[0025] 图4为本发明控制视标运动的方法一个具体应用的流程示意图。
[0026] 图5为本发明经过降噪和均值化处理的视标运动轨迹与现有技术的视标运动轨 迹的对比示意图。
[0027] 图6为本发明控制视标运动的装置一个实施例的结构示意图。
[0028] 图7为本发明控制视标运动的装置再一个实施例的结构示意图。
【具体实施方式】
[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下 对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使 用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
[0030] 除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表 达式和数值不限制本发明的范围。
[0031] 同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际 的比例关系绘制的。
[0032] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适 当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0033] 在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不 是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0034] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一 个附图中被定义，则在随后的附图中不需要对其进行进一步 讨论。
[0035] 在视线追踪交互技术中，由于人眼震颤、漂移、或不经意眼跳及系统噪音，造成采 集到的原始视线坐标存在大量噪音，而直接利用原始的视线坐标控制交互界面上视标的运 动，会导致视标在交互界面中不断抖动，影响用户的交互体验。为了解决这一问题，本发明 提出一种控制视标运动的方法，该方法对原始视线坐标进行降噪、均值化等处理，然后利用 处理后的视线坐标控制交互界面上视标的运动，从而有效降低人眼注视过程中震颤、漂移 及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和 和谐性。
[0036] 图2为本发明控制视标运动的方法一个实施例的流程示意图。
[0037] 如图2所示，本实施例的方法包括以下步骤：
[0038] 步骤S201，获取用户在交互界面中不同时刻对应的视线坐标。
[0039] 其中，眼动仪可以采集视线坐标等眼动数据，然后将采集到的视线坐标等数据输 入控制视标运动的装置(简称"控制装置")，控制装置即可获得用户在交互界面中的视线坐 标。控制装置也可以集成眼动仪的功能，即由控制装置自身采集并获得视线坐标等眼动数 据。
[0040] 一种示例性的视线坐标获取方法，可以利用眼动跟踪技术，通过边缘检测方法在 人脸图像中识别眼部区域，并在眼部区域中定位出眼球区域，然后根据各帧图像中定位出 的眼球区域建立眼部运动轨迹，可以将眼部初始位置与交互界面中的预设位置相对应，然 后根据眼部运动轨迹就可以确定出用户在交互界面中不同时刻对应的视线坐标。本领域技 术人员可以理解，还可以采用其他方法来获取视线坐标，对于获取视线坐标的具体方法本 发明不做限定。
[0041] 步骤S203,将各时刻对应的视线坐标存入缓冲区。缓冲区的容量通常有一定的限 制，在本发明中，使用缓冲区所能存储的视线坐标的个数N来代表缓冲区的容量。
[0042]例如，一个N为 5 的缓冲区，原本存储有p(n-5)、p(n-4)、p(n-3)、p(n-2)、p (n-1)共5个视线坐标，p(n)是当前欲存入缓冲区的视线坐标，p(n-1)表示p(n)前一 时刻存入的视线坐标。将P(n)存入缓冲区后，处于缓冲区末尾的p(n-5)将被舍弃，缓冲 区仍然存储5个视线坐标，并且是距离当前时刻最新的5个视线坐标。
[0043] 步骤S205,对缓冲区内的视线坐标进行均值化处理。
[0044] 其中，对缓冲区内的视线坐标进行均值化处理的一个示例性的方法包括：将缓冲 区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其 中，离当前时间越近的视线坐标的权重值越大，以使处理结果能够更准确地放映用户当前 视线所注视位置的情况。在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分 布来设置，高斯分布的参数可以根据实际情况进行调整。
[0045] 前述的均值化处理方法可以用如下公式表示：
[0047] 其中，M(n)为均值化处理后得到的视线坐标，p(n-i)为缓冲区中第i个视线坐标， iG[0,N-1]，N为缓冲区中视线坐标的个数，Wi为第i个视线坐标的权重值。
[0048] 需要说明的是，由于视线坐标是二维信号，因此均值化处理过程都是将视线坐标 中横坐标x和纵坐标y分别进行加权平均处理。公式表示如下：
[0050]其中，Mx(n)为均值化处理后得到的视线坐标的横坐标，px(n_i)为缓冲区中第 i个视线坐标的横坐标，也可以记为Xi;My(n)为均值化处理后得到的视线坐标的纵坐标， Py(n-i)为缓冲区中第i个视线坐标的纵坐标，也可以记为yi。
[0051] 步骤S207,根据均值化处理后的视线坐标控制交互界面上视标的运动，即将交互 界面上视标移动到均值化处理后的视线坐标所在的位置。
[0052] 上述实施例，通过设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理， 然后根据均值化处理后的视线坐标控制交互界面上视标的运动，相对于直接利用原始的视 线坐标控制交互界面上视标的运动，可以有效降低人眼注视过程中震颤、漂移及系统噪音 的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
[0053] 图3为本发明控制视标运动的方法再一个实施例的流程示意图。
[0054] 如图3所示，本实施例的方法包括：在步骤S201之后，执行步骤S302,然后再执行 步骤S203、步骤S205和步骤S207。
[0055] 步骤S302,根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤 条件的正常视线坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。
[0056] 针对视线坐标这种二维信号，本发明实施例提出一种降噪处理方法包括：
[0057] 步骤A，计算当前缓冲区中各视线坐标的标准差，计算方法例如可以包括：对当前 缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视 线坐标的标准差。公式表示如下：
[0059] 其中，SD表示视线坐标的标准差，N表示缓冲区中视线坐标的个数，Xi表示缓冲区 中视线坐标P(n-i)的横坐标（x轴数据)，71表示缓冲区中视线坐标P(n-i)的纵坐标（y轴 数据)，Ux为缓冲区中所有视线坐标的横坐标的平均值，Uy为缓冲区中所有视线坐标的纵 坐标的平均值。
[0060] 步骤B，计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之间的距离， 简称"距离"，公式表示如下：
[0062] 其中，X和Y分别为新获取的视线坐标的横坐标和纵坐标，D表示距离。
[0063] 步骤C，对该距离与该标准差的相关信息进行比较，其中，根据降噪精度的需要，可 以规定对该距离与该标准差的若干倍进行比较，例如，对该距离与该标准差的3倍进行比 较，但不限于所举倍数，还可以是2倍、5倍等。
[0064] 步骤D，根据比较结果对视线坐标进行过滤，丢弃距离不小于该标准差的相关信息 的视线坐标，将距离小于该标准差的相关信息的视线坐标存入缓冲区。
[0065] 上述实施例，对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极 端数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的 真实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，可以有效降低人 眼注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提 高人机交互的自然性和和谐性。
[0066] 图4为本发明控制视标运动的方法一个具体应用的流程示意图。如图4所示，获 取一个视线坐标P，将"视线坐标P与当前缓冲区中各视线坐标的平均值之间的距离"与"当 前缓冲区中各视线坐标的标准差的3倍"进行比较，如果比较结果为不小于，则视线坐标p 为异常值(极端数据)，视线坐标P并非用户的真实注视意图，很可能是人眼震颤、漂移、或不 经意眼跳造成的，需要丢弃，如果比较结果为小于，将视线坐标P存入缓冲区。假设缓冲区 有6个视线坐标，将这6个视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理 后的视线坐标(设为M)，根据均值化处理后的视线坐标M控制交互界面上视标的运动，将交 互界面上视标移动到均值化处理后的视线坐标M所在的位置。
[0067] 图5为本发明经过降噪和均值化处理的视标运动轨迹(粗线所示)与现有技术的视 标运动轨迹(细线所示）的对比示意图。由图5可以看出，本发明的交互界面上的视标更加 自然和谐地运动，而现有技术的交互界面上的视标有很多 的抖动和突变。
[0068] 本发明实施例还提供一种控制视标运动的装置，简称"控制装置"，该控制装置可 以置于手机等移动终端中，实现基于视线追踪交互技术的视标运动的控制。
[0069] 图6为本发明控制视标运动的装置一个实施例的结构示意图。如图6所示，本实 施例的控制装置包括：
[0070] 视线坐标获取单元601，用于获取用户在交互界面中不同时刻对应的视线坐标；
[0071] 缓存单元602,用于将各时刻对应的视线坐标存入缓冲区；
[0072] 均值化处理单元603,用于对缓冲区内的视线坐标进行均值化处理；以及，
[0073] 视标控制单元604,用于根据均值化处理后的视线坐标控制交互界面上视标的运 动。
[0074] 在一个实施例中，均值化处理单元603,具体用于：将缓冲区内的视线坐标的横坐 标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其中，离当前时间越近的视 线坐标的权重值越大。
[0075] 在一个实施例中，不同时刻的视线坐标的权重值可以按照高斯分布来设置。
[0076] 图7为本发明控制视标运动的装置再一个实施例的结构示意图。如图7所示，本 实施例的控制装置还包括：
[0077] 降噪单元705,用于在将各时刻对应的视线坐标存入缓冲区之前，根据预设过滤条 件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存入缓冲区，并 丢弃不符合预设过滤条件的异常视线坐标。
[0078] 在一个实施例中，降噪单元705包括：标准差计算子单元7051，用于计算当前缓冲 区中各视线坐标的标准差；距离计算子单元7052,用于计算新获取的视线坐标与当前缓冲 区中各视线坐标的平均值之间的距离；比较子单元7053,用于对该距离与该标准差的相关 信息进行比较，根据降噪精度的需要，可以规定对该距离与该标准差的若干倍进行比较；过 滤子单元7054,用于根据比较结果对视线坐标进行过滤，丢弃距离不小于该标准差的相关 信息的视线坐标，将距离小于该标准差的相关信息的视线坐标存入缓冲区。
[0079] 在一个实施例中，标准差计算子单元7051，具体可以用于：对当前缓冲区中视线 横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各视线坐标的标准 差。
[0080] 需要说明的是，控制视标运动的装置中所涉及的具体计算方法或公式可以参考控 制视标运动的方法中的描述，这里不再赘述。
[0081] 另外，作为另一种控制视标运动的方法，还可以获取用户在交互界面中不同时刻 对应的视线坐标，然后根据预设过滤条件对获取的视线坐标进行降噪处理（降噪的具体方 法可以参考前述)，然后根据符合预设过滤条件的正常视线坐标来控制交互界面上视标的 运动。该方法在一定程度上也能够降低人眼注视过程中震颤、漂移及系统噪音的影响，使交 互界面上的视标比较自然和谐地运动，提高人机交互的自然性和和谐性。
[0082] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件 来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读 存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0083] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种控制视标运动的方法,包括： 获取用户在交互界面中不同时刻对应的视线坐标； 将各时刻对应的视线坐标存入缓冲区； 对缓冲区内的视线坐标进行均值化处理； 根据均值化处理后的视线坐标控制交互界面上视标的运动。2. 根据权利要求1所述的方法，其特征在于，在将各时刻对应的视线坐标存入缓冲区 之前，该方法还包括： 根据预设过滤条件对获取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线 坐标存入缓冲区，并丢弃不符合预设过滤条件的异常视线坐标。3. 根据权利要求2所述的方法，其特征在于，所述根据预设过滤条件对获取的视线坐 标进行降噪处理包括： 计算当前缓冲区中各视线坐标的标准差； 计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之间的距离； 对所述距离与所述标准差的相关信息进行比较； 根据比较结果对视线坐标进行过滤。4. 根据权利要求3所述的方法，其特征在于，所述计算当前缓冲区中各视线坐标的标 准差包括： 对当前缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓 冲区中各视线坐标的标准差。5. 根据权利要求1所述的方法，其特征在于，所述对缓冲区内的视线坐标进行均值化 处理包括： 将缓冲区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视 线坐标，其中，离当前时间越近的视线坐标的权重值越大。6. 根据权利要求5所述的方法，其特征在于，不同时刻的视线坐标的权重值按照高斯 分布来设置。7.-种控制视标运动的装置，包括： 视线坐标获取单元，用于获取用户在交互界面中不同时刻对应的视线坐标； 缓存单元，用于将各时刻对应的视线坐标存入缓冲区； 均值化处理单元，用于对缓冲区内的视线坐标进行均值化处理； 视标控制单元，用于根据均值化处理后的视线坐标控制交互界面上视标的运动。8. 根据权利要求7所述的装置，其特征在于，该装置还包括： 降噪单元，用于在将各时刻对应的视线坐标存入缓冲区之前，根据预设过滤条件对获 取的视线坐标进行降噪处理，将符合预设过滤条件的正常视线坐标存入缓冲区，并丢弃不 符合预设过滤条件的异常视线坐标。9. 根据权利要求8所述的装置，其特征在于，所述降噪单元包括： 标准差计算子单元，用于计算当前缓冲区中各视线坐标的标准差； 距离计算子单元，用于计算新获取的视线坐标与当前缓冲区中各视线坐标的平均值之 间的距离； 比较子单元，用于对所述距离与所述标准差的相关信息进行比较；以及， 过滤子单元，用于根据比较结果对视线坐标进行过滤。10. 根据权利要求9所述的装置，其特征在于，所述标准差计算子单元，具体用于：对当 前缓冲区中视线横坐标的标准差和视线纵坐标的标准差进行合并，得到视当前缓冲区中各 视线坐标的标准差。11. 根据权利要求7所述的装置，其特征在于，所述均值化处理单元，具体用于：将缓冲 区内的视线坐标的横坐标和纵坐标分别进行加权平均，得到均值化处理后的视线坐标，其 中，离当前时间越近的视线坐标的权重值越大。12. 根据权利要求11所述的装置，其特征在于，不同时刻的视线坐标的权重值按照高 斯分布来设置。
【专利摘要】本发明公开一种控制视标运动的方法和装置，涉及电子设备领域。本发明通过一方面通过设置视线坐标缓冲区，对缓冲区内的视线坐标进行均值化处理，然后根据均值化处理后的视线坐标控制交互界面上视标的运动，另一方面对存入缓冲区之前的视线坐标进行降噪处理，去除极端数据，这些极端数据往往是由于震颤、漂移、或不经意眼跳造成的，使得缓冲区内的数据更能反映用户的真实操作意图，基于这些更为准确的数据来控制交互界面上视标的运动，从而有效降低人眼注视过程中震颤、漂移及系统噪音的影响，使交互界面上的视标更加自然和谐地运动，提高人机交互的自然性和和谐性。
【IPC分类】G06F3/01
【公开号】CN104898823
【申请号】CN201410075618
【发明人】刘森, 尹杰, 周蔚文, 何菁钦
【申请人】中国电信股份有限公司
【公开日】2015年9月9日
【申请日】2014年3月4日
最新回复(0)