一种人机交互系统、方法及装置的制造方法
一种人机交互系统、方法及装置的制造方法
【技术领域】
[0001]本发明涉及人机交互技术领域，尤其涉及一种人机交互系统、方法及装置。
【背景技术】
[0002]随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。
[0003]现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。
【发明内容】
[0004]本发明的目的在于提供一种人机交互系统、方法及装置，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。
[0005]为了实现上述目的，本发明提供如下技术方案:
[0006]第一方面，本发明提供了一种人机交互系统，包括:可穿戴设备和显示设备；
[0007]所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接P;
[0008]所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；
[0009]所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
[0010]所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；
[0011 ]所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；
[0012]所述显示设备用于在接收到所述控制指令时，执行所述控制指令。
[0013 ]第二方面，本发明提供了一种人机交互方法，包括:
[0014]可穿戴设备采集用户的当前手势图像和显示设备的显示图像；
[0015]将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0016]根据所述控制指令，生成与所述控制指令对应的虚拟工具图像，投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
[0017]将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
[0018]第三方面，本发明提供了一种人机交互装置，包括:
[0019]采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像；
[0020]确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0021]生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
[0022]投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
[0023]发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
[0024]本发明提供的人机交互系统、方法及装置中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
【附图说明】
[0025]此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0026]图1为本发明实施例一中人机交互系统的结构示意图；
[0027]图2为本发明实施例二中人机交互系统的结构示意图；
[0028]图3为本发明实施例三中人机交互方法的流程图；
[0029]图4为本发明实施例四中人机交互方法的流程图；
[0030]图5为本发明实施例五中人机交互方法的流程图；
[0031 ]图6为本发明实施例五中用户的视觉效果图；
[0032]图7为本发明实施例六中人机交互装置的结构示意图。
[0033]附图标记:
[0034]10-人机交互系统，11-可穿戴设备，12-显示设备，13-镜片，14-镜框，15-虚拟笔，16-智能眼镜，111-图像采集模块，112-存储器，113-处理器，114-图像投射模块，115-信息发送接口。
【具体实施方式】
[0035]为了进一步说明本发明实施例提供的人机交互系统及方法，下面结合说明书附图进行详细描述。
[0036]实施例一
[0037]请参阅图1，本发明实施例提供的人机交互系统10包括可穿戴设备11和显示设备12，可穿戴设备11包括图像采集模块111、存储器112、处理器113、图像投射模块114、信息发送接口 115;图像采集模块111连接处理器113，用于采集用户的当前手势图像和显示设备12的显示图像，具体的，图像采集模块111可以为摄像头、拍照镜头或图像传感器等具有图像采集功能的结构;处理器113连接存储器112，用于将当前手势图像与存储器112中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像，虚拟工具图像为某种工具的虚拟显示图像，需要说明的是，存储器112中存储有手势数据库，手势数据库中包括多种手势以及多种手势各自的相关数据，在具体实施过程中，手势数据库也具有自学习的功能，能够将学习到的新的手势添加到手势数据库中；图像投射模块114连接处理器113，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像，根据具体需求，除了上述虚拟图像，图像透射模块还可以投射出用户的当前手势图像;信息发送接口 115连接处理器113，用于将控制指令发送给显示设备12，信息发送接口 115可以根据可穿戴设备11与显示设备12之间使用的通信技术而定，可穿戴设备11与显示设备12之间能够通过有线连接，也可以通过无线连接，优选无线连接，比如利用們？；[(￥1代1688^(161；^7，无线宽带)、蓝牙、2丨81^6(紫蜂协议)等无线通讯手段进行通信，从而使用对应的信息发送接口 115;显示设备12用于在接收到控制指令时，执行控制指令，从而完成控制指令对应的功能，控制指令对应的功能能够由虚拟工具完成，比如，与控制指令对应的虚拟工具图像为虚拟笔的图像，则显示装置实现的与控制指令对应的功能为虚拟笔的书写、标记功能。具体的，可穿戴设备11具体可以为智能眼镜、穿戴头盔、智能手环等设备，显示设备12具体可以为智能手机、平板电脑等便 于携带的手持显示终端，在此并不限定。
[0038]本发明提供的人机交互系统10中，图像采集模块111采集用户的当前手势图像和显示设备12的显示图像，处理器113将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，图像投射模块114投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，信息发送接口 115向显示设备12发送控制指令，显示设备12执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备12实现对应的功能，不需要特意使用物理实体装置对显示设备12进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0039]实施例二
[0040]在实施例一的基础上，请参阅图2，以可穿戴设备11为智能眼镜16为例来进行说明。智能眼镜16包括与左右眼对应的两个镜片13以及支持镜片的镜框14，两个镜片13均为近眼透镜，显示设备12上的显示图像以及用户的当前手势图像均可以通过镜片13透射至佩戴智能眼镜16的用户的双眼，图像投射模块114可以集成于镜片13中，将包括虚拟工具图像和显示设备的显示图像的虚拟图像投影至用户眼前，或直接显示在镜片13上，使得用户能够通过智能眼镜16观看到包括虚拟工具图像和显示设备的显示图像的虚拟图像;其中，图像采集模块111、存储器112、处理器113和信息发送接口 115均可设置在智能眼镜16的镜框14上。
[0041 ] 实施例三
[0042]请参阅图3，本发明实施例还提供了一种人机交互方法，该人机交互方法应用于上述实施例中的可穿戴设备，可穿戴设备具体可以为智能眼镜、穿戴头盔、智能手环等设备，人机交互方法包括:
[0043]步骤201，采集用户的当前手势图像和显示设备的显示图像；需要说明的是，这里采集到的是当前手势图像和显示设备的显示图像的组合图像，之后再对当前手势图像和显示设备的显示图像进行分离。
[0044]步骤202，将当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令;需要说明的是，手势数据库中存储有多种手势，将当前手势图像与手势数据库中的手势进行匹配，检测手势数据库中是否存在与当前手势图像相同或相似的手势，将与当前手势图像相同或相似的手势的手势类别，作为与当前手势图像匹配的手势的手势类别，针对不同的手势类别可以确定不同的控制指令，具体的，可以根据手势类别，直接生成与该手势类别对应的控制指令，也可以预先存储手势类别与控制指令的对应关系，根据当前的手势类别，调用与当前的手势类别对应的控制指令。
[0045]步骤203，将控制指令发送给显示设备，使得显示设备执行控制指令;显示设备在接收到可穿戴设备发送的控制指令后，执行控制指令，从而实现与控制指令对应的功能。
[0046]步骤204，根据控制指令，生成与控制指令对应的虚拟工具图像;需要说明的是，控制指令具有对应的虚拟工具，在步骤204中需要在可穿戴设备中形成虚拟工具图像，即虚拟工具的图像，这里的虚拟工具并不是实际存在的，用户是通过可穿戴设备看到生成的虚拟工具图像的。
[0047]步骤205，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像;需要说明的是，除了上述虚拟图像外，可穿戴设备还可以投射用户的当前手势图像，使得用户能够通过可穿戴设备观看到虚拟工具图像和显示设备上的显示图像，或者观看到虚拟工具图像、显示设备上的显示图像和当前手势图像，且可穿戴设备投射出的图像会根据可穿戴设备采集到的当前手势图像和显示设备的显示图像进行实时更新，可穿戴设备会投射出连贯的画面。
[0048]本发明提供的人机交互方法中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0049]实施例四
[0050]请参阅图4，在实施例三的基础上，实施例三中的步骤201能够具体细化为步骤2011和步骤2012，步骤202能够具体细化为步骤2020-步骤2024，具体内容如下:
[0051]步骤2011，同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像;在用户还未做出手势，即可穿戴设备还未采集到用户的当前手势图像时，可穿戴设备先采集显示设备的显示图像，从而得到当前场景下用户做出的手势所处的主体环境，在可穿戴设备同时采集到用户的当前手势和显示设备的显示图像的混合图像时，执行步骤2012，值得一提的是，采集图像的具体方式可以为拍照或摄像。
[0052]步骤2012，从混合图像中分别识别出当前手势图像和显示设备的显示图像;具体的，可以通过背景分离方法将混合图像中的当前手势图像和显示设备当前的显示图像分离开来，从而分别识别出当前手势图像和显示设备的显示图像。
[0053]步骤2020，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹;其中，从当前手势图像中可以获取手势边缘轮廓和手势运动轨迹，手势边缘轮廓用于表示手势的轮廓和具体形状，手势运动轨迹用于表示手势的运动方向以及变化过程等，比如:可穿戴设备采集到用户的手握成实心拳，在显示设备前直线移动的手势，其中，手势边缘轮廓表示握成实心拳的手的轮廓为近似于圆形的形状，以及实心拳的具体各个手指的形状和位置，手势运动轨迹表示实心拳呈直线运动;再比如，可穿戴设备采集到用户的手握成空心拳，在显示设备前曲线移动的手势，手势边缘轮廓表示握成空心拳的手的外部轮廓为近似于圆形的形状，以及空心拳的具体各个手指的形状和位置，手势运动轨迹数据表示空心拳呈曲线运动；当区分实心拳与空心拳时，由于实心拳与空心拳这两个手势中各个手指的形状和位置不同，故可以由手势边缘轮廓来区分实心拳和空心拳的不同。值得一提的是，用于表征手势的特征包括但并不限于上述手势边缘轮廓和手势运动轨迹，能够表征手势的不同的特征均属于本发明的保护范围。
[°°54]步骤2021，判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；需要说明的是，手势数据库中的手势也具有手势边缘轮廓和手势运动轨迹等特征，将当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹进行对比，判断是否匹配。
[0055]步骤2022，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类另IJ;其中，手势类别是手势自身的一种属性，用于表征手势的种类，比如，开启手势类别、标记手势类别、放大手势类别等等。
[0056]步骤2023，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别。[0057]步骤2024，根据预存的所手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令;需要说明的是，可穿戴设备中还可以预存有手势类别和控制指令的对应关系，当确定手势类别后，查找到与手势类别对应的控制指令，便于进行调用。
[0058]实施例五
[0059]请参阅图5，在实施例三和实施例四的基础上，实施例三中的步骤202能够具体细化为步骤2025-步骤2029和步骤2024，具体内容如下:
[0060]步骤2025，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运动轨迹的特征向量;其中，手势边缘轮廓具有对应的特征向量，手势运动轨迹也具有对应的特征向量。
[0061]步骤2026，提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值;可穿戴设备对手势边缘轮廓和手势运动轨迹的特征向量进行分割与特征值提取，提取出手势边缘轮廓和手势运动轨迹对应的特征向量的特征值。
[0062]步骤2027，判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配;具体的，手势数据库中的手势的手势边缘轮廓和手势运动轨迹也具有特征向量，可以利用提取出的与当前手势图像对应的各特征值，与手势数据库中的手势对应的各特征值进行匹配，也就是说，判断当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓是否匹配，以及当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹是否匹配。
[0063]步骤2028，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类另IJ;具体的，当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓匹配，且当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹匹配，即可确定预存的手势的手势类别为当前手势图像对应的手势类别。
[0064]步骤2029，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别；当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓不匹配，或者当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹不匹配，或者上述两者均不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0065]步骤2024，根据预存的手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令;具体内容参见实施例四，在此不再赘述。
[0066]下面以一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明:如图2所示，智能眼镜16利用摄像头采集图像，显示设备12为平板电脑，平板电脑上显示的画面是文字阅读界面，智能眼镜16上的摄像头对平板电脑显示的文字阅读界面进行采集，得到平板电脑的显示图像;用户此时希望对文字阅读界面中的某句文字进行标记，故用户做出握笔手势，想要在该句文字对应的位置做出标记，需要注意的是，用户手中不存在触摸笔等真实物理工具，此时，摄像头采集到了平板电脑显示的文字阅读界面和用户的握笔手势，从而得到显示图像和当前手势图像;智能眼镜16分别对握笔手势的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜16中存储的手势数据库中进行匹配，从而在手势数据库中得到与提取的特征值匹配的手势的手势类别为握笔标记手势，并将手势为握笔标记手势对应的控制指令传送给平板电脑，平板电脑根据握笔标记手势的控制指令，在智能眼镜16的视野范围内形成虚拟笔15的图像，在握笔手势对应的文字处进行标记，需要注意的是，智能眼镜16生成虚拟笔15的图像，使得用户可以通过智能眼镜16看到虚拟笔15的图像，用户看到的效果图为图6，与用户使用触摸笔等真实物理工具进行标记的效果相同。
[0067]下面再以另一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明:智能眼镜利用摄像头采集图像，显示设备为平板电脑，平板电脑上显示的画面是文字阅读界面或游戏界面，用户需要将文字阅读界面或游戏界面放大，则可做出手持放大镜的手势或加号手势，摄像头采集到手持放大镜的手势图像或加号手势图像后，智能眼镜分别对放大镜的手势图像或加号手势图像的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜中存储的手势数据库中进行匹配，从而得到在手势数据库中与提取的特征值匹配的手势的手势类别为放大手势，并将放大手势对应的控制指令传送给平板电脑，平板电脑根据放大手势的控制指令，在智能眼镜的视野范围内形成虚拟放大镜的图像，并将文字阅读界面或游戏界面放大，用户可以通过智能眼镜看到虚拟放大镜的图像以及放大的文字阅读界面或游戏界面。
[0068]本实施例中的人机交互系统，智能眼镜利用手势边缘轮廓和手势运动轨迹对采集到的手势进行识别和匹配，并根据目标手势生成控制指令，根据控制指令生成虚拟工具图像，显示设备执行控制指令对应的功能，使得人机交互活动更加精准、完善。
[0069]实施例六
[0070]请参照图7，本发明实施例还提供了一种人机交互装置30，包括:
[0071]采集模块31，用于采集用户的当前手势图像和显示设备的显示图像；
[0072]确定模块32，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0073]发送模块33，用于将控制指令发送给显示设备，使得显示设备执行控制指令；
[0074]生成模块34，用于根据控制指令，生成与控制指令对应的虚拟工具图像；
[0075]投射模块35，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像。
[0076]本发明提供的人机交互装置30中，采集模块31采集用户的当前手势图像和显示设备的显示图像，确定模块32将当前手势图像与手势数据库中的手势进行匹配，确定匹配手势的手势类别，确定与手势类别对应的控制指令，生成模块34生成与控制指令对应的虚拟工具图像，投射模块35投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，发送模块33向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0077]实施例七
[0078]在实施例六的基础上，下面将介绍上述各个模块的具体功能:
[0079]采集模块31具体用于同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像;从混合图像中分别识别出当前手势图像和显示设备的显示图像。
[0080]确定模块32具体用于根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。
[0081]确定模块32还可以具体用于:根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹;判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0082]确定模块32还可以具体用于:根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运 动轨迹的特征向量;提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值;判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配;当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0083]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于人机交互装置的实施例而言，由于其基本相似于人机交互方法实施例，所以描述得比较简单，相关之处参见人机交互方法实施例的部分说明即可。
[0084]在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0085]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种人机交互系统，其特征在于，包括:可穿戴设备和显示设备； 所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像； 所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像； 所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备； 所述显示设备用于在接收到所述控制指令时，执行所述控制指令。2.根据权利要求1所述的人机交互系统，其特征在于，所述可穿戴设备为智能眼镜，所述智能眼镜包括镜片和支撑所述镜片的镜框，所述图像投射模块集成在所述镜片中，所述图像采集模块设置在所述镜框上。3.一种人机交互方法，其特征在于，包括: 可穿戴设备采集用户的当前手势图像和显示设备的显示图像； 将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令； 根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像； 将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。4.根据权利要求3所述的人机交互方法，其特征在于，采集用户的当前手势图像和显示设备的显示图像，具体包括: 同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像； 从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。5.根据权利要求3所述的人机交互方法，其特征在于，确定与所述手势类别对应的控制指令，具体包括: 根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。6.根据权利要求3所述的人机交互方法，其特征在于，将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括: 根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹；判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配； 若匹配，则确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别； 若不匹配，则确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。7.根据权利要求3所述的人机交互方法，其特征在于，将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括: 根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量； 提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值； 判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配； 若匹配，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别； 若不匹配，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。8.一种人机交互装置，其特征在于，包括: 采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像； 确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令； 生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像； 发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。9.根据权利要求8所述的人机交互装置，其特征在于，所述采集模块具体用于:同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像;从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。10.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。11.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹;判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类另IJ;当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。12.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量;提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值;判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。
【专利摘要】本发明公开一种人机交互系统、方法及装置，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统，包括可穿戴设备和显示设备；采集设备包括可穿戴设备包括用于采集用户的当前手势图像和显示设备的显示图像的图像采集模块、存储器、用于将当前手势图像与存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像的处理器、用于投射出包括虚拟工具图像和显示图像的虚拟图像的图像投射模块和信息发送接口；本发明提供的人机交互系统用于人机交互活动。
【IPC分类】G06F3/01
【公开号】CN105487673
【申请号】CN201610004024
【发明人】卢永春
【申请人】京东方科技集团股份有限公司
【公开日】2016年4月13日
【申请日】2016年1月4日
【技术领域】
[0001]本发明涉及人机交互技术领域，尤其涉及一种人机交互系统、方法及装置。
【背景技术】
[0002]随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。
[0003]现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。
【发明内容】
[0004]本发明的目的在于提供一种人机交互系统、方法及装置，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。
[0005]为了实现上述目的，本发明提供如下技术方案:
[0006]第一方面，本发明提供了一种人机交互系统，包括:可穿戴设备和显示设备；
[0007]所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接P;
[0008]所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；
[0009]所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
[0010]所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；
[0011 ]所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；
[0012]所述显示设备用于在接收到所述控制指令时，执行所述控制指令。
[0013 ]第二方面，本发明提供了一种人机交互方法，包括:
[0014]可穿戴设备采集用户的当前手势图像和显示设备的显示图像；
[0015]将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0016]根据所述控制指令，生成与所述控制指令对应的虚拟工具图像，投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
[0017]将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
[0018]第三方面，本发明提供了一种人机交互装置，包括:
[0019]采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像；
[0020]确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0021]生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
[0022]投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
[0023]发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
[0024]本发明提供的人机交互系统、方法及装置中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
【附图说明】
[0025]此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0026]图1为本发明实施例一中人机交互系统的结构示意图；
[0027]图2为本发明实施例二中人机交互系统的结构示意图；
[0028]图3为本发明实施例三中人机交互方法的流程图；
[0029]图4为本发明实施例四中人机交互方法的流程图；
[0030]图5为本发明实施例五中人机交互方法的流程图；
[0031 ]图6为本发明实施例五中用户的视觉效果图；
[0032]图7为本发明实施例六中人机交互装置的结构示意图。
[0033]附图标记:
[0034]10-人机交互系统，11-可穿戴设备，12-显示设备，13-镜片，14-镜框，15-虚拟笔，16-智能眼镜，111-图像采集模块，112-存储器，113-处理器，114-图像投射模块，115-信息发送接口。
【具体实施方式】
[0035]为了进一步说明本发明实施例提供的人机交互系统及方法，下面结合说明书附图进行详细描述。
[0036]实施例一
[0037]请参阅图1，本发明实施例提供的人机交互系统10包括可穿戴设备11和显示设备12，可穿戴设备11包括图像采集模块111、存储器112、处理器113、图像投射模块114、信息发送接口 115;图像采集模块111连接处理器113，用于采集用户的当前手势图像和显示设备12的显示图像，具体的，图像采集模块111可以为摄像头、拍照镜头或图像传感器等具有图像采集功能的结构;处理器113连接存储器112，用于将当前手势图像与存储器112中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像，虚拟工具图像为某种工具的虚拟显示图像，需要说明的是，存储器112中存储有手势数据库，手势数据库中包括多种手势以及多种手势各自的相关数据，在具体实施过程中，手势数据库也具有自学习的功能，能够将学习到的新的手势添加到手势数据库中；图像投射模块114连接处理器113，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像，根据具体需求，除了上述虚拟图像，图像透射模块还可以投射出用户的当前手势图像;信息发送接口 115连接处理器113，用于将控制指令发送给显示设备12，信息发送接口 115可以根据可穿戴设备11与显示设备12之间使用的通信技术而定，可穿戴设备11与显示设备12之间能够通过有线连接，也可以通过无线连接，优选无线连接，比如利用們？；[(￥1代1688^(161；^7，无线宽带)、蓝牙、2丨81^6(紫蜂协议)等无线通讯手段进行通信，从而使用对应的信息发送接口 115;显示设备12用于在接收到控制指令时，执行控制指令，从而完成控制指令对应的功能，控制指令对应的功能能够由虚拟工具完成，比如，与控制指令对应的虚拟工具图像为虚拟笔的图像，则显示装置实现的与控制指令对应的功能为虚拟笔的书写、标记功能。具体的，可穿戴设备11具体可以为智能眼镜、穿戴头盔、智能手环等设备，显示设备12具体可以为智能手机、平板电脑等便 于携带的手持显示终端，在此并不限定。
[0038]本发明提供的人机交互系统10中，图像采集模块111采集用户的当前手势图像和显示设备12的显示图像，处理器113将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，图像投射模块114投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，信息发送接口 115向显示设备12发送控制指令，显示设备12执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备12实现对应的功能，不需要特意使用物理实体装置对显示设备12进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0039]实施例二
[0040]在实施例一的基础上，请参阅图2，以可穿戴设备11为智能眼镜16为例来进行说明。智能眼镜16包括与左右眼对应的两个镜片13以及支持镜片的镜框14，两个镜片13均为近眼透镜，显示设备12上的显示图像以及用户的当前手势图像均可以通过镜片13透射至佩戴智能眼镜16的用户的双眼，图像投射模块114可以集成于镜片13中，将包括虚拟工具图像和显示设备的显示图像的虚拟图像投影至用户眼前，或直接显示在镜片13上，使得用户能够通过智能眼镜16观看到包括虚拟工具图像和显示设备的显示图像的虚拟图像;其中，图像采集模块111、存储器112、处理器113和信息发送接口 115均可设置在智能眼镜16的镜框14上。
[0041 ] 实施例三
[0042]请参阅图3，本发明实施例还提供了一种人机交互方法，该人机交互方法应用于上述实施例中的可穿戴设备，可穿戴设备具体可以为智能眼镜、穿戴头盔、智能手环等设备，人机交互方法包括:
[0043]步骤201，采集用户的当前手势图像和显示设备的显示图像；需要说明的是，这里采集到的是当前手势图像和显示设备的显示图像的组合图像，之后再对当前手势图像和显示设备的显示图像进行分离。
[0044]步骤202，将当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令;需要说明的是，手势数据库中存储有多种手势，将当前手势图像与手势数据库中的手势进行匹配，检测手势数据库中是否存在与当前手势图像相同或相似的手势，将与当前手势图像相同或相似的手势的手势类别，作为与当前手势图像匹配的手势的手势类别，针对不同的手势类别可以确定不同的控制指令，具体的，可以根据手势类别，直接生成与该手势类别对应的控制指令，也可以预先存储手势类别与控制指令的对应关系，根据当前的手势类别，调用与当前的手势类别对应的控制指令。
[0045]步骤203，将控制指令发送给显示设备，使得显示设备执行控制指令;显示设备在接收到可穿戴设备发送的控制指令后，执行控制指令，从而实现与控制指令对应的功能。
[0046]步骤204，根据控制指令，生成与控制指令对应的虚拟工具图像;需要说明的是，控制指令具有对应的虚拟工具，在步骤204中需要在可穿戴设备中形成虚拟工具图像，即虚拟工具的图像，这里的虚拟工具并不是实际存在的，用户是通过可穿戴设备看到生成的虚拟工具图像的。
[0047]步骤205，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像;需要说明的是，除了上述虚拟图像外，可穿戴设备还可以投射用户的当前手势图像，使得用户能够通过可穿戴设备观看到虚拟工具图像和显示设备上的显示图像，或者观看到虚拟工具图像、显示设备上的显示图像和当前手势图像，且可穿戴设备投射出的图像会根据可穿戴设备采集到的当前手势图像和显示设备的显示图像进行实时更新，可穿戴设备会投射出连贯的画面。
[0048]本发明提供的人机交互方法中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0049]实施例四
[0050]请参阅图4，在实施例三的基础上，实施例三中的步骤201能够具体细化为步骤2011和步骤2012，步骤202能够具体细化为步骤2020-步骤2024，具体内容如下:
[0051]步骤2011，同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像;在用户还未做出手势，即可穿戴设备还未采集到用户的当前手势图像时，可穿戴设备先采集显示设备的显示图像，从而得到当前场景下用户做出的手势所处的主体环境，在可穿戴设备同时采集到用户的当前手势和显示设备的显示图像的混合图像时，执行步骤2012，值得一提的是，采集图像的具体方式可以为拍照或摄像。
[0052]步骤2012，从混合图像中分别识别出当前手势图像和显示设备的显示图像;具体的，可以通过背景分离方法将混合图像中的当前手势图像和显示设备当前的显示图像分离开来，从而分别识别出当前手势图像和显示设备的显示图像。
[0053]步骤2020，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹;其中，从当前手势图像中可以获取手势边缘轮廓和手势运动轨迹，手势边缘轮廓用于表示手势的轮廓和具体形状，手势运动轨迹用于表示手势的运动方向以及变化过程等，比如:可穿戴设备采集到用户的手握成实心拳，在显示设备前直线移动的手势，其中，手势边缘轮廓表示握成实心拳的手的轮廓为近似于圆形的形状，以及实心拳的具体各个手指的形状和位置，手势运动轨迹表示实心拳呈直线运动;再比如，可穿戴设备采集到用户的手握成空心拳，在显示设备前曲线移动的手势，手势边缘轮廓表示握成空心拳的手的外部轮廓为近似于圆形的形状，以及空心拳的具体各个手指的形状和位置，手势运动轨迹数据表示空心拳呈曲线运动；当区分实心拳与空心拳时，由于实心拳与空心拳这两个手势中各个手指的形状和位置不同，故可以由手势边缘轮廓来区分实心拳和空心拳的不同。值得一提的是，用于表征手势的特征包括但并不限于上述手势边缘轮廓和手势运动轨迹，能够表征手势的不同的特征均属于本发明的保护范围。
[°°54]步骤2021，判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；需要说明的是，手势数据库中的手势也具有手势边缘轮廓和手势运动轨迹等特征，将当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹进行对比，判断是否匹配。
[0055]步骤2022，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类另IJ;其中，手势类别是手势自身的一种属性，用于表征手势的种类，比如，开启手势类别、标记手势类别、放大手势类别等等。
[0056]步骤2023，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别。[0057]步骤2024，根据预存的所手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令;需要说明的是，可穿戴设备中还可以预存有手势类别和控制指令的对应关系，当确定手势类别后，查找到与手势类别对应的控制指令，便于进行调用。
[0058]实施例五
[0059]请参阅图5，在实施例三和实施例四的基础上，实施例三中的步骤202能够具体细化为步骤2025-步骤2029和步骤2024，具体内容如下:
[0060]步骤2025，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运动轨迹的特征向量;其中，手势边缘轮廓具有对应的特征向量，手势运动轨迹也具有对应的特征向量。
[0061]步骤2026，提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值;可穿戴设备对手势边缘轮廓和手势运动轨迹的特征向量进行分割与特征值提取，提取出手势边缘轮廓和手势运动轨迹对应的特征向量的特征值。
[0062]步骤2027，判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配;具体的，手势数据库中的手势的手势边缘轮廓和手势运动轨迹也具有特征向量，可以利用提取出的与当前手势图像对应的各特征值，与手势数据库中的手势对应的各特征值进行匹配，也就是说，判断当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓是否匹配，以及当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹是否匹配。
[0063]步骤2028，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类另IJ;具体的，当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓匹配，且当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹匹配，即可确定预存的手势的手势类别为当前手势图像对应的手势类别。
[0064]步骤2029，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别；当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓不匹配，或者当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹不匹配，或者上述两者均不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0065]步骤2024，根据预存的手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令;具体内容参见实施例四，在此不再赘述。
[0066]下面以一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明:如图2所示，智能眼镜16利用摄像头采集图像，显示设备12为平板电脑，平板电脑上显示的画面是文字阅读界面，智能眼镜16上的摄像头对平板电脑显示的文字阅读界面进行采集，得到平板电脑的显示图像;用户此时希望对文字阅读界面中的某句文字进行标记，故用户做出握笔手势，想要在该句文字对应的位置做出标记，需要注意的是，用户手中不存在触摸笔等真实物理工具，此时，摄像头采集到了平板电脑显示的文字阅读界面和用户的握笔手势，从而得到显示图像和当前手势图像;智能眼镜16分别对握笔手势的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜16中存储的手势数据库中进行匹配，从而在手势数据库中得到与提取的特征值匹配的手势的手势类别为握笔标记手势，并将手势为握笔标记手势对应的控制指令传送给平板电脑，平板电脑根据握笔标记手势的控制指令，在智能眼镜16的视野范围内形成虚拟笔15的图像，在握笔手势对应的文字处进行标记，需要注意的是，智能眼镜16生成虚拟笔15的图像，使得用户可以通过智能眼镜16看到虚拟笔15的图像，用户看到的效果图为图6，与用户使用触摸笔等真实物理工具进行标记的效果相同。
[0067]下面再以另一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明:智能眼镜利用摄像头采集图像，显示设备为平板电脑，平板电脑上显示的画面是文字阅读界面或游戏界面，用户需要将文字阅读界面或游戏界面放大，则可做出手持放大镜的手势或加号手势，摄像头采集到手持放大镜的手势图像或加号手势图像后，智能眼镜分别对放大镜的手势图像或加号手势图像的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜中存储的手势数据库中进行匹配，从而得到在手势数据库中与提取的特征值匹配的手势的手势类别为放大手势，并将放大手势对应的控制指令传送给平板电脑，平板电脑根据放大手势的控制指令，在智能眼镜的视野范围内形成虚拟放大镜的图像，并将文字阅读界面或游戏界面放大，用户可以通过智能眼镜看到虚拟放大镜的图像以及放大的文字阅读界面或游戏界面。
[0068]本实施例中的人机交互系统，智能眼镜利用手势边缘轮廓和手势运动轨迹对采集到的手势进行识别和匹配，并根据目标手势生成控制指令，根据控制指令生成虚拟工具图像，显示设备执行控制指令对应的功能，使得人机交互活动更加精准、完善。
[0069]实施例六
[0070]请参照图7，本发明实施例还提供了一种人机交互装置30，包括:
[0071]采集模块31，用于采集用户的当前手势图像和显示设备的显示图像；
[0072]确定模块32，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
[0073]发送模块33，用于将控制指令发送给显示设备，使得显示设备执行控制指令；
[0074]生成模块34，用于根据控制指令，生成与控制指令对应的虚拟工具图像；
[0075]投射模块35，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像。
[0076]本发明提供的人机交互装置30中，采集模块31采集用户的当前手势图像和显示设备的显示图像，确定模块32将当前手势图像与手势数据库中的手势进行匹配，确定匹配手势的手势类别，确定与手势类别对应的控制指令，生成模块34生成与控制指令对应的虚拟工具图像，投射模块35投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，发送模块33向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
[0077]实施例七
[0078]在实施例六的基础上，下面将介绍上述各个模块的具体功能:
[0079]采集模块31具体用于同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像;从混合图像中分别识别出当前手势图像和显示设备的显示图像。
[0080]确定模块32具体用于根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。
[0081]确定模块32还可以具体用于:根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹;判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0082]确定模块32还可以具体用于:根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运 动轨迹的特征向量;提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值;判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配;当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
[0083]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于人机交互装置的实施例而言，由于其基本相似于人机交互方法实施例，所以描述得比较简单，相关之处参见人机交互方法实施例的部分说明即可。
[0084]在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0085]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种人机交互系统，其特征在于，包括:可穿戴设备和显示设备； 所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像； 所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像； 所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备； 所述显示设备用于在接收到所述控制指令时，执行所述控制指令。2.根据权利要求1所述的人机交互系统，其特征在于，所述可穿戴设备为智能眼镜，所述智能眼镜包括镜片和支撑所述镜片的镜框，所述图像投射模块集成在所述镜片中，所述图像采集模块设置在所述镜框上。3.一种人机交互方法，其特征在于，包括: 可穿戴设备采集用户的当前手势图像和显示设备的显示图像； 将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令； 根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像； 将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。4.根据权利要求3所述的人机交互方法，其特征在于，采集用户的当前手势图像和显示设备的显示图像，具体包括: 同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像； 从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。5.根据权利要求3所述的人机交互方法，其特征在于，确定与所述手势类别对应的控制指令，具体包括: 根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。6.根据权利要求3所述的人机交互方法，其特征在于，将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括: 根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹；判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配； 若匹配，则确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别； 若不匹配，则确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。7.根据权利要求3所述的人机交互方法，其特征在于，将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括: 根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量； 提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值； 判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配； 若匹配，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别； 若不匹配，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。8.一种人机交互装置，其特征在于，包括: 采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像； 确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令； 生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像； 投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像； 发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。9.根据权利要求8所述的人机交互装置，其特征在于，所述采集模块具体用于:同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像;从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。10.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。11.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹;判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类另IJ;当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。12.根据权利要求8所述的人机交互装置，其特征在于，所述确定模块具体用于:根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量;提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值;判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。
【专利摘要】本发明公开一种人机交互系统、方法及装置，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统，包括可穿戴设备和显示设备；采集设备包括可穿戴设备包括用于采集用户的当前手势图像和显示设备的显示图像的图像采集模块、存储器、用于将当前手势图像与存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像的处理器、用于投射出包括虚拟工具图像和显示图像的虚拟图像的图像投射模块和信息发送接口；本发明提供的人机交互系统用于人机交互活动。
【IPC分类】G06F3/01
【公开号】CN105487673
【申请号】CN201610004024
【发明人】卢永春
【申请人】京东方科技集团股份有限公司
【公开日】2016年4月13日
【申请日】2016年1月4日
最新回复(0)