一种基于手势交互的便携式手部虚拟康复实验箱及方法
一种基于手势交互的便携式手部虚拟康复实验箱及方法
【技术领域】
[0001] 本发明涉及一种手部功能康复设备，尤其是一种基于手势交互的手部多功能康复 系统及方法。
【背景技术】
[0002] 人手作为人体重要的功能器官之一，其纵横交错的神经血管、遍布全手的肌肉导 致手部伤害的治疗要求高、难度大、康复周期长。目前市场上的机械式手部康复器材，如分 指板、握力器、手指矫正器等趋于成熟，但这些手部康复器材功能单一，使用时往往需要病 人进行单调的重复运动，病人锻炼起来非常枯燥，难以达到良好的康复效果。
[0003] 为了提升康复训练的趣味性，一些研宄者提出利用虚拟现实技术实现手部康复。 例如：华中科技大学发明的基于虚拟现实的手部多功能康复系统，运用了虚拟场景，以器械 为模板，只单纯的增加了娱乐性；北京交通大学针对脑卒中患者腕部活动度低的病症设计 虚拟现实训练平台，使患者在虚拟环境中扮演一个角色，成为虚拟环境中的一部分，通过 训练动作与虚拟环境进行交互，达到逐渐恢复腕关节活动度的目的；青岛科技大学设计了 应用三维建模的方法实现虚拟结合，但是三维建模速度慢，效率低，不能很好的达到康复效 果。上述系统通常只是单纯在康复训练过程中增加了游戏功能，只具备单一或几种手部动 作的识别能力，真实感差、可交互性差，且康复系统不具有便携性。还有国内国外一些研宄 机构使用数据手套通过虚实结合来达到康复训练的目的，但数据手套价格昂贵，应用受到 限制。
【发明内容】
[0004] 本发明目的在于提供一种价格低廉、趣味性强、功能丰富的基于手势交互的便携 式手部虚拟康复实验箱及方法，以提高手部运动功能障碍的患者的康复效率。
[0005] 为实现上述目的，采用了以下技术方案：
[0006] 本发明所述的一种基于手势交互的便携式手部虚拟康复实验箱，主要包括上箱体 和下箱体，上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示屏，显示屏驱动板镶 嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支架，在支架顶端安装 摄像头；在下箱体中安装立式隔板将下箱体分为左右两个箱体，在下箱体的箱口处镶嵌安 装游戏标志板；在左右两个下箱体的前侧板内分别镶嵌安装音箱；在右侧下箱体底部嵌入 一块支撑板，在支撑板上安装控制处理器、电源模块和散热风扇，右侧下箱体的侧板上安装 USB接口、网线接口、电源开关、复位键、电源接口并分别与控制处理器相连，在侧板上对应 散热风扇位置开设散热孔；
[0007] 所述控制处理器的输入端口与摄像头、电源开关、复位键通过数据线连接；控制处 理器的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接； 控制处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制 处理器连接进行供电。
[0008] 进一步的，在支架顶端安装摄像头，在摄像头旁安装一个光照辅助装置，光照辅助 装置是由光敏开关和LED灯头、电池串联组成。
[0009] 进一步的，在下箱体前侧顶部边缘固定安装弧形板体状的手臂托。
[0010] 进一步的，所述游戏标志板为长方形背景板，可选用木质或硬塑或钢制材料制成， 大小与下箱体的箱口大小配套。所述游戏标志板分为如下四种背景板：
[0011] (1)第一种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面上开设 大小不同的圆孔，在圆孔上可安插蘑菇型插钉；
[0012] (2)第二种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面由横竖 线绘制成棋盘格；
[0013] (3)第三种背景板，正面为黑色，边缘设有一圈白色边框；
[0014] (4)第四种背景板，为阶梯状支撑板，在各阶梯面上绘制琴键或敲击键或琴弦线。
[0015] 本发明所述的一种依赖于基于手势交互的便携式手部虚拟康复实验箱的手部康 复方法，方法步骤如下：
[0016] (1)通过手势识别算法对控制处理器进行编程，使控制处理器具备手势识别处理 功能；通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实交互结合的 功能；在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复手势图形；
[0017] (2)根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整 摄像头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景；
[0018] (3)人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状 态，由摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一 帧图像作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓；
[0019] 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性 对比，如果两者相似，识别当前手势为手的休息位；
[0020] 如果识别到手的休息位，则利用目标跟踪算法追踪该手势，同步提取手部轮廓，并 计算动态手势特征，包括手势主方向、运动方向、手势几何中心在游戏标志板的位置、速度 以及手部轮廓变化量；
[0021] 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配 准，若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征； 利用神经网络方法进一步判断手势类型，并由此发出动作信号来通过控制处理器来控制显 示屏中虚拟空间物体的运动；
[0022] (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，将 图像转换为灰度图，并进行二值化处理；识别游戏标志板外围矩形边缘角点，计算平面单应 矩阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手部、辅助物体中心在图 像中的坐标，结合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板 左下角的空间坐标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，进一步 将该位置赋予虚拟游戏场景中的对应物体，实现虚拟物体移动，根据手势类型赋予虚拟物 体相应合适的响应，完成手部虚拟康复训练。
[0023] 与现有技术相比，本发明具有如下优点：
[0024] 1、采用手势识别及虚拟现实技术，最大限度的实现了趣味性手部主动康复训练， 提高了训练效率，缩短了康复周期；
[0025] 2、系统设计灵活，可康复手势丰富，操作简单、成本低廉、便携性强，不需要医护人 员或家人长期陪伴训练，不但适合患者在医院进行康复训练，也适合患者在家庭中进行康 复训练。
【附图说明】
[0026] 图1是本发明实验箱的立体结构简图。
[0027] 图2是本发明实验箱下箱体的内部结构图。
[0028]图3是本发明实验箱的游戏标志板作为拼插游戏标志板使用时的示意图。
[0029] 图4是本发明实验箱的游戏标志板作为拼插游戏标志板时配套使用的蘑菇型插 钉结构图。
[0030]图5是本发明实验箱的游戏标志板作为棋盘游戏标志板使用时的示意图。
[0031]图6本发明实验箱的游戏标志板作为琴类游戏标志板使用时的示意图。
[0032] 图7是本发明方法的手势识别流程 图。
[0033] 图8a为实施例中拼插类游戏示例图。
[0034] 图8b为实施例中迷宫类游戏示例图。
[0035] 图8c为实施例中棋类游戏示例图。
[0036] 图8d为实施例中手游类游戏示例图。
[0037] 图8e为实施例中琴类游戏示例图。
[0038]图9为本发明实验箱的系统框图。
[0039] 附图标号：1_上箱体、2-下箱体、3-显示屏、4-支架、5-摄像头、6-游戏标志板、 7_音箱、8-支撑板、9-控制处理器、10-电源模块、11-散热风扇、12-USB接口、13-网线接 口、14-电源开关、15-复位键、16-电源接口、17-散热孔、18-光照辅助装置、19-手臂托。
【具体实施方式】
[0040] 下面结合附图对本发明做进一步说明：
[0041] 如图1和2所示，本发明所述的一种基于手势交互的便携式手部虚拟康复实验箱， 主要包括上箱体1和下箱体2,上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示 屏3,显示屏驱动板镶嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支 架4,在支架顶端安装摄像头5;在下箱体中安装立式隔板将下箱体分为左右两个箱体，左 侧下箱体形成储存空间，可存放物品；在下箱体的箱口处镶嵌安装游戏标志板6;在左右两 个下箱体的前侧板内分别镶嵌安装音箱7;在右侧下箱体底部嵌入一块支撑板8,在支撑板 上安装控制处理器9、电源模块10和散热风扇11，右侧下箱体的侧板上安装USB接口 12、网 线接口 13、电源开关14、复位键15、电源接口 16并分别与控制处理器相连，在侧板上对应散 热风扇位置开设散热孔17;下箱体右部侧面板分别布置4个USB接口和电源接口，用于连 接外部电源、键盘、鼠标和摄像头等设备；
[0042] 摄像头由两个大扭矩可旋铝合金杆组成，铝合金杆中空，底部铝合金杆通过螺丝 固定在上箱体外壳上，上部铝合金杆和下部铝合金杆通过螺丝固定，避免滑动，保证摄像头 稳定，其位置可以在三维空间调整，摄像头信号线通过铝合金杆中间空腔进入上箱体面板 内，再与控制处理器连接，以获得最佳的采集图像。
[0043] 支架不使用时，可以折叠后放入上箱体的内部；摄像头固定在摄像头支架上，通过 信号线与控制处理器连接，用于图像捕获；摄像头旁边配置一个光照辅助装置18,在低光 照时打开光源，以增加照明确保系统稳定运行；光照辅助装置是由光敏开关和LED灯头、电 池串联组成。
[0044] 如图9所示，所述控制处理器采用卡片式电脑PCAduino，控制处理器的输入端口 与摄像头、电源开关、复位键通过数据线连接；控制处理器的输出端口与音箱连接，另有输 出端口通过数据线经显示屏驱动板后与显示屏连接；控制处理器与USB接口、网线接口互 通连接；电源接口与电源模块连接，电源模块再与控制处理器连接进行供电。
[0045] 进一步的，在下箱体前侧顶部边缘固定安装弧形板体状的手臂托19,用于患者在 康复训练过程中缓解肘部压力。
[0046] 进一步的，所述游戏标志板是大小为42cm*32cm可替换的多种同规格的长方形背 景板，可选用木质或硬塑或钢制材料制成，大小与下箱体的箱口大小配套。所述游戏标志板 分为如下四种背景板：
[0047] (1)如图3所示，第一种背景板为拼插类游戏的辅助标志板，正面为黑色，边缘设 有一圈5mm宽的白色边框，黑色部分的表面上开设大小不同的圆孔，在圆孔上可安插蘑菇 型插钉，患者使用蘑菇型插钉在游戏标志板上根据虚拟游戏模块产生的游戏拼插相应的图 案。如图4所示，所述蘑菇钉上部为工字型便拿式设计，下部为从上到下逐渐缩径的圆柱 形，圆柱形直径与标志板上圆孔的直径相对应。
[0048] (2)如图5所示，第二种背景板，正面为黑色，边缘设有一圈5mm宽的白色边框，黑 色部分的表面由横竖线绘制成棋盘格，棋盘格大小为作为迷宫图形或棋盘使用；
[0049] (3)第三种背景板，正面为黑色，边缘设有一圈5mm宽的白色边框，主要供虚拟游 戏当背景板使用，供患者抓取棋子进行游戏，训练手部的抓取、移动、准确落放等动作。
[0050] (4)如图6所示，第四种背景板，为三层梯阶状支撑板，底层阶梯为钢琴按键，中部 阶梯为敲击琴键，上半阶梯为琴弦，主要训练手指灵活性和协调性。此类支撑板需要虚实结 合才能完成，相应的屏幕上有和支撑板上相同的琴，相应按键对应相应声音，按动、打击或 拨动相应的按键/琴弦则发出相应的声音，形成不同音乐。
[0051] 本发明所述的一种依赖于基于手势交互的便携式手部虚拟康复实验箱的手部康 复方法，方法步骤如下：
[0052] 如图7所示，（1)通过手势识别算法对控制处理器进行编程，使控制处理器具备手 势识别处理功能；通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实 交互结合的功能；在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复 手势图形；所述康复手势包括悬垂、托举、触摸、推压、击打、动态操作（上下左右移动）、球 形掌握、球形指尖握、柱状抓握、钩拉、二指尖捏、多指尖捏、侧捏、腕部屈、伸、屈曲和旋转；
[0053] (2)根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整 摄像头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景；
[0054] (3)人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状 态，由摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一 帧图像作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓；辅助物体包 括球、蘑葫钉、圆柱、棋子、积木和敲击锤等。
[0055] 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性 对比，如果两者相似，识别当前手势为手的休息位；
[0056] 如果识别到手的休息位，则利用Camshift算法追踪该手势，同步提取手部轮廓， 并计算动态手势特征，包括手势运动方向、手势几何中心在游戏标志板的位置、速度，以及 手部轮廓变化量；
[0057]设&时刻目标手势重心为（xi，yi)，tj时刻目标手势重心（X」，y」)，则：
[0060] 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配 准，若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征； 利用神经网络方法进一步判断手势类型，即将前述目标手势的速度大小、方向、手型特征作 为输入信号，进行BP神经网络学习训练，预测手势类型，并由此发出动作信号来通过控制 处理器来控制显示屏中虚拟空间物体的运动；
[0061] (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，控 制处理器将每一帧图像转换为灰度图，并根据阈值分割算法提取标志板矩形或圆形轮廓， 以及手部或辅助设备的轮廓；识别游戏标志板外围矩形边缘角点，并根据矩形大小以及角 点坐标计算平面单应矩阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手 部、辅助物体中心在图像中的坐标，如果在5s时间内手部位置和方向均不发生明显变化， 认为是静态手势 ，处理器开始进行手势识别，并根据手势识别结果确定是否完成虚拟游戏 任务；如果手部位置或方向在5s内发生明显变化，认为是动态手势，在识别手型的同时，结 合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板左下角的空间坐 标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，同时将计算得到的坐标 赋予虚拟手或手部虚拟康复设备，当虚拟手或手部虚拟康复设备运动到虚拟游戏规定的位 置，完成虚拟任务。
[0062] 例如：拼插类游戏示例，如图8a所示，患者首先按照虚拟游戏指定的难易程度不 同的图案，移动蘑菇钉在标志板上运动，然后处理器识别蘑菇钉位置，直至患者拼插出虚拟 游戏指定的图案，任务完成。
[0063] 迷宫类游戏示例，如图8b所示，患者首先根据虚拟场景中的迷宫场景在标志板上 根据指定手型（如球形掌握）移动小球，然后处理器识别手型和小球位置，直至患者走出迷 宫，任务完成。
[0064] 棋类游戏示例，如图8c所示，选择五子棋游戏，患者首先根据虚拟棋盘出现的棋 子按照指定手型（如二指夹捏）放置棋子，然后处理器识别手型和棋子位置，并实时判断患 者是否赢得比赛。
[0065]手游类游戏示例，如图8d所示，患者首先根据游戏要求，制作出不同的康复手型， 然后处理器识别手型，如果手势正确，任务完成。
[0066] 琴类游戏示例，如图8e所示，患者首先根据游戏提示，用手指拨或按琴键，然后处 理器识别手型和手指位置，如果手势和位置均正确，任务完成。
[0067] 以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范 围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方 案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【主权项】
1. 一种基于手势交互的便携式手部虚拟康复实验箱，主要包括上箱体和下箱体，其特 征在于：上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示屏，显示屏驱动板镶 嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支架，在支架顶端安装 摄像头；在下箱体中安装立式隔板将下箱体分为左右两个箱体，在下箱体的箱口处镶嵌安 装游戏标志板；在左右两个下箱体的前侧板内分别镶嵌安装音箱；在右侧下箱体底部嵌入 一块支撑板，在支撑板上安装控制处理器、电源模块和散热风扇，右侧下箱体的侧板上安装 USB接口、网线接口、电源开关、复位键、电源接口并分别与控制处理器相连，在侧板上对应 散热风扇位置开设散热孔； 所述控制处理器的输入端口与摄像头、电源开关、复位键通过数据线连接；控制处理器 的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接；控制 处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制处理 器连接进行供电。2. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：在支架顶端安装摄像头，在摄像头旁安装一个光照辅助装置，光照辅助装置是由光敏开 关和LED灯头、电池串联组成。3. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：在下箱体前侧顶部边缘固定安装弧形板体状的手臂托。4. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：所述游戏标志板为长方形背景板，可选用木质或硬塑或钢制材料制成，大小与下箱体的 箱口大小配套。5. 根据权利要求1或4所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特 征在于，所述游戏标志板分为如下四种背景板： (1) 第一种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面上开设大小 不同的圆孔，在圆孔上可安插蘑菇型插钉； (2) 第二种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面由横竖线绘 制成棋盘格； (3) 第三种背景板，正面为黑色，边缘设有一圈白色边框； (4) 第四种背景板，为阶梯状支撑板，在各阶梯面上绘制琴键或敲击键或琴弦线。6. -种依赖权利要求1的手部康复方法，其特征在于，所述方法步骤如下： (1) 通过手势识别算法对控制处理器进行编程，使控制处理器具备手势识别处理功能； 通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实交互结合的功能； 在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复手势图形； (2) 根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整摄像 头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景； (3) 人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状态，由 摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一帧图像 作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓； 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性对比， 如果两者相似，识别当前手势为手的休息位； 如果识别到手的休息位，则利用目标跟踪算法追踪该手势，同步提取手部轮廓，并计算 动态手势特征，包括手势主方向、运动方向、手势几何中心在游戏标志板的位置、速度以及 手部轮廓变化量； 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配准， 若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征；利用 神经网络方法进一步判断手势类型，并由此发出动作信号来通过控制处理器来控制显示屏 中虚拟空间物体的运动； (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，将图像 转换为灰度图，并进行二值化处理；识别游戏标志板外围矩形边缘角点，计算平面单应矩 阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手部、辅助物体中心在图像 中的坐标，结合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板左 下角的空间坐标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，进一步将 该位置赋予虚拟游戏场景中的对应物体，实现虚拟物体移动，根据手势类型赋予虚拟物体 相应合适的响应，完成手部虚拟康复训练。
【专利摘要】一种基于手势交互的便携式手部虚拟康复实验箱及方法，包括上箱体和下箱体，上箱体上安装显示屏，上箱体安装支架，支架顶端安装摄像头；隔板将下箱体分为左右两个箱体，下箱体的箱口处安装游戏标志板；在下箱体前侧板内安装音箱；在右侧下箱体内安装控制处理器、电源模块和散热风扇；所述控制处理器的输入端口与游戏标志板、摄像头、电源开关、复位键通过数据线连接；控制处理器的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接；控制处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制处理器连接进行供电。本发明具有携带方便、功能全面、趣味性强、成本低等优点。
【IPC分类】A63B23/16, G06F3/01, G06K9/00
【公开号】CN104898837
【申请号】CN201510267751
【发明人】丁伟利, 高晓阳, 赵勇, 高鹏, 张庆春, 曹利浩, 张焱鑫
【申请人】燕山大学
【公开日】2015年9月9日
【申请日】2015年5月22日
【技术领域】
[0001] 本发明涉及一种手部功能康复设备，尤其是一种基于手势交互的手部多功能康复 系统及方法。
【背景技术】
[0002] 人手作为人体重要的功能器官之一，其纵横交错的神经血管、遍布全手的肌肉导 致手部伤害的治疗要求高、难度大、康复周期长。目前市场上的机械式手部康复器材，如分 指板、握力器、手指矫正器等趋于成熟，但这些手部康复器材功能单一，使用时往往需要病 人进行单调的重复运动，病人锻炼起来非常枯燥，难以达到良好的康复效果。
[0003] 为了提升康复训练的趣味性，一些研宄者提出利用虚拟现实技术实现手部康复。 例如：华中科技大学发明的基于虚拟现实的手部多功能康复系统，运用了虚拟场景，以器械 为模板，只单纯的增加了娱乐性；北京交通大学针对脑卒中患者腕部活动度低的病症设计 虚拟现实训练平台，使患者在虚拟环境中扮演一个角色，成为虚拟环境中的一部分，通过 训练动作与虚拟环境进行交互，达到逐渐恢复腕关节活动度的目的；青岛科技大学设计了 应用三维建模的方法实现虚拟结合，但是三维建模速度慢，效率低，不能很好的达到康复效 果。上述系统通常只是单纯在康复训练过程中增加了游戏功能，只具备单一或几种手部动 作的识别能力，真实感差、可交互性差，且康复系统不具有便携性。还有国内国外一些研宄 机构使用数据手套通过虚实结合来达到康复训练的目的，但数据手套价格昂贵，应用受到 限制。
【发明内容】
[0004] 本发明目的在于提供一种价格低廉、趣味性强、功能丰富的基于手势交互的便携 式手部虚拟康复实验箱及方法，以提高手部运动功能障碍的患者的康复效率。
[0005] 为实现上述目的，采用了以下技术方案：
[0006] 本发明所述的一种基于手势交互的便携式手部虚拟康复实验箱，主要包括上箱体 和下箱体，上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示屏，显示屏驱动板镶 嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支架，在支架顶端安装 摄像头；在下箱体中安装立式隔板将下箱体分为左右两个箱体，在下箱体的箱口处镶嵌安 装游戏标志板；在左右两个下箱体的前侧板内分别镶嵌安装音箱；在右侧下箱体底部嵌入 一块支撑板，在支撑板上安装控制处理器、电源模块和散热风扇，右侧下箱体的侧板上安装 USB接口、网线接口、电源开关、复位键、电源接口并分别与控制处理器相连，在侧板上对应 散热风扇位置开设散热孔；
[0007] 所述控制处理器的输入端口与摄像头、电源开关、复位键通过数据线连接；控制处 理器的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接； 控制处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制 处理器连接进行供电。
[0008] 进一步的，在支架顶端安装摄像头，在摄像头旁安装一个光照辅助装置，光照辅助 装置是由光敏开关和LED灯头、电池串联组成。
[0009] 进一步的，在下箱体前侧顶部边缘固定安装弧形板体状的手臂托。
[0010] 进一步的，所述游戏标志板为长方形背景板，可选用木质或硬塑或钢制材料制成， 大小与下箱体的箱口大小配套。所述游戏标志板分为如下四种背景板：
[0011] (1)第一种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面上开设 大小不同的圆孔，在圆孔上可安插蘑菇型插钉；
[0012] (2)第二种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面由横竖 线绘制成棋盘格；
[0013] (3)第三种背景板，正面为黑色，边缘设有一圈白色边框；
[0014] (4)第四种背景板，为阶梯状支撑板，在各阶梯面上绘制琴键或敲击键或琴弦线。
[0015] 本发明所述的一种依赖于基于手势交互的便携式手部虚拟康复实验箱的手部康 复方法，方法步骤如下：
[0016] (1)通过手势识别算法对控制处理器进行编程，使控制处理器具备手势识别处理 功能；通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实交互结合的 功能；在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复手势图形；
[0017] (2)根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整 摄像头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景；
[0018] (3)人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状 态，由摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一 帧图像作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓；
[0019] 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性 对比，如果两者相似，识别当前手势为手的休息位；
[0020] 如果识别到手的休息位，则利用目标跟踪算法追踪该手势，同步提取手部轮廓，并 计算动态手势特征，包括手势主方向、运动方向、手势几何中心在游戏标志板的位置、速度 以及手部轮廓变化量；
[0021] 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配 准，若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征； 利用神经网络方法进一步判断手势类型，并由此发出动作信号来通过控制处理器来控制显 示屏中虚拟空间物体的运动；
[0022] (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，将 图像转换为灰度图，并进行二值化处理；识别游戏标志板外围矩形边缘角点，计算平面单应 矩阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手部、辅助物体中心在图 像中的坐标，结合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板 左下角的空间坐标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，进一步 将该位置赋予虚拟游戏场景中的对应物体，实现虚拟物体移动，根据手势类型赋予虚拟物 体相应合适的响应，完成手部虚拟康复训练。
[0023] 与现有技术相比，本发明具有如下优点：
[0024] 1、采用手势识别及虚拟现实技术，最大限度的实现了趣味性手部主动康复训练， 提高了训练效率，缩短了康复周期；
[0025] 2、系统设计灵活，可康复手势丰富，操作简单、成本低廉、便携性强，不需要医护人 员或家人长期陪伴训练，不但适合患者在医院进行康复训练，也适合患者在家庭中进行康 复训练。
【附图说明】
[0026] 图1是本发明实验箱的立体结构简图。
[0027] 图2是本发明实验箱下箱体的内部结构图。
[0028]图3是本发明实验箱的游戏标志板作为拼插游戏标志板使用时的示意图。
[0029] 图4是本发明实验箱的游戏标志板作为拼插游戏标志板时配套使用的蘑菇型插 钉结构图。
[0030]图5是本发明实验箱的游戏标志板作为棋盘游戏标志板使用时的示意图。
[0031]图6本发明实验箱的游戏标志板作为琴类游戏标志板使用时的示意图。
[0032] 图7是本发明方法的手势识别流程 图。
[0033] 图8a为实施例中拼插类游戏示例图。
[0034] 图8b为实施例中迷宫类游戏示例图。
[0035] 图8c为实施例中棋类游戏示例图。
[0036] 图8d为实施例中手游类游戏示例图。
[0037] 图8e为实施例中琴类游戏示例图。
[0038]图9为本发明实验箱的系统框图。
[0039] 附图标号：1_上箱体、2-下箱体、3-显示屏、4-支架、5-摄像头、6-游戏标志板、 7_音箱、8-支撑板、9-控制处理器、10-电源模块、11-散热风扇、12-USB接口、13-网线接 口、14-电源开关、15-复位键、16-电源接口、17-散热孔、18-光照辅助装置、19-手臂托。
【具体实施方式】
[0040] 下面结合附图对本发明做进一步说明：
[0041] 如图1和2所示，本发明所述的一种基于手势交互的便携式手部虚拟康复实验箱， 主要包括上箱体1和下箱体2,上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示 屏3,显示屏驱动板镶嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支 架4,在支架顶端安装摄像头5;在下箱体中安装立式隔板将下箱体分为左右两个箱体，左 侧下箱体形成储存空间，可存放物品；在下箱体的箱口处镶嵌安装游戏标志板6;在左右两 个下箱体的前侧板内分别镶嵌安装音箱7;在右侧下箱体底部嵌入一块支撑板8,在支撑板 上安装控制处理器9、电源模块10和散热风扇11，右侧下箱体的侧板上安装USB接口 12、网 线接口 13、电源开关14、复位键15、电源接口 16并分别与控制处理器相连，在侧板上对应散 热风扇位置开设散热孔17;下箱体右部侧面板分别布置4个USB接口和电源接口，用于连 接外部电源、键盘、鼠标和摄像头等设备；
[0042] 摄像头由两个大扭矩可旋铝合金杆组成，铝合金杆中空，底部铝合金杆通过螺丝 固定在上箱体外壳上，上部铝合金杆和下部铝合金杆通过螺丝固定，避免滑动，保证摄像头 稳定，其位置可以在三维空间调整，摄像头信号线通过铝合金杆中间空腔进入上箱体面板 内，再与控制处理器连接，以获得最佳的采集图像。
[0043] 支架不使用时，可以折叠后放入上箱体的内部；摄像头固定在摄像头支架上，通过 信号线与控制处理器连接，用于图像捕获；摄像头旁边配置一个光照辅助装置18,在低光 照时打开光源，以增加照明确保系统稳定运行；光照辅助装置是由光敏开关和LED灯头、电 池串联组成。
[0044] 如图9所示，所述控制处理器采用卡片式电脑PCAduino，控制处理器的输入端口 与摄像头、电源开关、复位键通过数据线连接；控制处理器的输出端口与音箱连接，另有输 出端口通过数据线经显示屏驱动板后与显示屏连接；控制处理器与USB接口、网线接口互 通连接；电源接口与电源模块连接，电源模块再与控制处理器连接进行供电。
[0045] 进一步的，在下箱体前侧顶部边缘固定安装弧形板体状的手臂托19,用于患者在 康复训练过程中缓解肘部压力。
[0046] 进一步的，所述游戏标志板是大小为42cm*32cm可替换的多种同规格的长方形背 景板，可选用木质或硬塑或钢制材料制成，大小与下箱体的箱口大小配套。所述游戏标志板 分为如下四种背景板：
[0047] (1)如图3所示，第一种背景板为拼插类游戏的辅助标志板，正面为黑色，边缘设 有一圈5mm宽的白色边框，黑色部分的表面上开设大小不同的圆孔，在圆孔上可安插蘑菇 型插钉，患者使用蘑菇型插钉在游戏标志板上根据虚拟游戏模块产生的游戏拼插相应的图 案。如图4所示，所述蘑菇钉上部为工字型便拿式设计，下部为从上到下逐渐缩径的圆柱 形，圆柱形直径与标志板上圆孔的直径相对应。
[0048] (2)如图5所示，第二种背景板，正面为黑色，边缘设有一圈5mm宽的白色边框，黑 色部分的表面由横竖线绘制成棋盘格，棋盘格大小为作为迷宫图形或棋盘使用；
[0049] (3)第三种背景板，正面为黑色，边缘设有一圈5mm宽的白色边框，主要供虚拟游 戏当背景板使用，供患者抓取棋子进行游戏，训练手部的抓取、移动、准确落放等动作。
[0050] (4)如图6所示，第四种背景板，为三层梯阶状支撑板，底层阶梯为钢琴按键，中部 阶梯为敲击琴键，上半阶梯为琴弦，主要训练手指灵活性和协调性。此类支撑板需要虚实结 合才能完成，相应的屏幕上有和支撑板上相同的琴，相应按键对应相应声音，按动、打击或 拨动相应的按键/琴弦则发出相应的声音，形成不同音乐。
[0051] 本发明所述的一种依赖于基于手势交互的便携式手部虚拟康复实验箱的手部康 复方法，方法步骤如下：
[0052] 如图7所示，（1)通过手势识别算法对控制处理器进行编程，使控制处理器具备手 势识别处理功能；通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实 交互结合的功能；在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复 手势图形；所述康复手势包括悬垂、托举、触摸、推压、击打、动态操作（上下左右移动）、球 形掌握、球形指尖握、柱状抓握、钩拉、二指尖捏、多指尖捏、侧捏、腕部屈、伸、屈曲和旋转；
[0053] (2)根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整 摄像头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景；
[0054] (3)人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状 态，由摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一 帧图像作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓；辅助物体包 括球、蘑葫钉、圆柱、棋子、积木和敲击锤等。
[0055] 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性 对比，如果两者相似，识别当前手势为手的休息位；
[0056] 如果识别到手的休息位，则利用Camshift算法追踪该手势，同步提取手部轮廓， 并计算动态手势特征，包括手势运动方向、手势几何中心在游戏标志板的位置、速度，以及 手部轮廓变化量；
[0057]设&时刻目标手势重心为（xi，yi)，tj时刻目标手势重心（X」，y」)，则：
[0060] 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配 准，若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征； 利用神经网络方法进一步判断手势类型，即将前述目标手势的速度大小、方向、手型特征作 为输入信号，进行BP神经网络学习训练，预测手势类型，并由此发出动作信号来通过控制 处理器来控制显示屏中虚拟空间物体的运动；
[0061] (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，控 制处理器将每一帧图像转换为灰度图，并根据阈值分割算法提取标志板矩形或圆形轮廓， 以及手部或辅助设备的轮廓；识别游戏标志板外围矩形边缘角点，并根据矩形大小以及角 点坐标计算平面单应矩阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手 部、辅助物体中心在图像中的坐标，如果在5s时间内手部位置和方向均不发生明显变化， 认为是静态手势 ，处理器开始进行手势识别，并根据手势识别结果确定是否完成虚拟游戏 任务；如果手部位置或方向在5s内发生明显变化，认为是动态手势，在识别手型的同时，结 合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板左下角的空间坐 标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，同时将计算得到的坐标 赋予虚拟手或手部虚拟康复设备，当虚拟手或手部虚拟康复设备运动到虚拟游戏规定的位 置，完成虚拟任务。
[0062] 例如：拼插类游戏示例，如图8a所示，患者首先按照虚拟游戏指定的难易程度不 同的图案，移动蘑菇钉在标志板上运动，然后处理器识别蘑菇钉位置，直至患者拼插出虚拟 游戏指定的图案，任务完成。
[0063] 迷宫类游戏示例，如图8b所示，患者首先根据虚拟场景中的迷宫场景在标志板上 根据指定手型（如球形掌握）移动小球，然后处理器识别手型和小球位置，直至患者走出迷 宫，任务完成。
[0064] 棋类游戏示例，如图8c所示，选择五子棋游戏，患者首先根据虚拟棋盘出现的棋 子按照指定手型（如二指夹捏）放置棋子，然后处理器识别手型和棋子位置，并实时判断患 者是否赢得比赛。
[0065]手游类游戏示例，如图8d所示，患者首先根据游戏要求，制作出不同的康复手型， 然后处理器识别手型，如果手势正确，任务完成。
[0066] 琴类游戏示例，如图8e所示，患者首先根据游戏提示，用手指拨或按琴键，然后处 理器识别手型和手指位置，如果手势和位置均正确，任务完成。
[0067] 以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范 围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方 案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【主权项】
1. 一种基于手势交互的便携式手部虚拟康复实验箱，主要包括上箱体和下箱体，其特 征在于：上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示屏，显示屏驱动板镶 嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支架，在支架顶端安装 摄像头；在下箱体中安装立式隔板将下箱体分为左右两个箱体，在下箱体的箱口处镶嵌安 装游戏标志板；在左右两个下箱体的前侧板内分别镶嵌安装音箱；在右侧下箱体底部嵌入 一块支撑板，在支撑板上安装控制处理器、电源模块和散热风扇，右侧下箱体的侧板上安装 USB接口、网线接口、电源开关、复位键、电源接口并分别与控制处理器相连，在侧板上对应 散热风扇位置开设散热孔； 所述控制处理器的输入端口与摄像头、电源开关、复位键通过数据线连接；控制处理器 的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接；控制 处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制处理 器连接进行供电。2. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：在支架顶端安装摄像头，在摄像头旁安装一个光照辅助装置，光照辅助装置是由光敏开 关和LED灯头、电池串联组成。3. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：在下箱体前侧顶部边缘固定安装弧形板体状的手臂托。4. 根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在 于：所述游戏标志板为长方形背景板，可选用木质或硬塑或钢制材料制成，大小与下箱体的 箱口大小配套。5. 根据权利要求1或4所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特 征在于，所述游戏标志板分为如下四种背景板： (1) 第一种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面上开设大小 不同的圆孔，在圆孔上可安插蘑菇型插钉； (2) 第二种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面由横竖线绘 制成棋盘格； (3) 第三种背景板，正面为黑色，边缘设有一圈白色边框； (4) 第四种背景板，为阶梯状支撑板，在各阶梯面上绘制琴键或敲击键或琴弦线。6. -种依赖权利要求1的手部康复方法，其特征在于，所述方法步骤如下： (1) 通过手势识别算法对控制处理器进行编程，使控制处理器具备手势识别处理功能； 通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实交互结合的功能； 在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复手势图形； (2) 根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整摄像 头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景； (3) 人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状态，由 摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一帧图像 作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓； 基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性对比， 如果两者相似，识别当前手势为手的休息位； 如果识别到手的休息位，则利用目标跟踪算法追踪该手势，同步提取手部轮廓，并计算 动态手势特征，包括手势主方向、运动方向、手势几何中心在游戏标志板的位置、速度以及 手部轮廓变化量； 如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配准， 若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征；利用 神经网络方法进一步判断手势类型，并由此发出动作信号来通过控制处理器来控制显示屏 中虚拟空间物体的运动； (4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，将图像 转换为灰度图，并进行二值化处理；识别游戏标志板外围矩形边缘角点，计算平面单应矩 阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手部、辅助物体中心在图像 中的坐标，结合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板左 下角的空间坐标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，进一步将 该位置赋予虚拟游戏场景中的对应物体，实现虚拟物体移动，根据手势类型赋予虚拟物体 相应合适的响应，完成手部虚拟康复训练。
【专利摘要】一种基于手势交互的便携式手部虚拟康复实验箱及方法，包括上箱体和下箱体，上箱体上安装显示屏，上箱体安装支架，支架顶端安装摄像头；隔板将下箱体分为左右两个箱体，下箱体的箱口处安装游戏标志板；在下箱体前侧板内安装音箱；在右侧下箱体内安装控制处理器、电源模块和散热风扇；所述控制处理器的输入端口与游戏标志板、摄像头、电源开关、复位键通过数据线连接；控制处理器的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接；控制处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制处理器连接进行供电。本发明具有携带方便、功能全面、趣味性强、成本低等优点。
【IPC分类】A63B23/16, G06F3/01, G06K9/00
【公开号】CN104898837
【申请号】CN201510267751
【发明人】丁伟利, 高晓阳, 赵勇, 高鹏, 张庆春, 曹利浩, 张焱鑫
【申请人】燕山大学
【公开日】2015年9月9日
【申请日】2015年5月22日
最新回复(0)