基于增强现实的课堂教学混合技术应用系统及方法
专利名称：基于增强现实的课堂教学混合技术应用系统及方法
技术领域：
本发明属于计算机增强现实技术和交互技术在课堂教学中的混合应用，具体涉及一种基于增强现实的课堂教学混合技术应用系统及方法。
背景技术：
传统的课堂故事教学通常是以书本及录像带或者幻灯片的形式进行，教育手段比较单一。虽然使用录像带或者幻灯片，相对于书本教学，课堂的标准化程度得到了一定的提高，但是毫无互动性的播放之后，依然以教师讲授为主，还是停留在信息的单向传输阶段。 这种教学对学生的操作能力，社会品质、情感意志等方面的培养效果甚微。由于传统的教学方式互动性很差，单方面由教师讲授，令很多学生失去学习兴趣。所学知识不能灵活运用， 也就无法转变为能力。因为其单方面的教学性质，导致教学过程中高度依赖老师，使得教学质量不够稳定。现有的课堂互动反馈系统一般是通过电子载具(如PDA、手机或遥控器)，让课堂中所有学生可以互动反馈信息给教师的一种教学应用系统。由教师遥控器、学生遥控器 (每人一个)、接收器以及配套的软件等组成。其可以将课堂教学、课堂测试、投票表决、游戏活动、竟猜学习教学评估等有机的结合起来，在现有大部分教室“一台电脑一部投影机” 的基础上，既可实现传统课堂所不能实现的数位互动教学，又能自动批改、统计并生成各种报表等。例如，ChinaIRS 互动反馈系统(China Interactive Response System，简称 ChinaIRS)，或者其他同类产品。现有的课堂互动反馈系统虽然改变了传统的“填鸭”式教学模式，突显课堂师生灵活互动的特色，但是，其硬件设施的投入成本相对较高，教师以及每个学生都需要分配一个电子遥控器，而且还要设置相应的信号接收及处理装置，这些硬件设施的功能单一，形式固定，无法带来更加灵活的课堂应用效果。
发明内容
本发明的目的在于针对传统教学方式以及现有课堂互动反馈系统的缺陷，提供一种基于增强现实的课堂教学混合技术应用系统及方法，提高课堂教学的互动性，使学生在富有情趣的教学环境中，增强对知识的理解和兴趣。本发明的技术方案如下一种基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机；影像处理模块，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；
影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；数据统计和分析模块，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的印有标记面的对象中的标记与背景颜色之间存在高对比度，优选方案为黑白图码标记，黑白图码标记位于标识区域内；所述的标识区域为一个具有预定形状的边界图形，优选的方案为一边带有缺口的矩形边界框。更进一步，所述的印有标记面的对象中的标记代表的含义还包含以下信息学生身份、答案内容。更进一步，所述的印有标记面的对象上还包括问答的选项内容和/或学生身份的直接表现信息。更进一步，所述的印有标记面的对象为静止状态或者运动状态。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像采集设备为摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。更进一步，所述的影像采集设备采集的影像中包含一个或多个印有标记面的对象。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像处理模块针对影像采集设备输入的每帧影像进行数据处理，利用图像轮廓搜索技术识别影像中印有标记面的对象的标识区域，对标识区域内的图像进行分析，得到像素点与模板的像素点相吻合的图像内容，并确定该图像内容所代表的信息。
进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像定位模块针对每帧影像中的标记进行三维坐标的计算；并根据标记的特征点计算转换矩阵。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计， 对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显示。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的显示设备为各种电子显示器或屏幕，或多媒体投影设备，计算机设有与显示设备相适配的接口模块。更进一步，所述的显示设备为与摄像头集成一体的微型数字投影仪，将最终生成的影像投影到摄像头后方的幕布或墙体上。一种基于增强现实的课堂教学混合技术应用方法，包括
通过影像采集设备采集课堂环境中的影像，所采集的影像中包含至少一个印有标记面的对象；通过影像处理模块对采集的影像进行处理，得到印有标记面的对象中的标记图像，并将标记图像与模板相匹配，识别该标记所代表的含义；计算所识别的标记在采集到的影像中的坐标；将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；如果标记代表的含义包含学生身份、答案内容的信息，对影像处理模块识别出的学生的答案内容进行统计和分析；通过显示设备显示最终生成的虚拟对象和真实环境融为一体的图像。进一步，如上所述的基于增强现实的课堂教学混合技术应用方法，其中，所述的印有标记面的对象为学生持有的信息采集卡，学生通过移动手中的信息采集卡，使影像采集设备所采集的影像中的信息采集卡的标记发生位移，从而使标记对应的虚拟对象的坐标位置发生变化，形成虚拟对象移动的效果。进一步，如上所述的基于增强现实的课堂教学混合技术应用方法，其中，所述的印有标记面的对象为学生持有的信息采集卡，信息采集卡上还包括问答的选项内容和/或学生身份的直接表现信息，学生根据问答题的内容出示所选答案对应的信息采集卡，并被影像采集设备采集信息采集卡上的标记图像。本发明的有益效果如下本发明在图像跟踪技术上采用的是基于人工标志物的跟踪方式，非常适合应用于教学模式，学生不需要穿戴HMD，可以自由活动、自由交互。在硬件实现方面，只需要在电脑前面安装一台摄像头即可，学生只需持有简单材质的卡片，这种卡片为无源无线的信息采集卡，通过成熟的影像识别技术对卡片上的标记图像进行处理和分析，就可以实现教学中的各种互动方式，其实现成本和所需经费与现有的课堂互动反馈系统相比明显降低，但使用的灵活性却显著提高。在教学实践当中，本发明体现出了如下显著的优点(1)将增强现实技术作为教具，可以使学习者在虚拟与真实的环境中流畅地进行互动；(2)将增强现实技术作为教具，将产生一种新的教学和学习策略，在这种模式下， 即使学生没有任何电脑经验，也可以进行互动学习；(3)学习者可以沉浸于学习内容，改变了学习者仅仅面对静态文字的传统学习方式。
图1为基于增强现实的课堂教学混合技术应用系统的一种实施方式示意图；图2为基于增强现实的课堂教学混合技术应用系统的另一种实施方式示意图；图3为具体实施方式
中信息采集卡的一种样式示意图；图4为具体实施方式
中信息采集卡的另一种样式示意图；图5为影像处理、定位和生成过程的一个具体实例的示意图；图6为具体实施方式
中图形的标识、角点提取四边形检测的方法流程图7为本发明具体实施方式
的一种教学场景示意图；图8为本发明具体实施方式
的另一种教学场景示意图。
具体实施例方式下面结合附图和实施例对本发明进行详细的说明。本发明公开了一种基于增强现实的课堂教学混合技术应用，采用的是基于显示设备的呈现方式，将工业摄像头用于增强现实环境，并通过人机交互技术优化性能和效率，创造出了一个融合真实世界和虚拟现实的增强现实环境的新的教学模式。如图1所示，基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象1，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备2，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机3 ；影像处理模块31，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；影像定位模块32，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块33，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；数据统计和分析模块34，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备4，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。在本实施方式中，印有标记面的对象是一种无源无线的信息采集卡，可以是纸质或其它简单材质，成本低廉，可在随时需要使用的时候通过打印装置打印生成。信息采集卡上关键是要包含有明显的可识别标记。信息采集卡由学生持有，在课堂教学过程中根据教学课程互动的需要随时使用，并保证被影像采集设备成功的采集进课堂影像中。另一方面，印有标记面的对象并不局限于由学生持有的卡片，也可以是设置在课堂环境中的某些固定物，影像采集设备采集到其标记后，同样可以通过处理和计算，在该标记对应的影像的位置上产生任何需要的虚拟物体，从而构建更加丰富多样的影像环境并通过显示设备进行显示。印有标记面的对象可以为静止状态，也可以为运动状态；在同一个课堂教学场景中， 既可以是一个单独使用，也可以是多个同时使用，具有很强的应用灵活性。所述的印有标记面的对象中的标记与背景颜色之间应该存在高对比度，以便于影像的处理。优选方案为黑白图码标记，最好是标记为黑色，其背景为白色，黑白图码标记位于标识区域内。所述的标识区域为一个具有预定形状的边界图形，以便于软件很好的识别区域所在的位置，优选的方案为一边带有缺口的矩形边界框，最好为正方形框体，在正方形框体的一个边上设有缺口，该缺口破坏了边界的对称性，从而增加了标记的相异性。本实施方式中的印有标记面的对象为信息采集卡的形式，卡片上标识区域的标记是一种二维的黑白图码标记。标记的含义一般来说包含如下一种或几种信息虚拟对象、学生身份、答案内容。这些对应的信息均已事先在计算机软件中进行了设定，并且，计算机的影像处理模块中还包含所有标记的标准模板，以便于影像处理中进行图像的匹配。信息采集卡的一种样式设计如图3所示，仅包括位于标识区域内的黑白图码标记。这种信息采集卡一般用于课堂教学中角色的扮演使用，学生持有一张信息采集卡，卡上标记的图像被有效采集后，经处理和计算在影像的相对位置上生成一个该标记对应的虚拟对象，如一种卡通形象，学生通过移动信息采集卡使得影像中标记的位置发生变化，从而使虚拟对象的坐标随时间改变，输出显示设备上产生诸如卡通形象运动的视觉效果。当信息采集卡移出影像采集的范围后，显示图像上的虚拟对象就自动消失。也就是说，学生可以通过简单的手动卡片来控制图像画面中的卡通形象灵活的运动，从而使教学的环境和氛围变得更加活跃，互动性更强。信息采集卡的另一种样式设计如图4所示，包括位于标识区域内的黑白图码标记，同时，还包括问答的选项内容(图示中的A)，以及学生身份(学号、班级、姓名)的直接表现信息。这种信息采集卡的适用范围相对较广，一方面可以如上例一样作为课堂教学中角色的扮演使用，另一方面还可以作为课堂问答的答题卡使用。这种信息采集卡的标记除了可以对应一种虚拟对象外，还必须包含如下信息学生身份、答案内容。在课堂教学的问答环节中，每个学生都拥有与问题的选项数量相对应的信息采集卡，例如4张，分别代表A、 B、C、D，各个信息采集卡上的标记所代表的含义已经在计算机的软件中事先进行了设定。针对一个问题的选项，学生将自己选定的答题卡片举起，被影像采集设备采集，在影像处理模块获得具体图像后，通过与模板的匹配，根据标记所表征的含义确定每个学生的答案选项是否正确，然后，可以对学生的答案内容进行统计和分析，生成统计结果，例如形成答题光荣榜，并进行显示。同时，还可以根据答案的结果生成相应的虚拟对象，显示在真实影像的学生手中的信息采集卡上标记的位置，以增强教学问答的趣味性。本发明对于影像采集设备没有太严格的要求，支持大多数市场上的摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。影像采集设备需要采集清晰的课堂教学真实场景影像，最好具有灵活的自动对焦功能。本发明对影像的处理和相关的运算由计算机软件来完成，同时该软件还具有教学所需的操作页面，显示各种操作选项和功能。对于后台数据处理部分，软件包括影像处理模块、影像定位模块、影像生成模块、数据统计和分析模块。影像处理模块对影像采集设备输入的每帧影像进行数据处理，影像的处理应该说是非常成熟的现有技术。例如，首先对图像进行二值化处理，由于卡片上标识区域的标记是一种二维的黑白图码标记，因此，二值化处理后有利于标记的搜索和识别。接下来，对图像中所有标记可能存在的区域进行搜索，可以利用目前通用的图像轮廓搜索技术识别图像中的标识区域。在本实施例中，如果搜索到符合识别区域的正方形，而且具有相应的8个特征点，那么就认为这是标记的候选者。得到标记的候选者后，提取标记的内容，利用成熟的二维图像分析技术对标识区域内的标记图像进行分析，如果像素点与模板的像素点相吻合， 则证明找到了需要的黑白标记，通过计算机内部预先设置的标记对应信息，就可以确定该标记图像内容所代表的具体含义信息。在教学场景中，标记所对应的信息一般为与教学内容相关的虚拟对象，或者是课堂问答的答案，以及学生的身份。这些信息均在影像处理模块中进行确认，并以备影像的定位生成或数据的统计分析使用。如图5所示，当影像处理模块对影像完成处理和标记的匹配后，影像定位模块针对每帧影像中的标记进行三维坐标的计算，并根据标记的特征点计算转换矩阵，该转换矩阵的值用于将虚拟物体投放到黑白标记所在的三维坐标系中。通常来说，计算机分析图像中物体三维坐标的位置有两种方法，一种是用黑白标识(Marker)作为定位标记，这种识别需要的算法计算量比较少，先进的算法也比较成熟， 但是需要有标识，才能定位。另一种是用作普通的图片，作为定位标记，这种算法需求计算机大量的计算量，同时也存在着较大的计算误差，所以算法不是很成熟，也是现阶段正在研究的技术方向。因此，本发明依旧使用黑白标识，作为增强现实的基础算法。算法的具体流程可以参考本文最后所列的参考文献[1] "calibration for a video-based augmented reality conferencing system. ”。下面简单介绍如下1.标识、角点提取四边形检测如图6所示，首先采用固定阈值的方法，对图像进行二值分割。考虑到跟踪系统的应用主要是在室内，光线环境比较稳定，采用动态阈值，或多重阈值的分隔方式。接下来，对二值图像进行连通域提取，对面积较小的连通域，直接舍弃，这样就提高了算法效率。2.标志物识别在得到四边形后，进入到标志物的识别阶段。首先，需要将屏幕上的四边形，进行反变换，得到正规化正方形。根据空间坐标与图像平面的四组点对应，可以求得单应性矩阵 H。先不考虑标志物的方向，利用标志物检测部分得到的图像上四边形的左上点为第一点， 与假设的模板图像的左上顶点对应，依次顺时针，将四点分别对应，可求得单应性矩阵H。由 H进行屏幕四边形到规范化正方形的校正，对校正的正方形，取其上，下，左，右四个可能的代码区，为1111的一方，即为标志物的主方向，同时，并得到该标志物对应的代码。在确定了标志物对应的代码后，将标志物中部的图像与标志物库中具有相同代码的模板图像进行模板匹配，来确定标志物。3.标志物的跟踪当标识物确定后，可以确定用四个角点进行追踪，求出世界坐标系与标识坐标系以及摄像头坐标系与标识坐标系。当直接从图像中获取方形标志物失败时，系统将进入标志物的跟踪状态，MXRToolkit通过图像的角点匹配来实现对标志物的跟踪，该算法通过上一帧图像对应的单应性矩阵来获得角点的初始位置，在当前图像中搜索最近邻角点，更新当前角点位置，然后再通过RANSAC参考文献[2] "a paradigm for model fitting with applications to image analysis and automated cartography.，，的方法来易丨J除匹配错误的点，得到新的单应性矩阵。影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。如图5所示，根据标记的三维坐标，将虚拟对象一茶壶放置到标记的坐标位置。本实施例中选择torqUe3D的游戏渲染引擎，把虚拟的物体放置到真实的图像之中。由于虚拟物体有静态和动态的，所以在真实世界中可以透视，旋转，操控虚拟物体，并且把所有角度的影像通过自然的交互的方式体现出来，这都是目前torqUe3D 游戏渲染引擎完全可以实现的功能。加上粒子、影音等效果可以让用户留下深刻的印象。另外，对于课堂教学中问答环节的操作，影像处理模块将所识别的标记中包含的学生身份和答案内容信息传输给数据统计和分析模块，数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计，对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显示。这些功能事先在软件中进行编制， 结合相应的界面操作，可以低成本，且方便灵活的实现课堂问答互动教学，相比现有需要装备电子遥控器的课堂互动反馈系统来说具有极强的优越性。本发明的显示设备可以为各种电子显示器或屏幕，或多媒体投影设备，这些设施完全可以根据课堂环境的具体条件来任意的选择，计算机只要设有与显示设备相适配的接口模块就可以方便的使用。为了更好的体现本发明的便携特点，以及使用灵活方便的优越性，本发明在具体实例中提供了一种结构更加合理，适应性更强的显示设备的设计思路，有利于在任何设施简陋、条件较差地区实现本发明的交互式教学模式。如图2所示，该实施例中提供的显示设备为一种与摄像头(影像采集设备2、集成一体的微型数字投影仪5，计算机3采用便携式笔记本电脑，整个教学软件都安装在笔记本电脑内。这种硬件的集成方式就使得本发明的课堂教学混合技术应用系统可以任意的在任何环境中得以使用。教师只需要给学生分发纸质的信息采集卡(印有标记面的对象1)，这种卡片可以随时打印并便于随身携带。教学开始前，需要做的准备工作就是在电脑的软件中将必要的信息进行设定，同学们持有已经被电脑事先定义并可以识别的信息采集卡。课堂教学中，在需要的时候开启摄像头2以及微型投影仪5，将影像投影到摄像头后方的幕布6或墙体上，运行电脑内的软件， 影像处理模块31、影像定位模块32、影像生成模块33、数据统计和分析模块34就会自动的进行处理和运算，从而实现各种教学流程的场景互动。可见，本发明在具体实现中不需要在教室中设置任何专用设备，所有的硬件装置只需教师随身携带即可，分发给学生的也只是纸质的、价格低廉的卡片，不用担心在使用中会发生损坏，也不需要对学生进行任何事先的培训，非常适用于年龄较小的学生使用。下面结合具体的教学课堂场景，对本发明技术方案的应用进行进一步的描述。实例I-课堂朗读部分本发明在软件的操作界面中设计了朗读部分的界面，教师选择对朗读部分进行操作，界面菜单中会弹出朗读段落的按钮，供教师选择对哪一个段落进行朗读。当选择了具体的段落后，显示设备的输出界面会进入到与朗读段落匹配的三维模型场景中，如图7所示。 此时，参与朗读互动的学生持有信息采集卡，摄像头采集到课堂的影像后，通过计算机软件中的影像处理模块、影像定位模块、影像生成模块的一系列的处理和计算，将每个同学扮演的朗读角色对应的卡通形象投放到影像中其信息采集卡的标记所在的位置，这样，虚拟对象就与实际的教学环境进行了融合。如图6中，三个同学的信息采集卡就对应了屏幕上的三个卡通形象，当每个同学移动信息采集卡的时候，影像处理模块通过对每一帧影像的处理，使影像定位模块可以随时确定标记的三维坐标位置并在连续变化的位置上投放虚拟影像，标记所对应的三维卡通形象就会同时运动。伴随着角色的朗读，学生利用手中的信息采集卡操作对应的三维卡通角色与场景互动。三维卡通形象表现为站在场景的地面上，通过信息采集卡黑白标记在屏幕中上下左右移动，从而操作卡通角色在场景中前后左右运动。 与此同时，软件界面中还提供了录制功能，如图7的右上角设有录制按钮，可以将学生操作卡通角色移动的整个过程以及朗读的配音录制下来，以备后续随时播放。如需返回，则可以选择软件界面左上角的返回按钮，使程序返回到上一级菜单界面。实例2-课堂问答部分本发明在软件的操作界面中设计了问答部分的界面，教师选择对问答部分进行操
1作，界面菜单中会弹出问答段落的按钮，教师随意点击问答界面的其中一段，界面将进入到与段落匹配的当前场景中。如图8所示，此时，学生的手中一般持有四张信息采集卡，信息采集卡的设计形式可以如图4所示，包括一个黑白图码标记，同时，还包括问答的选项内容 (图示中的A)，以及学生身份(学号、班级、姓名)的直接表现信息，四张卡片分别为A、B、 C、D的选项。对应于每一个信息采集卡，其上面的黑白标记都至少要包含答案内容和学生身份这两方面的含义，这些含义信息已经事先在计算机软件系统中进行了设置，以保证图像信息匹配的准确性。根据系统问题，学生们利用手中的信息采集卡的标记与问答题进行互动。由于，每个小朋友手中都会有A、B、C、D四个选项的标记，根据所确定的答案，只要在答题有效期内举起相应的答案标记即可被摄像头采集，通过影像处理模块对标记所代表的含义进行识别。识别后的结果会被传送至数据统计和分析模块，对每个学生或者每道问题的回答情况进行统计和分析。教师可以用鼠标点击界面，进行下一题的问答，用前面同样方式循环操作所有题目的问答环节，最后会弹出新界面——答题光荣榜。在光荣榜中可以查看每道题目的结果统计数据，包括正确的，错误的以及无效答案。还可以查看统计时候的屏幕截图。如想返回，则点击界面中的返回按钮即可。另外，在课堂问答环节中，本系统软件中的影像定位模块和影像生成模块同样可以根据事先程序的设计生成相应的虚拟对象并投放到屏幕上的标记位置，如图8中影像里信息采集卡的标记位置会根据学生答案的正确与否出现一个“ V ”或“X”的图像，并可以配合其它效果，使课堂问答的教学气氛更加活跃。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。参考文献[l]Kato H. and BillinghurstM. . Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In IffAR' 99 -Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality, page 85, Washington, DC, USA, 1999.IEEE Computer Society.[2]M. A. Fischler and R. C. Bolles. Random sample consensus :a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM,24 (6) :381-395,1981.
权利要求
1.一种基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机；影像处理模块，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置， 并与影像中的真实环境相融合；数据统计和分析模块，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。
2.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象中的标记与背景颜色之间存在高对比度。
3.根据权利要求2所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象中的标记为黑白图码标记，黑白图码标记位于标识区域内。
4.根据权利要求3所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的标识区域为一个具有预定形状的边界图形。
5.根据权利要求4所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的标识区域为一边带有缺口的矩形边界框。
6.根据权利要求1-5中任意一项所述的基于增强现实的课堂教学混合技术应用系统， 其特征在于所述的印有标记面的对象的标记代表的含义还包含以下信息学生身份、答案内容。
7.根据权利要求2或3所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的印有标记面的对象上还包括问答的选项内容和/或学生身份的直接表现信息。
8.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象为静止状态或者运动状态。
9.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像采集设备为摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。
10.根据权利要求9所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像采集设备采集的影像中包含一个或多个印有标记面的对象。
11.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像处理模块针对影像采集设备输入的每帧影像进行数据处理，利用图像轮廓搜索技术识别影像中印有标记面的对象的标识区域，对标识区域内的图像进行分析，得到像素点与模板的像素点相吻合的图像内容，并确定该图像内容所代表的信息。
12.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像定位模块针对每帧影像中的标记进行三维坐标的计算；并根据标记的特征点计算转换矩阵。
13.根据权利要求12所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。
14.根据权利要求6所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计，对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显不。
15.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的显示设备为各种电子显示器或屏幕，或多媒体投影设备，计算机设有与显示设备相适配的接口模块。
16.根据权利要求15所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的显示设备为与摄像头集成一体的微型数字投影仪，将最终生成的影像投影到摄像头后方的幕布或墙体上。
17.一种基于增强现实的课堂教学混合技术应用方法，包括通过影像采集设备采集课堂环境中的影像，所采集的影像中包含至少一个印有标记面的对象；通过影像处理模块对采集的影像进行处理，得到印有标记面的对象中的标记图像，并将标记图像与模板相匹配，识别该标记所代表的含义；计算所识别的标记在采集到的影像中的坐标；将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；如果标记代表的含义包含学生身份、答案内容的信息，对影像处理模块识别出的学生的答案内容进行统计和分析；通过显示设备显示最终生成的虚拟对象和真实环境融为一体的图像，或者数据统计分析结果。
18.根据权利要求17所述的基于增强现实的课堂教学混合技术应用方法，其特征在于所述的印有标记面的对象为学生持有的信息采集卡，学生通过移动手中的信息采集卡， 使影像采集设备所采集的影像中的信息采集卡的标记发生位移，从而使标记对应的虚拟对象的坐标位置发生变化，形成虚拟对象移动的效果。
19.根据权利要求17所述的基于增强现实的课堂教学混合技术应用方法，其特征在于所述的印有标记面的对象为学生持有的信息采集卡，信息采集卡上还包括问答的选项内容和/或学生身份的直接表现信息，学生根据问答题的内容出示所选答案对应的信息采集卡，并被影像采集设备采集信息采集卡上的标记图像。
全文摘要
本发明涉及一种基于增强现实的课堂教学混合技术应用系统及方法。该系统包括印有标记面的对象；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像；影像处理模块，用于对采集到的影像进行处理和分析；影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置；数据统计和分析模块，用于对答案内容进行统计和分析；显示设备，用于显示最终生成的图像或者数据统计分析结果。本发明可以实现教学中的多种互动方式，其实现成本和所需经费与现有的课堂互动反馈系统相比明显降低，但使用的灵活性却显著提高。
文档编号G09B5/02GK102411854SQ201110255428
公开日2012年4月11日 申请日期2011年9月1日 优先权日2011年9月1日
发明者周志颖, 徐小枫, 李超伦, 林士程, 温舒蕾, 谢毓斌, 郭巍 申请人:北京传动新媒体技术有限公司, 苏州梦想人软件科技有限公司
技术领域：
本发明属于计算机增强现实技术和交互技术在课堂教学中的混合应用，具体涉及一种基于增强现实的课堂教学混合技术应用系统及方法。
背景技术：
传统的课堂故事教学通常是以书本及录像带或者幻灯片的形式进行，教育手段比较单一。虽然使用录像带或者幻灯片，相对于书本教学，课堂的标准化程度得到了一定的提高，但是毫无互动性的播放之后，依然以教师讲授为主，还是停留在信息的单向传输阶段。 这种教学对学生的操作能力，社会品质、情感意志等方面的培养效果甚微。由于传统的教学方式互动性很差，单方面由教师讲授，令很多学生失去学习兴趣。所学知识不能灵活运用， 也就无法转变为能力。因为其单方面的教学性质，导致教学过程中高度依赖老师，使得教学质量不够稳定。现有的课堂互动反馈系统一般是通过电子载具(如PDA、手机或遥控器)，让课堂中所有学生可以互动反馈信息给教师的一种教学应用系统。由教师遥控器、学生遥控器 (每人一个)、接收器以及配套的软件等组成。其可以将课堂教学、课堂测试、投票表决、游戏活动、竟猜学习教学评估等有机的结合起来，在现有大部分教室“一台电脑一部投影机” 的基础上，既可实现传统课堂所不能实现的数位互动教学，又能自动批改、统计并生成各种报表等。例如，ChinaIRS 互动反馈系统(China Interactive Response System，简称 ChinaIRS)，或者其他同类产品。现有的课堂互动反馈系统虽然改变了传统的“填鸭”式教学模式，突显课堂师生灵活互动的特色，但是，其硬件设施的投入成本相对较高，教师以及每个学生都需要分配一个电子遥控器，而且还要设置相应的信号接收及处理装置，这些硬件设施的功能单一，形式固定，无法带来更加灵活的课堂应用效果。
发明内容
本发明的目的在于针对传统教学方式以及现有课堂互动反馈系统的缺陷，提供一种基于增强现实的课堂教学混合技术应用系统及方法，提高课堂教学的互动性，使学生在富有情趣的教学环境中，增强对知识的理解和兴趣。本发明的技术方案如下一种基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机；影像处理模块，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；
影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；数据统计和分析模块，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的印有标记面的对象中的标记与背景颜色之间存在高对比度，优选方案为黑白图码标记，黑白图码标记位于标识区域内；所述的标识区域为一个具有预定形状的边界图形，优选的方案为一边带有缺口的矩形边界框。更进一步，所述的印有标记面的对象中的标记代表的含义还包含以下信息学生身份、答案内容。更进一步，所述的印有标记面的对象上还包括问答的选项内容和/或学生身份的直接表现信息。更进一步，所述的印有标记面的对象为静止状态或者运动状态。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像采集设备为摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。更进一步，所述的影像采集设备采集的影像中包含一个或多个印有标记面的对象。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像处理模块针对影像采集设备输入的每帧影像进行数据处理，利用图像轮廓搜索技术识别影像中印有标记面的对象的标识区域，对标识区域内的图像进行分析，得到像素点与模板的像素点相吻合的图像内容，并确定该图像内容所代表的信息。
进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像定位模块针对每帧影像中的标记进行三维坐标的计算；并根据标记的特征点计算转换矩阵。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计， 对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显示。进一步，如上所述的基于增强现实的课堂教学混合技术应用系统，其中，所述的显示设备为各种电子显示器或屏幕，或多媒体投影设备，计算机设有与显示设备相适配的接口模块。更进一步，所述的显示设备为与摄像头集成一体的微型数字投影仪，将最终生成的影像投影到摄像头后方的幕布或墙体上。一种基于增强现实的课堂教学混合技术应用方法，包括
通过影像采集设备采集课堂环境中的影像，所采集的影像中包含至少一个印有标记面的对象；通过影像处理模块对采集的影像进行处理，得到印有标记面的对象中的标记图像，并将标记图像与模板相匹配，识别该标记所代表的含义；计算所识别的标记在采集到的影像中的坐标；将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；如果标记代表的含义包含学生身份、答案内容的信息，对影像处理模块识别出的学生的答案内容进行统计和分析；通过显示设备显示最终生成的虚拟对象和真实环境融为一体的图像。进一步，如上所述的基于增强现实的课堂教学混合技术应用方法，其中，所述的印有标记面的对象为学生持有的信息采集卡，学生通过移动手中的信息采集卡，使影像采集设备所采集的影像中的信息采集卡的标记发生位移，从而使标记对应的虚拟对象的坐标位置发生变化，形成虚拟对象移动的效果。进一步，如上所述的基于增强现实的课堂教学混合技术应用方法，其中，所述的印有标记面的对象为学生持有的信息采集卡，信息采集卡上还包括问答的选项内容和/或学生身份的直接表现信息，学生根据问答题的内容出示所选答案对应的信息采集卡，并被影像采集设备采集信息采集卡上的标记图像。本发明的有益效果如下本发明在图像跟踪技术上采用的是基于人工标志物的跟踪方式，非常适合应用于教学模式，学生不需要穿戴HMD，可以自由活动、自由交互。在硬件实现方面，只需要在电脑前面安装一台摄像头即可，学生只需持有简单材质的卡片，这种卡片为无源无线的信息采集卡，通过成熟的影像识别技术对卡片上的标记图像进行处理和分析，就可以实现教学中的各种互动方式，其实现成本和所需经费与现有的课堂互动反馈系统相比明显降低，但使用的灵活性却显著提高。在教学实践当中，本发明体现出了如下显著的优点(1)将增强现实技术作为教具，可以使学习者在虚拟与真实的环境中流畅地进行互动；(2)将增强现实技术作为教具，将产生一种新的教学和学习策略，在这种模式下， 即使学生没有任何电脑经验，也可以进行互动学习；(3)学习者可以沉浸于学习内容，改变了学习者仅仅面对静态文字的传统学习方式。
图1为基于增强现实的课堂教学混合技术应用系统的一种实施方式示意图；图2为基于增强现实的课堂教学混合技术应用系统的另一种实施方式示意图；图3为具体实施方式
中信息采集卡的一种样式示意图；图4为具体实施方式
中信息采集卡的另一种样式示意图；图5为影像处理、定位和生成过程的一个具体实例的示意图；图6为具体实施方式
中图形的标识、角点提取四边形检测的方法流程图7为本发明具体实施方式
的一种教学场景示意图；图8为本发明具体实施方式
的另一种教学场景示意图。
具体实施例方式下面结合附图和实施例对本发明进行详细的说明。本发明公开了一种基于增强现实的课堂教学混合技术应用，采用的是基于显示设备的呈现方式，将工业摄像头用于增强现实环境，并通过人机交互技术优化性能和效率，创造出了一个融合真实世界和虚拟现实的增强现实环境的新的教学模式。如图1所示，基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象1，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备2，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机3 ；影像处理模块31，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；影像定位模块32，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块33，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；数据统计和分析模块34，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备4，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。在本实施方式中，印有标记面的对象是一种无源无线的信息采集卡，可以是纸质或其它简单材质，成本低廉，可在随时需要使用的时候通过打印装置打印生成。信息采集卡上关键是要包含有明显的可识别标记。信息采集卡由学生持有，在课堂教学过程中根据教学课程互动的需要随时使用，并保证被影像采集设备成功的采集进课堂影像中。另一方面，印有标记面的对象并不局限于由学生持有的卡片，也可以是设置在课堂环境中的某些固定物，影像采集设备采集到其标记后，同样可以通过处理和计算，在该标记对应的影像的位置上产生任何需要的虚拟物体，从而构建更加丰富多样的影像环境并通过显示设备进行显示。印有标记面的对象可以为静止状态，也可以为运动状态；在同一个课堂教学场景中， 既可以是一个单独使用，也可以是多个同时使用，具有很强的应用灵活性。所述的印有标记面的对象中的标记与背景颜色之间应该存在高对比度，以便于影像的处理。优选方案为黑白图码标记，最好是标记为黑色，其背景为白色，黑白图码标记位于标识区域内。所述的标识区域为一个具有预定形状的边界图形，以便于软件很好的识别区域所在的位置，优选的方案为一边带有缺口的矩形边界框，最好为正方形框体，在正方形框体的一个边上设有缺口，该缺口破坏了边界的对称性，从而增加了标记的相异性。本实施方式中的印有标记面的对象为信息采集卡的形式，卡片上标识区域的标记是一种二维的黑白图码标记。标记的含义一般来说包含如下一种或几种信息虚拟对象、学生身份、答案内容。这些对应的信息均已事先在计算机软件中进行了设定，并且，计算机的影像处理模块中还包含所有标记的标准模板，以便于影像处理中进行图像的匹配。信息采集卡的一种样式设计如图3所示，仅包括位于标识区域内的黑白图码标记。这种信息采集卡一般用于课堂教学中角色的扮演使用，学生持有一张信息采集卡，卡上标记的图像被有效采集后，经处理和计算在影像的相对位置上生成一个该标记对应的虚拟对象，如一种卡通形象，学生通过移动信息采集卡使得影像中标记的位置发生变化，从而使虚拟对象的坐标随时间改变，输出显示设备上产生诸如卡通形象运动的视觉效果。当信息采集卡移出影像采集的范围后，显示图像上的虚拟对象就自动消失。也就是说，学生可以通过简单的手动卡片来控制图像画面中的卡通形象灵活的运动，从而使教学的环境和氛围变得更加活跃，互动性更强。信息采集卡的另一种样式设计如图4所示，包括位于标识区域内的黑白图码标记，同时，还包括问答的选项内容(图示中的A)，以及学生身份(学号、班级、姓名)的直接表现信息。这种信息采集卡的适用范围相对较广，一方面可以如上例一样作为课堂教学中角色的扮演使用，另一方面还可以作为课堂问答的答题卡使用。这种信息采集卡的标记除了可以对应一种虚拟对象外，还必须包含如下信息学生身份、答案内容。在课堂教学的问答环节中，每个学生都拥有与问题的选项数量相对应的信息采集卡，例如4张，分别代表A、 B、C、D，各个信息采集卡上的标记所代表的含义已经在计算机的软件中事先进行了设定。针对一个问题的选项，学生将自己选定的答题卡片举起，被影像采集设备采集，在影像处理模块获得具体图像后，通过与模板的匹配，根据标记所表征的含义确定每个学生的答案选项是否正确，然后，可以对学生的答案内容进行统计和分析，生成统计结果，例如形成答题光荣榜，并进行显示。同时，还可以根据答案的结果生成相应的虚拟对象，显示在真实影像的学生手中的信息采集卡上标记的位置，以增强教学问答的趣味性。本发明对于影像采集设备没有太严格的要求，支持大多数市场上的摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。影像采集设备需要采集清晰的课堂教学真实场景影像，最好具有灵活的自动对焦功能。本发明对影像的处理和相关的运算由计算机软件来完成，同时该软件还具有教学所需的操作页面，显示各种操作选项和功能。对于后台数据处理部分，软件包括影像处理模块、影像定位模块、影像生成模块、数据统计和分析模块。影像处理模块对影像采集设备输入的每帧影像进行数据处理，影像的处理应该说是非常成熟的现有技术。例如，首先对图像进行二值化处理，由于卡片上标识区域的标记是一种二维的黑白图码标记，因此，二值化处理后有利于标记的搜索和识别。接下来，对图像中所有标记可能存在的区域进行搜索，可以利用目前通用的图像轮廓搜索技术识别图像中的标识区域。在本实施例中，如果搜索到符合识别区域的正方形，而且具有相应的8个特征点，那么就认为这是标记的候选者。得到标记的候选者后，提取标记的内容，利用成熟的二维图像分析技术对标识区域内的标记图像进行分析，如果像素点与模板的像素点相吻合， 则证明找到了需要的黑白标记，通过计算机内部预先设置的标记对应信息，就可以确定该标记图像内容所代表的具体含义信息。在教学场景中，标记所对应的信息一般为与教学内容相关的虚拟对象，或者是课堂问答的答案，以及学生的身份。这些信息均在影像处理模块中进行确认，并以备影像的定位生成或数据的统计分析使用。如图5所示，当影像处理模块对影像完成处理和标记的匹配后，影像定位模块针对每帧影像中的标记进行三维坐标的计算，并根据标记的特征点计算转换矩阵，该转换矩阵的值用于将虚拟物体投放到黑白标记所在的三维坐标系中。通常来说，计算机分析图像中物体三维坐标的位置有两种方法，一种是用黑白标识(Marker)作为定位标记，这种识别需要的算法计算量比较少，先进的算法也比较成熟， 但是需要有标识，才能定位。另一种是用作普通的图片，作为定位标记，这种算法需求计算机大量的计算量，同时也存在着较大的计算误差，所以算法不是很成熟，也是现阶段正在研究的技术方向。因此，本发明依旧使用黑白标识，作为增强现实的基础算法。算法的具体流程可以参考本文最后所列的参考文献[1] "calibration for a video-based augmented reality conferencing system. ”。下面简单介绍如下1.标识、角点提取四边形检测如图6所示，首先采用固定阈值的方法，对图像进行二值分割。考虑到跟踪系统的应用主要是在室内，光线环境比较稳定，采用动态阈值，或多重阈值的分隔方式。接下来，对二值图像进行连通域提取，对面积较小的连通域，直接舍弃，这样就提高了算法效率。2.标志物识别在得到四边形后，进入到标志物的识别阶段。首先，需要将屏幕上的四边形，进行反变换，得到正规化正方形。根据空间坐标与图像平面的四组点对应，可以求得单应性矩阵 H。先不考虑标志物的方向，利用标志物检测部分得到的图像上四边形的左上点为第一点， 与假设的模板图像的左上顶点对应，依次顺时针，将四点分别对应，可求得单应性矩阵H。由 H进行屏幕四边形到规范化正方形的校正，对校正的正方形，取其上，下，左，右四个可能的代码区，为1111的一方，即为标志物的主方向，同时，并得到该标志物对应的代码。在确定了标志物对应的代码后，将标志物中部的图像与标志物库中具有相同代码的模板图像进行模板匹配，来确定标志物。3.标志物的跟踪当标识物确定后，可以确定用四个角点进行追踪，求出世界坐标系与标识坐标系以及摄像头坐标系与标识坐标系。当直接从图像中获取方形标志物失败时，系统将进入标志物的跟踪状态，MXRToolkit通过图像的角点匹配来实现对标志物的跟踪，该算法通过上一帧图像对应的单应性矩阵来获得角点的初始位置，在当前图像中搜索最近邻角点，更新当前角点位置，然后再通过RANSAC参考文献[2] "a paradigm for model fitting with applications to image analysis and automated cartography.，，的方法来易丨J除匹配错误的点，得到新的单应性矩阵。影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。如图5所示，根据标记的三维坐标，将虚拟对象一茶壶放置到标记的坐标位置。本实施例中选择torqUe3D的游戏渲染引擎，把虚拟的物体放置到真实的图像之中。由于虚拟物体有静态和动态的，所以在真实世界中可以透视，旋转，操控虚拟物体，并且把所有角度的影像通过自然的交互的方式体现出来，这都是目前torqUe3D 游戏渲染引擎完全可以实现的功能。加上粒子、影音等效果可以让用户留下深刻的印象。另外，对于课堂教学中问答环节的操作，影像处理模块将所识别的标记中包含的学生身份和答案内容信息传输给数据统计和分析模块，数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计，对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显示。这些功能事先在软件中进行编制， 结合相应的界面操作，可以低成本，且方便灵活的实现课堂问答互动教学，相比现有需要装备电子遥控器的课堂互动反馈系统来说具有极强的优越性。本发明的显示设备可以为各种电子显示器或屏幕，或多媒体投影设备，这些设施完全可以根据课堂环境的具体条件来任意的选择，计算机只要设有与显示设备相适配的接口模块就可以方便的使用。为了更好的体现本发明的便携特点，以及使用灵活方便的优越性，本发明在具体实例中提供了一种结构更加合理，适应性更强的显示设备的设计思路，有利于在任何设施简陋、条件较差地区实现本发明的交互式教学模式。如图2所示，该实施例中提供的显示设备为一种与摄像头(影像采集设备2、集成一体的微型数字投影仪5，计算机3采用便携式笔记本电脑，整个教学软件都安装在笔记本电脑内。这种硬件的集成方式就使得本发明的课堂教学混合技术应用系统可以任意的在任何环境中得以使用。教师只需要给学生分发纸质的信息采集卡(印有标记面的对象1)，这种卡片可以随时打印并便于随身携带。教学开始前，需要做的准备工作就是在电脑的软件中将必要的信息进行设定，同学们持有已经被电脑事先定义并可以识别的信息采集卡。课堂教学中，在需要的时候开启摄像头2以及微型投影仪5，将影像投影到摄像头后方的幕布6或墙体上，运行电脑内的软件， 影像处理模块31、影像定位模块32、影像生成模块33、数据统计和分析模块34就会自动的进行处理和运算，从而实现各种教学流程的场景互动。可见，本发明在具体实现中不需要在教室中设置任何专用设备，所有的硬件装置只需教师随身携带即可，分发给学生的也只是纸质的、价格低廉的卡片，不用担心在使用中会发生损坏，也不需要对学生进行任何事先的培训，非常适用于年龄较小的学生使用。下面结合具体的教学课堂场景，对本发明技术方案的应用进行进一步的描述。实例I-课堂朗读部分本发明在软件的操作界面中设计了朗读部分的界面，教师选择对朗读部分进行操作，界面菜单中会弹出朗读段落的按钮，供教师选择对哪一个段落进行朗读。当选择了具体的段落后，显示设备的输出界面会进入到与朗读段落匹配的三维模型场景中，如图7所示。 此时，参与朗读互动的学生持有信息采集卡，摄像头采集到课堂的影像后，通过计算机软件中的影像处理模块、影像定位模块、影像生成模块的一系列的处理和计算，将每个同学扮演的朗读角色对应的卡通形象投放到影像中其信息采集卡的标记所在的位置，这样，虚拟对象就与实际的教学环境进行了融合。如图6中，三个同学的信息采集卡就对应了屏幕上的三个卡通形象，当每个同学移动信息采集卡的时候，影像处理模块通过对每一帧影像的处理，使影像定位模块可以随时确定标记的三维坐标位置并在连续变化的位置上投放虚拟影像，标记所对应的三维卡通形象就会同时运动。伴随着角色的朗读，学生利用手中的信息采集卡操作对应的三维卡通角色与场景互动。三维卡通形象表现为站在场景的地面上，通过信息采集卡黑白标记在屏幕中上下左右移动，从而操作卡通角色在场景中前后左右运动。 与此同时，软件界面中还提供了录制功能，如图7的右上角设有录制按钮，可以将学生操作卡通角色移动的整个过程以及朗读的配音录制下来，以备后续随时播放。如需返回，则可以选择软件界面左上角的返回按钮，使程序返回到上一级菜单界面。实例2-课堂问答部分本发明在软件的操作界面中设计了问答部分的界面，教师选择对问答部分进行操
1作，界面菜单中会弹出问答段落的按钮，教师随意点击问答界面的其中一段，界面将进入到与段落匹配的当前场景中。如图8所示，此时，学生的手中一般持有四张信息采集卡，信息采集卡的设计形式可以如图4所示，包括一个黑白图码标记，同时，还包括问答的选项内容 (图示中的A)，以及学生身份(学号、班级、姓名)的直接表现信息，四张卡片分别为A、B、 C、D的选项。对应于每一个信息采集卡，其上面的黑白标记都至少要包含答案内容和学生身份这两方面的含义，这些含义信息已经事先在计算机软件系统中进行了设置，以保证图像信息匹配的准确性。根据系统问题，学生们利用手中的信息采集卡的标记与问答题进行互动。由于，每个小朋友手中都会有A、B、C、D四个选项的标记，根据所确定的答案，只要在答题有效期内举起相应的答案标记即可被摄像头采集，通过影像处理模块对标记所代表的含义进行识别。识别后的结果会被传送至数据统计和分析模块，对每个学生或者每道问题的回答情况进行统计和分析。教师可以用鼠标点击界面，进行下一题的问答，用前面同样方式循环操作所有题目的问答环节，最后会弹出新界面——答题光荣榜。在光荣榜中可以查看每道题目的结果统计数据，包括正确的，错误的以及无效答案。还可以查看统计时候的屏幕截图。如想返回，则点击界面中的返回按钮即可。另外，在课堂问答环节中，本系统软件中的影像定位模块和影像生成模块同样可以根据事先程序的设计生成相应的虚拟对象并投放到屏幕上的标记位置，如图8中影像里信息采集卡的标记位置会根据学生答案的正确与否出现一个“ V ”或“X”的图像，并可以配合其它效果，使课堂问答的教学气氛更加活跃。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。参考文献[l]Kato H. and BillinghurstM. . Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In IffAR' 99 -Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality, page 85, Washington, DC, USA, 1999.IEEE Computer Society.[2]M. A. Fischler and R. C. Bolles. Random sample consensus :a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM,24 (6) :381-395,1981.
权利要求
1.一种基于增强现实的课堂教学混合技术应用系统，包括印有标记面的对象，置于课堂环境中，所印标记面的影像能够被有效的采集和识别；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像，并将采集到的影像传输给计算机；影像处理模块，用于对采集到的影像进行处理和分析，得到图像中与模板相匹配的标记，并识别该标记所代表的含义；影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置， 并与影像中的真实环境相融合；数据统计和分析模块，用于在教学的问答环节中对影像处理模块识别出的学生的答案内容进行统计和分析；显示设备，用于显示影像生成模块最终生成的虚拟对象和真实环境融为一体的图像或者数据统计分析结果。
2.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象中的标记与背景颜色之间存在高对比度。
3.根据权利要求2所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象中的标记为黑白图码标记，黑白图码标记位于标识区域内。
4.根据权利要求3所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的标识区域为一个具有预定形状的边界图形。
5.根据权利要求4所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的标识区域为一边带有缺口的矩形边界框。
6.根据权利要求1-5中任意一项所述的基于增强现实的课堂教学混合技术应用系统， 其特征在于所述的印有标记面的对象的标记代表的含义还包含以下信息学生身份、答案内容。
7.根据权利要求2或3所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的印有标记面的对象上还包括问答的选项内容和/或学生身份的直接表现信息。
8.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的印有标记面的对象为静止状态或者运动状态。
9.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像采集设备为摄像头或其他摄像装置；计算机设有与影像采集设备相适配的接口模块。
10.根据权利要求9所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像采集设备采集的影像中包含一个或多个印有标记面的对象。
11.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像处理模块针对影像采集设备输入的每帧影像进行数据处理，利用图像轮廓搜索技术识别影像中印有标记面的对象的标识区域，对标识区域内的图像进行分析，得到像素点与模板的像素点相吻合的图像内容，并确定该图像内容所代表的信息。
12.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的影像定位模块针对每帧影像中的标记进行三维坐标的计算；并根据标记的特征点计算转换矩阵。
13.根据权利要求12所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的影像生成模块根据影像定位模块计算的标记的三维坐标，将虚拟物体通过转换矩阵放到标记所在的三维坐标系中。
14.根据权利要求6所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的数据统计和分析模块根据影像处理模块识别出的学生身份和答案内容对答题结果进行统计，对每个学生以及每道题的正确率进行分析，生成答题光荣榜，输送给显示设备进行显不。
15.根据权利要求1所述的基于增强现实的课堂教学混合技术应用系统，其特征在于 所述的显示设备为各种电子显示器或屏幕，或多媒体投影设备，计算机设有与显示设备相适配的接口模块。
16.根据权利要求15所述的基于增强现实的课堂教学混合技术应用系统，其特征在于所述的显示设备为与摄像头集成一体的微型数字投影仪，将最终生成的影像投影到摄像头后方的幕布或墙体上。
17.一种基于增强现实的课堂教学混合技术应用方法，包括通过影像采集设备采集课堂环境中的影像，所采集的影像中包含至少一个印有标记面的对象；通过影像处理模块对采集的影像进行处理，得到印有标记面的对象中的标记图像，并将标记图像与模板相匹配，识别该标记所代表的含义；计算所识别的标记在采集到的影像中的坐标；将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置，并与影像中的真实环境相融合；如果标记代表的含义包含学生身份、答案内容的信息，对影像处理模块识别出的学生的答案内容进行统计和分析；通过显示设备显示最终生成的虚拟对象和真实环境融为一体的图像，或者数据统计分析结果。
18.根据权利要求17所述的基于增强现实的课堂教学混合技术应用方法，其特征在于所述的印有标记面的对象为学生持有的信息采集卡，学生通过移动手中的信息采集卡， 使影像采集设备所采集的影像中的信息采集卡的标记发生位移，从而使标记对应的虚拟对象的坐标位置发生变化，形成虚拟对象移动的效果。
19.根据权利要求17所述的基于增强现实的课堂教学混合技术应用方法，其特征在于所述的印有标记面的对象为学生持有的信息采集卡，信息采集卡上还包括问答的选项内容和/或学生身份的直接表现信息，学生根据问答题的内容出示所选答案对应的信息采集卡，并被影像采集设备采集信息采集卡上的标记图像。
全文摘要
本发明涉及一种基于增强现实的课堂教学混合技术应用系统及方法。该系统包括印有标记面的对象；影像采集设备，用于采集所述印有标记面的对象在课堂环境中的影像；影像处理模块，用于对采集到的影像进行处理和分析；影像定位模块，用于分析计算所识别的标记在采集到的影像中的坐标；影像生成模块，用于将所识别的标记对应的虚拟对象置于影像中该标记的坐标位置；数据统计和分析模块，用于对答案内容进行统计和分析；显示设备，用于显示最终生成的图像或者数据统计分析结果。本发明可以实现教学中的多种互动方式，其实现成本和所需经费与现有的课堂互动反馈系统相比明显降低，但使用的灵活性却显著提高。
文档编号G09B5/02GK102411854SQ201110255428
公开日2012年4月11日 申请日期2011年9月1日 优先权日2011年9月1日
发明者周志颖, 徐小枫, 李超伦, 林士程, 温舒蕾, 谢毓斌, 郭巍 申请人:北京传动新媒体技术有限公司, 苏州梦想人软件科技有限公司
最新回复(0)