多媒体增强现实读物的制作方法
专利名称：多媒体增强现实读物的制作方法
技术领域：
本发明涉及一种新型的印刷读物，具体的说是多媒体增强现实读物。
背景技术：
传统的书籍、印刷品因为只能进行平面的印刷，信息量有限，且缺乏互动性。如一 个家具产品说明书，虽然有组装的图纸，但是因为局限于平面纸张而无法表现出其组装过 程和多个视角的立体效果。如果能够在这些图纸中加入一个预设好的识别标记，将图纸置 于摄像头下，摄像头可以识别这个标记并且把三维的立体图和动画等叠加展示到图纸上的 相应位置，还可以随用户旋转、移动图纸而同步展示立体模型和动画的各个角度，这样会大 大方便阅读者了解图纸。用户如果还可以进一步通过虚拟触摸等形式来控制立体图像的展 示，那将能达到更佳逼真的体验效果。这些应用的实现可以带来传统印刷行业的革新，将 多媒体交互式阅读与传统阅读完美地结合在一起，你既可以像查看传统报纸、刊物、手册那 样地阅读，也可以用一个带有摄像头和增强现实处理系统的辅助阅读器来查看他的立体效 果，阅读到更丰富的信息。
发明内容
本发明的目的在于实现上述发明目的而提供了一种基于实时互动影像技术，产生 现实环境中不存在的虚拟对象，并将虚拟对象准确定位于真实环境中，借助显示设备将虚 拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实 时交互、三维定位的特点。本发明的目的可以通过以下技术方案来实现
多媒体增强现实读物，它包括识别标记、影像识别模块、影像处理模块、影像定位模块、影 像生成模块。识别标记是根据一定图像规则预设好的图形，每个识别标记与影像识别模块中 的标记库是唯一匹配的。识别标记印制或者粘贴于纸质等印刷品上，影像识别模块与影像处 理模块相连，影像处理模块与影像定位模块相连，影像定位模块与影像生成模块相连。本发明的优点是本发明是一种新型的多媒体读物。通过对传统读物的改进使其 可以提供更加丰富海量的信息并且能够与读物结合起来展示立体动态的内容，还可以与阅 读者进行交互。不但能够广泛用于展览展示、教学，还可以应用于娱乐、游戏、广告等多个用 途。
图1图2图3图4是本发明实施例一的结构示意图。图5是本发明的工作流程图。
具体实施例方式实施例一本实施例的结构如图1所示，本实施例中，摄像头1采集实时的视频信号，影像识别模 块2、影像处理模块3、影像定位模块4、影像生成模块5均集成在计算机6中，识别标记7 印制在读物8上。当读者9翻看读物8时，可以如阅览普通印刷品一样，但是当读者9将刊 物8置于摄像头1的捕捉区域内时，摄像头1所将采集的画面传递给影像识别模块2，影像 识别模块2比对并识别读物8上的识别标记7是否与其预设的标记对应，并将识别结果传 递给影像处理模块3，由影像处理模块3来进行画面处理，同时经过影像定位模块4的空间 坐标计算和定位，将需要叠加在读物8上的立体模型或画面等内容通过影像生成模块5生 成，并输出到显示屏11上，显示为多媒体读物10。当读者9移动读物8时，多媒体读物10 也会相应地产生角度、空间位置的同步变化。如图2所示当读者9将几个不同的识别标记 7放置在一起时，影像生成模块5还可以根据其位置组合的不同生成新的多媒体读物10的 内容。如图3图4所如果读者9触碰识别标记7，影像生成模块5还可以根据预设的命令进 行播放特定多媒体读物10的功能，从而给读者9以生动的互动体验。本实施例中的计算机6亦可是其他可以运行影像识别模块、处理模块、影像定位 模块、影像生成模块的设备，如手机、平板电脑、集成上述模块的专用阅读器等。根据需要的不同，本实施例中的显示屏11亦可是投影画面、手机屏幕等。本发明的工作原理是，在发明中，摄像头进行实时视频采集并将采集的真实影像 信息输入计算机中。影像处理模块对采集到的影像内的每一帧进行矫正滤波等初步处理， 再由影像定位模块做进一步分析得到目标物体的2维坐标及透视形状并计算出摄像头空 间的3D变换矩阵，影像生成模块根据3D变换矩阵将预置好的虚拟影像渲染到真实影像上， 并输出到显示屏上。影像处理装置通过3个模块对采集到的原始影像做初步的处理，以供分析。1、转 为灰度图像模块201，这里把原始图像转为单通道灰度图，以提高后面的图像处理效率。2、 图像变形矫正模块202，这里使用摄像头的标定数据对图像做变形矫正，以减小识别误差。 3、滤波处理模块203，这个模块主要使用模糊算法进行滤波，可以去除图像中的噪点，降低 干扰。影像定位模块对预处理过的图像作进一步分析。首先阈值处理模块301使用适当 的阈值把图像二值化，然后搜索连通域模块302分析二值图像中的连通域，提取轮廓模块 303提取连通域的轮廓再由四边形识别模块304分析每一个连通域的轮廓得到四条线段相 连的轮廓坐标。透视变换模块305根据四边形的四个顶点计算出透视变换矩阵，对四边形 图像做透视变换得到一个正方形图像。模板匹配模块306再把正方形图像与预设的图像模 板做模板匹配，匹配度最高的即为识别的目标。逆投影模块把四边形的2维顶点坐标反向 投影至摄像头空间，计算出目标物体的3D变换矩阵。影像生成模块根据影像定位模块得到的目标ID及3D变换矩阵渲染出预设的三维 或二维图像，再与摄像头采集到的原始影像合成，因为渲染出的三维或二维图像已经过摄 像头空间的3 D变换，最终虚拟的图像与现实的图像形成一样的视角，让人感觉虚拟的图像 就像真实出现在现实中一样。整个处理过程是实时的，虚拟图像会和真实图像同步发生视 角及平移变化。最终的合成图像输出到显示屏上。本发明还可以有其它实施方式，凡采用同等替换或等效变换形成的技术方案，均 落在本发明要求保护的范围之内。
权利要求
1.多媒体增强现实读物，其特征是，包括识别标记、影像识别模块、影像处理模块、影像 定位模块、影像生成模块。
2.如权利要求1所述的多媒体增强现实读物，其特征在于识别标记可以被影像识别 模块识别，由影像处理模块、影像定位模块、影像生成模块将预设的相对应的虚拟影像叠加 输出显示在显示屏上。
3.如权利要求1所述的多媒体增强现实读物，其特征在于使用者可以与影像生成模 块所生成的虚拟影像进行互动式点播。
4.如权利要求1所述的多媒体增强现实读物，其特征在于当读物进行移动的时候，显 示屏上所显示的叠加在其上的虚拟影像也会进行空间位置的同步移动。
全文摘要
本发明多媒体增强现实读物，涉及一种影像处理技术，它包括识别标记、影像处理模块、影像定位模块、影像生成模块。摄像头采集到识别标记，通过影像识别模块、影像处理模块进行分析比对和处理后，由影像定位模块准确分析定位识别标记的三维坐标，再通过影像生成模块产生现实环境中不存在的虚拟对象并准确放置到读物上，并经显示设备显示出来，将传统读物以多媒体的内容表现出来，虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实时交互、三维定位的特点。
文档编号G09B5/02GK102110379SQ201110041630
公开日2011年6月29日 申请日期2011年2月22日 优先权日2011年2月22日
发明者黄振强 申请人:黄振强
技术领域：
本发明涉及一种新型的印刷读物，具体的说是多媒体增强现实读物。
背景技术：
传统的书籍、印刷品因为只能进行平面的印刷，信息量有限，且缺乏互动性。如一 个家具产品说明书，虽然有组装的图纸，但是因为局限于平面纸张而无法表现出其组装过 程和多个视角的立体效果。如果能够在这些图纸中加入一个预设好的识别标记，将图纸置 于摄像头下，摄像头可以识别这个标记并且把三维的立体图和动画等叠加展示到图纸上的 相应位置，还可以随用户旋转、移动图纸而同步展示立体模型和动画的各个角度，这样会大 大方便阅读者了解图纸。用户如果还可以进一步通过虚拟触摸等形式来控制立体图像的展 示，那将能达到更佳逼真的体验效果。这些应用的实现可以带来传统印刷行业的革新，将 多媒体交互式阅读与传统阅读完美地结合在一起，你既可以像查看传统报纸、刊物、手册那 样地阅读，也可以用一个带有摄像头和增强现实处理系统的辅助阅读器来查看他的立体效 果，阅读到更丰富的信息。
发明内容
本发明的目的在于实现上述发明目的而提供了一种基于实时互动影像技术，产生 现实环境中不存在的虚拟对象，并将虚拟对象准确定位于真实环境中，借助显示设备将虚 拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实 时交互、三维定位的特点。本发明的目的可以通过以下技术方案来实现
多媒体增强现实读物，它包括识别标记、影像识别模块、影像处理模块、影像定位模块、影 像生成模块。识别标记是根据一定图像规则预设好的图形，每个识别标记与影像识别模块中 的标记库是唯一匹配的。识别标记印制或者粘贴于纸质等印刷品上，影像识别模块与影像处 理模块相连，影像处理模块与影像定位模块相连，影像定位模块与影像生成模块相连。本发明的优点是本发明是一种新型的多媒体读物。通过对传统读物的改进使其 可以提供更加丰富海量的信息并且能够与读物结合起来展示立体动态的内容，还可以与阅 读者进行交互。不但能够广泛用于展览展示、教学，还可以应用于娱乐、游戏、广告等多个用 途。
图1图2图3图4是本发明实施例一的结构示意图。图5是本发明的工作流程图。
具体实施例方式实施例一本实施例的结构如图1所示，本实施例中，摄像头1采集实时的视频信号，影像识别模 块2、影像处理模块3、影像定位模块4、影像生成模块5均集成在计算机6中，识别标记7 印制在读物8上。当读者9翻看读物8时，可以如阅览普通印刷品一样，但是当读者9将刊 物8置于摄像头1的捕捉区域内时，摄像头1所将采集的画面传递给影像识别模块2，影像 识别模块2比对并识别读物8上的识别标记7是否与其预设的标记对应，并将识别结果传 递给影像处理模块3，由影像处理模块3来进行画面处理，同时经过影像定位模块4的空间 坐标计算和定位，将需要叠加在读物8上的立体模型或画面等内容通过影像生成模块5生 成，并输出到显示屏11上，显示为多媒体读物10。当读者9移动读物8时，多媒体读物10 也会相应地产生角度、空间位置的同步变化。如图2所示当读者9将几个不同的识别标记 7放置在一起时，影像生成模块5还可以根据其位置组合的不同生成新的多媒体读物10的 内容。如图3图4所如果读者9触碰识别标记7，影像生成模块5还可以根据预设的命令进 行播放特定多媒体读物10的功能，从而给读者9以生动的互动体验。本实施例中的计算机6亦可是其他可以运行影像识别模块、处理模块、影像定位 模块、影像生成模块的设备，如手机、平板电脑、集成上述模块的专用阅读器等。根据需要的不同，本实施例中的显示屏11亦可是投影画面、手机屏幕等。本发明的工作原理是，在发明中，摄像头进行实时视频采集并将采集的真实影像 信息输入计算机中。影像处理模块对采集到的影像内的每一帧进行矫正滤波等初步处理， 再由影像定位模块做进一步分析得到目标物体的2维坐标及透视形状并计算出摄像头空 间的3D变换矩阵，影像生成模块根据3D变换矩阵将预置好的虚拟影像渲染到真实影像上， 并输出到显示屏上。影像处理装置通过3个模块对采集到的原始影像做初步的处理，以供分析。1、转 为灰度图像模块201，这里把原始图像转为单通道灰度图，以提高后面的图像处理效率。2、 图像变形矫正模块202，这里使用摄像头的标定数据对图像做变形矫正，以减小识别误差。 3、滤波处理模块203，这个模块主要使用模糊算法进行滤波，可以去除图像中的噪点，降低 干扰。影像定位模块对预处理过的图像作进一步分析。首先阈值处理模块301使用适当 的阈值把图像二值化，然后搜索连通域模块302分析二值图像中的连通域，提取轮廓模块 303提取连通域的轮廓再由四边形识别模块304分析每一个连通域的轮廓得到四条线段相 连的轮廓坐标。透视变换模块305根据四边形的四个顶点计算出透视变换矩阵，对四边形 图像做透视变换得到一个正方形图像。模板匹配模块306再把正方形图像与预设的图像模 板做模板匹配，匹配度最高的即为识别的目标。逆投影模块把四边形的2维顶点坐标反向 投影至摄像头空间，计算出目标物体的3D变换矩阵。影像生成模块根据影像定位模块得到的目标ID及3D变换矩阵渲染出预设的三维 或二维图像，再与摄像头采集到的原始影像合成，因为渲染出的三维或二维图像已经过摄 像头空间的3 D变换，最终虚拟的图像与现实的图像形成一样的视角，让人感觉虚拟的图像 就像真实出现在现实中一样。整个处理过程是实时的，虚拟图像会和真实图像同步发生视 角及平移变化。最终的合成图像输出到显示屏上。本发明还可以有其它实施方式，凡采用同等替换或等效变换形成的技术方案，均 落在本发明要求保护的范围之内。
权利要求
1.多媒体增强现实读物，其特征是，包括识别标记、影像识别模块、影像处理模块、影像 定位模块、影像生成模块。
2.如权利要求1所述的多媒体增强现实读物，其特征在于识别标记可以被影像识别 模块识别，由影像处理模块、影像定位模块、影像生成模块将预设的相对应的虚拟影像叠加 输出显示在显示屏上。
3.如权利要求1所述的多媒体增强现实读物，其特征在于使用者可以与影像生成模 块所生成的虚拟影像进行互动式点播。
4.如权利要求1所述的多媒体增强现实读物，其特征在于当读物进行移动的时候，显 示屏上所显示的叠加在其上的虚拟影像也会进行空间位置的同步移动。
全文摘要
本发明多媒体增强现实读物，涉及一种影像处理技术，它包括识别标记、影像处理模块、影像定位模块、影像生成模块。摄像头采集到识别标记，通过影像识别模块、影像处理模块进行分析比对和处理后，由影像定位模块准确分析定位识别标记的三维坐标，再通过影像生成模块产生现实环境中不存在的虚拟对象并准确放置到读物上，并经显示设备显示出来，将传统读物以多媒体的内容表现出来，虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实时交互、三维定位的特点。
文档编号G09B5/02GK102110379SQ201110041630
公开日2011年6月29日 申请日期2011年2月22日 优先权日2011年2月22日
发明者黄振强 申请人:黄振强
最新回复(0)