一种在电纸书上实现多媒体课件的方法
专利名称：一种在电纸书上实现多媒体课件的方法
技术领域：
本发明属于电纸书技术领域，具体涉及一种基于电子纸显示器(Ero)的实现多媒体教学的电纸书。
背景技术：
近年来出现了一种试图模拟纸的特性的显示器被广泛地应用，在本申请中，我们统一称之为电子纸显示器(Ero)。这种类型的显示器的其他名称包括:类纸显示器、零功率显不器、6纸、双稳态和电泳显不器等。一般认为，这种可以实现像纸一样阅读舒适、超薄轻便、可弯曲、超低耗电的显示技术叫做电子纸显示器(以下称为电子纸)技术；而电子纸即是这样一种类似纸张的电子显示器，其兼有纸的优点(如视觉感观可以做到几乎完全和纸一样等)，又可以像我们常见的液晶显示器一样不断转换刷新显示内容。目前实现电子纸技术的途径主要包括有胆固醇液晶显示技术、电泳显示技术以及电润湿显示技术等。以电泳显示技术为例，其显示的工作原理是靠浸在透明或彩色液体之中的电离子移动，即通过翻转或流动的微粒子来使像素变亮或变暗，并可以被制作在玻璃、金属或塑料衬底上。具体技术是将直径约为Imm左右的二氧化钛粒子散布在碳氢油中，黑色染料、表面活性剂以及使粒子带电的电荷控制剂也被加到碳氢油中，将这种混合物放置在两块间距为10 IOOmm的平行导电板之间，当对两块导电板施加电压时,这些粒子会以电泳的方式从所在的薄板迁移到带有相反电荷的薄板上。当粒子位于显示器的正面(显示面)时，显示屏为白色，这是因为光通过二氧化钛粒子散射回阅读者一方；当粒子位于显示器背面时，显示器为黑色，这是因为彩色染料吸收了入射光。如果将背面的电极分成多个微小的图像元素(像素)，通过对显示器的每个区域加上适当的电压来产生反射区和吸收区图案，即可形成图像。电泳技术具有下述的几大优势:一是能耗低，由于具有双稳定性，在电源被关闭之后，仍然可在显示器上将图像保留几天或几个月；二是电泳技术生产的显示器属于反射型，因此具有良好的日光可读性，同样也可以跟前面或侧面的光线结合在一起，用于黑暗环境；三是具有低生产成本的潜力，因为该技术不需要严格的封装，并且采用溶液处理技术如印刷是可行的；四是电泳显示器以形状因子灵活为特色，容许它们被制造在塑料、金属或玻璃表面上，所以它是柔性显示技术的最佳选择。电子纸显示器(EPD)技术与传统阴极射线管(CRT)或现在的主流显示器液晶显示器(LCD)相比，其功耗要低得多。也正是因为上述显示原理，电子纸显示器典型地为反射外界光线进行阅读的而不是背光透射的，因此，他们能够使用环境的光而不要求设备中自带的光源。传统的发散型显示设备可以自己发光，所以即使在光线暗淡的条件下也可以正常使用。但是，随着环境光强度的增加，这种显示器的显示效果就不那么令人满意了，因为较强的环境光提高了黑色素的亮度并降低了对比度，这也是我们无法在阳光直射的情况下看清显示器上文字的原因。而反射型显示器是通过反射环境光来显示图像的，图像的亮度会根据环境光线的强度改变，而且对比度也会随之变化，所以在强烈光线下反射型显示器的优势更明显。近来随着Ero技术的突飞猛进，使得电纸书在全世界普及开来。电子纸具有的低功耗和自然光阅读的优点日益成为人们够买电纸书的原因。但是，随着人们越来越多的使用电纸书，人们也发现了电纸书尚存在的很多缺陷。最主要的缺陷是:电纸书的显示原理造成了其响应速度慢、翻页慢、刷新率低。当然随着技术进步，这种情况会得到缓解，但是随着刷新率的提高又会造成电量的耗费。现在电子纸因为刷新率低无法播放现有视频和动画，由于电子纸的刷新率普遍低于10次每秒，播放动画和视频要20次以上，而现有的教程类视频，尤其是PPt转成的演讲和csf等视频教程，其内容转化慢，完全没有必要以视频格式在电纸书上呈现，这种情况也存在于现有flash动画版本的教程。真正的教师课堂，其内容转化速度很低，基本是在几秒到几分钟才刷新一次正在讲的内容。在传统黑板教学中，这种情况体现在教师每讲一段就书写一段板书或者画图示意，然后继续讲解，循环往复构成了整个课堂教学的过程。现有视频教程有几种:一种是直接录制板书和讲课过程，比如步步高公司的好些视频，包括黄网中学的教学视频；又比如全球开展火热的公开课程运动，耶鲁大学，哈佛大学，麻省理工学院的好些课程基本都采用这种形式。再有就是现在演讲和课堂普遍采用的PPt加讲解或者PPt加板书模式，比如中国大学公开课程普遍采用的CSf格式的视频教程，或者各种发布会或者TED演讲采用的人物加ppt做成的视频格式的演讲。还有一种电子板书模式，有的是用单机软件制作的，比如美国Khan学习网上的教学视频，都是用手写板和屏幕录像软件制作的，还比如中国的好些网络家教，类似24小时家教网用电子白板录制的课件。以上这些传统往往以.rm、.rmvb、.av1、.wmv等格式呈现出来,但是现有电纸书暂时支持不了每秒几十帧的刷新，就算以后能够支持，这种内容变化缓慢的视频教程也是对电能的一大浪费，与电子纸低功耗的初衷产生了背离。所以现有视频教程的这些实现形式已经无法满足电纸书对于播放课程的要求了。另外，近年来，点读笔及其配套图书近年来掀起了一大热潮，迅速丰富了儿童阅读市场的内容。但是，随着大量的点读笔配套的图书的生产和销售，大量的纸张浪费随带来的资源流失和环境污染问题日益严重起来。所以这种浪费自然资源而且造成环境污染的多媒体教材实现方式有待改进。目前用于电泳显示的使开关时间达到几十毫秒的更快的材料正在开发之中。所以，迄今为止，电纸书仍然无法播放图文并茂的视频教程和演讲。目前电纸书能播放的格式有:文本:txt、htxt、pdf、doc、xls、ppt、html、epub、chm、fb2 ;图像:jpg、bmp、gif、png ;音频:mp3等。电纸书现在的只有TTS发生引擎能读取文件内容，实现简单的多媒体，但是对于实现图文并茂的多媒体讲座和讲课，现有电纸书还做不到。随着显示技术的进步，以后可能会出现刷新率很高的可以播放视频的电纸书，但是如果播放课件，过高的刷新率违背了电纸书低功耗的优点，所以我们需要一种匹配电子纸特性的多媒体教程格式。当今全球无纸化教学已是大势所趋，电纸书进行无纸化教学无疑 是最佳选择，在电纸书上实现多媒体教学课程也是迫切需要的。
发明内容
本发明的目的在于提供一种能够适应电纸书翻页之后无需供电即可保存图像这种特性的在电纸书上实现多媒体课件的方法，用于解决现有技术存在的电纸书无法播放现有多媒体教程(这里多媒体教程指的是图文并茂并且有声音的教程，包括电影、电视、动画等等，表现为格式包括.rm、.rmvb、.wmv、.f lv、.mp4、.avi等主流的视频格式,也包括.csf专门的格式，当然还包括.swf这种flash动画，当然也包括其他的课件形式，比如pc上播放的.exe电子杂志等，特别的，还包括纸质教材配套音频讲解的教材形式，整体上算是“多媒体”比如少儿故事书和配套的讲解朗读音频，比如，市面上上已经普及的点读笔及其配套教材)以及现有动画和视频教程在画面不变情况下不停刷新导致电能浪费等问题。在此有必要首先定义一下电纸书可以播放的视频格式，我们暂且称之为Ero格式。这种格式的重要特点就是音配内容和图像内容是关联的，也就是说音频的讲解内容是对图像中的文字和图形进行的讲述。它可以看做是每张图像匹配一段相应的音频文件的讲解或说明的连贯整体，也可以看做在整个音频讲解背景下的图像按其音频讲解的内容一张一张的播放的一个整体。值得注意的是，这两种形式的图像或者音频都是按照时间前后顺序和内容的关联关系衔接在一起的。所包含的内容像PPt格式，但是背景音乐是教师或者说演讲者的讲课音频。这种格式就是在电纸书上实现多媒体课件的一种表现形式。本发明为解决上述技术问题所提供的方案是创造一种符合电子纸翻页一次图像可以留存一段时间但是不耗电这个特性的新的多媒体教程格式，使得图文声并茂的多媒体教程和讲座可以在电纸书上实现。这种在电纸书上实现多媒体课件的方法包含以下步骤:
(I)、把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像；(2)、确定这幅图像所含有效教学内容所对应的音频文件；(3)、把上述步骤(I)中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步；(4)、把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。本发明的实现还在于:所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，根据不同意群有一种或多种分割方式，并对应相应的图片，每段音频对应相应的图像。本发明的实现还在于:前述步骤⑴中所述有效图像内容指的是步骤⑵中所对应音频讲解的内容，其形式为一张图像的全部图文内容，也可以是局部图文内容。本发明的实现还在于:前述步骤(I)所述最终形成图像的有效内容信息是讲解音频所对应的动画或视频的每一个图像，图像整体变化或者局部变化都对应一段讲解内容，比如CSf教程，其有效的内容信息就是讲解音频所对应的PPt录像的每一个图像，PPt图像整张变化或者局部变化都对应一段讲解内容。本发明的实现还在于:前述步骤(I)中所述的音频是一段有独立起始点的音频文件或/和整个课件整体背景音频文件中对应图像中有效内容的一部分音频文件，或是事先录制好的教师或者演说者的讲解或者说明的录音，或是图像内的文字图形及包括标量和矢量在内的各种图形格式，音频文件的内容与图像中的有效内容不是TTS式的文字和音频一一对应关系。也就是说讲解或说明的声音中的语言文字和图像中的文字可以不同，但是其内容意思相关。这也涵及现有计算机发音引擎的发音机制，比如TTS发音引擎是通过程序识别文本内容，通过语音识别技术和模拟发音技术实现和文本对文本的讲解或说明，所表述内容及文本内容。本发明的实现还在于:前述步骤(2)中所述的对应的音频文件指的是此段音频所包含的内容为对这张包含有效内容图像的讲解或讲述。本发明的实现还在于:前述步骤(3)中所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，也就是说，我们能在这种音频文件提供的讲解或者说明的时候，一直看到的是相应的图像；这在时间轴上看，每幅图像占用的时间不小于(可以超过但是不能小于)关于此图像有效内容的讲解或说明音频文件所占用的时间。本发明的实现还在于:前述步骤(3)中所述的在时间轴上同步，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，其图像与图像的转换方式类似PPt中的转换方式。本发明的实现还在于:前述步骤(4)中所述最终形成的在电纸书上播放的文件，是一段课程、一段演讲、一段诗歌或者散文的朗诵、一幅图像或多幅图像组成的组成的文件，或者一幅图像对应相应讲解或说明构成的文件，但是不管是什么形式和内容，这些文件中每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的意义关联衔接的。本发明的实现还在于:前述步骤(4)中所述最终形成的在电纸书上播放的文件与电纸书底层操作系统和硬件相匹配，现有各种型号和品牌电纸书常用的系统，均可播放图像和声音，现有各种操作系统:包括linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都由操作系统内嵌程序或者上层应用(自己的或第三方的)来实现这种图像和声音在时间轴上同步匹配的多媒体文件格式。时间轴定义:所谓的时间轴，就是多媒体文件中将声音和影像按照时间顺序组合在一起的一个形象化的概念。与现有技术相比，本发明具有的有益效果是:一、本发明通过将讲座和讲课内容在时间轴上的匹配，有效地再现了真是讲课的过程。特别是这种方法能够在电纸书上进行实现；二、本发明巧妙的结合和讲课或者讲座在内容上的变化特性和电纸书翻页之后不持续供电就可以保持图像的特性，实现了符合电子纸特性的课件形式，减少了无效信息的刷新冗余，最大程度的节省了消耗的电能；三、本发明通过对讲课内容的分解，使得传统视频或者动画教程多帧显示同一画面的情况得到改善，大幅降低了视频的数据量，对带宽压力和单机存储课程数量都很有好处。以最低的数据量实现了电子课程，以最低的耗电量实现了无纸化教学。
图1为在电纸书上实现多媒体课件的方法的流程图。图2为实现方法基于的系统路径示意图。图3为电纸书多媒体文件的时间轴表述(从左到右箭头所指时间延伸方向，表示事件发展过程)。图4为局部转换和整体转换对比图。图5为csf格式有效内容局部截图的示意图。
具体实施例方式本发明所述的在电纸书上实现多媒体课件的方法形成了一种在现有电纸书硬件配置基础之上的观看多媒体课件的解决方案。参见图2描示的实现方法基于的系统路径所示:电纸书多媒体课件的制作系统由PC机201、电纸书202和服务器203组成。PC机201连接电纸书202和服务器203，其中电纸书202既可以从PC端下载制作好的多媒体课件，又可以从服务器直接下载(电纸书带有硬件连接设备，比如蓝牙，wifi等)。电纸书多媒体课件可以在201所示PC人工(指的是截图，录音等由人一步一步操作完成)或者自动(指的是有自动制作电纸书多媒体课件的软件一步一步的完成)制作，又可以在服务器上自动或人工制作。当然，如果电纸书本身硬件和软件条件具备，也可以在电纸书上制作电子书多媒体课件。本发明直接解决了电纸书不能观看课件，和现有视频和动画这种方式与电子纸显示和刷新方式不匹配的问题。从而达到了在电纸书上实现播放多媒体课件的目的，使得电纸书能够播放的内容极大丰富了。参见附图1，本发明所述在电纸书上实现多媒体课件的方法的主要实现过程如下:步骤110:把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成
一幅图像。所述多媒体教程包括电影、电视、动画等等,表现为格式包括.rm、.rmvb、.wmv、.flv、.mp4、, avi等主流的视频格式,也包括.csf专门的格式,还包括.swf这种flash动画，当然也包括其他的课件形式，比如pc上播放的.exe电子杂志等,特别的，它还包括市面上已经普及的点读笔及其配套教材，只要符合能够提取静态有效课程内容的多媒体教材都可以当做目标文档。这里所述能够提取静态有效课程内容的视频，举例如下:如图5含有与音频内容意义关联的文字和/或图形和/或内嵌图片的示意图像，这些图像中所包含的与音频内容意义关联的文字和/或图形和/或内嵌图片等，即所述有效内容。基于上述可以提取有效教学内容的视频，我们提取有效教学内容主要有两种方式:第一种是根据视频或者动画教程的图像内容变化确定有效内容。具体方式可以是识别文字变化，得知有效内容的变化，也可以根据图画变化得知有效内容变化。第二种则是根据音频讲解或者说明的意群来识别有效信息的变化。比如讲解一道题目，从开始到结束，我们可以感知整个内容的变化，依次提取含有相应有效内容的图片。步骤110实现的特别点在于，所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，可以根据不同意群有不止一种分割方式，对应的图片也有所不同，但只要这段音频对应相应图像就可以了。其对应时间轴如图3图像和音频的时间轴表述。图中所标记的图像I对应的音频是IC到1D，图像2所对应的音频是2C到2D，那么他们分别对应图像I和图像2。另一种分法可以是把IC到2D当做一段音频，那么所对应的图像就是图像I和图像2的集成，对应的时间是IA到2B，与IC到2D的音频是对应的。但是有时候从既有的视频教程转化的话，图像I和图像2无法合并成一个图像，那么图像I的音频和图像2的音频就无法合并成一段。步骤110实现的特别点还在于，所述的有效内容指的是所对应音频讲解的内容，其形式可以为一张图像的全部图文内容。如新东方flash课件中，基本上全部图文内容都是有效内容，都包含音频讲解中的有效课件信息；当然也可以是局部图文内容，如TED演讲的截图，其中观众，舞台效果等，都不是有效内容，和演讲音频录音中的有效内容关系不大，只有演讲人的肢体语言和PPt上的内容才是有效演讲内容。步骤110实现的特别点还在于，所述的最终形成的图像具体可以表现为一幅所有内容按照一定压缩格式形成的图像，也可以表现为PPt那种预设背景图片上播放文字和/或图形和/或内嵌图片等形成的临时图像，当然每张PPt幻灯片在形式上都是一幅图像。步骤110实现的特别点还在于，所述的最终形成的图像的提取方式，可以是通过对视频和动画文件进行截图，或者对纸质教材比如点读笔使用的书籍或漫画上的图文进行拍照(类似定格动画的制作过程)，当然每张ppt幻灯片在形式上都是一幅图像。步骤120:确定这幅图像所含有效教学内容所对应的音频文件。步骤120实现的特别点在于，如图3图像和音频的时间轴表述所示。步骤120中所述的音频可以看做一段有独立起始点的音频文件，比如时间轴上的IC到ID这段时间的音频可以看做独立的一段，也可以看做整个课件整体背景音频(从IC到ID到2C到2D到NC—直到整个文件音频结束点)文件中对应图像中有效内容的一部分音频文件。步骤120实现的特别点还在于，音频是事先录制好的教师或者演说者的讲解或者说明的录音以及对图像内的文字图形(各种图形，包括标量和矢量的各种图形格式等)等，音频文件的内容与图像中的有效内容不一定是文字对应关系。也就是说讲解或说明的声音中的语言文字和图像中的文字可以不同，但是内容意思相关。这与现有计算机发音引擎的发音机制:比如TTS发音引擎是通过程序识别文本内容，通过语音识别技术和模拟发音技术实现和文本对文本的讲解或说明，所表述内容及文本内容。步骤130:把步骤120中所述包含有效内容的图像和它所对应的音频文件在时间轴上同步。步骤130实现的特别点在于，所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，也就是说，我们能在这种音频文件提供的讲解或者说明的时候，一直看到的是相应的图像，如图3电纸书多媒体文件的时间轴表述。所述“同步”这在时间轴上看，图像I从出现到消失所占用的时间段为IA到IB之间，其对应的音频讲解从开始到结束所占用的时间段是IC到ID之间。要想达到每幅图像都得到充分讲解，换句话说，每段讲解在进行的时候，图片都可以看到这个效果，那么图像占用的时间至少能完全覆盖(可以超过但是不能小于)关于此图像有效内容的讲解或说明音频文件所占用的时间。具体表现为:1A总是在IC左侧或者重叠，而IB总在ID右侧或者重叠。整体上看IA到IB整体大于等于IC到ID的时间段，形式上表现为覆盖，有声音就有响应图片，没有声音也可能有图片。步骤140:把所有的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，可以是一段课程，也可以是一段演讲或者一段诗歌或散文的朗诵，但是不管是什么形式和内容，其每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的关联关系衔接的。关于时间先后顺序，如图3电纸书多媒体文件的时间轴表述。图像I和图像2在时间上是明显的先后顺序(这里的先后不是绝对的关系，图像I消失的时间IB和图像2出现的时间2A是可以重叠的，所谓先后即2A不能先于IB出现)。关于内容的关联，如图3图像I和图像2在内容上是衔接的；与此对应，图像I的音频讲解和图像2的音频讲解在内容上也是衔接的。所谓衔接就是中间没有内容跳跃，两段讲解可以合成一个整体。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，可以是一幅图像或多幅图像，如图3，一幅图像也能形成一个最终文件。如果是多张图像，那就直接到图像的NNA和音频的NNC (这里N大于等于2)。但是不管多少幅图像，其有效内容和音频文件讲解或说明的内容是对应的，相关的。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，两个连续的图像变化时，由于不同时间音频讲解对应的有效内容是不同的，从而对应的图像不同。从而出现了不同的转换方式。各段间的转换在讲课效果上一样，不同的有效内容的选取，不影响讲解的详尽程度。只要所有的有效内容所对应的图片都能被详尽的讲解就达到授课或者演讲的目的了。步骤140实现的特别点在于，如图3所示，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，也就是说，随着这段音频讲解或说明的结束，这幅图像存在的目的就已经完成了，那么在下一段音频讲解开始之前或者开始的时候，下一段音频所对应的图像就应该显示在屏幕上了。当然两幅图像之间可以有一定间隔，这个间隔对应的是音频的空白，可以看做音频衔接点或者音乐的休止符。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，是匹配电纸书底层操作系统和硬件的。现有电纸书不管是什么系统，均可播放图像和声音，所愿意不管是什么操作系统:linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都可以通过操作系统内嵌程序或者上层应用(自己的或者第三方的)来实现这种图像和声音在时间轴上同步匹配的多媒体文件格式。 以下将通过三个具体实施例对本发明内容做进一步说明。实施例一:flash转化而来的局部图像变化对应相应音频的电纸书多媒体文件的实现。步骤(I):把一个flash教程文件通过截图的形式，将有效教学内容提取出来，形成一幅幅图像。步骤(2):通过录音或者音频抓轨的形式提取出上述图像中有效内容所对应的音频讲解。步骤(3):把步骤(I)中所述包含有效内容的图像和步骤120所述它所对应的音频文件在时间轴上安排各自的位置，实现图片和相应音频的同步。步骤(4):把所有已经同步的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完整的电纸书可以播放的文件。类似此示例的还有软件类教程，比如洪恩英语的一些图文教程或者科利华的一些图文教程；国外的有罗塞塔石碑等，都可以用此种方式实现电纸书多媒体课件。实施例二:将csf在电纸书上以电纸书多媒体课件的形式实现。
背景说明CSF格式文件是江苏科建教育软件有限公司开发的流媒体格式，它可以把PPT和教师讲课的视频完美结合，很多大学和大型企业使用这套软件进行教学录像和远程教育，简称科建流媒体格式，有的人甚至称其为“大学课程专用格式”。CSF 课件是由科健公司提供的 ScenicRecorder、ScenicLive、ScenicStation 等相关产品在实际中的授课过程中实时记录而成，因而能够充分体现现场教学情景，体现现场气氛，提供更强的教学效果。步骤(I):把一个csf文件中ppt录像的每一个幻灯片(Slide)以截图的方式提取出来，形成一幅幅包含有演讲或讲座内容的图像，如图5所示。步骤(2):确定这幅图像所对应的音频讲解或说明，可以以音频抓轨的形式或者录音的形式实现。步骤(3):把步骤110中所述包含有效内容的每幅图像和步骤120中它所对应的音频文件通过时间轴确定各自位置，实现图像和相应音频的同步。步骤(4):把所有的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件，也可以看做电纸书多媒体格式的制作。类似此示例的还有TED演讲的PPT部分及其录音，各种其他学术演讲，讲座也是PPT加上演讲音像的形式，凡此种种，都能用这种方式实现。flash动画教程(比如新东方的那种)也可以做成此类。实施例三:百科全书及其配套mp3光盘的类似ppt模式的电纸书可以播放的多媒体课件的实现。背景信息:百科全书一般配套光盘，这里光盘中内容指的是音频内容。步骤⑴:所示把多纸质百科全科中的每一页用照相机排成图像，按照时间和内容的顺序排列。步骤(2):确定这幅图像所含有效教学内容所对应光盘中的讲解部分。把这段音频的起始点确定。步骤(3):把步骤(I)中所述百科全书所拍成的每一幅图像和它所对应的音频讲解在时间轴上同步，形成一个个图像配套音频讲解的整体。步骤(4):把步骤(3)中所述整体，按照时间前后顺序和内容的关联关系排列，形成一部电纸书可以播放的多媒体百科全书。当然，类似此示例的还有将课本相关页面或者演讲稿相关页面或者漫画相关页面及其讲解和/或说明和/或漫画对白等的相应音频文件做成电纸书能够播放的多媒体课件格式，都能用这种方式实现。flash动画教程(比如新东方的那种)也可以做成此类。特别点包括，所述步骤(I)和步骤(2)和步骤(3)和步骤⑷可以手动进行也可以自动进行(即由专门的电纸书多媒体文件制作软件完成，类似于各种视频格式的转换软件和制作软件)。比如步骤(I)，具体到在视频教程中“截图”这个动作，可以由人来手动完成，从识别含有有效信息的图像，到截图到保存等；也可以由软件自动完成，具体而言，就是有一种转化软件，可以自动识别含有有效信息的图像，然后自动截图保存为了下面的步骤做准备。同样的，步骤B的音频提取也可以有手动，点击视频播放软件的声音抓轨按钮或者由转化软件自动进行。同理，步骤⑶和步骤⑷都可以用手动和自动两种方式进行。特别点还包括，所述步骤(I)和步骤(2)可以同步进行，即对动画和音频可以同时操作。举例说明，比如转化csf软件到电纸书多媒体文件，对于PPt部分的截图和csf背景音频提取可以同时进行。最后基于上述几个实施例，申请人做出如下声明:本发明上述在电纸书上实现多媒体课件的方法可以实现与各种电纸书硬件厂商合作的目的，即将利用本发明所提供在电纸书上实现多媒体课件的方法设计出来的可以在电纸书上播放的多媒体课件格式及其特定播放软件与各种型号的电纸书设备进行捆绑，包括软件捆绑(这里指的捆绑指的是使用软硬件加密等方法，亦是指这种课件格式只能在特定的设备上播放)和硬件捆绑销售，既可以促进软件的销售，还可以增强硬件的销售，达到双盈的目的。当然课件也可以推出通用版本，即在任何硬件设备包括PC上都可以播放的格式。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。即本发明不仅仅限于上述的实施例，还有很多其他具体表现形式。
权利要求
1.一种在电纸书上实现多媒体课件的方法，其特征在于，包含以下步骤: 1.1把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像； 1.2确定这幅图像所含有效教学内容所对应的音频文件； 1.3把上述步骤1.1中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步； 1.4把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。
2.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，根据不同意群有一种或多种分割方式，并对应相应的图片，每段音频对应相应的图像。
3.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.1中所述有效图像内容指的是步骤1.2中所对应音频讲解的内容，其形式为一张图像的全部图文内容或局部图文内容。
4.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.1所述最终形成图像的有效内容信息是讲解音频所对应的动画或视频的每一个图像，图像整体变化或者局部变化都对应一段讲解内容。
5.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.2中所述的音频是一段有独立起始点的音频文件或/和整个课件整体背景音频文件中对应图像中有效内容的一部分音频文件，或是事先录制好的教师或者演说者的讲解或者说明的录音，或是图像内的文字图形及包括标量和矢量在内的各种图形格式。
6.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.2中所述的对应的音频文件指的是此段音频所包含的内容为对这张包含有效内容图像的讲解或讲述。
7.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.3中所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，即在时间轴上看，每幅图像占用的时间不小于关于此图像有效内容的讲解或说明音频文件所占用的时间。
8.如权利要求1所述在电纸书上实现多媒体课件的方法，其特征在于:步骤1.3中所述的在时间轴上同步，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，其图像与图像的转换方式类似PPt中的转换方式。
9.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.4中所述最终形成的在电纸书上播放的文件，是一段课程、一段演讲、一段诗歌或者散文的朗诵、一幅图像或多幅图像组成的组成的文件，或者一幅图像对应相应讲解或说明构成的文件，这些文件中每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的意义关联衔接的。
10.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.4中所述最终形成的在电纸书上播放的文件与电纸书底层操作系统和硬件相匹配，现有各种型号和品牌电纸书常用的系统，均可播放图像和声音，现有各种操作系统:包括linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都由操作系统内嵌程序或者上层应用来实现这种图像和声音在时间轴上同步匹配的多媒体文 件格式。
全文摘要
本发明涉及一种在电纸书上实现多媒体课件的方法，包含以下步骤(1)把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像；(2)确定这幅图像所含有效教学内容所对应的音频文件；(3)把上述步骤(1)中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步；(4)把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。本发明提供的方案创造了一种符合电子纸翻页一次图像可以留存一段时间但是不耗电这个特性的新的多媒体教程格式，使得图文声并茂的多媒体教程和讲座可以在电纸书上实现。
文档编号G09B5/06GK103177611SQ20111043992
公开日2013年6月26日 申请日期2011年12月23日 优先权日2011年12月23日
发明者李云峰, 孙朋朋 申请人:李云峰
技术领域：
本发明属于电纸书技术领域，具体涉及一种基于电子纸显示器(Ero)的实现多媒体教学的电纸书。
背景技术：
近年来出现了一种试图模拟纸的特性的显示器被广泛地应用，在本申请中，我们统一称之为电子纸显示器(Ero)。这种类型的显示器的其他名称包括:类纸显示器、零功率显不器、6纸、双稳态和电泳显不器等。一般认为，这种可以实现像纸一样阅读舒适、超薄轻便、可弯曲、超低耗电的显示技术叫做电子纸显示器(以下称为电子纸)技术；而电子纸即是这样一种类似纸张的电子显示器，其兼有纸的优点(如视觉感观可以做到几乎完全和纸一样等)，又可以像我们常见的液晶显示器一样不断转换刷新显示内容。目前实现电子纸技术的途径主要包括有胆固醇液晶显示技术、电泳显示技术以及电润湿显示技术等。以电泳显示技术为例，其显示的工作原理是靠浸在透明或彩色液体之中的电离子移动，即通过翻转或流动的微粒子来使像素变亮或变暗，并可以被制作在玻璃、金属或塑料衬底上。具体技术是将直径约为Imm左右的二氧化钛粒子散布在碳氢油中，黑色染料、表面活性剂以及使粒子带电的电荷控制剂也被加到碳氢油中，将这种混合物放置在两块间距为10 IOOmm的平行导电板之间，当对两块导电板施加电压时,这些粒子会以电泳的方式从所在的薄板迁移到带有相反电荷的薄板上。当粒子位于显示器的正面(显示面)时，显示屏为白色，这是因为光通过二氧化钛粒子散射回阅读者一方；当粒子位于显示器背面时，显示器为黑色，这是因为彩色染料吸收了入射光。如果将背面的电极分成多个微小的图像元素(像素)，通过对显示器的每个区域加上适当的电压来产生反射区和吸收区图案，即可形成图像。电泳技术具有下述的几大优势:一是能耗低，由于具有双稳定性，在电源被关闭之后，仍然可在显示器上将图像保留几天或几个月；二是电泳技术生产的显示器属于反射型，因此具有良好的日光可读性，同样也可以跟前面或侧面的光线结合在一起，用于黑暗环境；三是具有低生产成本的潜力，因为该技术不需要严格的封装，并且采用溶液处理技术如印刷是可行的；四是电泳显示器以形状因子灵活为特色，容许它们被制造在塑料、金属或玻璃表面上，所以它是柔性显示技术的最佳选择。电子纸显示器(EPD)技术与传统阴极射线管(CRT)或现在的主流显示器液晶显示器(LCD)相比，其功耗要低得多。也正是因为上述显示原理，电子纸显示器典型地为反射外界光线进行阅读的而不是背光透射的，因此，他们能够使用环境的光而不要求设备中自带的光源。传统的发散型显示设备可以自己发光，所以即使在光线暗淡的条件下也可以正常使用。但是，随着环境光强度的增加，这种显示器的显示效果就不那么令人满意了，因为较强的环境光提高了黑色素的亮度并降低了对比度，这也是我们无法在阳光直射的情况下看清显示器上文字的原因。而反射型显示器是通过反射环境光来显示图像的，图像的亮度会根据环境光线的强度改变，而且对比度也会随之变化，所以在强烈光线下反射型显示器的优势更明显。近来随着Ero技术的突飞猛进，使得电纸书在全世界普及开来。电子纸具有的低功耗和自然光阅读的优点日益成为人们够买电纸书的原因。但是，随着人们越来越多的使用电纸书，人们也发现了电纸书尚存在的很多缺陷。最主要的缺陷是:电纸书的显示原理造成了其响应速度慢、翻页慢、刷新率低。当然随着技术进步，这种情况会得到缓解，但是随着刷新率的提高又会造成电量的耗费。现在电子纸因为刷新率低无法播放现有视频和动画，由于电子纸的刷新率普遍低于10次每秒，播放动画和视频要20次以上，而现有的教程类视频，尤其是PPt转成的演讲和csf等视频教程，其内容转化慢，完全没有必要以视频格式在电纸书上呈现，这种情况也存在于现有flash动画版本的教程。真正的教师课堂，其内容转化速度很低，基本是在几秒到几分钟才刷新一次正在讲的内容。在传统黑板教学中，这种情况体现在教师每讲一段就书写一段板书或者画图示意，然后继续讲解，循环往复构成了整个课堂教学的过程。现有视频教程有几种:一种是直接录制板书和讲课过程，比如步步高公司的好些视频，包括黄网中学的教学视频；又比如全球开展火热的公开课程运动，耶鲁大学，哈佛大学，麻省理工学院的好些课程基本都采用这种形式。再有就是现在演讲和课堂普遍采用的PPt加讲解或者PPt加板书模式，比如中国大学公开课程普遍采用的CSf格式的视频教程，或者各种发布会或者TED演讲采用的人物加ppt做成的视频格式的演讲。还有一种电子板书模式，有的是用单机软件制作的，比如美国Khan学习网上的教学视频，都是用手写板和屏幕录像软件制作的，还比如中国的好些网络家教，类似24小时家教网用电子白板录制的课件。以上这些传统往往以.rm、.rmvb、.av1、.wmv等格式呈现出来,但是现有电纸书暂时支持不了每秒几十帧的刷新，就算以后能够支持，这种内容变化缓慢的视频教程也是对电能的一大浪费，与电子纸低功耗的初衷产生了背离。所以现有视频教程的这些实现形式已经无法满足电纸书对于播放课程的要求了。另外，近年来，点读笔及其配套图书近年来掀起了一大热潮，迅速丰富了儿童阅读市场的内容。但是，随着大量的点读笔配套的图书的生产和销售，大量的纸张浪费随带来的资源流失和环境污染问题日益严重起来。所以这种浪费自然资源而且造成环境污染的多媒体教材实现方式有待改进。目前用于电泳显示的使开关时间达到几十毫秒的更快的材料正在开发之中。所以，迄今为止，电纸书仍然无法播放图文并茂的视频教程和演讲。目前电纸书能播放的格式有:文本:txt、htxt、pdf、doc、xls、ppt、html、epub、chm、fb2 ;图像:jpg、bmp、gif、png ;音频:mp3等。电纸书现在的只有TTS发生引擎能读取文件内容，实现简单的多媒体，但是对于实现图文并茂的多媒体讲座和讲课，现有电纸书还做不到。随着显示技术的进步，以后可能会出现刷新率很高的可以播放视频的电纸书，但是如果播放课件，过高的刷新率违背了电纸书低功耗的优点，所以我们需要一种匹配电子纸特性的多媒体教程格式。当今全球无纸化教学已是大势所趋，电纸书进行无纸化教学无疑 是最佳选择，在电纸书上实现多媒体教学课程也是迫切需要的。
发明内容
本发明的目的在于提供一种能够适应电纸书翻页之后无需供电即可保存图像这种特性的在电纸书上实现多媒体课件的方法，用于解决现有技术存在的电纸书无法播放现有多媒体教程(这里多媒体教程指的是图文并茂并且有声音的教程，包括电影、电视、动画等等，表现为格式包括.rm、.rmvb、.wmv、.f lv、.mp4、.avi等主流的视频格式,也包括.csf专门的格式，当然还包括.swf这种flash动画，当然也包括其他的课件形式，比如pc上播放的.exe电子杂志等，特别的，还包括纸质教材配套音频讲解的教材形式，整体上算是“多媒体”比如少儿故事书和配套的讲解朗读音频，比如，市面上上已经普及的点读笔及其配套教材)以及现有动画和视频教程在画面不变情况下不停刷新导致电能浪费等问题。在此有必要首先定义一下电纸书可以播放的视频格式，我们暂且称之为Ero格式。这种格式的重要特点就是音配内容和图像内容是关联的，也就是说音频的讲解内容是对图像中的文字和图形进行的讲述。它可以看做是每张图像匹配一段相应的音频文件的讲解或说明的连贯整体，也可以看做在整个音频讲解背景下的图像按其音频讲解的内容一张一张的播放的一个整体。值得注意的是，这两种形式的图像或者音频都是按照时间前后顺序和内容的关联关系衔接在一起的。所包含的内容像PPt格式，但是背景音乐是教师或者说演讲者的讲课音频。这种格式就是在电纸书上实现多媒体课件的一种表现形式。本发明为解决上述技术问题所提供的方案是创造一种符合电子纸翻页一次图像可以留存一段时间但是不耗电这个特性的新的多媒体教程格式，使得图文声并茂的多媒体教程和讲座可以在电纸书上实现。这种在电纸书上实现多媒体课件的方法包含以下步骤:
(I)、把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像；(2)、确定这幅图像所含有效教学内容所对应的音频文件；(3)、把上述步骤(I)中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步；(4)、把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。本发明的实现还在于:所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，根据不同意群有一种或多种分割方式，并对应相应的图片，每段音频对应相应的图像。本发明的实现还在于:前述步骤⑴中所述有效图像内容指的是步骤⑵中所对应音频讲解的内容，其形式为一张图像的全部图文内容，也可以是局部图文内容。本发明的实现还在于:前述步骤(I)所述最终形成图像的有效内容信息是讲解音频所对应的动画或视频的每一个图像，图像整体变化或者局部变化都对应一段讲解内容，比如CSf教程，其有效的内容信息就是讲解音频所对应的PPt录像的每一个图像，PPt图像整张变化或者局部变化都对应一段讲解内容。本发明的实现还在于:前述步骤(I)中所述的音频是一段有独立起始点的音频文件或/和整个课件整体背景音频文件中对应图像中有效内容的一部分音频文件，或是事先录制好的教师或者演说者的讲解或者说明的录音，或是图像内的文字图形及包括标量和矢量在内的各种图形格式，音频文件的内容与图像中的有效内容不是TTS式的文字和音频一一对应关系。也就是说讲解或说明的声音中的语言文字和图像中的文字可以不同，但是其内容意思相关。这也涵及现有计算机发音引擎的发音机制，比如TTS发音引擎是通过程序识别文本内容，通过语音识别技术和模拟发音技术实现和文本对文本的讲解或说明，所表述内容及文本内容。本发明的实现还在于:前述步骤(2)中所述的对应的音频文件指的是此段音频所包含的内容为对这张包含有效内容图像的讲解或讲述。本发明的实现还在于:前述步骤(3)中所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，也就是说，我们能在这种音频文件提供的讲解或者说明的时候，一直看到的是相应的图像；这在时间轴上看，每幅图像占用的时间不小于(可以超过但是不能小于)关于此图像有效内容的讲解或说明音频文件所占用的时间。本发明的实现还在于:前述步骤(3)中所述的在时间轴上同步，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，其图像与图像的转换方式类似PPt中的转换方式。本发明的实现还在于:前述步骤(4)中所述最终形成的在电纸书上播放的文件，是一段课程、一段演讲、一段诗歌或者散文的朗诵、一幅图像或多幅图像组成的组成的文件，或者一幅图像对应相应讲解或说明构成的文件，但是不管是什么形式和内容，这些文件中每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的意义关联衔接的。本发明的实现还在于:前述步骤(4)中所述最终形成的在电纸书上播放的文件与电纸书底层操作系统和硬件相匹配，现有各种型号和品牌电纸书常用的系统，均可播放图像和声音，现有各种操作系统:包括linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都由操作系统内嵌程序或者上层应用(自己的或第三方的)来实现这种图像和声音在时间轴上同步匹配的多媒体文件格式。时间轴定义:所谓的时间轴，就是多媒体文件中将声音和影像按照时间顺序组合在一起的一个形象化的概念。与现有技术相比，本发明具有的有益效果是:一、本发明通过将讲座和讲课内容在时间轴上的匹配，有效地再现了真是讲课的过程。特别是这种方法能够在电纸书上进行实现；二、本发明巧妙的结合和讲课或者讲座在内容上的变化特性和电纸书翻页之后不持续供电就可以保持图像的特性，实现了符合电子纸特性的课件形式，减少了无效信息的刷新冗余，最大程度的节省了消耗的电能；三、本发明通过对讲课内容的分解，使得传统视频或者动画教程多帧显示同一画面的情况得到改善，大幅降低了视频的数据量，对带宽压力和单机存储课程数量都很有好处。以最低的数据量实现了电子课程，以最低的耗电量实现了无纸化教学。
图1为在电纸书上实现多媒体课件的方法的流程图。图2为实现方法基于的系统路径示意图。图3为电纸书多媒体文件的时间轴表述(从左到右箭头所指时间延伸方向，表示事件发展过程)。图4为局部转换和整体转换对比图。图5为csf格式有效内容局部截图的示意图。
具体实施例方式本发明所述的在电纸书上实现多媒体课件的方法形成了一种在现有电纸书硬件配置基础之上的观看多媒体课件的解决方案。参见图2描示的实现方法基于的系统路径所示:电纸书多媒体课件的制作系统由PC机201、电纸书202和服务器203组成。PC机201连接电纸书202和服务器203，其中电纸书202既可以从PC端下载制作好的多媒体课件，又可以从服务器直接下载(电纸书带有硬件连接设备，比如蓝牙，wifi等)。电纸书多媒体课件可以在201所示PC人工(指的是截图，录音等由人一步一步操作完成)或者自动(指的是有自动制作电纸书多媒体课件的软件一步一步的完成)制作，又可以在服务器上自动或人工制作。当然，如果电纸书本身硬件和软件条件具备，也可以在电纸书上制作电子书多媒体课件。本发明直接解决了电纸书不能观看课件，和现有视频和动画这种方式与电子纸显示和刷新方式不匹配的问题。从而达到了在电纸书上实现播放多媒体课件的目的，使得电纸书能够播放的内容极大丰富了。参见附图1，本发明所述在电纸书上实现多媒体课件的方法的主要实现过程如下:步骤110:把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成
一幅图像。所述多媒体教程包括电影、电视、动画等等,表现为格式包括.rm、.rmvb、.wmv、.flv、.mp4、, avi等主流的视频格式,也包括.csf专门的格式,还包括.swf这种flash动画，当然也包括其他的课件形式，比如pc上播放的.exe电子杂志等,特别的，它还包括市面上已经普及的点读笔及其配套教材，只要符合能够提取静态有效课程内容的多媒体教材都可以当做目标文档。这里所述能够提取静态有效课程内容的视频，举例如下:如图5含有与音频内容意义关联的文字和/或图形和/或内嵌图片的示意图像，这些图像中所包含的与音频内容意义关联的文字和/或图形和/或内嵌图片等，即所述有效内容。基于上述可以提取有效教学内容的视频，我们提取有效教学内容主要有两种方式:第一种是根据视频或者动画教程的图像内容变化确定有效内容。具体方式可以是识别文字变化，得知有效内容的变化，也可以根据图画变化得知有效内容变化。第二种则是根据音频讲解或者说明的意群来识别有效信息的变化。比如讲解一道题目，从开始到结束，我们可以感知整个内容的变化，依次提取含有相应有效内容的图片。步骤110实现的特别点在于，所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，可以根据不同意群有不止一种分割方式，对应的图片也有所不同，但只要这段音频对应相应图像就可以了。其对应时间轴如图3图像和音频的时间轴表述。图中所标记的图像I对应的音频是IC到1D，图像2所对应的音频是2C到2D，那么他们分别对应图像I和图像2。另一种分法可以是把IC到2D当做一段音频，那么所对应的图像就是图像I和图像2的集成，对应的时间是IA到2B，与IC到2D的音频是对应的。但是有时候从既有的视频教程转化的话，图像I和图像2无法合并成一个图像，那么图像I的音频和图像2的音频就无法合并成一段。步骤110实现的特别点还在于，所述的有效内容指的是所对应音频讲解的内容，其形式可以为一张图像的全部图文内容。如新东方flash课件中，基本上全部图文内容都是有效内容，都包含音频讲解中的有效课件信息；当然也可以是局部图文内容，如TED演讲的截图，其中观众，舞台效果等，都不是有效内容，和演讲音频录音中的有效内容关系不大，只有演讲人的肢体语言和PPt上的内容才是有效演讲内容。步骤110实现的特别点还在于，所述的最终形成的图像具体可以表现为一幅所有内容按照一定压缩格式形成的图像，也可以表现为PPt那种预设背景图片上播放文字和/或图形和/或内嵌图片等形成的临时图像，当然每张PPt幻灯片在形式上都是一幅图像。步骤110实现的特别点还在于，所述的最终形成的图像的提取方式，可以是通过对视频和动画文件进行截图，或者对纸质教材比如点读笔使用的书籍或漫画上的图文进行拍照(类似定格动画的制作过程)，当然每张ppt幻灯片在形式上都是一幅图像。步骤120:确定这幅图像所含有效教学内容所对应的音频文件。步骤120实现的特别点在于，如图3图像和音频的时间轴表述所示。步骤120中所述的音频可以看做一段有独立起始点的音频文件，比如时间轴上的IC到ID这段时间的音频可以看做独立的一段，也可以看做整个课件整体背景音频(从IC到ID到2C到2D到NC—直到整个文件音频结束点)文件中对应图像中有效内容的一部分音频文件。步骤120实现的特别点还在于，音频是事先录制好的教师或者演说者的讲解或者说明的录音以及对图像内的文字图形(各种图形，包括标量和矢量的各种图形格式等)等，音频文件的内容与图像中的有效内容不一定是文字对应关系。也就是说讲解或说明的声音中的语言文字和图像中的文字可以不同，但是内容意思相关。这与现有计算机发音引擎的发音机制:比如TTS发音引擎是通过程序识别文本内容，通过语音识别技术和模拟发音技术实现和文本对文本的讲解或说明，所表述内容及文本内容。步骤130:把步骤120中所述包含有效内容的图像和它所对应的音频文件在时间轴上同步。步骤130实现的特别点在于，所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，也就是说，我们能在这种音频文件提供的讲解或者说明的时候，一直看到的是相应的图像，如图3电纸书多媒体文件的时间轴表述。所述“同步”这在时间轴上看，图像I从出现到消失所占用的时间段为IA到IB之间，其对应的音频讲解从开始到结束所占用的时间段是IC到ID之间。要想达到每幅图像都得到充分讲解，换句话说，每段讲解在进行的时候，图片都可以看到这个效果，那么图像占用的时间至少能完全覆盖(可以超过但是不能小于)关于此图像有效内容的讲解或说明音频文件所占用的时间。具体表现为:1A总是在IC左侧或者重叠，而IB总在ID右侧或者重叠。整体上看IA到IB整体大于等于IC到ID的时间段，形式上表现为覆盖，有声音就有响应图片，没有声音也可能有图片。步骤140:把所有的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，可以是一段课程，也可以是一段演讲或者一段诗歌或散文的朗诵，但是不管是什么形式和内容，其每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的关联关系衔接的。关于时间先后顺序，如图3电纸书多媒体文件的时间轴表述。图像I和图像2在时间上是明显的先后顺序(这里的先后不是绝对的关系，图像I消失的时间IB和图像2出现的时间2A是可以重叠的，所谓先后即2A不能先于IB出现)。关于内容的关联，如图3图像I和图像2在内容上是衔接的；与此对应，图像I的音频讲解和图像2的音频讲解在内容上也是衔接的。所谓衔接就是中间没有内容跳跃，两段讲解可以合成一个整体。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，可以是一幅图像或多幅图像，如图3，一幅图像也能形成一个最终文件。如果是多张图像，那就直接到图像的NNA和音频的NNC (这里N大于等于2)。但是不管多少幅图像，其有效内容和音频文件讲解或说明的内容是对应的，相关的。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，两个连续的图像变化时，由于不同时间音频讲解对应的有效内容是不同的，从而对应的图像不同。从而出现了不同的转换方式。各段间的转换在讲课效果上一样，不同的有效内容的选取，不影响讲解的详尽程度。只要所有的有效内容所对应的图片都能被详尽的讲解就达到授课或者演讲的目的了。步骤140实现的特别点在于，如图3所示，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，也就是说，随着这段音频讲解或说明的结束，这幅图像存在的目的就已经完成了，那么在下一段音频讲解开始之前或者开始的时候，下一段音频所对应的图像就应该显示在屏幕上了。当然两幅图像之间可以有一定间隔，这个间隔对应的是音频的空白，可以看做音频衔接点或者音乐的休止符。步骤140实现的特别点在于，所述最终形成的在电纸书上播放的文件，是匹配电纸书底层操作系统和硬件的。现有电纸书不管是什么系统，均可播放图像和声音，所愿意不管是什么操作系统:linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都可以通过操作系统内嵌程序或者上层应用(自己的或者第三方的)来实现这种图像和声音在时间轴上同步匹配的多媒体文件格式。 以下将通过三个具体实施例对本发明内容做进一步说明。实施例一:flash转化而来的局部图像变化对应相应音频的电纸书多媒体文件的实现。步骤(I):把一个flash教程文件通过截图的形式，将有效教学内容提取出来，形成一幅幅图像。步骤(2):通过录音或者音频抓轨的形式提取出上述图像中有效内容所对应的音频讲解。步骤(3):把步骤(I)中所述包含有效内容的图像和步骤120所述它所对应的音频文件在时间轴上安排各自的位置，实现图片和相应音频的同步。步骤(4):把所有已经同步的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完整的电纸书可以播放的文件。类似此示例的还有软件类教程，比如洪恩英语的一些图文教程或者科利华的一些图文教程；国外的有罗塞塔石碑等，都可以用此种方式实现电纸书多媒体课件。实施例二:将csf在电纸书上以电纸书多媒体课件的形式实现。
背景说明CSF格式文件是江苏科建教育软件有限公司开发的流媒体格式，它可以把PPT和教师讲课的视频完美结合，很多大学和大型企业使用这套软件进行教学录像和远程教育，简称科建流媒体格式，有的人甚至称其为“大学课程专用格式”。CSF 课件是由科健公司提供的 ScenicRecorder、ScenicLive、ScenicStation 等相关产品在实际中的授课过程中实时记录而成，因而能够充分体现现场教学情景，体现现场气氛，提供更强的教学效果。步骤(I):把一个csf文件中ppt录像的每一个幻灯片(Slide)以截图的方式提取出来，形成一幅幅包含有演讲或讲座内容的图像，如图5所示。步骤(2):确定这幅图像所对应的音频讲解或说明，可以以音频抓轨的形式或者录音的形式实现。步骤(3):把步骤110中所述包含有效内容的每幅图像和步骤120中它所对应的音频文件通过时间轴确定各自位置，实现图像和相应音频的同步。步骤(4):把所有的包含有效内容图像及其对应的音频，按照时间前后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件，也可以看做电纸书多媒体格式的制作。类似此示例的还有TED演讲的PPT部分及其录音，各种其他学术演讲，讲座也是PPT加上演讲音像的形式，凡此种种，都能用这种方式实现。flash动画教程(比如新东方的那种)也可以做成此类。实施例三:百科全书及其配套mp3光盘的类似ppt模式的电纸书可以播放的多媒体课件的实现。背景信息:百科全书一般配套光盘，这里光盘中内容指的是音频内容。步骤⑴:所示把多纸质百科全科中的每一页用照相机排成图像，按照时间和内容的顺序排列。步骤(2):确定这幅图像所含有效教学内容所对应光盘中的讲解部分。把这段音频的起始点确定。步骤(3):把步骤(I)中所述百科全书所拍成的每一幅图像和它所对应的音频讲解在时间轴上同步，形成一个个图像配套音频讲解的整体。步骤(4):把步骤(3)中所述整体，按照时间前后顺序和内容的关联关系排列，形成一部电纸书可以播放的多媒体百科全书。当然，类似此示例的还有将课本相关页面或者演讲稿相关页面或者漫画相关页面及其讲解和/或说明和/或漫画对白等的相应音频文件做成电纸书能够播放的多媒体课件格式，都能用这种方式实现。flash动画教程(比如新东方的那种)也可以做成此类。特别点包括，所述步骤(I)和步骤(2)和步骤(3)和步骤⑷可以手动进行也可以自动进行(即由专门的电纸书多媒体文件制作软件完成，类似于各种视频格式的转换软件和制作软件)。比如步骤(I)，具体到在视频教程中“截图”这个动作，可以由人来手动完成，从识别含有有效信息的图像，到截图到保存等；也可以由软件自动完成，具体而言，就是有一种转化软件，可以自动识别含有有效信息的图像，然后自动截图保存为了下面的步骤做准备。同样的，步骤B的音频提取也可以有手动，点击视频播放软件的声音抓轨按钮或者由转化软件自动进行。同理，步骤⑶和步骤⑷都可以用手动和自动两种方式进行。特别点还包括，所述步骤(I)和步骤(2)可以同步进行，即对动画和音频可以同时操作。举例说明，比如转化csf软件到电纸书多媒体文件，对于PPt部分的截图和csf背景音频提取可以同时进行。最后基于上述几个实施例，申请人做出如下声明:本发明上述在电纸书上实现多媒体课件的方法可以实现与各种电纸书硬件厂商合作的目的，即将利用本发明所提供在电纸书上实现多媒体课件的方法设计出来的可以在电纸书上播放的多媒体课件格式及其特定播放软件与各种型号的电纸书设备进行捆绑，包括软件捆绑(这里指的捆绑指的是使用软硬件加密等方法，亦是指这种课件格式只能在特定的设备上播放)和硬件捆绑销售，既可以促进软件的销售，还可以增强硬件的销售，达到双盈的目的。当然课件也可以推出通用版本，即在任何硬件设备包括PC上都可以播放的格式。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。即本发明不仅仅限于上述的实施例，还有很多其他具体表现形式。
权利要求
1.一种在电纸书上实现多媒体课件的方法，其特征在于，包含以下步骤: 1.1把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像； 1.2确定这幅图像所含有效教学内容所对应的音频文件； 1.3把上述步骤1.1中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步； 1.4把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。
2.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:所述的每一段音频指的是一个课程分割开来的音频，是按照意群分割的，根据不同意群有一种或多种分割方式，并对应相应的图片，每段音频对应相应的图像。
3.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.1中所述有效图像内容指的是步骤1.2中所对应音频讲解的内容，其形式为一张图像的全部图文内容或局部图文内容。
4.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.1所述最终形成图像的有效内容信息是讲解音频所对应的动画或视频的每一个图像，图像整体变化或者局部变化都对应一段讲解内容。
5.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.2中所述的音频是一段有独立起始点的音频文件或/和整个课件整体背景音频文件中对应图像中有效内容的一部分音频文件，或是事先录制好的教师或者演说者的讲解或者说明的录音，或是图像内的文字图形及包括标量和矢量在内的各种图形格式。
6.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.2中所述的对应的音频文件指的是此段音频所包含的内容为对这张包含有效内容图像的讲解或讲述。
7.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.3中所述的“同步”是每张图像内容都通过相应音频文件得到有效讲解和说明，即在时间轴上看，每幅图像占用的时间不小于关于此图像有效内容的讲解或说明音频文件所占用的时间。
8.如权利要求1所述在电纸书上实现多媒体课件的方法，其特征在于:步骤1.3中所述的在时间轴上同步，在没有声音的音频衔接段，图像是否对应这段音频文件不作要求，其图像与图像的转换方式类似PPt中的转换方式。
9.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.4中所述最终形成的在电纸书上播放的文件，是一段课程、一段演讲、一段诗歌或者散文的朗诵、一幅图像或多幅图像组成的组成的文件，或者一幅图像对应相应讲解或说明构成的文件，这些文件中每个图像对应的音频文件的讲解或说明连贯的，按照时间顺序和内容的意义关联衔接的。
10.如权利要求1所述的在电纸书上实现多媒体课件的方法，其特征在于:步骤1.4中所述最终形成的在电纸书上播放的文件与电纸书底层操作系统和硬件相匹配，现有各种型号和品牌电纸书常用的系统，均可播放图像和声音，现有各种操作系统:包括linux、android、Symbian、wince、kindle或者其他各个厂商自己定制的系统，都支持音乐和图像的播放，也就都由操作系统内嵌程序或者上层应用来实现这种图像和声音在时间轴上同步匹配的多媒体文 件格式。
全文摘要
本发明涉及一种在电纸书上实现多媒体课件的方法，包含以下步骤(1)把多媒体教程中的每一段音频所对应的有效教学内容提取出来，形成一幅图像；(2)确定这幅图像所含有效教学内容所对应的音频文件；(3)把上述步骤(1)中所述的有效教学内容的图像和它所对应的音频文件在时间轴上同步；(4)把所有的包含有效教学内容的图像及其对应的音频，按照时间先后顺序和内容的关联关系排列，形成一个完成的电纸书可以播放的文件。本发明提供的方案创造了一种符合电子纸翻页一次图像可以留存一段时间但是不耗电这个特性的新的多媒体教程格式，使得图文声并茂的多媒体教程和讲座可以在电纸书上实现。
文档编号G09B5/06GK103177611SQ20111043992
公开日2013年6月26日 申请日期2011年12月23日 优先权日2011年12月23日
发明者李云峰, 孙朋朋 申请人:李云峰
最新回复(0)