文档文件显示装置、方法和程序的制作方法
文档文件显示装置、方法和程序的制作方法
【专利摘要】根据本发明，生成大小适配于显示单元内的行信息，其中要素图像被布置成沿着原始图像文件中的要素排列并且生成段落信息，其具有在滚动方向上排列的行信息。用户可通过沿着滚动方向滚动段落信息来通读文档同时检查行信息的上下文关系，并且不需要在多个方向到处滚动的同时通读文档。
【专利说明】文档文件显示装置、方法和程序
【技术领域】
[0001]本发明涉及显示通过使例如报纸、杂志、纸质文档、课本和参考书等文档成像而得到的各种内容的装置、方法和程序。
【背景技术】
[0002]近年来随着信息科技创新，建立了信息分配模式，其中，本应印刷在纸上的书例如杂质或漫画书被数字化并且经由智能手机等上的图像阅览器阅览。
[0003]非专利文献I和2公开了将通过成像得到的报纸滚动、放大和缩小以供用户读取报纸文章。
[0004]专利文献I公开了在便携式电话上阅览电子邮件所附的文件的技术。
[0005]专利文献2公开了根据便携式终端改变文档布局的技术。
[0006]专利文献3公开了其中将文档数据的布局转换为元数据并且相应地改变布局以用于印刷的技术。
[0007]引用列表
[0008]专利文献
[0009]专利文献1:日本专利申请特开N0.2007-199983
[0010]专利文献2:日本专利申请特开N0.11-122398
[0011]专利文献3:日本专利申请特开N0.2008-176541
[0012]非专利文献
[0013]非专利文献1:“How to use Sankei NetView”，在 2011 年 4 月 13 日搜索，URL<http://www.sanke1.c0.jp/netview/howto_l.html>
[0014]非专利文献2:“Sankei Shimbun(iPhone version):Operation Method，，,在 2011年 4 月 13 曰搜索，URL<http://www.sanke1.c0.jp/iphone/>
【发明内容】
[0015]技术问题
[0016]近年来，随着便携式终端的功能进步，可经由网络获得各种数据。例如，可执行获得在电子邮件服务器上的电子邮件的操作和获得在共享的服务器上的文件的操作。可在几乎每种便携式终端上阅览数据格式，例如文本数据、压缩图像数据例如jpeg(联合图像专家组)和HTML数据。但是，如果待获得的数据为结构化文档文件格式(纯文本文件以外的文档文件，例如 Microsoft Word (注册商标)、Microsoft Excel (注册商标)、MicrosoftPowerPoint (注册商标)和Adobe TOF (注册商标))，在本情形下存在具有允许阅览数据的应用程序的少许便携式终端。在这些情形下，开发了即使阅览器应用程序并未结合到便携式终端中也允许阅览文档文件的技术。
[0017]例如，将请求从服务器侧获得的文档文件呈现(成像)并且将成像的数据传输到便携式终端。便携式终端使图像再现，从而允许以与原始文档文件的布局相同的布局来阅览文档。但是，所生成的图像常常具有基于图像待印刷于纸上的前提的布局。在如便携式终端中的小显示区域的情况下，很难说能舒服地阅览文档。
[0018]在PTL I中，不仅将文档文件呈现和成像，而且也提取布局信息和文本信息以与图像一起传输到便携式电话。由此，对于图像中字符不能读取的区域显示文本，由此改进了阅览可用性。为此目的，除了文本区域之外，需要判别字符类型。
[0019]在PTL 2中，根据屏幕大小改变文档图像的布局。但是，这不能支持通过使其中文本文档和图像混合在一起的办公文档等以与它相同的布局成像而获得的文档。
[0020]考虑到这些问题，做出本发明，并且本发明具有改进可视性的目的，并且当在具有较小显示区的屏幕上由图像阅览器显示具有混合在一起的图像和文本文档的文档时无需判别文本字符类型。
[0021]问题的解决方案
[0022]本发明提供一种文档文件显示装置，包括:显示单元，其显示图像；图像转换单元，其将结构化的文档文件转换为图像文件；布局信息检测单元，其从由图像转换单元转换的图像文件检测布局信息，布局信息包括构成文档的各个要素存在的区域和要素的排列方向；要素图像提取单元，其基于由布局信息检测单元所检测的布局信息从图像文件提取要素图像，所述要素图像为对应于各个要素存在的区域的部分图像；行信息生成单元，其基于由要素图像提取单元所提取的各个要素图像沿着要素的排列方向的大小，以适配于显示单元内的要素图像的集合，来生成行信息；滚动方向确定单元，其根据要素的排列方向确定由行信息生成单元所生成的行信息的滚动方向；段落信息生成单元，其通过将多条所述行信息沿着由滚动方向确定单元所确定的滚动方向布置来生成段落信息；显示控制单元，其使得在显示单元的显示范围中显示由段落信息生成单元所生成的段落信息；以及，滚动指示单元,其指示沿着滚动方向滚动显示段落信息，所述显示控制单元使得沿着由滚动指示单元所指示的滚动方向在显示单元的显示范围中滚动显示段落信息。
[0023]优选地,显示控制单元使得缩小显示图像文件的全体并且也使得指示在缩小显示的图像中的各个文档存在的区域的信息显示，并且文档文件显示装置还包括区域选择单元，区域选择单元从各个文档存在的区域选择所希望的文档的存在的区域，所述布局信息检测单元从由区域选择单元选择的文档存在的区域检测布局信息，所述布局信息包括各个要素存在的区域和要素的排列方向，并且所述显示控制单元使得在显示单元的第一区域中沿着由滚动指示单元指示的滚动方向在显示单元的显示范围中滚动显示对应于由区域选择单元所选择的文档存在的区域的段落信息，并且在不同于显示单元的第一区域的第二区域中缩小显示图像文件的全体。
[0024]优选地，滚动方向确定单元确定正交于要素的排列方向的方向为行信息的滚动方向。
[0025]优选地，文档文件显示装置还包括:放大/缩小比率指定单元，其指定用于显示段落信息的放大/缩小比率，其中，行信息生成单元通过遵循以放大/缩小比率指定单元所指定的放大/缩小比率放大或缩小由要素图像提取单元所提取的各个要素图像得到的大小，以沿着要素的排列方向适配于显示单元内中的要素图像的集合来生成行信息。
[0026]优选地，行信息生成单元从行信息删除不满足预定标准的要素图像。
[0027]优选地，段落信息生成单元从段落信息删除不满足预定标准的行信息。[0028]优选地，行信息生成单元在同一行信息中包括在图像文件上的要素的排列方向上彼此相邻的要素图像。
[0029]优选地，所述行信息生成单元将与不满足预定比率的大小的前一要素图像沿着要素方向相邻的后一要素图像包括在不同于前一要素图像的行信息的行信息中。
[0030]优选地，当通过结合不同条(piece)的行信息所得到的大小沿着要素的排列方向适配于显示单元内时，行信息生成单元将不同的行信息统合为同一行信息。
[0031]优选地，行信息生成单元生成行信息使得在换行之前紧邻的要素图像和在换行之后紧邻的要素图像并非连续的。
[0032]优选地，段落信息生成单元在同一段落信息中包括含有在图像文件上的滚动方向上彼此相邻的要素图像的信息。
[0033]优选地，要素图像提取单元提取通过以预定大小扩展由布局信息检测单元所检测的各个要素存在的区域而得到的区域作为要素图像。
[0034]本发明提供一种文档文件显示方法，其包括将由信息处理设备执行的步骤，这些步骤包括:将结构化的文档文件转换为图像文件的步骤；从转换的图像文件检测布局信息的步骤，布局信息包括构成文档的各个要素存在的区域和要素的排列方向；基于检测的布局信息从图像文件提取要素图像的步骤，要素图像为对应于各个要素存在的区域的部分图像；基于提取的各个要素图像沿着要素的排列方向的大小，以适配于显示图像的显示单元中的要素图像的集合来生成行信息的步骤；根据要素的排列方向来确定生成的行信息的滚动方向的步骤；通过沿着确定的滚动方向来布置多条所述行信息来生成段落信息的步骤；在显示单元的显示范围中显示生成的段落信息的步骤；指示沿着滚动方向滚动显示段落信息的步骤；以及沿着指示的滚动方向在显示单元的显示范围内滚动显示段落信息的步骤。
[0035]本发明提供一种计算机可读的记录介质，其上记录有文档文件显示程序，程序用于使得信息处理装置执行所述文档文件显示方法。
[0036]本发明的有利效果
[0037]根据本发明，大小适配于显示单元内的行信息由原始图像文件中沿着要素的排列布置的要素图像构成并且生成行信息沿着滚动方向排列的段落信息。用户可通过仅沿着滚动方向滚动段落信息来在检查行信息的上下文关系的同时通读文档，并且不需要在多个方向到处滚动的同时通读文档。
【专利附图】
【附图说明】
[0038]图1为内容分配系统的示意结构的图示。
[0039]图2为描绘了从图像输出单元输出的图像文件的示例的图示。
[0040]图3为描绘了行布局信息表的图示。
[0041]图4为描绘了字符布局信息的图示。
[0042]图5为示意性地描绘了其中通过OCR得到的布局信息的状态的图示。
[0043]图6为文档分配过程的流程图。
[0044]图7为描绘了原始图像的预览显示的示例的图示。
[0045]图8为描绘了选择的文档区域的示例的图示。
[0046]图9为文档布局重配置(A7)的详细流程图。[0047]图10为描绘了其中在字符的周围部分出现漏失部分的字符识别区域的示例的图
/Jn ο
[0048]图11为描绘了其中在字符的下部出现漏失部分的字符识别区域的示例的图示。
[0049]图12为描绘了其中自OCR识别的字符的高度和宽度大小值以若干像素扩展的范围再次被提取作为识别的字符图像的状态的图示。
[0050]图13为描绘了行信息生成的图示。
[0051]图14为描绘了行信息生成(分开)的图示。
[0052]图15为描绘了行信息生成(统合)的图示。
[0053]图16为描绘了原始图像的示例的图示。
[0054]图17为描绘了用于文档阅览的显示图像的重配置的示例的图示。
[0055]图18为描绘了相邻行信息的示例的图示。
[0056]图19为描绘了其中在保持头行处的偏移的同时两条或更多条行信息结合在一起的状态的图示。
[0057]图20为描绘了被生成以保持在原始图像中的换行(return)的段落信息的示例的图示。
[0058]图21为描绘了 OCR的常规字符布置的图示。
具体实施例
[0059]<第一实施例>
[0060]图1描绘了根据本实施例的优选实施例的内容分配系统的结构。此系统包括服务器I和客户端2。服务器I由计算机(信息处理装置)构成，计算机包括计算装置(CPU)、存储装置、输入/输出电路等。客户端为信息终端，包括能够再现图像的显示构件、通信构件、计算装置(CPU)、存储装置、输入/输出电路、操作构件等，并且由例如智能电话或平板式计算机构成。应当指出的是不确定数量的客户端2可访问服务器I。
[0061]具体而言，服务器I包括文档文件获得单元10、图像输出单元11、通信单元12、通信数据控制单元13、文档文件分析单元14和数据库(DB) 15。
[0062]通信数据控制单元13和文档文件分析单元14各由例如CPU的信息处理装置构成。DB 15由例如硬盘或存储器等的存储介质构成。文档文件获得单元10、图像输出单元11和通信单元12各由输入/输出装置、网络通信装置等构成。可由通信数据控制单元13来管理通信相关的控制，例如开始和结束信息传输和接收。
[0063]通信数据控制单元13执行接收数据控制和传输数据控制。接收数据控制包括分析由通信单元12得到的数据的过程。传输数据控制包括将由文档文件分析单元14和图像输出单元11生成的图像、布局信息和文本信息改变为特定数据格式并且将改变后的图像和信息传输到通信单元12的过程。
[0064]文档文件获得单元10从经由网络连接的文档存储装置3得到以各种格式中任何格式(例如doc、txt、pdf、ppt和xls)结构化的文档文件。将获得哪种文档由客户端2或者由用户使用服务器I的操作构件来指定。
[0065]应来自客户端2和服务器I的各个框的请求，图像输出单元11将由文档文件获得单元10得到的文档文件转换为可在客户端2处再现的图像文件格式(例如，jpg、tif或bmp)并且将转换的文档文件输出到文档文件分析单元14。图2描绘了从图像输出单元11输出的图像文件的示例。从图像输出单元11输出的图像文件在下文中可被称作原始图像。
[0066]文档文件分析单元14从由图像输出单元11输出的图像文件判别图像区域和文本区域，并且对于每一行分析在文本区域中包括的各行上的字符(包括各种符号，例如标点符号、问号和括号)的布局。各行的字符的布局被称作布局信息。布局信息与图像文件一起累积在DB15中。
[0067]图3和图4各描绘了从文档文件分析单元14输出的布局信息的示例。在这些图中，图3描绘了行布局信息表。行布局信息表中存储行布局信息，行布局信息指不各行的标识信息、位置(垂直位置和水平位置)和大小(宽度和高度)和行排列方向(水平或垂直)。行指具有沿着图像文件的各个字符的读取方向排列的字符的字符组。
[0068]区域编号表示给原始图像中各个文档存在的区域设置的ID。水平位置表示由区域编号指定的区域的左上坐标。垂直位置表示由区域编号指定的区域的右下坐标。宽度表示由区域编号指定的区域的宽度(沿着读取方向的长度)。高度表示由区域编号指定的区域的高度(在正交于读取方向的方向上的区域的长度)。字符方向表示包括于该区域中的字符的读取方向。
[0069]图4描绘了字符布局信息表。字符布局信息表中存储在各行内包括的各个字符的标识信息(字符编号)、该字符所属的行的标识信息(区域编号)、位置(垂直位置和水平位置)和大小(宽度和高度)。
[0070]字符编号表示向各个字符提供的ID。区域编号、水平位置、垂直位置、宽度和高度是行布局信息表共同的。
[0071]对于利用对应于文档文件并且并入于图像输出单元11中的应用程序生成的图像，可通过使用字符识别逻辑例如OCR (光学字符识别)准确地得到通过一应用程序的再现类型的文档文件的布局信息。替代地，在文档中的图像区域和文本区域可由对应于文档文件类型并且并入于图像输出单元11中的打印机驱动器来判别。布局信息可包括断句位置(break position),表示文档的诸如词或短语的意义单位和在该意义单位中的字符数量。但是，构成文档的字符本身并不包括在布局信息中。虽然字符本身可能有错，可通过OCR准确地充分得到位置信息。图5示意性地描绘了其中通过OCR得到布局信息的状态。由结构化的文本信息来描述布局信息。
[0072]由文档文件分析单元14分析的布局信息被与从图像输出单元11输出的原始图像相关联地存储在DB 15中。
[0073]在通信数据控制单元13的控制下，通信单元12将在DB 15中的原始图像和布局信息传输到客户端2。
[0074]客户端2包括通信单元21、通信数据控制单元22、显示单元23、输入单元24、图像处理单元25、布局处理单元26和输入信息控制单元27。
[0075]通信数据控制单元22、图像处理单元25、布局处理单元26和输入信息控制单元27各由例如CPU的信息处理装置构成。
[0076]通信数据控制单元22执行接收数据控制和传输数据控制。接收数据控制包括分析归类由通信单元21得到的数据的过程。作为分类和分析的结果，布局信息被发送到布局处理单元2，并且原始图像被发送到图像处理单元25。传输数据控制包括将例如从用户输入的指令等各种请求改变为特定数据格式并且将改变后的请求发送到通信单元21的过程。
[0077]通信单元21由网络通信装置等构成，经由网络例如因特网连接到服务器I的通信单元12，并且传输和接收各种信息。可由通信数据控制单元22来管理通信相关的控制，例如开始和结束信息传输和接收。
[0078]输入单元24由用户界面例如在显示单元23上层压的触摸面板构成，并且接受各种操作，诸如滚动、放大和减小显示的图像，获得后一或前一页，获得具有高分辨率的原始图像，和选择一区域。
[0079]输入信息控制单元27解释对应于输入到输入单元24的操作的指令，并且将指令发送到执行指令所涉及的框，例如，图像处理单元25、布局处理单元26和通信数据控制单元22。该指令包括用于如下的指令:滚动、放大和缩小显示的图像，获得后一或前一页，获得具有高分辨率的原始图像，和选择一区域。响应于这些指令中的任何指令，例如图像处理单元25使得显示的图像滚动、放大和缩小，对选择区域执行彩色高亮显示，得到后一或前一页，和获得具有高分辨率的原始图像。
[0080]图像处理单元25处理从通信数据控制22得到的图像数据(放大、缩小、平移和滚动)并且执行布局重建过程。
[0081]布局处理单元26基于从图像处理单元25得到的处理后的图像数据和从通信数据控制单元22得到的布局信息来生成待发送给显示单元23的显示图像。
[0082]布局处理单元26基于从服务器I传输的布局信息和显示单元23的属性(例如屏幕高度、屏幕宽度和分辨率)，确定包括于图像文件中的文档的布置。
[0083]显示单元23由IXD监视器等构成，并且由图像处理单元27以集中方式进行显示控制。
[0084]图6为由内容分配系统执行的文档分配过程的流程图。执行这个过程的程序存储于服务器I和客户端2的存储器中，并且由服务器I和客户端2的各个框来执行。在下文中，客户端2执行过程Al至AS并且服务器I执行过程BI至B6。
[0085]在Al，客户端2的输入信息控制单元27基于到输入单元24的输入从累积于文档存储装置3中的文档选择所希望的文档文件。通信数据控制单元22经由通信单元21请求服务器I以获得选择的文档文件。例如，利用客户端2的输入单元24和输入信息控制单元24从由文档存储装置3提供的文件名称列表中的URL选择所希望的文档文件，生成文档获得请求。或者，客户端2可从累积于DB 15中的文档选择所希望的图像文件并且请求服务器I获得选择的图像文件。
[0086]在BI，在经由通信单元12从客户端2接收到文档获得请求后，服务器I的通信数据控制单元13进行到B2。
[0087]在B2，服务器I的通信数据控制单元13对所接收的文档获得请求进行分析并且分类,并且获得客户端I的标识信息作为请求源(例如网络地址)和所请求的文档文件的标识信息(例如文件名称)。
[0088]在B3，服务器I的文档文件获得单元10从DB 15获得对应于所请求的文档文件的图像文件。如果文档文件并不存在于DB 15中，服务器I的文档文件获得单元10从文档存储装置3获得所请求的文档文件，并且文档文件在图像输出单元11被转换为图像文件。[0089]在B4，服务器I的文档文件分析单元14分析从文档存储装置3获得的文档文件以获得布局信息。服务器I的文档文件分析单元14在DB 15中与所请求的图像文件相关联地存储所获得的布局信息。
[0090]在B5，服务器I的通信数据控制单元13经由通信单元12将所请求的文档文件的图像文件和与其相对应的布局信息传输到客户端2。
[0091]在A2，客户端2的通信数据控制单元22经由通信单元21接收从服务器I传输的图像文件和布局信息。
[0092]在A3，客户端2的布局处理单元26分析显示单元23的属性(大小)、文档放大/缩小比率、和文档行方向。在这些信息之中，显示单元23的属性(大小)可预先存储于客户端2的ROM等中。
[0093]在A4，客户端2对图像文件的整个图像执行预览显示。
[0094]在A5，客户端2经由输入单元24接受从预览显示的整个原始图像中待显示的文档区域的选择。例如，包括文档区域Rl至R6的原始图像在图7中的预览显示上，并且将区域R2选择为待显示的文档区域。通过颜色等在视觉上区分选择的文档区域。
[0095]在A6，客户端2的输入信息控制单元27判断是否选择了待显示的文档区域。若为是，则进程进行到A7。若为否，继续等待该选择。
[0096]在A7，客户端2的图像处理单元25基于显示单元23的属性(大小)、文档放大/缩小比率、和文档行方向来确定选择的文档区域的最佳布局，重配置包括于选择的文档区域中的文档的布局。将在下文中进一步描述此过程的细节。
[0097]在AS，客户端2的图像处理单元25使得包括于选择的文档区域中的文档以重配置的最佳布局在显示单元23上显示。图像的预览显示区域与选择的文档区域中的文档的显示区域不同。
[0098]图9描绘了文档布局重配置(A7)的细节。由图像处理单元25和布局处理单元26来执行这个过程。
[0099]在A7-1，布局处理单元26获得原始图像的各个字符的布局信息。这可为作为通过服务器I的文档文件分析单元14分析的结果而得到的布局信息，或者可为作为由客户端2的布局处理单元26执行类似分析的结果而得到的布局信息。
[0100]布局处理单元26基于布局信息提取在字符识别范围中呈现的字符图像(对应于字符存在的范围的部分图像)。
[0101]如在图10中示例性地描绘，在OCR的字符识别中，在字符识别范围中呈现的字符图像(对应于字符存在的范围的部分图像)可具有偏移，并且漏失部分可能出现在字符的周围部分中。特别地，如在图11中示例性地示出，已知字符漏失部分常常出现在字符下部。因此，如在图12中示例性地描绘，从OCR识别的字符的高度和宽度值以若干像素扩展的范围被再次作为识别的字符图像提取。此处，应当指出的是，并非识别字符本身，而是识别原始图像上字符所存在的范围。应当指出的是，字符图像并非从未满足预定大小的字符识别范围提取，或者若提取，则删除这样的字符图像。
[0102]在A7-2，布局处理单元26从识别的字符图像的集合生成一条或多条行信息。行布置的方向遵循布局信息的字符方向。
[0103]在本文中字符方向不同于显示图像的滚动方向。考虑到可操作性，滚动方向优选地为正交于行方向的方向。进一步考虑到可操作性，滚动方向的数量优选地为一。如果如在常规技术中存在多个滚动方向例如水平和垂直方向，通过到处滚动来阅览文档。这并非方便使用的。
[0104]用于为显示单元23上的一行生成行信息的字符图像的数量η取决于各个字符图像的大小a”在行方向上的显示单元23的大小b和字符放大/缩小比率C。即，当各个字符以所希望的放大/缩小比率放大或缩小，并且在不超过显示单元23在字符方向的大小的最大范围中保持与原始图像的选择的文档相同的排列地、在行方向上排列放大/缩小后各个字符时，则这些字符的集合为一个行的行集合。一个行的字符集合的大小由满足下式的L的最大值Lmax来表示:
[0105]L= Σ a^c^n ^b...(I)。 [0106]此处，为相邻字符图像的总和(行信息)。因此，
[0107]n=Lmax/ (Σ a^c)...(2)。
[0108]由于b为固定值，随着字符放大/缩小比率c增加，在显示单元23上每行的字符数量η相应地减少。任何放大/缩小比率c例如由用户经由图7的放大/缩小按钮B来指定。
[0109]如下来确定行信息Σ&?。例如，如在图13中假定具有预定大小α且与汉字“商”的字符图像(其为前一字符图像)相邻的区域，例如，具有“商”的字符图像的宽度的30%的宽度的区域，部分地与汉字“品”的字符图像存在的区域重叠。在此情况下，布局处理单元26确定与“商”的字符图像相邻的字符图像为“品”的字符图像并且这些被包括于同一行信息中。
[0110]相反，确定并不满足预定大小的前一字符图像和与它相邻的字符图像被认为是并不彼此相邻。例如，如图14中所描绘日语中的句号的字符图像被认为低于预定大小α并且并不与下一个的汉字“会”的字符图像相邻。即，句号的字符图像和“会”作为另一行信息分开。
[0111]但是，即使在确定了字符图像并不彼此相邻时，如果字符图像在原始图像上具有彼此共同的坐标并且通过将字符图像结合在一起而得到的大小适配于显示单元内23的显示范围，则它们被统合为同一行信息。例如，两个行集合Rl和R2以日语中的逗号的字符图像(并不满足预定大小α )分开，但通过统合这些字符图像得到的大小适配于显示单元内23的显示范围，并且因此它们被认为是新的行信息R。
[0112]布局处理单元26将包括η个字符图像的切出框设置作为原始图像，并且切出一行的字符图像的块。然后，将切出的一行的字符图像的块沿着滚动方向布置一行。
[0113]例如，假定存在如图16的原始图像I并且显示单元23每行的字符数量被计算为η=12。在此情况下，作为第一行的切出框，在原始图像I的第一行上包括十二个字符图像的框Tl作为该第一行的切出框设置到图像I。之后，由在原始图像I的第一行上包括五个字符图像的框Τ2-1和在原始图像I的第二行上包括七个字符图像的框Τ2-2形成的框Τ2作为第二行的切出框设置到图像I。之后，由原始图像I的第二行上包括十个字符图像的框Τ3-1和在原始图像I的第三行上包括两个字符图像的框Τ3-2形成的框Τ3作为第三行的切出框设置到图像I。之后，类似地，在第k+Ι行上的框Tk被设置为包括在前一第k行的框中并不包括的字符图像至η个字符图像之后的字符图像。[0114]如在图17中示例性地描绘，布局处理单元26沿着滚动方向布置包括于第k行上的框Tk中的部分图像。通过以此方式重复行布置，用于在客户端2处阅览文档的显示图像1’从原始图像I重配置。其中显示图像1’并不滚动的字符方向X上的大小等于或小于显示单元23的大小。即，关于字符方向X，即使图像1‘的大小和显示单元23的大小彼此不同，假定仅存在不需要在字符方向上滚动的程度的细微差异。
[0115]在A7-3，布局处理单元26从行集合之中删除不需要的字符行。不需要的字符行指仅一个字符的行信息。这个原因是，很高概率会由于将字符的部分错误识别为一字符导致得到仅一个字符的行信息。但是，不需要的字符行并不限于仅一个字符的行信息。
[0116]在A7-4，布局处理单元26基于字符方向来确定滚动方向。通常，为了允许阅览人员易于选择待读取的行，字符方向和滚动方向假定具有正交关系。例如，布局处理单元26从字符方向确定滚动方向使得如果字符方向为水平的则滚动方向为垂直的并且如果字符方向为垂直的则滚动方向为水平的。
[0117]布局处理单元26沿着确定的滚动方向结合彼此相邻的行信息的条以生成段落信息。例如，如在图18中，参考原始图像和其字符方向，例如，包括从具有上游侧的字符图像的行信息(前一行信息Rl)的下端的预定范围β (例如，在前一行信息Rl的字符图像的高度的50%的范围)中存在的字符图像的行信息R2 (下一行信息R2)被确定为与Rl相邻的行信息。布局处理单兀26结合相邻的行信息Rl和R2并且将结合的行信息设置作为同一段落信息。布局处理单元26关于相邻的行信息的条重复这种确定并且为各行信息进行结合，从而生成段落信息。
[0118]应当指出的是，如在图19中示例性地示出，布局处理单元26可结合两条或更多条的行信息同时保持在 行头处的偏移。
[0119]替代地，布局处理单元26可生成行信息以便保持在原始图像的文档区域中的换行。即，如在图20中示例性地描绘，当在原始图像的选择的文档区域D中的行中识别出在中部具有换行的行F时，布局处理单元26并不向此行F的尾部上O的字符图像结合在紧接着下一行L2上的第一字符图像，并且生成行信息和段落信息Ζ，使得这些字符图像并不在同一行信息上连续。
[0120]在Α7-5，布局处理单元26确定并且从段落信息删除不需要的段落。根据段落区域和在段落中的字符数量来确定不需要的段落。例如，如果包括于段落中的字符区域的总和等于或小于相对于原始图像的面积的比率(例如0.1%)，那么这个段落被确定为不需要的段落。或者，如果包括于段落中的字符数量等于或小于预定数量(例如两个)，那么这个段落被确定为不需要的段落。即，具有极其少量字符的段落被删除，因为不适于阅览。
[0121]在Α7-6，布局处理单元26沿着滚动方向排列并且结合删除不需要的段落之后的段落以重配置段落信息，并且将此作为新显示图像1’。然后，进程进行到AS，从而显示该显示图像i'。
[0122]在字符方向上的显示图像1’的大小与显示单元23的大小相同，因而无需滚动。但是，在滚动方向上的显示图像I,的大小可能超过显示单元23的大小。因此，在滚动方向上的显示图像1’的显示范围被限制为显示单元23的大小，导致部分显示。
[0123]因此，输入信息控制单元27接受关于由字符方向所限定的滚动方向的指令并且将指令发送给图像处理单元25。图像处理单元25造成显示图像I'根据滚动指令而滚动并且造成由滚动前移的范围显示。但是，输入信息控制单元27可不接受并且可忽略关于滚动方向的任何其它指令。 [0124]当输入信息控制单元27接受显示图像r的放大/缩小比率的变化时，进程返回至A7-1，从而对于改变后的放大/缩小比率最佳地重配置显示图像I'。
[0125]根据上文所描述的过程，生成与水平屏幕大小相同大小的行信息，使得字符图像沿着原始图像的字符的排列。而且，从行信息在滚动方向上排列的段落信息，生成显示图像 。用户可仅通过沿着正交于字符方向的滚动方向滚动显示图像r来通读文档同时检查上下文行关系，并且无需在多个方向到处滚动的同时来通读文档。
[0126]常规地，当字符本身由OCR识别并且识别的字符被排列以生成行时，出现下面的问题。(I)难以再现字符之间的细微平衡；以及(2)难以正确地布置标点符号(参考图21)。但是，在本过程中并不出现这些问题，因为图像本身被排列以重配置图像供阅览。
[0127]而且，根据任何指定的放大/缩小比率来重配置用于阅览的图像。因此，能通读文档同时检查上下文行关系，甚至利用任何放大/缩小比率。
[0128]而且，在上文的描述中，文档的语言为日语并且构成文档的字符为平假名、片假名和汉字。但是，本发明的应用范围并不限于此。例如，本发明的应用范围可包括各种字符，例如中文、汉加字符、字母、西里尔字符和阿拉伯字符以用于各种语言中，例如汉语、韩语、英语、德语、法语、西班牙语、俄语和阿拉伯语。
[0129]附图标记列表
[0130]1...服务器，2...客户端，10...文档文件获得单元，11...图像输出单元，
12...通信单元，13...通信数据控制单元，14...文档文件分析单元，15...DB，21...通信单元,22...通信数据控制单元,23...显示单元,24...输入单元,25...图像处理单元，
26...布局处理单元，27...输入信息控制单元
【权利要求】
1.一种文档文件显示装置，包括: 显示单元，其显示图像； 图像转换单元，其将结构化的文档文件转换为图像文件； 布局信息检测单元，其从由所述图像转换单元转换的图像文件检测布局信息，所述布局信息包括构成文档的各个要素存在的区域和所述要素的排列方向； 要素图像提取单元，其基于由所述布局信息检测单元所检测的布局信息来从所述图像文件提取要素图像，所述要素图像为对应于各个要素存在的区域的部分图像； 行信息生成单元，其基于由所述要素图像提取单元所提取的各个要素图像沿着所述要素的排列方向的大小，以适配于所述显示单元中的所述要素图像的集合，生成行信息； 滚动方向确定单元，其根据所述要素的排列方向确定由所述行信息生成单元所生成的行信息的滚动方向； 段落信息生成单元，其通过将多条所述行信息沿着由所述滚动方向确定单元所确定的滚动方向布置来生成段落信息； 显示控制单元，其使得在所述显示单元的显示范围中显示由所述段落信息生成单元所生成的所述段落信息；以及 滚动指示单元，其指示沿着所述滚动方向滚动显示所述段落信息； 所述显示控制单元使得沿着由所述滚动指示单元所指示的所述滚动方向在所述显示单元的显示范围中滚动显示所述段落信息。
2.根据权利要求1所述的文档文件显示装置，其中， 所述显示控制单元使得缩小显示所述图像文件的全体并且也使得显示指示在缩小显示的图像中各个文档存在的区域的信息；以及 所述文档文件显示装置还包括区域选择单元，所述区域选择单元从各个文档存在的区域选择所希望的文档存在的区域， 所述布局信息检测单元从由所述区域选择单元选择的文档存在的区域检测所述布局信息，所述布局信息包括各个要素存在的区域和要素的排列方向；以及 所述显示控制单元使得在所述显示单元的第一区域中，沿着所述滚动指示单元指示的所述滚动方向，在所述显示单元的显示范围中滚动显示对应于由所述区域选择单元所选择的所述文档存在的区域的段落信息，并且在不同于所述显示单元的第一区域的第二区域中缩小显示图像文件的全体。
3.根据权利要求1或2所述的文档文件显示装置，其中 所述滚动方向确定单元确定正交于所述要素的排列方向的方向为所述行信息的滚动方向。
4.根据权利要求1至3中任一项所述的文档文件显示装置，还包括:放大/缩小比率指定单元，其指定用于显示所述段落信息的放大/缩小比率，其中， 所述行信息生成单元通过遵循以所述放大/缩小比率指定单元所指定的所述放大/缩小比率放大或缩小由所述要素图像提取单元所提取的各个要素图像得到的大小，以沿着所述要素的排列方向适配于所述显示单元中的所述要素图像的集合生成所述行信息。
5.根据权利要求1至4中任一项所述的文档文件显示装置，其中， 所述行信息生成单元从所述行信息删除不满足预定标准的要素图像。
6.根据权利要求1至5中任一项所述的文档文件显示装置，其中， 所述段落信息生成单元从所述段落信息删除不满足预定标准的行信息。
7.根据权利要求1至6中任一项所述的文档文件显示装置，其中， 所述行信息生成单元在同一行信息中包括在所述图像文件上的所述要素的排列方向上彼此相邻的要素图像。
8.根据权利要求7所述的文档文件显示装置，其中， 所述行信息生成单元将与不满足预定比率的大小的前一要素图像沿着要素方向相邻的后一要素图像包括在不同于所述前一要素图像的行信息的行信息中。
9.根据权利要求8所述的文档文件显示装置，其中， 当通过结合不同的行信息所得到的大小沿着所述要素的排列方向适配于所述显示单元中时，所述行信息生成单元将所述不同的行信息统合为同一行信息。
10.根据权利要求7或8所述的文档文件显示装置，其中 所述行信息生成单元生成所述行信息，使得在换行之前紧邻的要素图像和在换行之后紧邻的要素图像并非连续的。
11.根据权利要求1至10中任一项所述的文档文件显示装置，其中， 所述段落信息生成单元在同一段落信息中包括具有在所述图像文件上的滚动方向上彼此相邻的要素图像的信息。
12.根据权利要求1至11中任一项所述的文档文件显示装置，其中， 所述要素图像提取单元提取通过以预定大小扩展由所述布局信息检测单元所检测的各个要素存在的区域所得到的区域，作为所述要素图像。
13.一种文档文件显示方法，包括将由信息处理设备执行的步骤，所述步骤包括: 将结构化的文档文件转换为图像文件的步骤； 从所转换的图像文件检测布局信息的步骤，所述布局信息包括构成文档的各个要素存在的区域和所述要素的排列方向； 基于所检测的布局信息从所述图像文件提取要素图像的步骤，所述要素图像为对应于所述各个要素存在的区域的部分图像； 基于所提取的各个要素图像沿着所述要素的排列方向的大小，以适配于显示图像的显示单元中的要素图像的集合，来生成行信息的步骤； 根据所述要素的排列方向来确定所生成的行信息的滚动方向的步骤； 通过沿着所确定的滚动方向来布置多条所述行信息来生成段落信息的步骤； 在所述显示单元的显示范围中使得显示所生成的段落信息的步骤； 指示沿着所述滚动方向滚动显示所述段落信息的步骤；以及 使得沿着所指示的滚动方向在所述显示单元的显示范围内滚动显示所述段落信息的步骤。
14.一种计算机可读的记录介质，其上记录有文档文件显示程序，所述程序使得信息处理装置执行根据权利要求13所述的文档文件显示方法。
【文档编号】G06F3/0485GK103620589SQ201280020841
【公开日】2014年3月5日 申请日期:2012年4月5日 优先权日:2011年4月27日
【发明者】矢野浩教 申请人:富士胶片株式会社
【专利摘要】根据本发明，生成大小适配于显示单元内的行信息，其中要素图像被布置成沿着原始图像文件中的要素排列并且生成段落信息，其具有在滚动方向上排列的行信息。用户可通过沿着滚动方向滚动段落信息来通读文档同时检查行信息的上下文关系，并且不需要在多个方向到处滚动的同时通读文档。
【专利说明】文档文件显示装置、方法和程序
【技术领域】
[0001]本发明涉及显示通过使例如报纸、杂志、纸质文档、课本和参考书等文档成像而得到的各种内容的装置、方法和程序。
【背景技术】
[0002]近年来随着信息科技创新，建立了信息分配模式，其中，本应印刷在纸上的书例如杂质或漫画书被数字化并且经由智能手机等上的图像阅览器阅览。
[0003]非专利文献I和2公开了将通过成像得到的报纸滚动、放大和缩小以供用户读取报纸文章。
[0004]专利文献I公开了在便携式电话上阅览电子邮件所附的文件的技术。
[0005]专利文献2公开了根据便携式终端改变文档布局的技术。
[0006]专利文献3公开了其中将文档数据的布局转换为元数据并且相应地改变布局以用于印刷的技术。
[0007]引用列表
[0008]专利文献
[0009]专利文献1:日本专利申请特开N0.2007-199983
[0010]专利文献2:日本专利申请特开N0.11-122398
[0011]专利文献3:日本专利申请特开N0.2008-176541
[0012]非专利文献
[0013]非专利文献1:“How to use Sankei NetView”，在 2011 年 4 月 13 日搜索，URL<http://www.sanke1.c0.jp/netview/howto_l.html>
[0014]非专利文献2:“Sankei Shimbun(iPhone version):Operation Method，，,在 2011年 4 月 13 曰搜索，URL<http://www.sanke1.c0.jp/iphone/>
【发明内容】
[0015]技术问题
[0016]近年来，随着便携式终端的功能进步，可经由网络获得各种数据。例如，可执行获得在电子邮件服务器上的电子邮件的操作和获得在共享的服务器上的文件的操作。可在几乎每种便携式终端上阅览数据格式，例如文本数据、压缩图像数据例如jpeg(联合图像专家组)和HTML数据。但是，如果待获得的数据为结构化文档文件格式(纯文本文件以外的文档文件，例如 Microsoft Word (注册商标)、Microsoft Excel (注册商标)、MicrosoftPowerPoint (注册商标)和Adobe TOF (注册商标))，在本情形下存在具有允许阅览数据的应用程序的少许便携式终端。在这些情形下，开发了即使阅览器应用程序并未结合到便携式终端中也允许阅览文档文件的技术。
[0017]例如，将请求从服务器侧获得的文档文件呈现(成像)并且将成像的数据传输到便携式终端。便携式终端使图像再现，从而允许以与原始文档文件的布局相同的布局来阅览文档。但是，所生成的图像常常具有基于图像待印刷于纸上的前提的布局。在如便携式终端中的小显示区域的情况下，很难说能舒服地阅览文档。
[0018]在PTL I中，不仅将文档文件呈现和成像，而且也提取布局信息和文本信息以与图像一起传输到便携式电话。由此，对于图像中字符不能读取的区域显示文本，由此改进了阅览可用性。为此目的，除了文本区域之外，需要判别字符类型。
[0019]在PTL 2中，根据屏幕大小改变文档图像的布局。但是，这不能支持通过使其中文本文档和图像混合在一起的办公文档等以与它相同的布局成像而获得的文档。
[0020]考虑到这些问题，做出本发明，并且本发明具有改进可视性的目的，并且当在具有较小显示区的屏幕上由图像阅览器显示具有混合在一起的图像和文本文档的文档时无需判别文本字符类型。
[0021]问题的解决方案
[0022]本发明提供一种文档文件显示装置，包括:显示单元，其显示图像；图像转换单元，其将结构化的文档文件转换为图像文件；布局信息检测单元，其从由图像转换单元转换的图像文件检测布局信息，布局信息包括构成文档的各个要素存在的区域和要素的排列方向；要素图像提取单元，其基于由布局信息检测单元所检测的布局信息从图像文件提取要素图像，所述要素图像为对应于各个要素存在的区域的部分图像；行信息生成单元，其基于由要素图像提取单元所提取的各个要素图像沿着要素的排列方向的大小，以适配于显示单元内的要素图像的集合，来生成行信息；滚动方向确定单元，其根据要素的排列方向确定由行信息生成单元所生成的行信息的滚动方向；段落信息生成单元，其通过将多条所述行信息沿着由滚动方向确定单元所确定的滚动方向布置来生成段落信息；显示控制单元，其使得在显示单元的显示范围中显示由段落信息生成单元所生成的段落信息；以及，滚动指示单元,其指示沿着滚动方向滚动显示段落信息，所述显示控制单元使得沿着由滚动指示单元所指示的滚动方向在显示单元的显示范围中滚动显示段落信息。
[0023]优选地,显示控制单元使得缩小显示图像文件的全体并且也使得指示在缩小显示的图像中的各个文档存在的区域的信息显示，并且文档文件显示装置还包括区域选择单元，区域选择单元从各个文档存在的区域选择所希望的文档的存在的区域，所述布局信息检测单元从由区域选择单元选择的文档存在的区域检测布局信息，所述布局信息包括各个要素存在的区域和要素的排列方向，并且所述显示控制单元使得在显示单元的第一区域中沿着由滚动指示单元指示的滚动方向在显示单元的显示范围中滚动显示对应于由区域选择单元所选择的文档存在的区域的段落信息，并且在不同于显示单元的第一区域的第二区域中缩小显示图像文件的全体。
[0024]优选地，滚动方向确定单元确定正交于要素的排列方向的方向为行信息的滚动方向。
[0025]优选地，文档文件显示装置还包括:放大/缩小比率指定单元，其指定用于显示段落信息的放大/缩小比率，其中，行信息生成单元通过遵循以放大/缩小比率指定单元所指定的放大/缩小比率放大或缩小由要素图像提取单元所提取的各个要素图像得到的大小，以沿着要素的排列方向适配于显示单元内中的要素图像的集合来生成行信息。
[0026]优选地，行信息生成单元从行信息删除不满足预定标准的要素图像。
[0027]优选地，段落信息生成单元从段落信息删除不满足预定标准的行信息。[0028]优选地，行信息生成单元在同一行信息中包括在图像文件上的要素的排列方向上彼此相邻的要素图像。
[0029]优选地，所述行信息生成单元将与不满足预定比率的大小的前一要素图像沿着要素方向相邻的后一要素图像包括在不同于前一要素图像的行信息的行信息中。
[0030]优选地，当通过结合不同条(piece)的行信息所得到的大小沿着要素的排列方向适配于显示单元内时，行信息生成单元将不同的行信息统合为同一行信息。
[0031]优选地，行信息生成单元生成行信息使得在换行之前紧邻的要素图像和在换行之后紧邻的要素图像并非连续的。
[0032]优选地，段落信息生成单元在同一段落信息中包括含有在图像文件上的滚动方向上彼此相邻的要素图像的信息。
[0033]优选地，要素图像提取单元提取通过以预定大小扩展由布局信息检测单元所检测的各个要素存在的区域而得到的区域作为要素图像。
[0034]本发明提供一种文档文件显示方法，其包括将由信息处理设备执行的步骤，这些步骤包括:将结构化的文档文件转换为图像文件的步骤；从转换的图像文件检测布局信息的步骤，布局信息包括构成文档的各个要素存在的区域和要素的排列方向；基于检测的布局信息从图像文件提取要素图像的步骤，要素图像为对应于各个要素存在的区域的部分图像；基于提取的各个要素图像沿着要素的排列方向的大小，以适配于显示图像的显示单元中的要素图像的集合来生成行信息的步骤；根据要素的排列方向来确定生成的行信息的滚动方向的步骤；通过沿着确定的滚动方向来布置多条所述行信息来生成段落信息的步骤；在显示单元的显示范围中显示生成的段落信息的步骤；指示沿着滚动方向滚动显示段落信息的步骤；以及沿着指示的滚动方向在显示单元的显示范围内滚动显示段落信息的步骤。
[0035]本发明提供一种计算机可读的记录介质，其上记录有文档文件显示程序，程序用于使得信息处理装置执行所述文档文件显示方法。
[0036]本发明的有利效果
[0037]根据本发明，大小适配于显示单元内的行信息由原始图像文件中沿着要素的排列布置的要素图像构成并且生成行信息沿着滚动方向排列的段落信息。用户可通过仅沿着滚动方向滚动段落信息来在检查行信息的上下文关系的同时通读文档，并且不需要在多个方向到处滚动的同时通读文档。
【专利附图】
【附图说明】
[0038]图1为内容分配系统的示意结构的图示。
[0039]图2为描绘了从图像输出单元输出的图像文件的示例的图示。
[0040]图3为描绘了行布局信息表的图示。
[0041]图4为描绘了字符布局信息的图示。
[0042]图5为示意性地描绘了其中通过OCR得到的布局信息的状态的图示。
[0043]图6为文档分配过程的流程图。
[0044]图7为描绘了原始图像的预览显示的示例的图示。
[0045]图8为描绘了选择的文档区域的示例的图示。
[0046]图9为文档布局重配置(A7)的详细流程图。[0047]图10为描绘了其中在字符的周围部分出现漏失部分的字符识别区域的示例的图
/Jn ο
[0048]图11为描绘了其中在字符的下部出现漏失部分的字符识别区域的示例的图示。
[0049]图12为描绘了其中自OCR识别的字符的高度和宽度大小值以若干像素扩展的范围再次被提取作为识别的字符图像的状态的图示。
[0050]图13为描绘了行信息生成的图示。
[0051]图14为描绘了行信息生成(分开)的图示。
[0052]图15为描绘了行信息生成(统合)的图示。
[0053]图16为描绘了原始图像的示例的图示。
[0054]图17为描绘了用于文档阅览的显示图像的重配置的示例的图示。
[0055]图18为描绘了相邻行信息的示例的图示。
[0056]图19为描绘了其中在保持头行处的偏移的同时两条或更多条行信息结合在一起的状态的图示。
[0057]图20为描绘了被生成以保持在原始图像中的换行(return)的段落信息的示例的图示。
[0058]图21为描绘了 OCR的常规字符布置的图示。
具体实施例
[0059]<第一实施例>
[0060]图1描绘了根据本实施例的优选实施例的内容分配系统的结构。此系统包括服务器I和客户端2。服务器I由计算机(信息处理装置)构成，计算机包括计算装置(CPU)、存储装置、输入/输出电路等。客户端为信息终端，包括能够再现图像的显示构件、通信构件、计算装置(CPU)、存储装置、输入/输出电路、操作构件等，并且由例如智能电话或平板式计算机构成。应当指出的是不确定数量的客户端2可访问服务器I。
[0061]具体而言，服务器I包括文档文件获得单元10、图像输出单元11、通信单元12、通信数据控制单元13、文档文件分析单元14和数据库(DB) 15。
[0062]通信数据控制单元13和文档文件分析单元14各由例如CPU的信息处理装置构成。DB 15由例如硬盘或存储器等的存储介质构成。文档文件获得单元10、图像输出单元11和通信单元12各由输入/输出装置、网络通信装置等构成。可由通信数据控制单元13来管理通信相关的控制，例如开始和结束信息传输和接收。
[0063]通信数据控制单元13执行接收数据控制和传输数据控制。接收数据控制包括分析由通信单元12得到的数据的过程。传输数据控制包括将由文档文件分析单元14和图像输出单元11生成的图像、布局信息和文本信息改变为特定数据格式并且将改变后的图像和信息传输到通信单元12的过程。
[0064]文档文件获得单元10从经由网络连接的文档存储装置3得到以各种格式中任何格式(例如doc、txt、pdf、ppt和xls)结构化的文档文件。将获得哪种文档由客户端2或者由用户使用服务器I的操作构件来指定。
[0065]应来自客户端2和服务器I的各个框的请求，图像输出单元11将由文档文件获得单元10得到的文档文件转换为可在客户端2处再现的图像文件格式(例如，jpg、tif或bmp)并且将转换的文档文件输出到文档文件分析单元14。图2描绘了从图像输出单元11输出的图像文件的示例。从图像输出单元11输出的图像文件在下文中可被称作原始图像。
[0066]文档文件分析单元14从由图像输出单元11输出的图像文件判别图像区域和文本区域，并且对于每一行分析在文本区域中包括的各行上的字符(包括各种符号，例如标点符号、问号和括号)的布局。各行的字符的布局被称作布局信息。布局信息与图像文件一起累积在DB15中。
[0067]图3和图4各描绘了从文档文件分析单元14输出的布局信息的示例。在这些图中，图3描绘了行布局信息表。行布局信息表中存储行布局信息，行布局信息指不各行的标识信息、位置(垂直位置和水平位置)和大小(宽度和高度)和行排列方向(水平或垂直)。行指具有沿着图像文件的各个字符的读取方向排列的字符的字符组。
[0068]区域编号表示给原始图像中各个文档存在的区域设置的ID。水平位置表示由区域编号指定的区域的左上坐标。垂直位置表示由区域编号指定的区域的右下坐标。宽度表示由区域编号指定的区域的宽度(沿着读取方向的长度)。高度表示由区域编号指定的区域的高度(在正交于读取方向的方向上的区域的长度)。字符方向表示包括于该区域中的字符的读取方向。
[0069]图4描绘了字符布局信息表。字符布局信息表中存储在各行内包括的各个字符的标识信息(字符编号)、该字符所属的行的标识信息(区域编号)、位置(垂直位置和水平位置)和大小(宽度和高度)。
[0070]字符编号表示向各个字符提供的ID。区域编号、水平位置、垂直位置、宽度和高度是行布局信息表共同的。
[0071]对于利用对应于文档文件并且并入于图像输出单元11中的应用程序生成的图像，可通过使用字符识别逻辑例如OCR (光学字符识别)准确地得到通过一应用程序的再现类型的文档文件的布局信息。替代地，在文档中的图像区域和文本区域可由对应于文档文件类型并且并入于图像输出单元11中的打印机驱动器来判别。布局信息可包括断句位置(break position),表示文档的诸如词或短语的意义单位和在该意义单位中的字符数量。但是，构成文档的字符本身并不包括在布局信息中。虽然字符本身可能有错，可通过OCR准确地充分得到位置信息。图5示意性地描绘了其中通过OCR得到布局信息的状态。由结构化的文本信息来描述布局信息。
[0072]由文档文件分析单元14分析的布局信息被与从图像输出单元11输出的原始图像相关联地存储在DB 15中。
[0073]在通信数据控制单元13的控制下，通信单元12将在DB 15中的原始图像和布局信息传输到客户端2。
[0074]客户端2包括通信单元21、通信数据控制单元22、显示单元23、输入单元24、图像处理单元25、布局处理单元26和输入信息控制单元27。
[0075]通信数据控制单元22、图像处理单元25、布局处理单元26和输入信息控制单元27各由例如CPU的信息处理装置构成。
[0076]通信数据控制单元22执行接收数据控制和传输数据控制。接收数据控制包括分析归类由通信单元21得到的数据的过程。作为分类和分析的结果，布局信息被发送到布局处理单元2，并且原始图像被发送到图像处理单元25。传输数据控制包括将例如从用户输入的指令等各种请求改变为特定数据格式并且将改变后的请求发送到通信单元21的过程。
[0077]通信单元21由网络通信装置等构成，经由网络例如因特网连接到服务器I的通信单元12，并且传输和接收各种信息。可由通信数据控制单元22来管理通信相关的控制，例如开始和结束信息传输和接收。
[0078]输入单元24由用户界面例如在显示单元23上层压的触摸面板构成，并且接受各种操作，诸如滚动、放大和减小显示的图像，获得后一或前一页，获得具有高分辨率的原始图像，和选择一区域。
[0079]输入信息控制单元27解释对应于输入到输入单元24的操作的指令，并且将指令发送到执行指令所涉及的框，例如，图像处理单元25、布局处理单元26和通信数据控制单元22。该指令包括用于如下的指令:滚动、放大和缩小显示的图像，获得后一或前一页，获得具有高分辨率的原始图像，和选择一区域。响应于这些指令中的任何指令，例如图像处理单元25使得显示的图像滚动、放大和缩小，对选择区域执行彩色高亮显示，得到后一或前一页，和获得具有高分辨率的原始图像。
[0080]图像处理单元25处理从通信数据控制22得到的图像数据(放大、缩小、平移和滚动)并且执行布局重建过程。
[0081]布局处理单元26基于从图像处理单元25得到的处理后的图像数据和从通信数据控制单元22得到的布局信息来生成待发送给显示单元23的显示图像。
[0082]布局处理单元26基于从服务器I传输的布局信息和显示单元23的属性(例如屏幕高度、屏幕宽度和分辨率)，确定包括于图像文件中的文档的布置。
[0083]显示单元23由IXD监视器等构成，并且由图像处理单元27以集中方式进行显示控制。
[0084]图6为由内容分配系统执行的文档分配过程的流程图。执行这个过程的程序存储于服务器I和客户端2的存储器中，并且由服务器I和客户端2的各个框来执行。在下文中，客户端2执行过程Al至AS并且服务器I执行过程BI至B6。
[0085]在Al，客户端2的输入信息控制单元27基于到输入单元24的输入从累积于文档存储装置3中的文档选择所希望的文档文件。通信数据控制单元22经由通信单元21请求服务器I以获得选择的文档文件。例如，利用客户端2的输入单元24和输入信息控制单元24从由文档存储装置3提供的文件名称列表中的URL选择所希望的文档文件，生成文档获得请求。或者，客户端2可从累积于DB 15中的文档选择所希望的图像文件并且请求服务器I获得选择的图像文件。
[0086]在BI，在经由通信单元12从客户端2接收到文档获得请求后，服务器I的通信数据控制单元13进行到B2。
[0087]在B2，服务器I的通信数据控制单元13对所接收的文档获得请求进行分析并且分类,并且获得客户端I的标识信息作为请求源(例如网络地址)和所请求的文档文件的标识信息(例如文件名称)。
[0088]在B3，服务器I的文档文件获得单元10从DB 15获得对应于所请求的文档文件的图像文件。如果文档文件并不存在于DB 15中，服务器I的文档文件获得单元10从文档存储装置3获得所请求的文档文件，并且文档文件在图像输出单元11被转换为图像文件。[0089]在B4，服务器I的文档文件分析单元14分析从文档存储装置3获得的文档文件以获得布局信息。服务器I的文档文件分析单元14在DB 15中与所请求的图像文件相关联地存储所获得的布局信息。
[0090]在B5，服务器I的通信数据控制单元13经由通信单元12将所请求的文档文件的图像文件和与其相对应的布局信息传输到客户端2。
[0091]在A2，客户端2的通信数据控制单元22经由通信单元21接收从服务器I传输的图像文件和布局信息。
[0092]在A3，客户端2的布局处理单元26分析显示单元23的属性(大小)、文档放大/缩小比率、和文档行方向。在这些信息之中，显示单元23的属性(大小)可预先存储于客户端2的ROM等中。
[0093]在A4，客户端2对图像文件的整个图像执行预览显示。
[0094]在A5，客户端2经由输入单元24接受从预览显示的整个原始图像中待显示的文档区域的选择。例如，包括文档区域Rl至R6的原始图像在图7中的预览显示上，并且将区域R2选择为待显示的文档区域。通过颜色等在视觉上区分选择的文档区域。
[0095]在A6，客户端2的输入信息控制单元27判断是否选择了待显示的文档区域。若为是，则进程进行到A7。若为否，继续等待该选择。
[0096]在A7，客户端2的图像处理单元25基于显示单元23的属性(大小)、文档放大/缩小比率、和文档行方向来确定选择的文档区域的最佳布局，重配置包括于选择的文档区域中的文档的布局。将在下文中进一步描述此过程的细节。
[0097]在AS，客户端2的图像处理单元25使得包括于选择的文档区域中的文档以重配置的最佳布局在显示单元23上显示。图像的预览显示区域与选择的文档区域中的文档的显示区域不同。
[0098]图9描绘了文档布局重配置(A7)的细节。由图像处理单元25和布局处理单元26来执行这个过程。
[0099]在A7-1，布局处理单元26获得原始图像的各个字符的布局信息。这可为作为通过服务器I的文档文件分析单元14分析的结果而得到的布局信息，或者可为作为由客户端2的布局处理单元26执行类似分析的结果而得到的布局信息。
[0100]布局处理单元26基于布局信息提取在字符识别范围中呈现的字符图像(对应于字符存在的范围的部分图像)。
[0101]如在图10中示例性地描绘，在OCR的字符识别中，在字符识别范围中呈现的字符图像(对应于字符存在的范围的部分图像)可具有偏移，并且漏失部分可能出现在字符的周围部分中。特别地，如在图11中示例性地示出，已知字符漏失部分常常出现在字符下部。因此，如在图12中示例性地描绘，从OCR识别的字符的高度和宽度值以若干像素扩展的范围被再次作为识别的字符图像提取。此处，应当指出的是，并非识别字符本身，而是识别原始图像上字符所存在的范围。应当指出的是，字符图像并非从未满足预定大小的字符识别范围提取，或者若提取，则删除这样的字符图像。
[0102]在A7-2，布局处理单元26从识别的字符图像的集合生成一条或多条行信息。行布置的方向遵循布局信息的字符方向。
[0103]在本文中字符方向不同于显示图像的滚动方向。考虑到可操作性，滚动方向优选地为正交于行方向的方向。进一步考虑到可操作性，滚动方向的数量优选地为一。如果如在常规技术中存在多个滚动方向例如水平和垂直方向，通过到处滚动来阅览文档。这并非方便使用的。
[0104]用于为显示单元23上的一行生成行信息的字符图像的数量η取决于各个字符图像的大小a”在行方向上的显示单元23的大小b和字符放大/缩小比率C。即，当各个字符以所希望的放大/缩小比率放大或缩小，并且在不超过显示单元23在字符方向的大小的最大范围中保持与原始图像的选择的文档相同的排列地、在行方向上排列放大/缩小后各个字符时，则这些字符的集合为一个行的行集合。一个行的字符集合的大小由满足下式的L的最大值Lmax来表示:
[0105]L= Σ a^c^n ^b...(I)。 [0106]此处，为相邻字符图像的总和(行信息)。因此，
[0107]n=Lmax/ (Σ a^c)...(2)。
[0108]由于b为固定值，随着字符放大/缩小比率c增加，在显示单元23上每行的字符数量η相应地减少。任何放大/缩小比率c例如由用户经由图7的放大/缩小按钮B来指定。
[0109]如下来确定行信息Σ&?。例如，如在图13中假定具有预定大小α且与汉字“商”的字符图像(其为前一字符图像)相邻的区域，例如，具有“商”的字符图像的宽度的30%的宽度的区域，部分地与汉字“品”的字符图像存在的区域重叠。在此情况下，布局处理单元26确定与“商”的字符图像相邻的字符图像为“品”的字符图像并且这些被包括于同一行信息中。
[0110]相反，确定并不满足预定大小的前一字符图像和与它相邻的字符图像被认为是并不彼此相邻。例如，如图14中所描绘日语中的句号的字符图像被认为低于预定大小α并且并不与下一个的汉字“会”的字符图像相邻。即，句号的字符图像和“会”作为另一行信息分开。
[0111]但是，即使在确定了字符图像并不彼此相邻时，如果字符图像在原始图像上具有彼此共同的坐标并且通过将字符图像结合在一起而得到的大小适配于显示单元内23的显示范围，则它们被统合为同一行信息。例如，两个行集合Rl和R2以日语中的逗号的字符图像(并不满足预定大小α )分开，但通过统合这些字符图像得到的大小适配于显示单元内23的显示范围，并且因此它们被认为是新的行信息R。
[0112]布局处理单元26将包括η个字符图像的切出框设置作为原始图像，并且切出一行的字符图像的块。然后，将切出的一行的字符图像的块沿着滚动方向布置一行。
[0113]例如，假定存在如图16的原始图像I并且显示单元23每行的字符数量被计算为η=12。在此情况下，作为第一行的切出框，在原始图像I的第一行上包括十二个字符图像的框Tl作为该第一行的切出框设置到图像I。之后，由在原始图像I的第一行上包括五个字符图像的框Τ2-1和在原始图像I的第二行上包括七个字符图像的框Τ2-2形成的框Τ2作为第二行的切出框设置到图像I。之后，由原始图像I的第二行上包括十个字符图像的框Τ3-1和在原始图像I的第三行上包括两个字符图像的框Τ3-2形成的框Τ3作为第三行的切出框设置到图像I。之后，类似地，在第k+Ι行上的框Tk被设置为包括在前一第k行的框中并不包括的字符图像至η个字符图像之后的字符图像。[0114]如在图17中示例性地描绘，布局处理单元26沿着滚动方向布置包括于第k行上的框Tk中的部分图像。通过以此方式重复行布置，用于在客户端2处阅览文档的显示图像1’从原始图像I重配置。其中显示图像1’并不滚动的字符方向X上的大小等于或小于显示单元23的大小。即，关于字符方向X，即使图像1‘的大小和显示单元23的大小彼此不同，假定仅存在不需要在字符方向上滚动的程度的细微差异。
[0115]在A7-3，布局处理单元26从行集合之中删除不需要的字符行。不需要的字符行指仅一个字符的行信息。这个原因是，很高概率会由于将字符的部分错误识别为一字符导致得到仅一个字符的行信息。但是，不需要的字符行并不限于仅一个字符的行信息。
[0116]在A7-4，布局处理单元26基于字符方向来确定滚动方向。通常，为了允许阅览人员易于选择待读取的行，字符方向和滚动方向假定具有正交关系。例如，布局处理单元26从字符方向确定滚动方向使得如果字符方向为水平的则滚动方向为垂直的并且如果字符方向为垂直的则滚动方向为水平的。
[0117]布局处理单元26沿着确定的滚动方向结合彼此相邻的行信息的条以生成段落信息。例如，如在图18中，参考原始图像和其字符方向，例如，包括从具有上游侧的字符图像的行信息(前一行信息Rl)的下端的预定范围β (例如，在前一行信息Rl的字符图像的高度的50%的范围)中存在的字符图像的行信息R2 (下一行信息R2)被确定为与Rl相邻的行信息。布局处理单兀26结合相邻的行信息Rl和R2并且将结合的行信息设置作为同一段落信息。布局处理单元26关于相邻的行信息的条重复这种确定并且为各行信息进行结合，从而生成段落信息。
[0118]应当指出的是，如在图19中示例性地示出，布局处理单元26可结合两条或更多条的行信息同时保持在 行头处的偏移。
[0119]替代地，布局处理单元26可生成行信息以便保持在原始图像的文档区域中的换行。即，如在图20中示例性地描绘，当在原始图像的选择的文档区域D中的行中识别出在中部具有换行的行F时，布局处理单元26并不向此行F的尾部上O的字符图像结合在紧接着下一行L2上的第一字符图像，并且生成行信息和段落信息Ζ，使得这些字符图像并不在同一行信息上连续。
[0120]在Α7-5，布局处理单元26确定并且从段落信息删除不需要的段落。根据段落区域和在段落中的字符数量来确定不需要的段落。例如，如果包括于段落中的字符区域的总和等于或小于相对于原始图像的面积的比率(例如0.1%)，那么这个段落被确定为不需要的段落。或者，如果包括于段落中的字符数量等于或小于预定数量(例如两个)，那么这个段落被确定为不需要的段落。即，具有极其少量字符的段落被删除，因为不适于阅览。
[0121]在Α7-6，布局处理单元26沿着滚动方向排列并且结合删除不需要的段落之后的段落以重配置段落信息，并且将此作为新显示图像1’。然后，进程进行到AS，从而显示该显示图像i'。
[0122]在字符方向上的显示图像1’的大小与显示单元23的大小相同，因而无需滚动。但是，在滚动方向上的显示图像I,的大小可能超过显示单元23的大小。因此，在滚动方向上的显示图像1’的显示范围被限制为显示单元23的大小，导致部分显示。
[0123]因此，输入信息控制单元27接受关于由字符方向所限定的滚动方向的指令并且将指令发送给图像处理单元25。图像处理单元25造成显示图像I'根据滚动指令而滚动并且造成由滚动前移的范围显示。但是，输入信息控制单元27可不接受并且可忽略关于滚动方向的任何其它指令。 [0124]当输入信息控制单元27接受显示图像r的放大/缩小比率的变化时，进程返回至A7-1，从而对于改变后的放大/缩小比率最佳地重配置显示图像I'。
[0125]根据上文所描述的过程，生成与水平屏幕大小相同大小的行信息，使得字符图像沿着原始图像的字符的排列。而且，从行信息在滚动方向上排列的段落信息，生成显示图像 。用户可仅通过沿着正交于字符方向的滚动方向滚动显示图像r来通读文档同时检查上下文行关系，并且无需在多个方向到处滚动的同时来通读文档。
[0126]常规地，当字符本身由OCR识别并且识别的字符被排列以生成行时，出现下面的问题。(I)难以再现字符之间的细微平衡；以及(2)难以正确地布置标点符号(参考图21)。但是，在本过程中并不出现这些问题，因为图像本身被排列以重配置图像供阅览。
[0127]而且，根据任何指定的放大/缩小比率来重配置用于阅览的图像。因此，能通读文档同时检查上下文行关系，甚至利用任何放大/缩小比率。
[0128]而且，在上文的描述中，文档的语言为日语并且构成文档的字符为平假名、片假名和汉字。但是，本发明的应用范围并不限于此。例如，本发明的应用范围可包括各种字符，例如中文、汉加字符、字母、西里尔字符和阿拉伯字符以用于各种语言中，例如汉语、韩语、英语、德语、法语、西班牙语、俄语和阿拉伯语。
[0129]附图标记列表
[0130]1...服务器，2...客户端，10...文档文件获得单元，11...图像输出单元，
12...通信单元，13...通信数据控制单元，14...文档文件分析单元，15...DB，21...通信单元,22...通信数据控制单元,23...显示单元,24...输入单元,25...图像处理单元，
26...布局处理单元，27...输入信息控制单元
【权利要求】
1.一种文档文件显示装置，包括: 显示单元，其显示图像； 图像转换单元，其将结构化的文档文件转换为图像文件； 布局信息检测单元，其从由所述图像转换单元转换的图像文件检测布局信息，所述布局信息包括构成文档的各个要素存在的区域和所述要素的排列方向； 要素图像提取单元，其基于由所述布局信息检测单元所检测的布局信息来从所述图像文件提取要素图像，所述要素图像为对应于各个要素存在的区域的部分图像； 行信息生成单元，其基于由所述要素图像提取单元所提取的各个要素图像沿着所述要素的排列方向的大小，以适配于所述显示单元中的所述要素图像的集合，生成行信息； 滚动方向确定单元，其根据所述要素的排列方向确定由所述行信息生成单元所生成的行信息的滚动方向； 段落信息生成单元，其通过将多条所述行信息沿着由所述滚动方向确定单元所确定的滚动方向布置来生成段落信息； 显示控制单元，其使得在所述显示单元的显示范围中显示由所述段落信息生成单元所生成的所述段落信息；以及 滚动指示单元，其指示沿着所述滚动方向滚动显示所述段落信息； 所述显示控制单元使得沿着由所述滚动指示单元所指示的所述滚动方向在所述显示单元的显示范围中滚动显示所述段落信息。
2.根据权利要求1所述的文档文件显示装置，其中， 所述显示控制单元使得缩小显示所述图像文件的全体并且也使得显示指示在缩小显示的图像中各个文档存在的区域的信息；以及 所述文档文件显示装置还包括区域选择单元，所述区域选择单元从各个文档存在的区域选择所希望的文档存在的区域， 所述布局信息检测单元从由所述区域选择单元选择的文档存在的区域检测所述布局信息，所述布局信息包括各个要素存在的区域和要素的排列方向；以及 所述显示控制单元使得在所述显示单元的第一区域中，沿着所述滚动指示单元指示的所述滚动方向，在所述显示单元的显示范围中滚动显示对应于由所述区域选择单元所选择的所述文档存在的区域的段落信息，并且在不同于所述显示单元的第一区域的第二区域中缩小显示图像文件的全体。
3.根据权利要求1或2所述的文档文件显示装置，其中 所述滚动方向确定单元确定正交于所述要素的排列方向的方向为所述行信息的滚动方向。
4.根据权利要求1至3中任一项所述的文档文件显示装置，还包括:放大/缩小比率指定单元，其指定用于显示所述段落信息的放大/缩小比率，其中， 所述行信息生成单元通过遵循以所述放大/缩小比率指定单元所指定的所述放大/缩小比率放大或缩小由所述要素图像提取单元所提取的各个要素图像得到的大小，以沿着所述要素的排列方向适配于所述显示单元中的所述要素图像的集合生成所述行信息。
5.根据权利要求1至4中任一项所述的文档文件显示装置，其中， 所述行信息生成单元从所述行信息删除不满足预定标准的要素图像。
6.根据权利要求1至5中任一项所述的文档文件显示装置，其中， 所述段落信息生成单元从所述段落信息删除不满足预定标准的行信息。
7.根据权利要求1至6中任一项所述的文档文件显示装置，其中， 所述行信息生成单元在同一行信息中包括在所述图像文件上的所述要素的排列方向上彼此相邻的要素图像。
8.根据权利要求7所述的文档文件显示装置，其中， 所述行信息生成单元将与不满足预定比率的大小的前一要素图像沿着要素方向相邻的后一要素图像包括在不同于所述前一要素图像的行信息的行信息中。
9.根据权利要求8所述的文档文件显示装置，其中， 当通过结合不同的行信息所得到的大小沿着所述要素的排列方向适配于所述显示单元中时，所述行信息生成单元将所述不同的行信息统合为同一行信息。
10.根据权利要求7或8所述的文档文件显示装置，其中 所述行信息生成单元生成所述行信息，使得在换行之前紧邻的要素图像和在换行之后紧邻的要素图像并非连续的。
11.根据权利要求1至10中任一项所述的文档文件显示装置，其中， 所述段落信息生成单元在同一段落信息中包括具有在所述图像文件上的滚动方向上彼此相邻的要素图像的信息。
12.根据权利要求1至11中任一项所述的文档文件显示装置，其中， 所述要素图像提取单元提取通过以预定大小扩展由所述布局信息检测单元所检测的各个要素存在的区域所得到的区域，作为所述要素图像。
13.一种文档文件显示方法，包括将由信息处理设备执行的步骤，所述步骤包括: 将结构化的文档文件转换为图像文件的步骤； 从所转换的图像文件检测布局信息的步骤，所述布局信息包括构成文档的各个要素存在的区域和所述要素的排列方向； 基于所检测的布局信息从所述图像文件提取要素图像的步骤，所述要素图像为对应于所述各个要素存在的区域的部分图像； 基于所提取的各个要素图像沿着所述要素的排列方向的大小，以适配于显示图像的显示单元中的要素图像的集合，来生成行信息的步骤； 根据所述要素的排列方向来确定所生成的行信息的滚动方向的步骤； 通过沿着所确定的滚动方向来布置多条所述行信息来生成段落信息的步骤； 在所述显示单元的显示范围中使得显示所生成的段落信息的步骤； 指示沿着所述滚动方向滚动显示所述段落信息的步骤；以及 使得沿着所指示的滚动方向在所述显示单元的显示范围内滚动显示所述段落信息的步骤。
14.一种计算机可读的记录介质，其上记录有文档文件显示程序，所述程序使得信息处理装置执行根据权利要求13所述的文档文件显示方法。
【文档编号】G06F3/0485GK103620589SQ201280020841
【公开日】2014年3月5日 申请日期:2012年4月5日 优先权日:2011年4月27日
【发明者】矢野浩教 申请人:富士胶片株式会社
最新回复(0)