基于移动设备的问卷和表格数字化识别方法及系统的制作方法

基于移动设备的问卷和表格数字化识别方法及系统的制作方法
【技术领域】
[0001] 本发明设及的是一种机器学习和图像处理技术领域的系统，具体是一种基于移动 设备的快速高效的问卷和表格数字化识别方法及系统。
【背景技术】
[0002] 问卷和表格在当今社会生活中被广泛地使用。比如开展一个新的项目或者生产一 个新的产品，都要通过市场问卷调查来分析项目的可行性或者产品的需求量。同样在银行 或则学校，通常需要填写一些表格来登记注册信息。虽然现在网络调查和注册已经越来越 流行了，但是纸质的问卷和表格对于调查和统计分析也是必不可少的。由于市场上识别纸 质问卷和表格的设备或者应用太少，当该些问卷或者表格被填写好后，问卷和表格的统计 分析只能靠人工来进行，需要大量的人力和物力，该既消耗了大量的人力和物力，也浪费里 宝贵的时间。所W设计需要一个快速高效的问卷和表格识别来帮助工作人员完成对纸质问 卷和表格的数据的统计和录入工作。
[0003] 要实现问卷和表格的数字化识别，需要实现问卷和表格的分割、标定和识别=个 部分。对于图像分割，传统的方法有基于颜色分割、差分运动检测分割和Ad油oost训练分 类器来进行分割。由于纸质问卷和表格一般只有白色和黑色两种颜色，包含的颜色信息不 多，所W采用颜色分割的效果不好；而识别问卷和表格一般通过拍照采用静态识别，不包含 运动的信息，所W差分运动检测的效果也不甚理想；最后，通过训练Ad油oost分类器来识 别问卷和表格，Ad油oost分类器是机器学习里面的一种训练方法，但该项工作需要大量的 样本图片才能确定较好的效果，而且分类器在复杂环境下和光照变化较大的情况下，识别 率较低；对于图像标定，一般通过检测直线的交点来计算出纸质的问卷和表格的四个角的 坐标，然后通过仿射变换来校准图片，但在复杂环境下，直线检测不太稳定，并且计算出来 的角点的坐标存在偏差，严重的影响了后续步骤。另外二维码识别的方法来标定图片的方 法，设定标志来标定图片，但对于问卷和表格，设定标准显得太过复杂，不切实可行。表格识 别部分，一般的想法是通过文字识别来判断出被选中的选项，但对于文字的识别过于复杂， 现有的技术对文字的识别率较低，可行性较低。
[0004] 现有专利中，如申请号为CN201310455065. 0中国发明专利，该专利提供了一种表 格识别方法与系统，但该技术通过分割出表格的基本图元，采用无向图，抽取页面内的图 像，检测水平和垂直直线的交叉点，检测交叉点的外包络矩阵，将所述分割文本行是否落入 外包络矩阵作为局部关系特征，然后使用聚类和SVM向量机等机器学习的方法建立表格模 型来识别表格。该方法只是在整个文档中找到表格，而对于表格中的内容没有做任何的识 另IJ，类似于对表格的分割，而且在对表格的识别过程中文档必须竖直放置，对于文档旋转和 有遮挡的情况下，识别率较低。并且该技术只是纯粹的对表格的识别，而对于表格中的内容 没有做任何处理，对于表格的数据统计的用处不大。
[0005] 基于上述，需要设计一种新的识别方法和系统，来在复杂环境先分割出问卷和表 格，并且识别出表格和问卷中那些被选择的内容W方便数据的统计分析，增加实用性。

【发明内容】

[0006] 针对上述现有技术的不足，本发明提供一种快速高效的移动设备问卷和表格数字 化识别方法及系统，可W快速而高效的识别了整个问卷或者表格，准确率几乎达到百分之 百，方便工作人员对问卷和表格信息的统计和录入。
[0007] 为实现上述目的，本发明采用W下技术方案：
[000引根据本发明的一方面，提供一种基于移动设备的问卷和表格数字化识别方法，包 括如下步骤：
[0009] 步骤一，问卷或表格的分割：根据纸质问卷或者表格图片的角点特征，使用 化化riaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格；
[0010] 步骤二问卷或表格的校准；根据化en化系统中的坐标变换，将分割出问卷或表 格的物体坐标转换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格；
[0011] 步骤S，问卷或表格的识别对校准的问卷或表格进行图像处理，按照顺序将表中 的选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被 选中的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的S化库，输 出被选中的选项及内容。
[0012] 优选地，所述步骤一，具体为；从复杂背景中分割出问卷，求出问卷或表格的四 个顶点坐标，首先根据问卷或表格的角点特征训练出相应的库，然后在移动设备中启动 化化riaSDK使用训练的库对问卷或表格进行识别，识别过程中采用化en化擅染移动设 备的界面，计算出问卷或表格的四个顶点在W问卷或表格为中屯、建立的坐标系下的=维坐 标。
[0013] 优选地，所述步骤二，具体为：将问卷或表格的=维顶点坐标通过矩阵变换转换成 移动设备的屏幕坐标，即利用化en化中坐标系的转换，建立模视矩阵（ModelviewMatrix) 和投影矩阵（ProjectionMatrix),并通过视口变换（ViewportTransform)将物体坐标系 下的=维坐标转换为屏幕坐标，然后根据仿射变换将不同位置的问卷或表格校准。
[0014] 进一步的，所述步骤二，包括如下操作步骤：
[0015] 首先得到问卷的顶点坐标，即在模型坐标系的坐标（x"w，y。^Z。^w"w)，照相机坐 标系的坐标是由模型坐标乘W模视矩阵得：
[0016]
0)
[0017] 眼坐标通过乘W投影矩阵得到裁剪坐标系下顶点的坐标（Xdip，ydip，Ztiip，Wtiip):
[00化]
口）
[0019]将裁减坐标系下的坐标除WWtiip,即得到归一化的设备坐标（x"d。，y"d。，，该坐 标经过平移和缩放就得到屏幕坐标，通过视口变换（ViewportTransform)就将该坐标转换 成屏幕坐标（X，,y，,Z，）；
[0020]
[002U其中（X,y,W,h)是屏幕窗口的起点和大小，（X,y)是屏幕窗口起点的坐标，W是屏 幕的宽度，h是屏幕的高度，（n，f)是屏幕的深度范围，线性情况下n--l，f一 1。
[0022] 通过仿射变换在移动设备屏幕上将在不同位置的问卷或者表格校准。其中使用的 仿射变换的矩阵为：
[0023]平移变换；将屏幕上点（X，y)平移到点（x+dx，y+dy)，dx是横坐标平移的距离，dy 是纵坐标平移的距离，变换矩阵为：
[0024]
(4)
[0025]旋转变换；将屏幕上点（X，y)围绕远点逆时针旋转0，变换矩阵为；
[0026]
价
[0027] 缩放变换；将屏幕上点（X，y)的横坐标放大或缩小到原来的SX倍，纵坐标放大或 缩小到原来的sy倍，变换矩阵为：
[002引
巧）
[0029] 优选地，所述步骤=，具体为：首先将整个问卷和表格的内容数字化，即按照从上 到下及从左往右的顺序建立问卷内容的数据库，W数字来代表问卷的选项，然后标定出每 个选项的选择框的位置，将数据保存在本地文件中，最后通过自适应阔值处理标定后的图 片，通过阔值处理、腐蚀、膨胀、腐蚀等形态学操作将图片二值化，然后计算每个选项区域中 涂黑部分占整个区域的比例，若比例大于某一阔值则判定该选项被选择，输出代表该选项 的数字，然后在数据库中匹配出该数字代表的选项及其内容，并输出结果。
[0030] 根据本发明的另一方面，提供一种基于移动设备的问卷和表格数字化识别系统， 所述系统包括：问卷或表格的分割部分、校准部分和识别部分，其中：
[0031] 所述问卷或表格的分割部分：根据纸质问卷或者表格图片的角点特征，使用 化化riaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格；
[0032] 所述问卷或表格的校准部分；根据化en化系统中的坐标变换，将分割出问卷或表 格的物体坐标转 换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格；
[0033] 所述问卷或表格的识别部分；对校准的问卷或表格进行图像处理，按照顺序将表 中的选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出 被选中的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的S化库， 输出被选中的选项及内容。
[0034] 与现有技术相比，本发明具有W下有益效果：
[0035] 本发明对于不同性质的干扰进行处理，在速度和识别率上都有很大的提高。整个 系统具有较强的鲁椿性，能够分割并识别出复杂背景和不同光照情况下的问卷；同时还具 有快速高效性，对于一张问卷和表格的识别一般只花费几秒钟的时间，准确几乎达到百分 之百。
【附图说明】
[0036] 通过阅读参照W下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0037] 图1为本发明一实施例中不同环境下对纸质问卷的分割示意图；
[003引图2为本发明一实施例中对不同环境下纸质问卷的校准示意图；
[0039] 图3为本发明一实施例中问卷的数字化及识别结果示意图；
[0040] 图4为本发明一实施例中识别示意图；
[0041] 图5为本发明一实施例中方法识别流程图；
[00创 图6为本发明一实施例中化化riaSDK训练的角点；
[0043] 图7为本发明一实施例中坐标变换流程流程图。
【具体实施方式】
[0044] 下面结合具体实施例对本发明进行详细说明。W下实施例将有助于本领域的技术 人员进一步理解本发明，但不W任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进。该些都属于本发明 的保护范围。
[0045] 如图5所示，本发明的方法流程：
[0046] 首先根据图片角点特征，采用化化riaSDK建立问卷和表格的角点特征库，用于复 杂背景中分割出问卷和表格；
[0047] 然后根据化en化中坐标系统的变换将物体的S维坐标转换为移动设备屏幕上的 坐标，再通过仿射变换将分割出来的问卷或者表格校准；
[0048] 接着对校准的图片进行处理，通过二值化、腐蚀和膨胀等形态学操作，计算每个选 项涂黑部分占整个选项框的比例来判断选项是否被选中，并输出被选中选项的数字标号， 然后整个问卷的选项数字化，建立本地数据库，通过匹配被选中的数字标号来输出选项内 容，进而统计和录入问卷和表格的信息。
[0049] 基于W上流程，本发明对应的系统包括W下几个部分：问卷或表格的分割部分、 校准部分和识别部分。W下结合具体实施例对各个部分进行详细说明。
[0化0] 分割部分：如图1、6所示，采用化化riaSDK根据问卷和表格的特征点来识别表 格，进而从复杂的背景中分割出问卷和表格；化化riaSDK主要应用于虚拟现实，但它也可W用于一些列由平面组成的物体或者图片的识别和跟踪。和传统的矩阵变换和QR匹配不 同，它不是根据设计的特定的标志来识别图片，而是通过图片中那些变化显著的特征点和 角点来识别图片。例如一个矩形含有四个特征点，圆没有特征点，如图6所示。通过该些特 征点的匹配，可W在各种环境中识别出问卷或者表格，是系统有很强的鲁椿性。
[0化1]图1中；（a)表示正常光照下，对复杂背景下问卷和表格的识别；化）表示正常光 照下，对有物体遮挡的问卷和表格的识别；（C)表示光照偏暗的情况下，对有遮挡的问卷和 表格的识别。
[0052] 校准部分：如图2、7所示，通过分割部分可W得到问卷的四个顶点在W问卷为 中屯、建立的坐标系下的=维坐标，为了减少由于检测而产生的坐标误差，本发明通过数学 的方法，利用化en化中坐标系的转换，建立模视矩阵（Model-ViewMatrix)和投影矩阵 (ProjectionMatrix),并通过视口变换（ViewportTransform)将物体坐标系下的S维坐 标转换为屏幕坐标，然后通过仿射变换将图片校准；
[0053] 图2中；（a)对图1中（a)的校准结果，化）对图1中化）的校准结果，（C)对图1 中（C)的校准结果。
[0化4] 如图5、7所示，作为一个优选，问卷或表格的校准，具体实现如下：
[005引第一步：首先得到问卷的顶点坐标，即在模型坐标系的坐标（x"w，y"w，z"bj, w"bj)， 照相机坐标系的坐标是由模型坐标乘W模视矩阵得：
[0化6]
(1)
[0化7] 校准过程中使用的模视矩阵为：
[0化引
口）
[0化9] 第二步；眼坐标通过乘W投影矩阵得到裁剪坐标系下顶点的坐标（Xdip，ydip，Zciip .Welip)：
[0060]
(3)
[0061] 校准过程中使用的投影矩阵为：
[0062]
(4)
[0063] 第S步：将裁减坐标系下的坐标除WWtiip，即得到归一化的设备坐标 (xwe，y"de，z"de)，该坐标经过平移和缩放就得到屏幕坐标，通过视口变换（Viewport Transform)就将该坐标转换成屏幕坐标（X,,y,,z,);
[0064]
(5)
[0065] 其中（x，y，w，h)是屏幕窗口的起点和大小，（x，y)是屏幕窗口起点的坐标，w是屏 幕的宽度，h是屏幕的高度，（n，f)是屏幕的深度范围，线性情况下n- -1，f一 1。
[0066] 第四步：通过仿射变换在移动设备屏幕上将在不同位置的问卷或者表格校准，其 中使用的仿射变换的矩阵为：
[0067]平移变换；将屏幕上点（X，y)平移到点（x+dx，y+dy)，dx是横坐标平移的距离，dy 是纵坐标平移的距离，变换矩阵为：
[0068]
(6)
[0069]旋转变换；将点（X，y)围绕远点逆时针旋转0，变换矩阵为；
[0070]
(7)
[007U 缩放变换；将点（X，y)的横坐标放大或缩小到原来的SX倍，纵坐标放大或缩小到 原来的sy倍，变换矩阵为：
[0072]
巧）
[0073] 识别部分；如图3所示，将问卷的选项和内容数字化建立数据库，然后标定校准后 的问卷或者表格的选项的位置并对校准后的图片进行图像处理，识别出被选择的选项。
[0074] 图3中；（a)根据整个问卷或表格的内容，建立和数字相对应的问卷或表格数据 库；化）标定整个问卷和表格所有的选项位置；（C)数字化识别结果。
[0075] 图4表示了整个系统的识别流程；(a)表示的在复杂的背景下分割出问卷或者表 格；化）表示了将分割出的问卷或表格校准后的结果；（C)表示的对校准后的问卷或表格的 识别结果。
[0076] 作为一个优选，图片识别包含W下几个步骤：
[0077] 第一步；按照从上到下，从左到右的顺序数字化整个问卷或者表格的选项，建立本 地数据库；
[007引第二步；通过图像处理的方法，标定问卷或者表格中每个选项前面选择框的位置， 然后设定一定大小的checkbox,来检测选项是否被选；
[0079] 第=步；将校准后的图片进行自适应阔值处理二值化图片，然后通过形态学操作 腐蚀、膨胀、腐蚀来处理图片，并计算每个checkbox中涂黑部分占整个checkbox的比例 大小，若该比值大于某一阔值则表示该选项被选中，输出代表该选项相应的数字。实验中由 于存在光照的干扰及二值化处理的误差，阔值取0. 6 ;
[0080] 第四步：将第=步中输出的数字与本地的数据库进行匹配，找到数字对应的选项， 然后在移动设备中输出选项及选项的相关内容，进而完成问卷和表格的识别。
[0081] 实施效果：
[0082] 依据上述效果对网上下载的调查问卷进行识别，所有实验实在移动设备华 为Ascend P7上进行，该移动设备的主要参数为：操作系统；Amlroid0S4. 4,CPU频率 1. 8GHz，后置摄像头1300万像素；
[0083] 在复杂背景下识别一张问卷的时间在5秒W内，正确率为100% ;
[0084] 整个系统的识别流程及结果见图4 ;
[0085]与现有技术相比，发明对设备的要求简单，同时操作方便快捷，对于不同性质的干 扰进行处理，在速度和识别率上都有很大的提高。整个系统具有较强的鲁椿性，能够分割并 识别出复杂背景和不同光照情况下的问卷；同时还具有快速高效性，对于一张问卷和表格 的识别一般只花费几秒钟的时间，准确几乎达到百分之百。
[0086] W上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可W在权利要求的范围内做出各种变形或修改，该并不影 响本发明的实质内容。
【主权项】
1. 一种基于移动设备的问卷和表格数字化识别方法，其特征在于：包括如下步骤： 步骤一，问卷或表格的分割：根据纸质问卷或者表格图片的角点特征，使用 VuforiaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格； 步骤二，问卷或表格的校准：根据OpenGL系统中的坐标变换，将分割出问卷或表格的 物体坐标转换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格； 步骤三，问卷或表格的识别：对校准的问卷或表格进行图像处理，按照顺序将表中的选 项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选中 的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出被 选中的选项及内容。2. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤一，具体为：从复杂背景中分割出问卷，求出问卷或表格的四个顶点坐标，首先根 据问卷或表格的角点特征训练出相应的库，然后在移动设备中启动Vuforia SDK使用训练 的库对问卷或表格进行识别，识别过程中采用OpenGL渲染移动设备的界面，计算出问卷或 表格的四个顶点在以问卷或表格为中心建立的坐标系下的三维坐标。3. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤二，具体为：将问卷或表格的三维顶点坐标通过矩阵变换转换成移动设备的屏幕 坐标，即利用OpenGL中坐标系的转换，建立模视矩阵和投影矩阵，并通过视口变换将物体 坐标系下的三维坐标转换为屏幕坐标，然后根据仿射变换将不同位置的问卷或表格校准。4. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤二，包括如下操作步骤： 第一步：首先得到问卷的顶点坐标，即在模型坐标系的坐标（χ__，y# Ztjbj, Wtjbj),照相 机坐标系的坐标（[email protected]，[email protected]，z^，是由模型坐标乘以模视矩阵得：第二步：照相机坐标系下的坐标（X^，[email protected]，z^，通过乘以投影矩阵得到裁剪坐标 系下顶点的坐标（Xc^ydip, Zclip，WcIip) ·第三步：将裁减坐标系下的坐标除以Wcdip，即得到归一化的设备坐标（xndc;，y ndc;，Znd。)， 该坐标经过平移和缩放就得到屏幕坐标，通过视口变换将该坐标转换成屏幕坐标 (Xw，y^，Zw):其中（x，y，w，h)是屏幕窗口的起点和大小，（x，y)是屏幕窗口起点的坐标，w是屏幕的 宽度，h是屏幕的高度，（n，f)是屏幕的深度范围，线性情况下η - -1，f - 1 ; 第四步：通过仿射变换在移动设备屏幕上将在不同位置的问卷或者表格校准，其中使 用的仿射变换的矩阵为： 平移变换：将屏幕上点（x，y)平移到点（X+dx，y+dy)，dX是横坐标平移的距离，dy是纵 坐标平移的距离，变换矩阵为：旋转变换：将屏幕上点（x，y)围绕远点逆时针旋转θ，变换矩阵为：缩放变换：将屏幕上点（x，y)的横坐标放大或缩小到原来的sx倍，纵坐标放大或缩小 到原来的sy倍，变换矩阵为：5. 根据权利要求1-4任一项所述的基于移动设备的问卷和表格数字化识别方法，其特 征在于：所述步骤三，具体为：首先将整个问卷和表格的内容数字化，即按照从上到下及从 左往右的顺序建立问卷内容的数据库，以数字来代表问卷的选项，然后标定出每个选项的 选择框的位置，将数据保存在本地文件中，最后通过自适应阈值处理标定后的图片，通过阈 值处理、腐蚀、膨胀、腐蚀操作将图片二值化，然后计算每个选项区域中涂黑部分占整个区 域的比例，若比例大于某一阈值则判定该选项被选择，输出代表该选项的数字，然后在数据 库中匹配出该数字代表的选项及其内容，并输出结果。6. -种用于实现上述权利要求1-5任一项所述方法的基于移动设备的问卷和表格数 字化识别系统，其特征在于：包括：问卷或表格的分割部分、校准部分和识别部分，其中： 所述问卷或表格的分割部分：根据纸质问卷或者表格图片的角点特征，使用 VuforiaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格； 所述问卷或表格的校准部分：根据OpenGL系统中的坐标变换，将分割出问卷或表格的 物体坐标转换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格； 所述问卷或表格的识别部分：对校准的问卷或表格进行图像处理，按照顺序将表中的 选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选 中的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出 被选中的选项及内容。7. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的分割部分：从复杂背景中分割出问卷，求出问卷或表格的四个顶点坐标， 首先根据问卷或表格的角点特征训练出相应的库，然后在移动设备中启动Vuforia SDK使 用训练的库对问卷或表格进行识别，识别过程中采用OpenGL渲染移动设备的界面，计算出 识别出问卷或表格的四个顶点在以问卷或表格为中心建立的坐标系下的三维坐标。8. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的校准部分：将问卷或表格的三维顶点坐标通过矩阵变换转换成移动设备 的屏幕坐标，即利用OpenGL中坐标系的转换，立模视矩阵和投影矩阵，并通过视口变换将 物体坐标系下的三维坐标转换为屏幕坐标，然后根据仿射变换将不同位置的问卷或表格校 准。9. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的识别部分：首先将整个问卷和表格的内容数字化，即按照从上到下及从 左往右的顺序建立问卷内容的数据库，以数字来代表问卷的选项，然后标定出每个选项的 选择框的位置，将数据保存在本地文件中，最后通过自适应阈值处理标定后的图片，通过阈 值处理、腐蚀、膨胀、腐蚀等形态学操作将图片二值化，然后计算每个选项区域中涂黑部分 占整个区域的比例，若比例大于某一阈值则判定该选项被选择，输出代表该选项的数字，然 后在数据库中匹配出该数字代表的选项及其内容，并输出结果。
【专利摘要】本发明提供一种基于移动设备的问卷和表格数字化识别方法及系统，首先根据纸质问卷或者表格图片的角点特征，训练样本图片，在背景中分割出问卷或表格，然后根据OpenGL系统中的坐标变换，将物体坐标转换为屏幕坐标并通过仿射变换来校准各种位置的问卷或表格，接着进行图像处理，按照顺序将表中的选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选中的选项的数字标号。最后，根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出被选中的选项及内容。本发明能识别不同背景和光照下的问卷和表格，鲁棒性强，识别一张问卷大致花费几秒钟，准确率几乎达到百分之百，快速而高效。
【IPC分类】G06K9/42, G06K9/34, G06K9/00, G06K9/20
【公开号】CN104881641
【申请号】CN201510253647
【发明人】翟广涛, 林伟, 胡春嘉, 高忠派
【申请人】上海交通大学
【公开日】2015年9月2日
【申请日】2015年5月18日