一种扩展小孔成像模型的鱼眼相机矫正与标定方法

一种扩展小孔成像模型的鱼眼相机矫正与标定方法
【技术领域】
[0001] 本发明具体设及一种扩展小孔成像模型的鱼眼相机矫正与标定方法，属于计算机 视觉W及计算机图形学领域。
【背景技术】
[0002] 在机器视觉、全景摄影、安防监控W及虚拟现实等领域，鱼眼相机由于其超宽的视 场范围（一般达到甚至超过180° )，得到越来越广泛的应用。但是，鱼眼相机存在严重的 桶形崎变，导致其使用受限。如图1所示，该是一幅用鱼眼相机拍摄的实际场景图，它覆盖 了半空间的场景，但是，由于崎变的存在，其中空间直线的成像已经不再是直线。
[0003] 截止到现在，对鱼眼相机矫正与标定的研究很多，主要可分为基于硬件测量和基 于图像处理算法等两类方法。基于硬件测量的方法，通过硬件装置测量特定空间点的位置 坐标，建立空间点与相应图像点之间的关系，从而求解鱼眼相机的模型参数。此类方法需要 额外的测量装置、成本较高，而且对装置的测量精度有较高要求。基于图像处理算法的方法 又可W分为基于单幅图像和基于多幅图像的方法。其中，基于单幅图像的方法，其理论根据 是直线的投影仍然是直线，它通过"把崎变后的直线恢复为直线"的过程来确定崎变参数， 此类方法虽然灵活，但是实现复杂、计算量大，并且相机标定困难。而基于多幅图像的方法 是目前的研究热点，它通过从不同角度拍摄多幅模板图像来求取投影模型参数，实现简单， 但是当投影模型简单时，其矫正与标定的精度较差，而当投影模型复杂时，又会大大增加模 型参数求解的难度。
[0004] 小孔成像模型相对其他投影模型实现简单、易于标定，并且符合人眼视觉效果。本 发明属于基于多幅图像的矫正与标定方法的范畴，通过从不同角度拍摄多幅鱼眼模板图， 求取小孔成像模型的参数。但是，由于小孔成像模型适用的视场范围远小于180° (-般适 用于90°左右视场范围），而鱼眼相机具有超宽的视场角（一般达到甚至超过180° )，不 能够简单的使用小孔成像模型进行鱼眼相机的矫正与标定。

【发明内容】

[0005] 为了克服上述技术的不足，本发明提出了一种扩展小孔成像模型的鱼眼相机矫正 与标定方法。该方法在小孔成像模型矫正的基础上，结合直线拟合W及自然邻点插值算法， 实现对整个鱼眼相机的矫正与标定，并得到符合人眼视觉效果的矫正结果图。具体包括如 下步骤：
[000引步骤1)对鱼眼相机进行开窗处理，设置窗口的视场范围；
[0007] 步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图 像；
[000引步骤扣通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点 之间的关系；
[0009] 步骤4)在提取到所有的特征点后，通过LM算法求参数，实现对相机的矫正与标 定；
[0010] 步骤5)根据已经测量得到的相机参数，对拍摄的实物图进行崎变的矫正；
[0011] 步骤6)在小孔成像模型矫正的基础上，结合直线拟合W及自然邻点插值算法，扩 展矫正的视场范围。
[0012] 对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直 线上的特征点进行直线拟合。
[0013] 获得经过拟合的特征点坐标后，使用插值算法，求取图像上除特征点W外像素的 新的坐标位置。
[0014] 扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线，在小孔成 像模型的基础上，结合直线拟合W及自然邻点插值，把矫正的视场范围扩大，包括基于小孔 模型的崎变矫正、特征点直线拟合W及自然邻点插值。
[0015] 本发明和现有技术相比所具有的有益效果：此方法不仅具备易于标定、适合人眼 观看效果等，同时能够实现鱼相机超宽视场范围的矫正与标定。测试结果表明，此方法扩展 了小孔成像模型的应用范围，能够实现鱼眼相机的矫正与标定。并且，单次矫正的视场范围 达到130°，通过移动点阵模板的位置，可W得到鱼眼相机不同区域的矫正结果，从而实现 鱼眼相机整个成像区域的矫正与标定。
【附图说明】
[0016] 图1为鱼眼相机拍摄的场景图；
[0017] 图2为本发明扩展小孔成像模型的鱼眼相机矫正与标定方法流程图；
[001引图3-1为鱼眼拍摄的实物图；
[0019] 图3-2为矫正结果示意图，视场范围85° ;
[0020] 图4-1为鱼眼拍摄的实物图；
[0021] 图4-2矫正结果示意图，视场范围100° ;
[0022] 图5为使用开窗85°的小孔模型对整个鱼眼图像矫正的结果示意图；
[0023] 图6-1为的原始Voronio图；
[0024] 图6-2为的插入X后新的Voronio图；
[00巧]图7为本的非等间隔点阵模板示意图；
[0026] 图8-1为的鱼眼非等间隔点状模板图像；
[0027] 图8-2为图8-1的小孔矫正结果示意图；
[0028] 图9-1为圆形点模板的特征点检测图；
[0029] 图9-2为图9-1特征点检测结果示意图；
[0030] 图10为的直线拟合与自然邻点插值算法矫正结果图；
[0031] 图11为实际场景矫正结果图；
[0032] 图12-1为的点阵模板处于鱼眼图下方示意图；
[0033] 图12-2为图12-1的矫正结果示意图；
[0034] 图12-3为图1的矫正结果示意图。
【具体实施方式】
[0035] 为使本发明的上述目的、特征和优点能够更加明显易懂，结合附图和具体实施方 式对本发明作进一步详细的说明。
[0036] 通过小孔成像模型将空间中的点投影到图像平面，投影公式可写为
[0037] S?m=A? [R|t] ?M (1)其中，s是一个比例常数，M: 〇(，Y，Z)为空间点的 坐标（单位：毫米mm)，m:(u，v)为投影在图像平面上的点的坐标（单位：像素pixel)，A为 相机内参（投影）矩阵，[R|t]为相机旋转-平移矩阵。
[0038] 内参数矩阵A不依赖场景的视图，对于某一个相机只要焦距固定，就不再改变（要 对相机进行标定，需要求取A;在接下来的分析中，把相机的标定统一到矫正中）。而旋 转-平移矩阵[R|t]被称作外参数矩阵，它用来描述相机相对于一个固定场景的运动，即 [R|t]将空间点化Y，幻的坐标变换到某个坐标系上，该个坐标系相对于相机来说是固定 不变的。该个坐标系为相机坐标系，（x，y，z)为相机坐标系上的点，单位mm。
[003引因此，引入（x，y，z)为中间变量，式（1)中的坐标系变换（旋转平移；[R|t])可W写为
[0040] [x，y，z]T=R- D(，Y，Z]T+t 似
[0041] 通过小孔模型的投影变换，式（2)中的相机坐标经过投影（投影矩阵;A)可W表 示为
[0042]
(3)
[004引其中，（cx，cy)是相机的基准点（即光学中心通常在图像的中心单位pixeU， (fx,fy)是Wpixel为单位的焦距。
[0044] 对于鱼眼相机，存在比较严重的崎变，主要是径向形变，也会有轻微的切向形变。 但是，根据鱼眼镜头桶形崎变的特点，在鱼眼图像的中间区域崎变较小，可W采用低阶的多 项式拟合其崎变参数。式（3)中引入崎变，得到如下表达式
[0045]
(4)
[004引其中，（x"，y")为崎变后的相机坐标，r2=x'2+y2，ki和k2是径向崎变系数，Pi和P2是切向崎变系数。
[0047] 在得到了具体的投影方程后，使用最小均方误差准则，求解式（5)达到最小的解。
[004引
巧）
[0049]其中，K为采集的含模板的图像的张数，L表示每幅图像上特征点的个数（L=mXn，m、n分别表示模板图像的一行、一列中含有的特征点个数），mu是第i幅图像的第j 个特征点的图像坐标，/h(《,，/,.，,4A，/c.^，Pi，P,，M,^.)是根据相机投影模型由空间坐标My投影 得到的坐标。具体求解参数时，选择收敛性强的Levenberg-Marqua化(LM)算法。
[0050] 如图2所示，一种扩展小孔成像模型的鱼眼相机矫正与标定方法包括如下步骤：
[0051] 步骤1)对鱼眼相机进行开窗处理，设置中屯、85°视场范围的窗口；
[0052] 步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图 像；
[005引步骤扣通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点 之间的关系；
[0054]步骤4)在提取到所有的特征点后，通过LM算法求取式妨中的参数，实现对相机 的矫正与标定。对于实际的一款鱼眼相机，得到其崎变参数ki= -0. 2856,k2= 0. 0881;p1 =4.61X1(T4,P2= -5.03X1(T4。可W看出，切向崎变系数Pi和P2较小，而径向崎变系数 ki和k2较大，说明鱼眼相机的切向崎变较小，几乎可W忽略，而径向崎变是鱼眼相机的主要 崎变，该与实际的情况相符合；
[005引步骤W根据已经测量得到的相机参数，对拍摄的实物图进行崎变的矫正；矫正结 果如图3-2所示，由W上矫正结果可W看出，图3-1中由于崎变导致的弯曲，在经过矫正后 得到了很好的修正，符合人眼观看效果。
[0056] 如图4-1所示，重复步骤1)至步骤5)，开窗拍摄视场范围达到100°的鱼眼图，求 解此时小孔模型中的参数，最后得到图4-2的矫正结果。由图4-2的边缘部分可W看出，使 用此小孔模型对超过90°视场范围的图像进行矫正时，其中间部分矫正结果较好，但是边 缘部分的直线没有被矫正，矫正结果仍然存在很大残余误差。
[0057]接下来，使用开窗85°得到的小孔模型，对整个鱼眼图像进行矫正处理，得到如图 5所示的矫正结果图。由图5可W看出，鱼眼图像的中屯、区域巧5°视场范围内）的矫正结 果较好，边缘部分没有得到很好的矫正。
[0058] 综合W上矫正结果，可W看出，此 小孔模型适用于90°左右视场范围的崎变矫正， 再增大矫正的视场范围，矫正效果恶化。因此，由于小孔模型视场范围的局限性，限制了小 孔模型在鱼眼相机矫正与标定中的应用。为了使用较简单的方式得到大的矫正视场范围， 并且同时保留小孔模型的优点（易于标定、适合人眼观看效果等），接下来在小孔成像模型 的基础上，结合直线拟合、自然邻点插值算法来扩展其适用范围。
[0059]对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直 线上的特征点进行直线拟合。假设模板的某一行或者某一列上有k个特征点，把该k个点 拟合为直线ax+by=d。目P，使用最小均方误差准则，求解使
[0060]
(台）
[006。达到最小时，a,b和d的值。
[0062] 如果模板含有mXn(模板每行有m个点，每列n个点）个特征点，则进行m+n次直 线拟合，而任意两条直线的交点即为拟合后的新的特征点位置坐标。
[0063] 获得经过拟合的特征点坐标后，还需要使用插值算法，求取图像上除特征点W外 像素的新的坐标位置。常用的两维插值算法有双=次样条插值算法、二元拉格朗日插值算 法W及自然邻点插值算法等。实际中，由于模板与鱼眼相机之间的位置可W随意变动，导致 矫正图的模板上特征点（插值节点）不一定是矩阵排布的，此时双=次样条插值算法就不 太适用；二元拉格朗日插值算法在插值节点较多时，可能导致"龙格"现象，插值精度不高； 自然邻点插值算法是一种散乱点插值算法，具有实现简单、灵活W及高精度等优点。基于W 上原因，本发明选用自然邻点插值算法。
[0064] 自然邻点插值算法是根据各个自然邻点对待插点的贡献率来计算该点的插值结 果。假设已知插值点X的自然邻点共有M个，分别为Pi，P2,…，p"，可构建如下所示的插值 公式
[0065]
(7)
[006引其中f(x)是待插值点X处的插值结果，f(Pi)是自然邻点Pi处的值，Wi代表自然 邻点Pi所占的权重系数。
[0067] 通过DelaunayS角剖分算法来确定插值点X的自然邻点，而权重系数Wi是按照 如下的思想来确定，如图6-1和图6-2所示；把待插值点X作为新节点，加入已经生成的 Voronoi图，得到插入新节点后的Voronoi图。假设待插值点X所在VoronoiCell的面积 为S,，S,被其自然邻点分割成M个部份，每个部份的面积分别为Si，S2,…，Sm，则权重系数 由各个部份的面积和总面积比值求得，即
[0068]
化）
[0069] 从W上的分析可知，对一个待插点X来说，要确定它的各个自然邻点的权重系数 Wi，就需要计算两次Voronoi图（即插入X前后的Voronoi图），该样的话，系统计算量很 大。针对该个问题，Watson提出了CompoundSignedDecomposition法，也就是Watson算 法，该方法无需计算Voronoi图，而是直接处理外接圆中包含待插点X的所有VoronoiS 角形，来计算各个自然邻点所占的面积，降低了系统的运算复杂度。
[0070] 扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线。此方法 在小孔成像模型的基础上，结合直线拟合W及自然邻点插值，把矫正的视场范围扩大，主要 分为基于小孔模型的崎变矫正、特征点直线拟合W及自然邻点插值=个步骤。具体实现如 下：
[0071] 1、拍摄一幅含模板的鱼眼图像（模板必须有部分置于鱼眼图像中屯、区域，且模板 上的特征点有序排列），接着对鱼眼图像进行小孔模型的崎变矫正，得到初步的矫正图。此 图的中间部分巧5°W内视场范围）的崎变已经得到初步矫正。
[007引 2、对初步的矫正结果进行特征点检测，得矫正后的特征点坐标如，Vj)，i= 1，2,…，m，j= 1，2,…，n，m为每一行特征点的个数，n为每一列特征点的个数。
[0073] 3、对模板上在同一条直线上的特征点进行直线拟合，得到新的投影坐标 (U。V'j.)，该样就可W计算得到每个特征点实际位置与小孔模型得到的位置之间的偏差 (U''i，V''j)，其中
[0074] u"i=u'i-Uj [00巧]v"j=v，广Vj
[0076] 4、把该些偏差（u"i，v"j.)作为插值节点，对该些特征点的行和列分别进行自然邻 点插值，从而得到模板区域内所有像素点的偏差（U"W，V"W)。
[0077]5、拍摄另一幅鱼眼图像，使模板置于鱼眼图像的不同区域，然后重复W上操作，从 而获得整个鱼眼图像矫正后的偏差位置，实现整个鱼眼图像的矫正。
[0078] 棋盘模板的特征角点是等间隔分布的，在鱼眼图像中，崎变导致边缘处多个特征 点叠加在一起，增加了特征点检测的难度。为了便于边缘处特征点的检测，在对小孔模型矫 正效果进行扩展时，使用如图7所示的非等间隔点阵模板。
[0079] 把非等间隔点阵模板平面放置在鱼眼相机正前方，对其拍摄一幅鱼眼图像，得到 如图8-1所示鱼眼非等间隔点阵模板图。对图8-1进行小孔模型矫正W及图像增强处理， 结果如图8-2所示。
[0080] 对于图8-2,其中圆形特征点由于崎变而成像成为楠圆，为了检测该些特征点，如 图9-1所示，首先对图像进行阔值分割和边缘检测，然后使用矩形对特征点边缘进行相切 逼近处理，取矩形的中屯、作为特征点坐标，相应的特征点检测结果如图9-2所示。
[0081] 通过直线拟合，得到每个特征点坐标位置的偏差值，把该些偏差值作为插值点，利 用自然邻点插值算法对模板区域图像进行插值矫正，得到如图10所示的结果图。
[0082] 由上图可W看出，矫正图与原图基本一致，但是在下边缘处仍然存在一定崎变，造 成此结果的原因是特征点在边缘的检测，存在一定的误差。为了提高矫正精度，可W对检测 出的特征点位置进行优化调整。此时，经过扩展小孔成像矫正算法，能够使单次矫正视场范 围达到130°，实际场景的矫正结果如图11所示。
[0083] 由图11可W看出，小孔模型和直线拟合、自然邻点插值算法结合，能够扩展矫正 的视场角，测试结果表明在130°左右还能达到较好的结果。但是，在单次矫正中，视场角不 能继续扩大，因为继续增大视场角时，特征点在边缘处的检测精度很低，矫正误差会增大； 而且，整个鱼眼的视场范围达到180°，其成像的范围是半空间，在有限的成像面上不能无 崎变地把半空间的图像恢复。
[0084] 为了达到对整个鱼眼相机视场范围的矫正，可将非等间隔点阵模板置于不同区 域，然后进行W上扩展小孔模型的矫正操作。注意：非等间隔点阵模板必须有一部分位于鱼 眼相机90°W内的视场区域，从而保证小孔模型能够适用，便于进行相机的标定、降低矫正 残余误差等操作。为了进一步验证本算法的有效性，本发明对模板处于鱼眼图像非中屯、区 域的情况进行矫正处理，得到图12-2所示结果。其中，图12-1是使用鱼眼相机拍摄的模板 图，其中模板处于鱼眼图的下方；图12-2是图12-1模板区域的矫正结果图；图12-3是对实 际场景图1的下半部分的矫正结果。由矫正结果可W看出，本发明所提算法能够对鱼眼图 像非中屯、区域进行矫正，实现对整个鱼眼成像区域的矫正。
[0085] W上对本发明所提供的一种扩展小孔成像模型的鱼眼相机矫正与标定方法进行 了详细介绍，W上参照附图对本申请的示例性的实施方案进行了描述。本领域技术人员应 该理解，上述实施方案仅仅是为了说明的目的而所举的示例，而不是用来进行限制，凡在本 申请的教导和权利要求保护范围下所作的任何修改、等同替换等，均应包含在本申请要求 保护的范围内。
【主权项】
1. 一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征在于包括如下步骤： 步骤1)对鱼眼相机进行开窗处理，设置窗口的视场范围； 步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图像； 步骤3)通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点之间 的关系； 步骤4)在提取到所有的特征点后，通过LM算法求参数，实现对相机的矫正与标定； 步骤5)根据已经测量得到的相机参数，对拍摄的实物图进行畸变的矫正； 步骤6)在小孔成像模型矫正的基础上，结合直线拟合以及自然邻点插值算法，扩展矫 正的视场范围。2. 根据权利要求1所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征 在于：对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直线 上的特征点进行直线拟合。3. 根据权利要求2所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征 在于：获得经过拟合的特征点坐标后，使用插值算法，求取图像上除特征点以外像素的新的 坐标位置。4. 根据权利要求3所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征 在于：扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线，在小孔成像 模型的基础上，结合直线拟合以及自然邻点插值，把矫正的视场范围扩大，包括基于小孔模 型的畸变矫正、特征点直线拟合以及自然邻点插值。
【专利摘要】本发明具体涉及一种扩展小孔成像模型的鱼眼相机矫正与标定方法，属于计算机视觉以及计算机图形学领域，该方法包括如下步骤：使用开窗后的相机，从不同的角度拍摄棋盘模板图；通过角点检测，提取模板图像中特征点的像素坐标，通过小孔成像模型建立空间点和图像点之间的关系；在提取到所有的特征点后，通过LM算法求参数，实现基于小孔成像模型的鱼眼相机矫正与标定；结合直线拟合以及自然邻点插值算法对小孔模型矫正的视场范围进行扩展。本发明和现有技术相比所具有的有益效果：易于标定、适合人眼观看效果；扩展了小孔成像模型的应用范围，单次矫正的视场范围达到130°；通过多次扩展，可以得到整个鱼眼相机成像区域的矫正结果。
【IPC分类】G06T7/00
【公开号】CN104881866
【申请号】CN201510217793
【发明人】涂波, 刘越颖, 戴帅夫, 刘丙双, 司俊俊
【申请人】长安通信科技有限责任公司, 涂波
【公开日】2015年9月2日
【申请日】2015年4月30日