【专利交易】【专利代理】【商标和版权申请】【高新技术企业认定】Tel:18215660330

一种车载环视系统摄像头参数标定方法

xiaoxiao2020-07-22  1

【专利交易】【专利代理】【商标和版权申请】【高新技术企业认定】Tel:18215660330

一种车载环视系统摄像头参数标定方法
【专利摘要】一种车载环视系统摄像头参数标定方法,车载环视系统摄像头内部参数和外部参数标定时采用一组立体的校正标志物,该校正标志物含有若干容易从图像中进行识别的且三维坐标已知的特征点,待校正车辆停入标定区域中,进行人工或者通过外触发信号进行自动图像数据采集后,通过对采集的图像进行特征点抽取处理,并对应每个特征点的三维坐标对每台相机进行标定,通过优化参数等过程,降低定位的误差,本发明通过立体的校正标志物,可以尽可能覆盖摄像头所有区域,标定过程中相机畸变对测量误差的影响较小,相较以往平面的二维标定板,三维的标定板选取特称点位置准确,成像清晰,误差值低,图像拼接精度大幅提高。
【专利说明】一种车载环视系统摄像头参数标定方法【技术领域】
[0001]本发明涉及车载摄像头参数标定方法领域,具体设计一种车载环视系统摄像头参数标定方法。
【背景技术】
[0002]车载环视系统是由装配在车体上前后左右的多台广角摄像机构成,每台摄像机覆盖一定区间,图像经过视点变换生成俯视图,并进行拼接得到车载环视俯瞰图。为了使上述装配在车体上的多台广角摄像机所摄取的图像经过视点变换能够生成没有畸变的无缝拼接的合成俯瞰环视图,上述装配在车体上的广角摄像机的内部参数与外部参数必须被精确标定。摄像机的内部参数是否精确直接影响合成图的畸变校正效果。摄像机的外部参数是否精确会影响合成图中各个相机图像连接处是否错位,也会影响最终合成图中俯瞰环视图与车体的相对位置关系是否正确。
[0003] 现有的鱼眼相机计算模型,可参考以下文献:
[0004]1> Jonathan Courbon, Y oucef Mezouar, Laurent Eck, Philippe Martinet, “AGeneric Fisheye camera model for robotic applications,,
[0005]2> Scaramuzza, D., Martinelli, A.and Siegwart, R., “A Toolbox for EasilyCalibrating Omnidirectional Cameras,,
[0006]3、C.Mei and P.Rives, “Single View Point Omnidirectional CameraCalibration from Planar Grids,,
[0007]现有车载环视系统的标定方法是在地面上铺设平面标定布。由于车载环视系统使用的是170度左右的广角摄像头,因此这种方法使得标定布在左右相机中成像的尺寸非常小而且边缘模糊,不利于对标定布上特征角点进行提取定位。这种定位误差会影响环视系统标定结果的准确度从而影响环视图像的拼接精度。
[0008]如何设计一种高精度的标定方法,成为了车载环视系统研究的重要方向。

【发明内容】

[0009]发明目的:为了克服现有技术的不足,本发明提供一种车载环视系统摄像头参数标定方法,通过使用标定板,并且将标定参数分组逐进对每组参数进行标定的方法,解决了现有技术中车载环视系统由于定位误差影响环视图像拼接精度的问题。
[0010]技术方案:一种车载环视系统摄像头参数标定方法,其特征在于,车载环视系统摄像头内部参数和外部参数标定时采用三维标志标记进行标定。
[0011]三维标志标记位于立体校正标志物上,该标志标记的三维标定坐标系坐标已知。
[0012]环视系统中每个摄像头的视域范围可以清晰看到3个以上的所述三维标志标记。
[0013]包括车载环视系统和校正标志物;所述车载环视系统包括2-4台摄像头,摄像头置于车辆顶端前后左右的中部;
[0014]该方法包括以下步骤:[0015]I)摆放校正标志物:在地面上标定一个可容纳车辆的区域,待校正车辆停在该矩形区域中;
[0016]所述立体校正标志物包括若干可从图像中进行识别的且三维坐标已知的特征点,比如角点,圆点等特征点;
[0017]2)停放待校正车辆并采集校正用图像数据:
[0018]将待校正车辆驶入步骤I)所述的区域中,进行人工或者通过外触发信号进行自动图像数据采集。
[0019]3、如权利要求1所述一种车载环视系统摄像头参数标定方法:其特征在于,对车载环视系统摄像头每台相机标定步骤:
[0020]3.1)获取校正标志物特征点:通过特征点提取办法从每个图像中提取特征点,并同已知的特征点三维坐标进行匹配;
[0021]3.2)以步骤3.1)获取的特征点的二维图像坐标和对应的已知三维坐标为测量数据,利用数值求解方法标定相机的内外参数;将参数分组,逐对标定;标定其中一组参数时,其他参数保持不变;
[0022]3.3)利用步骤3.2)获得的相机内外参数对三维空间中的标志物特征点进行投影变换,将其投射到原始图像上,计算投射坐标与测量坐标的残留误差;
[0023]3.4)预设循环次数和残留误差阈值,判断是否超出循环次数阈值或判断步骤
3.3)得到的残留误差是否低于预设阈值;
[0024]如不超出循环次数阈值且残留误差不低于预设阈值,循环步骤3.1)至步骤3.3);
[0025]如超出循环次数阈值或残留误差低于预设阈值,判断残留误差是否大于预设阈值;如残留误差大于预设阈值,系统给出重新标定信息,重复步骤3.1)至步骤3.3);如残留阈值不大于预设阈值,标定结束,储存标定成果。
[0026]有益效果:
[0027]1、采用垂直于地面的标定板,相较以往平面的二维标定板,三维的标定板选取特称点位置准确,大幅减小了鱼眼相机成像边缘的畸变,成像清晰,误差值低,图像拼接精度大巾畐提闻。
[0028]2、采用虚拟测量技术,将现有概念运用到测量计算中,标定某一参数时,其他参数保持不变,提升了标定参数的准确性与计算效率。
【专利附图】

【附图说明】
[0029]图1传统二维标定示意图
[0030]图2本发明三维标定示意图
[0031]图3车辆视域范围示意图
[0032]图4每台相机标定流程框图
[0033]图5标定板另一种放置位置示意图
[0034]图6 3D标定等效平面示意图
【具体实施方式】
[0035]下面结合附图对本发明做更进一步的解释。[0036]如图1所示,传统的车载环视系统标定采用二维的标定方法,在地面上铺设平面标定布。由于车载环视系统使用的是170度左右的广角摄像头,鱼眼镜头成像畸变严重,因此这种方法使得标定布在相机中成像的尺寸非常小而且边缘模糊。
[0037]本发明提供的校正标志物垂直于地面放置,本实施例采用红色色块和蓝色色块的标定板,边缘清晰,也可以采用其他市面上常见的标定板。相交以往平放在地面的标定布,垂直于地面的标定板上的特征点位于同一个平面,减小了相机畸变对特征点采集造成的误差。大大增加了校正的准确性。本发明的特征在于,不只是标定板,可对校正标志物上的任意点取点。例如标志物可以为一个三角锥体,四个顶点作为特征点,不仅限于在平面上选取特征点,可以在立体物体上取特征点。
[0038]本实施例提供一种车载环视系统摄像头参数标定方法:其特征在于,车载环视系统摄像头内部参数和外部参数标定时采用三维标志标记进行标定。
[0039]三维标志标记位于立体校正标志物上,该标志标记的三维标定坐标系坐标已知。
[0040]环视系统中每个摄像头的视域范围可以清晰看到3个以上的所述三维标志标记。
[0041]包括车载环视系统和校正标志物;所述车载环视系统包括2-4台摄像头,摄像头置于车辆顶端前后左右的中部;
[0042]本实例的车载环视系统包括4台相机,每台相机的摄像头分别是位于车头正中位置的前摄像头(CF)、位于车尾正中位置的后摄像头(CB)、车辆左侧倒车镜位置的左摄像头(CL)和车辆右侧倒车镜位置的右摄像头(CR);
[0043]其中,前摄像头(CF)的视域范围为VFF,后摄像头(CB)的视域范围为VFB,左摄像头(CL)的视域范围为VFL,右摄像头(CR)的视域范围为VFR;设定视域范围交叠区域,VFF与VFL交叠区域为VF-LF、VFF与VFR交叠区域为VF_RF、VFL与VFB交叠区域为VF_LB、VFR与VFB交叠区域为VF-RB ;
[0044]所述摄像头为鱼眼镜头的摄像头。选用鱼眼镜头,能确保更广阔的视域范围。对市场上现有的车载广角相机而言其内部参数包括:横向焦距fx,纵向焦距fy,感光芯片像素子的非正方度alpha,镜头光轴在感光芯片上的位置cx,,cy。径向畸变与切向畸变kl、k2、k3、k4和k5。对于鱼眼镜头根据选用的相机模型还有另外的模型参数要加入,现在对于鱼眼镜头相机已经存在几种通用模型可以选择,
[0045]本实例使用上诉【背景技术】中文献3中的鱼眼相机数学模型。采用通用的数学模型避免了对特定厂家特定批次的相机对于特定的数学模型的依赖,从而可以在编写程序时不需要对某种型号的相机单独编写标定程序。
[0046]该发方法包括以下步骤:
[0047]步骤I)摆放校正标志物:如图2所示,摆放校正标志物:在地面上标定一个可容纳车辆的区域,待校正车辆停在该矩形区域中;这个区域可以是矩形、椭圆形等形状,并不具体限定,为了便于标记,优选矩形。所述立体校正标志物包括若干可从图像中进行识别的且三维坐标已知的特征点,比如角点,圆点等特征点;
[0048]该矩形区域的长度和宽度分别大于车体的长度和宽度;所述校正标志物为标定板,单色色块,如红色或蓝色,方便标定与计算。标定板共有四组,每组分别位于矩形区域的四个顶角外侧;每组为两块,该两块标定板的侧边相连,两块标定板形成“L”型;两个标定面分别位于矩形区域长和宽的延长线上,标定板的标定面垂直于地面;这里的标定板,也可以选用附图5的放置方法,将同一组的两块标定板标定面垂直放置,间隔一段距离,分别与矩形区域的长和宽垂直。需要指出的是,该垂直于地面放置的标定板不一定与地面接触,也可以采用悬挂的方式进行放置。
[0049]步骤2)停放待校正车辆:
[0050]将待校正车辆驶入步骤I)所述的矩形区域中,调整车辆位置;进行人工或者通过外触发信号进行自动图像数据采集。当四个视域范围交叠区域分别覆盖一组校正标志物时,将车辆停稳;传统的二维校正方法中,车辆必须停放在制定位置,而本方法中,车辆只要保证每个摄像头可以摄取指定标志物图像即可,无需特别约束车辆停靠的位置,大大提高了操作的便利性与效率。
[0051]步骤3)每台相机标定:
[0052]3.1)获取校正标志物特征点:获取校正标志物特征点:通过特征点提取办法从每个图像中提取特征点,并同已知的特征点三维坐标进行匹配;本实例设定每块标定板的四个顶点为特征点;其中每台相机视域范围内标定面相对两块板为每台相机的标定板,以该两块标定板的八个顶点为每台相机的校正标志物特征点;
[0053]3.2)以步骤3.1)获取的特征点的二维图像坐标和对应的已知三维坐标为测量数据,利用数值求解方法标定相机的内外参数;将参数分组,逐对标定;标定其中一组参数时,其他参数保持不变;
[0054]3.3)利用步骤3.2)获得的相机内外参数对三维空间中的标志物特征点利用投影变换技术,将其投射到原始图像上,计算投射坐标与测量坐标的残留误差;
[0055]3.4)预设循环次数和残留误差阈值,判断是否超出循环次数阈值或判断步骤
3.3)得到的残留误差是否低于预设阈值;
[0056]如不超出循环次数阈值且残留误差不低于预设阈值,循环步骤3.1)至步骤3.3);
[0057]如超出循环次数阈值或残留误差低于预设阈值,判断残留误差是否大于预设阈值;如残留误差大于预设阈值,系统给出重新标定信息,重复步骤3.1)至步骤3.3);如残留阈值不大于预设阈值,标定结束,储存标定成果。
[0058]此处以标定相机最优化外部参数为例,分别将相机外部参数与光轴中心点、内部参数、畸变等参数进行计算,如图4的框图所示,最优化相机外部参数pose:所述外部参数包括3个位移参数和3个旋转参数;位移参数Xgc,、Ygc和Zgc ;旋转参数分别为rxgc、rygc和rzgc ;对于每台相机的标定,测量两块标定板的8个特征点,这些特征点为二维数据,即16个数据,而所需标定之外部参数有3个位移参数3个旋转参数共6个参数,所需标定的内部参数据上述对相机内部参数的阐述也有10个左右,因此总共所要标定的参数有16个左右。对于测量维数等于或者小于标定维数的情况,很容易发生被标定参数间的耦合(coupling)与过拟合(over-fitting) ο
[0059]最优化相机外部参数pose和光轴中心点cx,cy:通过虚拟测量技术,测量三个虚拟测定量fy、cx和cy,其测量值分别为fx、Imageffidth/2和ImageHeight/2 ;
[0060]其中,fx为相机横向焦距、fy为相机纵向焦距、cx和cy为镜头光轴在感光芯片上的位置、Imageffidth为相机图像的横向像素数,ImageHeight为相机图像的纵向像素数;
[0061]这里运用到先验知识,即相机的横向焦距fx与纵向焦距fy数值接近,镜头光轴在感光芯片上的位置CX,Cy应该在图像的中心位置附近。本发明正是透过虚拟测量技术将上述先验知识加入到标定过程中。
[0062]最优化相机外部参数pose和除光轴中心点和畸变参数以外的内部参数:
[0063]最优化相机外部参数pose畸变kl、k2、k3、k4和k5:其中,kl、k2、k3、k4、k5为径
向畸变与切向畸变
[0064]上述参数寻优过程可以使用多种现有算法实现,如扩展卡尔曼滤波,Levenberg-Marquit算法等。此处以最优化相机外部参数pose为例说明寻优过程,其余过程与其类似,该步骤中个,寻优对象为(Xgc, Ygc, Zgc, rxgc, rygc, rzgc),给定寻优对象一个合理的初始值(XgcO, YgcO, ZgcO, rxgcO, rygcO, rzgcO),根据几何光学投影过程的数学描述可以求得寻优对象在此当前值时标定板上各个特征点在图像上的坐标位置,以及标定板上各个特征点的坐标相对于寻优对象在此当前值的变化率,即雅可比矩阵;对实际图像上标定板特征点的位置与上述计算所得特征点在图像上的坐标位置做差,即称为残差,卡尔曼滤波或者Levenberg-Marquit算法通过残差和雅可比矩阵逐步迭代更新寻优对象的数值直至残差小于给定阈值或者迭代此处大于某一给定阈值。迭代更新过程结束之后得到的寻优对象的数值即是最优化过程的结果。
[0065]本发明并不是对所有参数做批量标定,而是将标定参数分组逐进对每组参数进行标定,在标定某一组参数时其他参数保持原有值不变。
[0066]如图6所示,以垂直于地面的标定板为例,3D标定的标定范围投影到平面上的等效平面,所标定的范围远大于平面的2D标定,如图1所示,2D标定只能标定一块板的平面面积,而同样大小的标定板在空间标定中可以标定图6所示的阴影部分的面积,明显优于2D标定。
[0067]以上所述仅是本发明的优选实施方式,应当指出,对于本【技术领域】的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
【权利要求】
1.一种车载环视系统摄像头参数标定方法,其特征在于,车载环视系统摄像头内部参数和外部参数标定时采用三维标志标记进行标定。
2.如权利要求1所述的一种车载环视系统摄像头参数标定方法,其特征在于所述三维标志标记位于立体校正标志物上,该三维标志标记设有三维标定坐标系坐标。
3.如权利要求2所述的一种车载环视系统摄像头参数标定方法,其特征在于,环视系统中每个摄像头的视域范围能清晰看到3个以上的所述三维标志标记。
4.如权利要求1-3所述一种车载环视系统摄像头参数标定方法:其特征在于,包括车载环视系统和校正标志物;所述车载环视系统包括2-4台摄像头,摄像头置于车辆顶端前后左右的中部; 校正前摆放立体校正标志物:用立体校正标志物在地面上标定一个可容纳车辆的区域,待校正车辆停在该矩形区域中;停放待校正车辆并采集校正用图像数据: 所述每个立体校正标志物包括若干从图像中进行识别的且三维坐标已知的三维标志标记的特征点。
5.如权利要求1所述一种车载环视系统摄像头参数标定方法:其特征在于,对车载环视系统摄像头每台相机标定步骤: 5.1)获取校正标志物特征点:通过特征点提取办法从每个图像中提取特征点,并同已知的特征点三维坐标进行匹配; 5.2)以步骤5.1)获取的特征点的二维图像坐标和对应的已知三维坐标为测量数据,利用数值求解方法标定相机的内外参数;将参数分组,逐对标定;标定其中一组参数时,其他参数保持不变; 5.3)利用步骤5.2)获得的相机内外参数对三维空间中的标志物特征点进行投影变换,将其投射到原始图像上,计算投射坐标与测量坐标的残留误差; 5.4)预设循环次数和残留误差阈值,判断是否超出循环次数阈值或判断步骤5.3)得到的残留误差是否低于预设阈值; 如不超出循环次数阈值且残留误差不低于预设阈值,循环步骤5.1)至步骤5.3);如超出循环次数阈值或残留误差低于预设阈值,判断残留误差是否大于预设阈值;如残留误差大于预设阈值,系统给出重新标定信息,重复步骤5.1)至步骤5.3);如残留阈值不大于预设阈值,标定结束,储存标定成果。
【文档编号】G06T7/00GK103985118SQ201410176108
【公开日】2014年8月13日 申请日期:2014年4月28日 优先权日:2014年4月28日
【发明者】不公告发明人 申请人:无锡观智视觉科技有限公司

【专利交易】【专利代理】【商标和版权申请】【高新技术企业认定】Tel:18215660330

最新回复(0)