一种车载红外图像的场景识别及彩色化处理方法
一种车载红外图像的场景识别及彩色化处理方法
【技术领域】
[0001] 本发明涉及一种车载红外图像的场景识别及彩色化处理技术，属于红外图像处理 领域。
【背景技术】
[0002] 随着车辆辅助驾驶系统的逐步发展，车载红外图像得到了一定应用。相较于可见 光图像，红外图像能够在夜间或雾霾天气提供更丰富的视觉信息，为安全驾驶提供保障。因 此近年来红对车载红外图像处理的研宄也逐渐展开。而车载红外图像的场景识别是红外图 像研宄的一个难点。
[0003] 由车载设备直接获取的红外图像是一种灰度图像，其对比度较低，缺少丰富的纹 理信息。对驾驶员而言，这样的红外图像不够直观，不利于驾驶时的快速判断。这就要求对 车载红外图像进行一定的处理，使其中的信息更直观、更友好地呈现给驾驶人员。
[0004] 为了充分挖掘车载红外图像中蕴含的视觉信息，需要对车载红外图像进行场景识 别及彩色化处理等操作。其中，场景识别是指识别出给定图像所反映的原始物理场景中的 不同物体及其在图像中对应的范围，彩色化处理是指将识别出的场景信息通过彩色图像提 供给驾驶员。之后根据识别出的场景信息，综合原始红外图像的亮度信息，重新绘制出彩色 化的，更接近原始场景在良好可见光条件下视觉效果的图像。
[0005] 目前国内外对于车载红外图像的场景识别及彩色化处理研宄还不够深入，尚无 成熟的解决方案。而近年来对于可见光彩色图像的场景识别的研宄有较大的进展，如 Y.Yang等人完成的分层目标检测与场景分割技术，能够极为准确地识别出场景中的多个 物体，并分析出各物体之间的遮挡关系；C.Liu等人完成的非参数化场景分割方法Label Transfer，采用基于GIST特征描述的通用搜索树，通过与样本库中图片的快速匹配及局部 SIFT特征的比较，能够以较高的准确率识别出彩色图像中的不同场景类别；K.Karsch等人 完成的基于非参数化采样的深度提取方法可准确高效地估计出彩色单目视频中重要目标 的深度信息；A.Saxena等人完成的Make3D方法使用隐马尔可夫模型建立图像中超像素面 板参数的模型，能够在准确估计场景深度的基础上建立出原始场景的三维模型。
[0006] 红外图像与可见光图像有一定的相似性，虽然不能直接套用可见光图像领域的研 宄方法进行处理，但可见光图像的研宄进展对红外图像处理的研宄具有重要的参考意义。
【发明内容】
[0007] 本发明的目的是参考在彩色可见光图像处理领域较为成功的LabelTransfer技 术进行车载红外图像的场景识别，并根据场景识别的结果对车载红外图像进行彩色化处 理，以通过车辆辅助驾驶系统在恶劣视觉条件下为驾驶员提供丰富且直观的驾驶信息。
[0008] 为了达到上述目的，本发明的技术方案是提供了一种车载红外图像的场景识别及 彩色化处理方法，其特征在于，包括如下步骤：
[0009] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0010] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0011] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0012] 步骤4、分别计算待处理红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与 待处理车载红外图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近 的N幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0013] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0014] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0015] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0016] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度 图；
[0017] 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度 层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。
[0018] 本发明的优点在于：
[0019] 本发明充分挖掘车载红外图像中蕴含的丰富信息，提取出重要的场景类别信息， 并转换为直观的彩色图像。输出的彩色图像包含了待处理车载红外图像中的全部信息，同 时极大地提高了车载红外图像的表现能力，使车辆辅助驾驶系统在夜间或雾霾天气等恶劣 视觉条件下也能提供丰富且直观的驾驶信息。
【附图说明】
[0020] 图1为基于LabelTransfer的车载红外图像的场景识别流程图；
[0021] 图2为基于场景类别标记的车载红外图像彩色化处理流程图；
[0022] 图3为本发明一种实施例的彩色化流程示意图。
【具体实施方式】
[0023] 为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
[0024] 本发明提供了一种车载红外图像的场景识别及彩色化处理方法，其步骤为：
[0025] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0026] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0027] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0028] 步骤4、分别计算待处理车载红外图像及K幅近邻图像的SIFT特征，根据各近邻图 像与待处理图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N 幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0029] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0030] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0031] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0032] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰 度 图；
[0033] 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度 层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。
[0034] 在上述步骤中，如附图1所示，车载红外图像的场景识别参考LabelTransfer技 术，需要首先构建一个样本库，其中包含典型场景下的车载红外样本图像及其GIST特征。 之后将待处理红外图像的特征与样本特征进行比对，主要用到了GIST特征和SIFT特征。其 中，GIST特征用于在样本库中快速找到与待处理车载红外图像整体场景类别最为接近的K 幅近邻图像，SIFT特征用于在K幅近邻图像中寻找与待处理车载红外图像局部特征更接近 的N幅候选图像。之后使用SIFT-Flow方法将待处理图像中的对象与候选图像分别对齐， 进行标签转移，获得车载红外图像中不同场景的类别标记。
[0035] 如附图2所示，车载红外图像的彩色化处理技术根据场景识别的类别标签，建立 符合可见光环境下人类视觉认知的彩色场景类别标记图，同时配合对原始灰度车载红外图 像进行亮度提升和边缘锐化操作，综合前述信息建立包含丰富行车信息且更为直观的彩色 化车载红外图像。
[0036] 以下分别对上述关键技术进行详细说明。
[0037] 1、车载红外图像的GIST特征表示
[0038] GIST特征能够反映图像所包含场景的整体信息，它对图像中对象的形状、类别或 具体位置并不敏感，而是更强调图像整体的空间包络情况。相较于其它局部特征表示方法， GIST特征表示方法不需要对图像进行分割后识别单独的对象，因此需要的存储空间更少。 基于不同图像的GIST特征构成的通用检索树中，场景类别接近的图像在树中的位置也相 应接近，从而实现新图像GIST特征的快速查找与匹配。
[0039] GIST特征表示方法对空间包络定义了五种描述方法：
[0040] 自然度（DegreeofNaturalness):人工场景自然度低，表现为图像中含有大量水 平或垂直线。反之，自然场景自然度高，水平或垂直线较少。
[0041] 开放度（DegreeofOpenness):空间包络是否是封闭（或围绕）的。封闭的，例 如：森林、山、城市中心。或者是广阔的，开放的，例如：海岸、高速公路。
[0042] 粗糙度（DegreeofRoughness):主要指主要构成成分的颗粒大小，取决于空间中 每个元素的尺寸，每个元素构建更加复杂的元素的可能性，以及构建的元素之间的结构关 系等等。粗糙度与场景的分形维度有关，所以也可以称为复杂度。
[0043] 膨胀度（DegreeofExpansion):平行线收敛，给出了空间梯度的深度特点。例如 平面视图中的建筑物，具有低膨胀度。相反，非常长的街道则具有高膨胀度。
[0044] 险峻度（DegreeofRuggedness):即相对于水平线的偏移。（例如，平坦的水平地 面上的山地景观与陡峭的地面）。险峻的环境下在图片中生产倾斜的轮廓，并隐藏了地平 线。大多数的人造环境具有平坦的地面。因此，险峻的环境大多是自然场景。
[0045] GIST特征表示方法就是通过这五个要素描述图像的场景类别。通过计算不同图像 的GIST特征之间的欧几里得距离，即可判断图像场景的差别程度。
[0046] 本实施例在样本库中寻找待处理车载红外图像的K幅近邻图像时，采用的方法就 是分别计算待处理图像的GIST特征与样本库中红外图像对应的GIST特征的欧几里得距 离，选择距离最小的K幅近邻图像。采用GIST特征描述可以减小样本库中特征数据的存储 体积，并提高最近邻图像查找的速度。
[0047] 2、车载红外图像的SIFT特征表示
[0048] SIFT(Scale-InvariantFeatureTransform)方法，是一种检测并描述图像中局 部特征的算法，常用于对象检测，自动导航等。
[0049] 对于一幅图像中的任一对象，均可提取对象中的某些兴趣点用于对对象进行特征 描述。而从一幅训练图像中提取的对象描述，可用于定位并识别一幅包含许多其他对象的 测试图片中的相应对象。为提高识别的准确率，从训练图像中提取的特征应该在图像尺度、 噪声及光照条件改变时仍能被正确检测到。这样的点通常位于图像中对比度较高的区域， 如对象边缘，称为关键点。在原始场景的不同图像中，这些特征点的相对位置也不应改变。
[0050] SIFT方法能够以较强的鲁棒性识别即便是摆放杂乱或部分遮挡的对象，因为 SIFT特征描述不随图像尺度缩放或旋转改变，并且能处理部分仿射变换和光照改变的情 况。
[0051] SIFT特征提取主要包括两个关键步骤，检测关键点及特征描述。关键点的提取通 过SIFT检测子完成，而其特征描述由SIFT描述子完成。
[0052] SIFT关键点是图像中的一个有向圆形区域，通过由四个参数组成的几何框架进行 描述。四个参数分别是：关键点中心坐标x和y，尺寸（区域半径）及方向（以弧度表示）。 通过在多个尺度和位置进行搜索，可以保证检测子对于图像的平移、旋转和缩放都是不变 的（准确而言，是协变）。关键点的方向也受局部图像外观的影响，且与图像方向协相关。 基于不同的关键点外观，本实施例采用的SIFT检测子对每一个检测到的图像区域返回最 多四个可能的方向，组成最多四个框架（只有方向不同）。
[0053] SIFT关键点的提取由高斯差（DifferenceofGaussians，DoG)尺度空间的局部 极值确定。这里的局部极值是指一个3X3X3邻域范围内的极大值（或极小值）元素。提 取后，对局部极值进行二次插值以获取关键点的精确位置。最后进行滤波以消除低对比度 响应，并确定方向。
[0054] SIFT描述子是图像梯度的三维空间直方图，用以表征关键点的外观。每一像素的 梯度都作为三维基本特征向量的一个样点，由像素位置及梯度方向组成。每个样点的权重 由梯度范数决定，累加进三维直方图h，组成区域的SIFT描述子。方向量化为八个区间。
[0055] 对于一个中心为T，尺度为〇，方向为0的SIFT关键点，仿射变换（A，T)简化为 相似度变换：
[0057] 式中，R( 0 )表示逆时针旋转0弧度，m〇是描述子区间大小的像素值，m描述子 放大系数，表示一个描述子区间对应的关键点尺寸大小。标准SIFT描述子在关键点尺度上 计算图像梯度，相当于对标准框架进行了 # = 1/w的平滑处理。最后，将高斯窗口的标准偏 差设为= 2，即为下式：
[0061] 本实施例提取了待处理车载红外图像及K幅近邻样本图像的SIFT特征，用于后续 采用SIFT-Flow算法分别计算待处理车载红外图像与K幅近邻样本图像的能量差，并选择 出N幅候选样本图像。SIFT特征相较GIST特征更能反映图像中对象的局部特征，有利于后 续标签转移操作。
[0062] 3、使用SIFT-Flow算法寻找标签转移候选样本图像
[0063] SIFT-Flow算法受光流算法启发，用于进行不同图像的对齐操作，通过匹配两幅图 像密集采样的像素级SIFT特征，同时保留空间间隔，在不同场景或对象外观之间进行高鲁 棒性的匹配，而间隔保留空间模型可以对位于场景中不同位置的对象进行匹配。SIFT-Flow 算法可以实现具有显著空间差异的复杂场景之间的对齐操作。
[0064] SIFT-Flow算法首先对图像进行密集SIFT特征提取，对于图像中的每一个像素， 将其邻域分为4X4的元胞阵列，将每一个元胞的方向 量化为八个区间，每一个像素即可得 到一个4X4X8 = 128维的向量作为其SIFT表示，将所有像素的SIFT表示称为SIFT图。 [0065] 为估计两张SIFT图间的SIFT流，建立一个满足后述两个要求的目标方程。首先 SIFT描述子应与流向量对应，另外流场需要足够平滑，而其中的不连续处对应对象边界。 令p= (x，y)表示图像的坐标网格，w(p) = (u(p)，v(p))表示p处的流向量。将u(p)与 v(p)限定为整数，并假设u(p)与v(p)分别有L种可能的状态。用81与82表示带匹配的 两幅SIFT图。集合e表示所有的空间邻域（此处采用4-邻域定义）。SIFT流的能量方 程定义如下：
[0067] 本实施例采用上式计算待处理车载红外图像与K幅近邻样本图像间的能量差，根 据能量差重新排序K幅近邻样本图像，并选择能量差最小的N幅样本图像作为候选样本图 像，用于场景对齐和标签转移。
[0068] 4、LabelTransfer标签转移技术
[0069] 经过上述步骤，寻找到了与待处理车载红外图像的全局特征和局部特征最为接 近的N幅候选图像，待处理图像的场景识别即可转换为一个标签转移问题：对于一张输入 图像I及其SIFT图s，可以得到候选投票集合{Sj，Wj}j= 1:N，其中Sj、Cj及w」分别表示 第j张候选样本图像的SIFT图、标签及（与s的）SIFT流场。c^_是一张整数图像，其中 Cj(p)e{1，…，L}关于像素p的对象类别索引。为获得输入图像的类别标签c，可以根据 密集对应SIFT流场Wj将c」转移至输入图像。
[0070] 为此建立一个概率马尔科夫随机场模型（MRF)以将多标签、对象类别先验信息及 标签的空间平滑度集成至输入图像I，而后验概率定义为：
[0072] 式中，Z为概率归一化常数。此后验概率包含三个要素：相似度、先验概率及空间 平滑度。
[0073] 相似度项定义为
[0075] 其中，00={i;cj(p+w(p)) = 1}，1 = 1，…，L是像素p的候选标签中经过扭 曲后标签为1的索引集合；
是SIFT特征差的最大值。
[0076] 先验概率项A(c (p) = 1)表示对象类别1出现在像素p处的先验概率，通过统计 训练集中每一对象类别出现在每一位置的概率获得：
[0077] A(c(p) = 1) =-loghist^p)
[0078] 其中，histjp)是对象类别1的空域直方图。
[0079] 平滑度项定义为在不考虑其它信息条件下紧邻像素拥有相同标签的偏差，其概率 依赖于图像的边缘：边缘亮度越强，紧邻像素拥有不同标签的概率越高：
[0081]其中，r= (2 < | |l(p)_I(q) | |2> ) '
[0082] 能量方程由四个参数控制，K和N决定了模型的模式，而a与0控制先验概率与 平滑度的影响，这四个参数一旦确定，即可使用BP-S算法最小化能量。
[0083] 本实施例采用LabelTransfer算法得到待处理车载红外图像中各对象的类别，即 可进行后续彩色化处理。
[0084] 5、基于场景类别的车载红外图像彩色化处理
[0085] 通过上述步骤，实现了车载红外图像的场景识别，即可基于识别出的场景信息对 原始红外图像进行彩色化处理。
[0086] 附图3a是一张经车载红外设备采集的车载红外图像，本实施例对识别出的图像 中的不同对象，如道路、车辆、树木及天空等，分别赋予不同的色彩，色彩的选择参考可见光 条件下这些对象的典型颜色，如灰色、红色、绿色及蓝色等，得到一张彩色分类结果图，如附 图3b。
[0087] 同时，鉴于原始车载红外图像（附图3a)整体亮度偏暗，对比度较低，且细节信息 缺失，本实施例中对原始图像进行了亮度提升和边缘锐化操作，得到一张新的优化的灰度 红外图像，如附图3c。
[0088] 将上述彩色分类标签图与灰度优化图结合，即可得到如附图3d所示的彩色化结 果图。本实施例采用的具体结合方式是，在HSV色彩空间中构建一张新的彩色图像，其中的 色调层（H)和对比度层（S)均来自彩色分类标签图（附图3b)的色调层与饱和度层，亮度 层（V)是灰度优化的红外图（附图3c)的亮度。
【主权项】
1. 一种车载红外图像的场景识别及彩色化处理方法，其特征在于，包括如下步骤： 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样本图 像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作为后 续场景识别步骤的样本，建立人工标定样本库； 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样本库 中； 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理车载 红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载红外 图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标定样 本库中样本总数且不小于3的奇数； 步骤4、分别计算待处理车载红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与 待处理图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N幅近 邻图像作为候选图像，N是一个取值小于K的奇数； 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用SIFT-Flow算 法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记的场景类别 分配至待处理车载红外图像对应的部分； 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个场景 类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记； 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类别赋 予不同的色彩，得到彩色类别标记图； 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度图； 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度层， 将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。2. 如权利要求1所述的一种车载红外图像的场景识别及彩色化处理方法，其特征在 于，在所述步骤3中，在人工标定样本库中查找与待处理车载红外图像的特征信息最为接 近的K幅样本图像采用的方法是： 分别计算待处理车载红外图像的GIST特征与人工标定样本库中样本图像对应的GIST特征的欧几里得距离，选择距离最小的K幅样本图像作为近邻图像。
【专利摘要】本发明公开了一种车载红外图像的场景识别及彩色化处理技术，提出了一种基于label Transfer技术的车载红外图像场景识别方法，该方法首先根据车载红外图像的GIST特征快速判断图像整体场景所属类别，再根据车载红外图像的SIFT局部特征确定与其局部对象最为接近的样本图像，之后使用SIFT-Flow方法将样本图像的场景类别标记转移至待测试车载红外图像，从而获得待处理车载红外图像中场景的类别标记，最后根据场景的类别，基于对应的色调，同时将原图像的亮度信息融合到彩色图像中实现车载红外图像的彩色化。
【IPC分类】G06K9/00, G06K9/46
【公开号】CN104899558
【申请号】CN201510270840
【发明人】候俊杰, 孙韶媛, 沈振一, 黄珍
【申请人】东华大学
【公开日】2015年9月9日
【申请日】2015年5月25日
【技术领域】
[0001] 本发明涉及一种车载红外图像的场景识别及彩色化处理技术，属于红外图像处理 领域。
【背景技术】
[0002] 随着车辆辅助驾驶系统的逐步发展，车载红外图像得到了一定应用。相较于可见 光图像，红外图像能够在夜间或雾霾天气提供更丰富的视觉信息，为安全驾驶提供保障。因 此近年来红对车载红外图像处理的研宄也逐渐展开。而车载红外图像的场景识别是红外图 像研宄的一个难点。
[0003] 由车载设备直接获取的红外图像是一种灰度图像，其对比度较低，缺少丰富的纹 理信息。对驾驶员而言，这样的红外图像不够直观，不利于驾驶时的快速判断。这就要求对 车载红外图像进行一定的处理，使其中的信息更直观、更友好地呈现给驾驶人员。
[0004] 为了充分挖掘车载红外图像中蕴含的视觉信息，需要对车载红外图像进行场景识 别及彩色化处理等操作。其中，场景识别是指识别出给定图像所反映的原始物理场景中的 不同物体及其在图像中对应的范围，彩色化处理是指将识别出的场景信息通过彩色图像提 供给驾驶员。之后根据识别出的场景信息，综合原始红外图像的亮度信息，重新绘制出彩色 化的，更接近原始场景在良好可见光条件下视觉效果的图像。
[0005] 目前国内外对于车载红外图像的场景识别及彩色化处理研宄还不够深入，尚无 成熟的解决方案。而近年来对于可见光彩色图像的场景识别的研宄有较大的进展，如 Y.Yang等人完成的分层目标检测与场景分割技术，能够极为准确地识别出场景中的多个 物体，并分析出各物体之间的遮挡关系；C.Liu等人完成的非参数化场景分割方法Label Transfer，采用基于GIST特征描述的通用搜索树，通过与样本库中图片的快速匹配及局部 SIFT特征的比较，能够以较高的准确率识别出彩色图像中的不同场景类别；K.Karsch等人 完成的基于非参数化采样的深度提取方法可准确高效地估计出彩色单目视频中重要目标 的深度信息；A.Saxena等人完成的Make3D方法使用隐马尔可夫模型建立图像中超像素面 板参数的模型，能够在准确估计场景深度的基础上建立出原始场景的三维模型。
[0006] 红外图像与可见光图像有一定的相似性，虽然不能直接套用可见光图像领域的研 宄方法进行处理，但可见光图像的研宄进展对红外图像处理的研宄具有重要的参考意义。
【发明内容】
[0007] 本发明的目的是参考在彩色可见光图像处理领域较为成功的LabelTransfer技 术进行车载红外图像的场景识别，并根据场景识别的结果对车载红外图像进行彩色化处 理，以通过车辆辅助驾驶系统在恶劣视觉条件下为驾驶员提供丰富且直观的驾驶信息。
[0008] 为了达到上述目的，本发明的技术方案是提供了一种车载红外图像的场景识别及 彩色化处理方法，其特征在于，包括如下步骤：
[0009] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0010] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0011] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0012] 步骤4、分别计算待处理红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与 待处理车载红外图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近 的N幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0013] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0014] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0015] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0016] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度 图；
[0017] 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度 层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。
[0018] 本发明的优点在于：
[0019] 本发明充分挖掘车载红外图像中蕴含的丰富信息，提取出重要的场景类别信息， 并转换为直观的彩色图像。输出的彩色图像包含了待处理车载红外图像中的全部信息，同 时极大地提高了车载红外图像的表现能力，使车辆辅助驾驶系统在夜间或雾霾天气等恶劣 视觉条件下也能提供丰富且直观的驾驶信息。
【附图说明】
[0020] 图1为基于LabelTransfer的车载红外图像的场景识别流程图；
[0021] 图2为基于场景类别标记的车载红外图像彩色化处理流程图；
[0022] 图3为本发明一种实施例的彩色化流程示意图。
【具体实施方式】
[0023] 为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
[0024] 本发明提供了一种车载红外图像的场景识别及彩色化处理方法，其步骤为：
[0025] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0026] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0027] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0028] 步骤4、分别计算待处理车载红外图像及K幅近邻图像的SIFT特征，根据各近邻图 像与待处理图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N 幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0029] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0030] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0031] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0032] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰 度 图；
[0033] 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度 层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。
[0034] 在上述步骤中，如附图1所示，车载红外图像的场景识别参考LabelTransfer技 术，需要首先构建一个样本库，其中包含典型场景下的车载红外样本图像及其GIST特征。 之后将待处理红外图像的特征与样本特征进行比对，主要用到了GIST特征和SIFT特征。其 中，GIST特征用于在样本库中快速找到与待处理车载红外图像整体场景类别最为接近的K 幅近邻图像，SIFT特征用于在K幅近邻图像中寻找与待处理车载红外图像局部特征更接近 的N幅候选图像。之后使用SIFT-Flow方法将待处理图像中的对象与候选图像分别对齐， 进行标签转移，获得车载红外图像中不同场景的类别标记。
[0035] 如附图2所示，车载红外图像的彩色化处理技术根据场景识别的类别标签，建立 符合可见光环境下人类视觉认知的彩色场景类别标记图，同时配合对原始灰度车载红外图 像进行亮度提升和边缘锐化操作，综合前述信息建立包含丰富行车信息且更为直观的彩色 化车载红外图像。
[0036] 以下分别对上述关键技术进行详细说明。
[0037] 1、车载红外图像的GIST特征表示
[0038] GIST特征能够反映图像所包含场景的整体信息，它对图像中对象的形状、类别或 具体位置并不敏感，而是更强调图像整体的空间包络情况。相较于其它局部特征表示方法， GIST特征表示方法不需要对图像进行分割后识别单独的对象，因此需要的存储空间更少。 基于不同图像的GIST特征构成的通用检索树中，场景类别接近的图像在树中的位置也相 应接近，从而实现新图像GIST特征的快速查找与匹配。
[0039] GIST特征表示方法对空间包络定义了五种描述方法：
[0040] 自然度（DegreeofNaturalness):人工场景自然度低，表现为图像中含有大量水 平或垂直线。反之，自然场景自然度高，水平或垂直线较少。
[0041] 开放度（DegreeofOpenness):空间包络是否是封闭（或围绕）的。封闭的，例 如：森林、山、城市中心。或者是广阔的，开放的，例如：海岸、高速公路。
[0042] 粗糙度（DegreeofRoughness):主要指主要构成成分的颗粒大小，取决于空间中 每个元素的尺寸，每个元素构建更加复杂的元素的可能性，以及构建的元素之间的结构关 系等等。粗糙度与场景的分形维度有关，所以也可以称为复杂度。
[0043] 膨胀度（DegreeofExpansion):平行线收敛，给出了空间梯度的深度特点。例如 平面视图中的建筑物，具有低膨胀度。相反，非常长的街道则具有高膨胀度。
[0044] 险峻度（DegreeofRuggedness):即相对于水平线的偏移。（例如，平坦的水平地 面上的山地景观与陡峭的地面）。险峻的环境下在图片中生产倾斜的轮廓，并隐藏了地平 线。大多数的人造环境具有平坦的地面。因此，险峻的环境大多是自然场景。
[0045] GIST特征表示方法就是通过这五个要素描述图像的场景类别。通过计算不同图像 的GIST特征之间的欧几里得距离，即可判断图像场景的差别程度。
[0046] 本实施例在样本库中寻找待处理车载红外图像的K幅近邻图像时，采用的方法就 是分别计算待处理图像的GIST特征与样本库中红外图像对应的GIST特征的欧几里得距 离，选择距离最小的K幅近邻图像。采用GIST特征描述可以减小样本库中特征数据的存储 体积，并提高最近邻图像查找的速度。
[0047] 2、车载红外图像的SIFT特征表示
[0048] SIFT(Scale-InvariantFeatureTransform)方法，是一种检测并描述图像中局 部特征的算法，常用于对象检测，自动导航等。
[0049] 对于一幅图像中的任一对象，均可提取对象中的某些兴趣点用于对对象进行特征 描述。而从一幅训练图像中提取的对象描述，可用于定位并识别一幅包含许多其他对象的 测试图片中的相应对象。为提高识别的准确率，从训练图像中提取的特征应该在图像尺度、 噪声及光照条件改变时仍能被正确检测到。这样的点通常位于图像中对比度较高的区域， 如对象边缘，称为关键点。在原始场景的不同图像中，这些特征点的相对位置也不应改变。
[0050] SIFT方法能够以较强的鲁棒性识别即便是摆放杂乱或部分遮挡的对象，因为 SIFT特征描述不随图像尺度缩放或旋转改变，并且能处理部分仿射变换和光照改变的情 况。
[0051] SIFT特征提取主要包括两个关键步骤，检测关键点及特征描述。关键点的提取通 过SIFT检测子完成，而其特征描述由SIFT描述子完成。
[0052] SIFT关键点是图像中的一个有向圆形区域，通过由四个参数组成的几何框架进行 描述。四个参数分别是：关键点中心坐标x和y，尺寸（区域半径）及方向（以弧度表示）。 通过在多个尺度和位置进行搜索，可以保证检测子对于图像的平移、旋转和缩放都是不变 的（准确而言，是协变）。关键点的方向也受局部图像外观的影响，且与图像方向协相关。 基于不同的关键点外观，本实施例采用的SIFT检测子对每一个检测到的图像区域返回最 多四个可能的方向，组成最多四个框架（只有方向不同）。
[0053] SIFT关键点的提取由高斯差（DifferenceofGaussians，DoG)尺度空间的局部 极值确定。这里的局部极值是指一个3X3X3邻域范围内的极大值（或极小值）元素。提 取后，对局部极值进行二次插值以获取关键点的精确位置。最后进行滤波以消除低对比度 响应，并确定方向。
[0054] SIFT描述子是图像梯度的三维空间直方图，用以表征关键点的外观。每一像素的 梯度都作为三维基本特征向量的一个样点，由像素位置及梯度方向组成。每个样点的权重 由梯度范数决定，累加进三维直方图h，组成区域的SIFT描述子。方向量化为八个区间。
[0055] 对于一个中心为T，尺度为〇，方向为0的SIFT关键点，仿射变换（A，T)简化为 相似度变换：
[0057] 式中，R( 0 )表示逆时针旋转0弧度，m〇是描述子区间大小的像素值，m描述子 放大系数，表示一个描述子区间对应的关键点尺寸大小。标准SIFT描述子在关键点尺度上 计算图像梯度，相当于对标准框架进行了 # = 1/w的平滑处理。最后，将高斯窗口的标准偏 差设为= 2，即为下式：
[0061] 本实施例提取了待处理车载红外图像及K幅近邻样本图像的SIFT特征，用于后续 采用SIFT-Flow算法分别计算待处理车载红外图像与K幅近邻样本图像的能量差，并选择 出N幅候选样本图像。SIFT特征相较GIST特征更能反映图像中对象的局部特征，有利于后 续标签转移操作。
[0062] 3、使用SIFT-Flow算法寻找标签转移候选样本图像
[0063] SIFT-Flow算法受光流算法启发，用于进行不同图像的对齐操作，通过匹配两幅图 像密集采样的像素级SIFT特征，同时保留空间间隔，在不同场景或对象外观之间进行高鲁 棒性的匹配，而间隔保留空间模型可以对位于场景中不同位置的对象进行匹配。SIFT-Flow 算法可以实现具有显著空间差异的复杂场景之间的对齐操作。
[0064] SIFT-Flow算法首先对图像进行密集SIFT特征提取，对于图像中的每一个像素， 将其邻域分为4X4的元胞阵列，将每一个元胞的方向 量化为八个区间，每一个像素即可得 到一个4X4X8 = 128维的向量作为其SIFT表示，将所有像素的SIFT表示称为SIFT图。 [0065] 为估计两张SIFT图间的SIFT流，建立一个满足后述两个要求的目标方程。首先 SIFT描述子应与流向量对应，另外流场需要足够平滑，而其中的不连续处对应对象边界。 令p= (x，y)表示图像的坐标网格，w(p) = (u(p)，v(p))表示p处的流向量。将u(p)与 v(p)限定为整数，并假设u(p)与v(p)分别有L种可能的状态。用81与82表示带匹配的 两幅SIFT图。集合e表示所有的空间邻域（此处采用4-邻域定义）。SIFT流的能量方 程定义如下：
[0067] 本实施例采用上式计算待处理车载红外图像与K幅近邻样本图像间的能量差，根 据能量差重新排序K幅近邻样本图像，并选择能量差最小的N幅样本图像作为候选样本图 像，用于场景对齐和标签转移。
[0068] 4、LabelTransfer标签转移技术
[0069] 经过上述步骤，寻找到了与待处理车载红外图像的全局特征和局部特征最为接 近的N幅候选图像，待处理图像的场景识别即可转换为一个标签转移问题：对于一张输入 图像I及其SIFT图s，可以得到候选投票集合{Sj，Wj}j= 1:N，其中Sj、Cj及w」分别表示 第j张候选样本图像的SIFT图、标签及（与s的）SIFT流场。c^_是一张整数图像，其中 Cj(p)e{1，…，L}关于像素p的对象类别索引。为获得输入图像的类别标签c，可以根据 密集对应SIFT流场Wj将c」转移至输入图像。
[0070] 为此建立一个概率马尔科夫随机场模型（MRF)以将多标签、对象类别先验信息及 标签的空间平滑度集成至输入图像I，而后验概率定义为：
[0072] 式中，Z为概率归一化常数。此后验概率包含三个要素：相似度、先验概率及空间 平滑度。
[0073] 相似度项定义为
[0075] 其中，00={i;cj(p+w(p)) = 1}，1 = 1，…，L是像素p的候选标签中经过扭 曲后标签为1的索引集合；
是SIFT特征差的最大值。
[0076] 先验概率项A(c (p) = 1)表示对象类别1出现在像素p处的先验概率，通过统计 训练集中每一对象类别出现在每一位置的概率获得：
[0077] A(c(p) = 1) =-loghist^p)
[0078] 其中，histjp)是对象类别1的空域直方图。
[0079] 平滑度项定义为在不考虑其它信息条件下紧邻像素拥有相同标签的偏差，其概率 依赖于图像的边缘：边缘亮度越强，紧邻像素拥有不同标签的概率越高：
[0081]其中，r= (2 < | |l(p)_I(q) | |2> ) '
[0082] 能量方程由四个参数控制，K和N决定了模型的模式，而a与0控制先验概率与 平滑度的影响，这四个参数一旦确定，即可使用BP-S算法最小化能量。
[0083] 本实施例采用LabelTransfer算法得到待处理车载红外图像中各对象的类别，即 可进行后续彩色化处理。
[0084] 5、基于场景类别的车载红外图像彩色化处理
[0085] 通过上述步骤，实现了车载红外图像的场景识别，即可基于识别出的场景信息对 原始红外图像进行彩色化处理。
[0086] 附图3a是一张经车载红外设备采集的车载红外图像，本实施例对识别出的图像 中的不同对象，如道路、车辆、树木及天空等，分别赋予不同的色彩，色彩的选择参考可见光 条件下这些对象的典型颜色，如灰色、红色、绿色及蓝色等，得到一张彩色分类结果图，如附 图3b。
[0087] 同时，鉴于原始车载红外图像（附图3a)整体亮度偏暗，对比度较低，且细节信息 缺失，本实施例中对原始图像进行了亮度提升和边缘锐化操作，得到一张新的优化的灰度 红外图像，如附图3c。
[0088] 将上述彩色分类标签图与灰度优化图结合，即可得到如附图3d所示的彩色化结 果图。本实施例采用的具体结合方式是，在HSV色彩空间中构建一张新的彩色图像，其中的 色调层（H)和对比度层（S)均来自彩色分类标签图（附图3b)的色调层与饱和度层，亮度 层（V)是灰度优化的红外图（附图3c)的亮度。
【主权项】
1. 一种车载红外图像的场景识别及彩色化处理方法，其特征在于，包括如下步骤： 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样本图 像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作为后 续场景识别步骤的样本，建立人工标定样本库； 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样本库 中； 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理车载 红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载红外 图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标定样 本库中样本总数且不小于3的奇数； 步骤4、分别计算待处理车载红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与 待处理图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N幅近 邻图像作为候选图像，N是一个取值小于K的奇数； 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用SIFT-Flow算 法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记的场景类别 分配至待处理车载红外图像对应的部分； 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个场景 类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记； 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类别赋 予不同的色彩，得到彩色类别标记图； 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度图； 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度层， 将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。2. 如权利要求1所述的一种车载红外图像的场景识别及彩色化处理方法，其特征在 于，在所述步骤3中，在人工标定样本库中查找与待处理车载红外图像的特征信息最为接 近的K幅样本图像采用的方法是： 分别计算待处理车载红外图像的GIST特征与人工标定样本库中样本图像对应的GIST特征的欧几里得距离，选择距离最小的K幅样本图像作为近邻图像。
【专利摘要】本发明公开了一种车载红外图像的场景识别及彩色化处理技术，提出了一种基于label Transfer技术的车载红外图像场景识别方法，该方法首先根据车载红外图像的GIST特征快速判断图像整体场景所属类别，再根据车载红外图像的SIFT局部特征确定与其局部对象最为接近的样本图像，之后使用SIFT-Flow方法将样本图像的场景类别标记转移至待测试车载红外图像，从而获得待处理车载红外图像中场景的类别标记，最后根据场景的类别，基于对应的色调，同时将原图像的亮度信息融合到彩色图像中实现车载红外图像的彩色化。
【IPC分类】G06K9/00, G06K9/46
【公开号】CN104899558
【申请号】CN201510270840
【发明人】候俊杰, 孙韶媛, 沈振一, 黄珍
【申请人】东华大学
【公开日】2015年9月9日
【申请日】2015年5月25日
最新回复(0)