一种基于视差变化连续性调节的立体视频舒适度增强方法

一种基于视差变化连续性调节的立体视频舒适度增强方法
【技术领域】
[0001] 本发明涉及立体视频舒适度增强和3D图像处理领域，特别涉及一种基于视差变 化连续性调节的立体视频舒适度增强方法。 技术背景
[0002] 3D电视的诞生，给很多喜欢看3D电影的朋友带来了福音，但是由于目前3D电视 技术的不完善，也导致了长时间观看3D电视节目，容易导致恶心、头晕眼花、头痛等不同程 度的视觉疲劳。相关统计研宄表明，在看过3D视频图像的人中，36%的人有严重视觉疲劳 的感觉，7%的人由于严重视觉疲劳而无法持续观看3D电影[1]。从1987年开始有少量的学 者对观看3D视频的视觉疲劳问题进行研宄，随着3D显示技术取得突破性进展和3D应用需 求的不断增长，最近几年开始有较多的学者参与到观看3D视频视觉疲劳问题的研宄中。但 是，根据文献检索信息，这方面的研宄尚处于起步阶段，研宄成果较少。对观看3D视频视觉 舒适度增强（视觉疲劳改善）问题的研宄主要有三个方面：产生视觉疲劳的因素分析和检 测 [2^2°]、视觉疲劳的评价方法[m]以及增强视觉舒适度（改善视觉疲劳）的方法[& 38]。
[0003] 从人眼的视觉感知机理研宄表明，引起3D视频视觉疲劳的原因主要有辐辏和调 节的不一致、垂直视差、视差变化的不连续性和串扰等。Emoto,M等人的研宄表明，即使不 考虑过度视差，视差的不连续变化也是导致立体视疲劳的主要因素[5]。
[0004] 国际上，2010年开始美国旧金山杜比实验室的科学家就已经与加州大学旧金山分 校等高校展开合作，改善3D互动技术的欣赏舒适度。2011年美国加州大学伯克利分校的 研宄团队通过改进3D眼镜为改善视觉疲劳问题提供了解决方法，该方法在眼镜上安装特 殊的监控设备，当影像出现时，可以通过遮挡部分影像来帮助双眼对焦，以此缓解眼部的紧 张，这种方法在一定程度上起到了帮助改善视觉疲劳的作用。2012年韩国光州科学技术院 和三星公司联合申请的美国专利中公开了一种提高3D摄像仪3D效果和减轻视觉疲劳的方 法和仪器，该方法首先利用左右眼图像的匹配特征点计算出视差，如果视差不在舒适观赏 的视差范围内，则移动左眼或同时移动双眼的镜头调整视差，使达到辐辏和调节的一致性， 从而达到减轻视觉疲劳的目的。2010年日本日立显示器开发出可降低视觉疲劳的3D液晶 面板，其采用视差栅格方式，即在液晶面板前方配置长条状格栅，使双眼可分别观赏3D显 示的左眼用及右眼用影像，这种面板减弱了会导致视觉疲劳的过度立体感。
[0005] 国内在增强视觉舒适度（改善视觉疲劳）方法的研宄方面，有北京邮电大学的王 飞课题组在深入分析观看立体影像引起视觉疲劳原因的基础上，提出了可以用增加补正透 镜等方法改善视觉疲劳以及可以通过控制观看时间和避免视差过大和视差不连续变化改 善视觉疲劳。但是对由于视差变化不连续性引起的视觉疲劳的改善方法尚未见研宄报道。

【发明内容】

[0006] 本发明要解决的技术问题在于提供一种基于视差变化连续性调节的立体视频舒 适度增强方法，通过本发明可以有效地增强观看立体视频的舒适度。该方法详见下文描 述：
[0007] -种基于视差变化连续性调节的立体视频舒适度增强方法，所述方法包括以下步 骤：
[0008] 第一步：将0.2秒作为一个考察时段，在立体视频解码过程中提取当前时段帧的 视差和运动矢量彳目息；
[0009] 第二步：根据立体视频舒适度模型，设每一时刻图像帧的立体视频舒适度为CL， 计算每个考察时段的立体视频舒适度的平均值Ft;
[0010] 每一时刻图像帧的立体视频舒适度CL计算公式如下：
[0011] CL=MV+DV
[0012] 其中，
[0015]其中，
[0016]CL表示每一时刻立体视频舒适度值；
[0017]N表示每一时刻图像帧中的宏块总数；
[0018] n表示第n个宏块；
[0019]MV表示运动矢量值；
[0020] DV表不视差值；
[0021] 和别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；
[0022] 和分别表示第n个宏块的水平视差和垂直视差。
[0023] 第三步：判断前一个时段的立体视频舒适度平均值Ft_a2和后一时段立体视频舒 适度平均值匕+(|.2的关系是否满足
其中和$_分别表示 所有时段内立体视频舒适度平均值的最大值和最小值，Fth表示设定阈值。若满足，则对当 前考察时段进行非舒适帧调节，生成新的图像替换原图像，播放生成的新视频；若不满足， 则直接播放视频；
[0024] 非舒适帧视差调节方法包括下列步骤：
[0025] 步骤1):提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹 配点对应像素的R、G、B分量值；
[0026] 步骤2):将R、G、B分量值加权平均计算如下：
[0027] Dest[h] [w]_r = (aSource1 [h] [w]_r+0 Source2 [hr ] [wr ]_r)
[0028] Dest[h] [w]_g = (aSource1 [h] [w]_g+0 Source2 [hr ] [wr ]_g)
[0029] Dest[h][w]_b =(a Source1[h][w]_b+0 Source2[h' ] [w' ]_b)
[0030]h' =h+Ah [0031]wr =w+Aw [0032]a+|3 = 1
[0033]其中，
[0034]Sourcel[h] [w]_r、Sourcel[h] [w]_g和Sourcel[h] [w]_b分别表不前帧每个像素 的R、G、B分量值，h和w分别为前帧每个像素的水平和垂直坐标；
[0035]Source2[h' ] [w' ]_r、Source2[h' ] [w' ]_g和Source2[h' ] [w' ]_b分别 表示后帧每个像素的
[0036]R、G、B分量值，h'和w'分别为后帧每个像素的水平和垂直坐标；
[0037]Dest[h] [w]_r、Dest[h] [w]_g和Dest[h] [w]_b分别表示新图像的每个像素的R、 G、B分量值，h和w分别为新图像的每个像素的水平和垂直坐标；
[0038]Ah和Aw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量 值；a和0均为常数，表示权值。
[0039] 本发明的特点及有益效果：
[0040] 本发明提出一种基于视差变化连续性调节的立体视频舒适度增强方法，由于视差 和运动矢量变化过快，产生视觉感知突兀，视线汇聚困难，增加观视者眼部负担，产生视觉 疲劳，通过本发明可以有效地增强观看立体视频的舒适度。
【附图说明】：
[0041] 图1为本发明的方案流程图。
【具体实施方式】
[0042] 为使本发明的目的，技术方案和优点更加清楚，下面将结合附图和JMVC(Joint Multi-viewVideoCoding)多视点视频编码系统对本发明实施方式做进一步的详细叙述：
[0043] (1)将0.2秒作为一个考察时段，在JMVC(JointMulti-viewVideoCoding)多视 点编码系统的解码过程中提取当前时段各帧的视差信息和运动矢量信息。视差信息为 和￡?17，其中，DF,"和分别表示第n个宏块的水平视差和垂直视差。运动矢量信息为： If和其中If和分别表示第n个宏块的运动矢量在水平和垂直方向上的分 量值。实验采用200帧分辨率为320X240的AC序列作为测试视频，其帧率为25帧/秒， 将0. 2秒作为一个考察时段，S卩每个考察时段内有5帧。
[0044] (2)根据立体视频舒适度模型CL，计算每一时刻图像帧的立体视频舒适度如下：
[0045]CL=MV+DV
[0046]其中，
[0049]其中，
[0050] CL表示每一时刻立体视频舒适度值；
[0051] N表示每一时刻图像帧中的宏块总数；
[0052] n表示第 n个宏块；
[0053]MV表示运动矢量值；
[0054] DV表示视差值；
[0055] 和分别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；
[0056] 和分别表示第n个宏块的水平视差和垂直视差。
[0057] 依次得到AC序列每个时段的CL平均值Ft，并且得到Ftmax= 9. 588、Ftmin= 7. 823。 判断前一个考察时段CL平均值Ft_a2和后一考察时段CL平均值F_.2的关系是否满足
(本实验令Fth=1)，若满足，则对当前时段进行非舒适帧调 节，若不满足，则直接播放；
[0058] (3)实验中第26个时段CL值较大，对CL值较大时段内的视频帧进行非舒适帧视 差调节，将当前时段内视差变化不连续帧的前后两帧匹配点对应像素的R、G、B分量值加权 平均，生成新的图像替换原图像，播放生成的新视频；
[0059] (4)所述步骤（3)的非舒适帧视差调节方法如下：
[0060] (3. 1)提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹配 点对应像素的R、G、B分量值；
[0061] (3. 2)将R、G、B分量值加权平均计算如下：
[0062] Dest[h][w]_r= (0. 5Sourcel[h][w]_r+0. 5Source2[hr ] [wr ]_r)
[0063] Dest[h] [w]_g= (0. 5Sourcel[h] [w]_g+0. 5Source2 [hr ] [wr ]_g)
[0064] Dest[h] [w]_b= (0.5Sourcel[h] [w]_b+〇- 5Source2[h, ] [wr ]_b)
[0065] h' =h+Ah
[0066] wr =w+Aw
[0067] a +|3=1
[0068]其中，
[0069]Sourcel[h] [w]_r、Sourcel[h] [w]_g和Sourcel[h] [w]_b分别表不前帧每个像素 的R、G、B分量值，h和w分别为前帧每个像素的水平和垂直坐标；
[0070]Source2[h' ] [w' ]_r、Source2[h' ] [w' ]_g和Source2[h' ] [w' ]_b分别 表示后帧每个像素的R、G、B分量值，h'和w'分别为后帧每个像素的水平和垂直坐标；
[0071]Dest[h][w]_r、Dest[h][w]_g和Dest[h] [w]_b分别表示新图像的每个像素的R、 G、B分量值，h和w分别为新图像的每个像素的水平和垂直坐标；
[0072] Ah和Aw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量 值；a和0均为常数，表示权值，实验中均取值0.5。
[0073] (5)本实验通过ssp立体视频软件，采用英特尔Core?2Duo2. 93GHz处理器，NVIDIA GeForceG100显卡显不器播放，配合ReeDoon红蓝眼镜观看。实验选取双目视觉生理正常 (裸视或佩戴眼镜矫正视力达到1. 〇,没有对实验数据造成影响的眼部疾病）的被试者共20 人：其中年龄为20-27岁；男性4人，女性16人；有立体技术背景的12人，没有立体技术背 景的8人。其中，本发明实施例中的预测准则具体为ITU(2002)电视图像质量主观评价推 荐准则，对立体图像舒适度分五个等级进行评价，这五个等级从高到低依次为非常好、好、 一般、差、非常差，如表一所不。
[0074] 表1立体视频舒适度主观评价等级
[0075]
[0076] (6)本实验对没有经过处理的AC、BMX、BigBuckBunny、ElephantsDream、 StarSailer和Balloon六个序列的立体视频进行主观评价，再对通过本专利方法处理之后 的立体视频进行主观评价。通过20人5组评价实验，实验数据如表2所示，将结果取平均 值，处理之前（主观评价1)得分平均值是3. 9,处理之后（主观评价2)得分平均值是4. 1。 因此观看立体视频的舒适度提高了 5. 13%。
[0077] 表2PSNR值和主观评价得分
[0078]
【主权项】
1. 一种基于视差变化连续性调节的立体视频舒适度增强方法，其特征在于，所述方法 包括以下步骤： 第一步：将0. 2秒作为一个考察时段，在立体视频解码过程中提取当前时段帧的视差 和运动矢量信息； 第二步：根据立体视频舒适度模型，设每一时刻图像帧的立体视频舒适度为CL，计算 每个考察时段的立体视频舒适度的平均值Ft; 第三步：判断前一个时段的立体视频舒适度平均值Ft_a2和后一时段立体视频舒适度 平均值Ft+a2的关系是否满足lF^F，^l^^LFt+〇2l>F th，其中Ft_和F广分别表示所有 时段内立体视频舒适度平均值的最大值和最小值，Fth表示设定阈值；若满足，则对当前考 察时段进行非舒适帧调节，生成新的图像替换原图像，播放生成的新视频；若不满足，则直 接播放视频。2. 根据权利要求1所述的一种基于视差变化连续性调节的立体视频舒适度增强方法， 其特征在于，所述步骤2中每一时刻图像帧的立体视频舒适度CL计算公式如下：CL = MV+DV 其中， 其中， CL表示每一时刻立体视频舒适度值； N表示每一时刻图像帧中的宏块总数； η表不第η个宏块； MV表示运动矢量值； DV表不视差值； MG和MF,"分别表示第η个宏块的运动矢量在水平和垂直方向上的分量值； DG和1)匕"分别表示第η个宏块的水平视差和垂直视差。3. 根据权利要求1所述的一种基于视差变化连续性调节的立体视频舒适度增强方法， 其特征在于，所述步骤三中的非舒适帧视差调节方法包括下列步骤： 步骤3. 1:提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹配点 对应像素的R、G、B分量值； 步骤3. 2:将R、G、B分量值加权平均计算如下： Dest [h] [w]_r = ( a Sourcel [h] [w]_r+β Source2 [hr ] [wr ]_r) Dest [h] [w]_g = ( a Sourcel [h] [w]_g+β Source2 [hr ] [wr ]_g) Dest[h] [w]_b = (a Sourcel[h] [w]_b+0 Source2[h' ] [w' ]_b) hr = h+ Δ h wr = w+ Δ w α +β = I 其中， Sourcel [h] [w]_r、Sourcel [h] [w]_g* Sourcel [h] [w]_b 分别表示前帧每个像素的 R、 G、B分量值，h和w分别为前帧每个像素的水平和垂直坐标； Source2[h' ][w' ^iNSource]!!]^ ][w' ]_g*Source2[h' ][w' ]_13分别表不 后帧每个像素的R、G、B分量值，h'和w'分别为后帧每个像素的水平和垂直坐标； Dest [h] [w]_r、Dest [h] [w]_g和Dest [h] [w]_b分别表示新图像的每个像素的R、G、B 分量值，h和w分别为新图像的每个像素的水平和垂直坐标； Ah和Aw分别表不后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量值； α和β均为常数，表示权值。
【专利摘要】本发明公开了一种基于视差变化连续性调节的立体视频舒适度增强方法，考虑到人眼能分辨事物变化的最短时间为0.2秒，将0.2秒作为一个考察时段，在立体视频解码过程中提取每个考察时段帧的视差和运动矢量信息；根据舒适度评价模型，计算每个考察时段的立体视频舒适度平均值并判断该考察时段的帧是否为非舒适帧；对非舒适帧进行视差调节，增强立体视频的观视舒适度。
【IPC分类】H04N19/176, H04N19/597, H04N13/00
【公开号】CN104883577
【申请号】CN201510275341
【发明人】赵岩, 安瑞, 陈贺新, 王世刚, 王学军
【申请人】吉林大学
【公开日】2015年9月2日
【申请日】2015年5月26日