图像处理装置、图像处理方法和图像处理系统的制作方法
图像处理装置、图像处理方法和图像处理系统的制作方法
【专利说明】图像处理装置、图像处理方法和图像处理系统
[0001]相关申请的交叉引用
[0002]本申请要求在2014年3月5日提交的日本在先专利申请JP2014-042858的优先权，其整体内容通过引用合并于此。
技术领域
[0003]本说明书中公开的技术涉及处理高动态范围移动图片的图像处理装置、图像处理方法和图像处理系统。
【背景技术】
[0004]近年来，由于成像元件(图像传感器)的位数增加，图像的高动态范围(HDR)的增加也在进行。在HDR图像中，最大亮度颜色和最小亮度颜色之间的对比度可以例如达到10000:1或更高，并且以逼真的方式实现真实世界。在HDR图像中，存在如下优点:可以以逼真的方式实现阴影，可以模拟照相曝光，以及可以实现闪光。
[0005]例如，已建议从具有不同曝光量的多个拍摄图像合成HDR图像的成像设备(例如，参照日本未审专利申请公布N0.2013-255201)。
[0006]对应于最大亮度约为500nit或100nit的HDR图像的显示器已开始商用。例如，HDR移动图片通过流式传输在互联网上从服务器分送，通过将诸如Blu-ray Disc (蓝光盘)的可记录介质设定为中间介质提供，或者从广播站广播。用户可以使用HDR功能显示器享受HDR移动图片。
【发明内容】
[0007]期望提供能够适当地处理高动态范围移动图片的图像处理装置、图像处理方法和图像处理系统。
[0008]根据本技术的实施例，提供了一种图像处理装置，其包括:改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
[0009]该图像处理装置可以进一步包括编码单元，其对移动图片流编码。此外，除了图像信号改变信息之外，输出单元可以输出编码单元编码之后的移动图片流。
[0010]在该图像处理装置中，改变信息提取单元可以提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(Cd/m2)、内容亮度(% )、或者膝状曲线压缩期间的膝状位置信息。
[0011]在该图像处理装置中，输出单元可以沿传输路径发送移动图片流和改变信息。
[0012]在该图像处理装置中，改变信息提取单元可以以场景为单位从移动图片流提取改变信息，以及输出单元可以在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SE I。
[0013]在该图像处理装置中，改变信息提取单元可以提取值逐渐改变的改变信息，以及输出单元可以传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。
[0014]在该图像处理装置中，改变信息提取单元可以提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及输出单元可以传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据的改变信息。
[0015]此外，根据本技术的另一实施例，提供了一种图像处理方法，其包括:提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出移动图片流和图像信号改变信息。
[0016]此外，根据本技术的又一实施例，提供了一种图像处理装置，其包括:输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。
[0017]该图像处理装置可以进一步包括解码单元，其对输入单元输入的移动图片流解码。此外，改变信息应对处理单元可以基于改变信息对解码单元解码之后的移动图片流执行应对处理。
[0018]在该图像处理装置中，输入单元可以输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0019]该图像处理装置可以进一步包括改变信息恢复单元，其从输入单元输入的信息中恢复图像信号改变信息。
[0020]在该图像处理装置中，改变信息恢复单元可以恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。
[0021]在该图像处理装置中，改变信息恢复单元可以通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。
[0022]在该图像处理装置中，改变信息恢复单元可以从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。
[0023]在该图像处理装置中，改变信息应对处理单元可以基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0024]此外，根据本技术的再一实施例，提供了一种图像处理方法，其包括:除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及基于改变信息对输入的移动图片流执行应对处理。
[0025]此外，根据本技术的再一实施例，提供了一种图像处理系统，其包括:图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0026]然而，在该实例中，“系统”指的是其中多个设备(或者实现特定功能的功能模块)逻辑上累积，并且不考虑每个设备或功能模块是否在单个壳体内的物体。
[0027]根据在本说明书中公开的技术，可以提供优越的图像处理装置和图像处理方法，其能够以可以在接收或再现侧获取图像信号改变信息的方式处理HDR移动图片。
[0028]此外，根据在本说明书中公开的技术，可以提供优越的图像处理装置和图像处理方法，其能够以通过预先获取图像信号改变信息来执行与图像信号的突然改变对应的显示的方式处理HDR移动图片。
[0029]此外，根据在本说明书中公开的技术，可以提供优越的图像处理系统，其能够执行传输或记录HDR移动图片以与图像信号的突然改变对应的处理。
[0030]此外，本说明书中描述的效果仅是示例，本技术的实施例的效果不限于此。此外，还存在本技术的实施例进一步呈现除了以上描述的效果之外的额外效果的情况。
[0031]将使用基于以下描述的实施例的详细描述和附图来说明本技术中公开的技术的其他目的、特征和优点。
【附图说明】
[0032]图1是图示图像信号在时间方向上改变的情形的示图。
[0033]图2是示意性示出HDR移动图片的图像供给源的图像处理装置的配置示例的示图。
[0034]图3是示意性示出HDR移动图片的再现侧的图像处理装置的配置示例的示图。
[0035]图4是示意性示出本说明书中公开的技术被应用于图像传输系统的实施例的示图。
[0036]图5是示意性示出本说明书中公开的技术被应用于图像记录和再现系统的实施例的示图。
[0037]图6是示意性示出本说明书中公开的技术被应用于图像接收系统的实施例的示图。
【具体实施方式】
[0038]以下将在参照附图的同时详细描述本说明书中公开的技术的实施例。
[0039]在描述本说明书中公开的技术之前，将给出SDR图像和HDR图像的描述。
[0040]HDR图像的动态范围接近真实世界的动态范围，并且例如，最大亮度颜色和最小亮度颜色之间的对比度例如达到10000:1或更高。在HDR图像中，存在如下优点，可以以逼真的方式实现阴影，可以模拟照相曝光，以及可以实现闪光。
[0041]同时，如果当在显示屏幕上显示移动图片时亮度、色域等的图像信号临时急剧改变，则存在对观察者的健康危害，诸如感觉不适的关注。
[0042]图1图示了图像信号在时间方向上改变的情形。然而，水平轴被设定为时间轴，而竖直轴被设定为图像信号水平。图像信号是色域、亮度等。
[0043]在图1中所示的示例中，作为切换场景的结果发生图像信号的突然改变。场景101是房间内部的场景，场景102是在日光中或者蓝天下拍摄的室外场景，场景103是爆炸场景，而场景104是夜晚或夜空的场景。单个场景例如由MPEG(移动图片专家组)格式的移动图片流中的一个或两个或更多个图片组(GOP)构成。
[0044]诸如色域或亮度的图像信号在每个场景之间的切换111、112和113处突然改变。自然地，假设图像信号也在场景内突然改变。此外，还假设除了图像信号在场景之间的整个帧中突然改变的情况之外，在帧内的一部分块或者一部分像素中发生图像信号的突然改变。此外，除了场景之间的切换，还存在如下情况，作为帧变为多屏幕、字幕、同屏显示(OSD)或者正在帧内显示的菜单等的结果，图像信号突然改变。在任何情况下，当图像信号突然改变时，观察者的视觉被过度刺激，并且这致使对观察者的健康的影响。
[0045]特别地，由于HDR移动图片的动态范围是广的，因为在图1中图像信号在每个场景之间的切换111、112和113处显著改变，所以该问题更为严重。
[0046]在该实例中，在本说明书中公开的技术中，HDR移动图片的图像供给源的图像处理装置被设定为从源HDR移动图片提取图像信号改变信息，并且除了 HDR移动图片之外，输出图像信号改变信息。图像信号改变信息包括诸如图像信号突然改变的位置以及改变量等的信息，并且在图像信号突然改变的 位置之前输出。同时，HDR移动图片的再现侧的图像处理装置被设定成，通过基于改变信息将处理应用于所供给的HDR移动图片，图像信号不会突然改变。
[0047]图2示意性示出了 HDR移动图片的图像供给源的图像处理装置200的配置示例。该图中所示的图像处理装置200设置有编码单元201、改变信息提取单元202和输出单元203。
[0048]编码单元201从图像源210输入HDR移动图片作为源图像，并且将HDR移动图片编码成诸如MPEG的压缩格式。
[0049]在编码单元201对HDR移动图片编码之前，改变信息提取单元202从HDR移动图片提取图像信号改变信息，并且输出该改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。
[0050]在编码单元201已对HDR移动图片编码之后，输出单元203向外部输出从移动图片流形成的输出信息，以及改变信息提取单元202已提取的改变信息。
[0051]可以包括以下⑴至(4)作为改变信息提取单元202从HDR移动图片提取的图像信号改变信息。在该实例中，主监视器是在HDR图像的创建和编辑中使用的显示监视器。此夕卜，膝状点是在执行膝状曲线压缩时的输入膝状位置信息和输出膝状位置信息，膝状曲线压缩抑制高亮度部分的信号以便将图像的亮度限制在预定动态范围。关于每个场景101^..的图像信号改变信息121、122、123和124的项在图1中被一起示出。
[0052](I)主监视器的色域
[0053](2)主监视器的显示亮度(cd/m2)
[0054](3)内容亮度)
[0055](4)膝状点
[0056]然而，图像信号改变信息的项仅是示例，并且可以考虑如下实现，提取⑴至(4)中的仅一部分作为改变信息，提取除了(I)至(4)之外的其他改变信息，以及提取其他改变信息替代(I)至(4)中的一部分或全部。
[0057]可以包括根据现有的操作规则列出元数据的方法以及限定新数据以便列出元数据的方法，作为输出改变信息提取单元202已提取的元数据的方法。
[0058]作为遵从现有的操作规则的方法，例如，如下文所示，可以列出以上提及的改变信息⑴至⑷的项作为SEI (补充增强信息)，SEI通过以下方式已由MPEG限定。
[0059](I)主监视器的色域
[0060]—原色彳目息SEI(控制显不彳目息SEI)
[0061](2)主监视器的显示亮度(cd/m2)
[0062]—色调映射信息SEI或膝状函数信息SEI
[0063](3)内容亮度)
[0064]—色调映射信息SEI或膝状函数信息SEI
[0065](4)膝状点
[0066]膝状函数信息SEI
[0067]替选地，列出改变(上/下标志等)的新数据和与改变量相关的信息(差或绝对值的数量)被限定，并且存储在SE1、TS描述符或MP4包中。
[0068]如后面将描述的，由于在HDR移动图片的再现侧对所供给的HDR移动图片执行基于改变信息的处理，因此有必要输出元数据，从而改变信息将在HDR移动图片之前到达再现侧。
[0069]在根据现有规则列出图像信号改变信息的情况下，例如，改变信息提取单元202以场景为单位提取改变信息(I)至(4)的每个项。此外，通过收集改变信息(I)至(4)的每个项并且将改变信息的项设置在移动图片流的场景的首部，或者使改变信息的项与之相关联，输出单元203进行输出。
[0070]替选地，改变信息提取单元202逐渐改变列出改变信息的现有元数据的值。此外，通过依次设置改变信息以与移动图片流的再现位置匹配，或者使改变信息与其相关联，输出单元203进行输出。例如，通过以淡入/淡出(Fade In/Out)的方式设置在原始场景的切换点(图像信号突然改变的位置)之前和之后或者与其相关联，输出亮度逐渐减小的元数据的值
[0071]此外，定义新数据，并且预先执行图像信号改变信息的通知。例如，如果改变信息提取单元202检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，则图像信号突然改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息被输出作为改变信息。此外，输出单元203使用SE1、TS描述符、MP4包等传输改变信息。
[0072]图3示意性示出了 HDR移动图片的再现侧的图像处理装置300的配置示例。图中所示的图像处理装置300配备有输入单元301、解码单元302、改变信息恢复单元303和改变信息应对处理单元304。
[0073]输入单元301输入从HDR移动图片的图像供给源的图像处理装置200输出的输出信息。来自图像处理装置200的输出信息包括编码的移动图片流以及图像信号改变信息。改变信息以如下方式存储在输出信息中，可以获得移动图片流中的图像信号突然改变的位置之前的改变信息。例如，通过收集改变信息的每个项的SEI并且将改变信息的每个项的SEI设置在场景的首部，或者使改变信息的每个项的SEI与其相关联，针对每个场景提取的改变信息的每个项的SEI被包括在输出信息中(如上文所述)。输入单元301使移动图片流和改变信息与输入输出信息隔开。
[0074]解码单元302对编码成诸如MPEG的压缩格式的移动图片流进行解码，并且输出到改变信息应对处理单元304。使用例如诸如HDMI (高清晰度多媒体接口 ；注册商标)的接口从解码单元302向改变信息应对处理单元304传输移动图片流。
[0075]改变信息恢复单元303恢复输入单元301输入的输出信息中包括的改变信息，并且输出到改变信息应对处理单元304。
[0076]例如，改变信息恢复单元303恢复移动图片流的以场景为单位提取并且设置在场景的首部或与其相关联的改变信息。
[0077]替选地，改变信息恢复单元303通过逐渐改变其值，从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据恢复改变信息。
[0078]替选地，改变信息恢复单元303从使用SE1、TS描述符、MP4包等传输的元数据恢复改变信息，其中图像信号突然改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息被登记。
[0079]改变信息应对处理单元304可以在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元303获取改变信息。此外，当从解码单元302输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元304基于预先获取的改变信息执行缓和图像信号的突然改变的处理。
[0080]例如，改变信息应对处理单元304通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。此外，改变信息应对处理单元304对图像信号突然改变的整个帧、图像信号突然改变的帧中的块、或者图像信号突然改变的帧中的像素执行应对处理。
[0081]已被改变信息应对处理单元304处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0082]实施例1
[0083]图4示意性示出了本说明书中公开的技术被应用于图像传输系统400的实施例。图中所示的图像传输系统400由图像传输设备410和图像接收设备420构成，并且移动图片流的传输经由传输路径430执行。
[0084]例如，图像传输设备410是地面或卫星波的数字广播广播站，并且图像接收设备420是调谐并接收数字广播信号的机顶盒(STB)、调谐器、数字电视等。传输路径430是广播信号通过其传送的空气。此外，图像传输设备410例如由广播HDR节目内容的广播组织管理。
[0085]替选地，图像传输设备410是通过流式传输分送移动图片流的分送服务器，并且图像接收设备420是用于接收和观看移动图片流的诸如个人计算机的信息设备产品。该情况下的传输路径430是诸如互联网的TCP/IP网络。此外，图像传输设备410由在诸如互联网的网络上通过流式传输分送HDR移动图片的内容提供商管理。
[0086]图像传输设备410配备有编码单元411、改变信息提取单元412和传输单元413。
[0087]编码单元411从诸如主监视器(图中未示出)的图像源输入HDR移动图片作为源图像，并且将HDR移动图片编码为诸如MPEG的压缩格式。
[0088]改变信息提取单元412在编码单元411对HDR移动图片编码之前从HDR移动图片提取图像信号改变信息，并且输出改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0089]传输单元413通过其分组化沿传输路径430发送诸如编码之后的移动图片流的传输信息以及包括图像信号改变信息的元数据。
[0090]在图像接收设备420侧执行与图像信号的改变对应的处理的情况下，相应的元数据有必要在移动图片流中的图像信号突然改变的位置之前到达图像接收设备420。
[0091]例如，改变信息提取单元412以场景为单位提取改变信息的每个项。此外，传输单元413被设定成在与移动图片流对应的场景的首部共同派送改变信息的每个项的SEI。
[0092]替选地，改变 信息提取单元412提取值逐渐改变的改变信息。此外，传输单元413传输移动图片流中的图像信号突然改变的位置之前和之后的改变信息作为元数据。例如，传输单元413以淡入/淡出的方式在原始场景的切换点之前和之后使用SE1、TS描述符或MP4包传输亮度逐渐减小的元数据的值。
[0093]替选地，改变信息提取单元412检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，并且输出图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息作为改变信息。此外，传输单元413使用SE1、TS描述符、MP4包等预先传输改变信息。
[0094]图像接收设备420配备有接收单元421、解码单元422、改变信息恢复单元423和改变信息应对处理单元424。
[0095]接收单元421接收从图像传输设备410传输的分组，并且通过分组的对准组装源移动图片流。
[0096]解码单元422对编码成诸如MPEG的压缩格式的移动图片流解码，并且将流输出到改变信息应对处理单元424。使用例如诸如HDMI (注册商标)的接口从解码单元422向改变信息应对处理单元424传输移动图片流。
[0097]改变信息恢复单元423取回并且恢复接收到的移动图片流的SE1、TS描述符、MP4包等中存储的改变信息，并且将该信息输出到改变信息应对处理单元424 ?在移动图片流中的图像信号突然改变的位置之前传送改变信息，使得可以在改变信息应对处理单元424中执行与图像信号的改变对应的处理。
[0098]改变信息应对处理单元424在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元423获取改变信息。此外，当从解码单元422输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元424基于预先获取的改变信息执行缓和图像信号的突然改变的处理。例如，改变信息应对处理单元424通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。
[0099]已被改变信息应对处理单元424处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0100]实施例2
[0101]图5示意性示出了本说明书中公开的技术被应用于图像记录和再现系统500的实施例。图中所示的图像记录和再现系统500由将移动图片流记录在图像积累设备530上的图像记录设备510和再现图像积累设备530上记录的移动图片流的图像再现设备520构成。图像积累设备530是在诸如硬盘驱动器的大容量记录设备或者诸如蓝光盘的便携式记录介质上执行数据的写入和读取的媒体记录和再现设备。图像记录设备510例如由销售其上记录HDR移动图片的诸如蓝光盘的记录介质的媒体销售公司管理。
[0102]图像记录设备510配备有编码单元511、改变信息提取单元512和数据写入单元513。
[0103]编码单元511输入HDR移动图片作为源图像，并且将HDR移动图片编码为诸如MPEG的压缩格式。
[0104]改变信息提取单元512在编码单元511对HDR移动图片编码之前从HDR移动图片提取图像信号改变信息，并且输出改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0105]数据写入单元513例如根据诸如FAT(文件分配表)的预定文件系统将诸如编码之后的移动图片流的记录信息以及包括图像信号改变信息的元数据写入图像积累设备530。
[0106]在图像再现设备520侧执行与图像信号的改变对应的处理的情况下，图像再现设备520有必要能够获取在移动图片流中的图像信号突然改变的位置之前的相应元数据。
[0107]例如，改变信息提取单元512以场景为单位提取改变信息的每个项。此外，数据写入单元513被设定成通过将改变信息的每个项共同地设置在与移动图片流对应的场景的首部来将改变信息的每个项记录在图像积累设备530上。替选地，数据写入单元513被设定为，通过设定成理解与相应场景的首部位置的对应关系，将以场景为单位提取的改变信息的每个项记录在图像积累设备530上，作为独立于移动图片流的文件。
[0108]替选地，改变信息提取单元512逐渐改变列出改变信息的元数据的值。此外，数据写入单元513将元数据记录在图像积累设备530上以与移动图片流的再现位置匹配。例如，亮度逐渐减小的元数据的值以淡入/淡出的方式被记录在原始场景的切换点之前和之后。
[0109]替选地，改变信息提取单元512检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，并且输出图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息作为改变信息。此外，数据写入单元513通过将改变信息设置在移动图片流中的XX秒之前或XX帧之前的位置来将改变信息记录在图像积累设备530上。
[0110]图像再现设备520配备有数据读取单元521、解码单元522、改变信息恢复单元523和改变信息应对处理单元524。
[0111]数据读取单元521从图像积累设备530读取移动图片流和元数据。
[0112]解码单元522对编码成诸如MPEG的压缩格式的移动图片流解码，并且将流输出到改变信息应对处理单元524。使用例如诸如HDMI (注册商标)的接口从解码单元522向改变信息应对处理单元524传输移动图片流。
[0113]改变信息恢复单元523从数据读取单元521读取自图像积累设备530的元数据恢复改变信息，并且将该信息输出到改变信息应对处理单元524。
[0114]改变信息恢复单元523恢复在移动图片流中的图像信号突然改变的位置之前的相应的改变信息，使得可以在改变信息应对处理单元524中执行与图像信号的改变对应的处理。
[0115]例如，改变信息的元数据被设置在与移动图片流对应的场景的首部。替选地，通过设定成理解与相应场景的首部位置的对应关系，改变信息被记录在图像积累设备530上，作为独立于移动图片流的文件。
[0116]替选地，值逐渐改变的改变信息的元数据被记录在图像积累设备530上以与移动图片流的再现位置匹配。例如，亮度逐渐减小的元数据的值以淡入/淡出的方式被记录在原始场景的切换点之前和之后。
[0117]替选地，包括图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息的改变信息的元数据通过在移动图片流中被设置在移动图片流的图像信号突然改变XX秒之前(或XX帧之前)而被记录在图像积累设备530上。
[0118]改变信息应对处理单元524在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元523获取改变信息。此外，当从解码单元522输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元524基于预先获取的改变信息执行缓和图像信号的突然改变的处理。例如，改变信息应对处理单元524通过使位置突然改变的图像信号通过低通滤波器来去除或抑制高频分量。
[0119]已被改变信息应对处理单元524处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0120]实施例3
[0121]图6示意性示出了本说明书中公开的技术被应用于图像接收设备600的实施例。图像接收设备600接收从广播站广播的或者从互联网上的分送服务器分送的HDR移动图片流。
[0122]图中所示的图像接收设备600配备有接收单元601、解码单元602、改变信息提取单元603、延迟单元604和改变信息应对处理单元605。
[0123]接收单元601从传输路径610接收分组，并且通过分组的对准组装源移动图片流。此外，解码单元602对编码成诸如MPEG的压缩格式的移动图片流解码。
[0124]改变信息提取单元603在解码单元的解码之后从HDR移动图片提取图像信号改变信息，并且将改变信息输出到改变信息应对处理单元605 ο图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0125]例如，改变信息提取单元603以场景为单位提取图像信号改变信息。延迟单元604使解码单元602解码的移动图片流被延迟输入到改变信息应对处理单元605，直到改变信息提取单元603已提取场景改变信息，并且可以对相应场景执行处理。
[0126]改变信息应对处理单元605基于从改变信息提取单元603提供的改变信息执行缓和移动图片流上的图像信号的突然改变的处理。例如，改变信息应对处理单元605通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。
[0127]已被改变信息应对处理单元605处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0128]此外，本说明书的技术可以具有诸如以下配置的 配置。
[0129](I) 一种图像处理装置，包括:改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
[0130](2)根据⑴所述的图像处理装置，进一步包括编码单元，其对移动图片流编码，其中除了图像信号改变信息之外，所述输出单元输出所述编码单元编码之后的移动图片流。
[0131](3)根据(I)所述的图像处理装置，其中所述改变信息提取单元提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(Cd/m2)、内容亮度(％)、或者膝状曲线压缩期间的膝状位置信息。
[0132](4)根据⑴所述的图像处理装置，其中所述输出单元输出在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0133](5)根据(4)所述的图像处理装置，其中所述改变信息提取单元以场景为单位提取移动图片流的图像信号改变信息，并且所述输出单元通过将改变信息设置在移动图片流的场景的首部或者使改变信息与场景的首部相关联来输出每个场景的改变信息。
[0134](6)根据(4)所述的图像处理装置，其中所述改变信息提取单元提取值逐渐改变的改变信息，以及所述输出单元通过将改变信息设置在移动图片流的图像信号突然改变的位置之前和之后或者使改变信息与其相关联来进行输出。
[0135](7)根据(4)所述的图像处理装置，其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及所述输出单元输出改变信息作为移动图片流的元数据。
[0136](8)根据(I)所述的图像处理装置，其中所述输出单元沿传输路径发送移动图片流和改变信息。
[0137](9)根据⑶所述的图像处理装置，其中所述改变信息提取单元以场景为单位从移动图片流提取改变信息，以及所述输出单元在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SEI。
[0138](10)根据(8)所述的图像处理装置，其中所述改变信息提取单元提取值逐渐改变的改变信息，以及所述输出单元传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。
[0139](11)根据(8)所述的图像处理装置，其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及所述输出单元传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据等的改变信息。
[0140](12) 一种图像处理方法，包括:提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出移动图片流和图像信号改变信息。
[0141](13) 一种图像处理装置，包括:输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。
[0142](14)根据(13)所述的图像处理装置，进一步包括解码单元，其对所述输入单元输入的移动图片流解码，其中所述改变信息应对处理单元基于改变信息对所述解码单元解码之后的移动图片流执行应对处理。
[0143](15)根据(13)所述的图像处理装置，其中所述输入单元输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0144](16)根据(13)所述的图像处理装置，进一步包括改变信息恢复单元，其从所述输入单元输入的信息中恢复图像信号改变信息。
[0145](17)根据(16)所述的图像处理装置，其中所述改变信息恢复单元恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。
[0146](18)根据(16)所述的图像处理装置，其中所述改变信息恢复单元通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。
[0147](19)根据(16)所述的图像处理装置，其中所述改变信息恢复单元从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。
[0148](20)根据(13)所述的图像处理装置，其中所述改变信息应对处理单元基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0149](21) 一种图像处理方法，包括:除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及基于改变信息对输入的移动图片流执行应对处理。
[0150](22) 一种图像处理系统，包括:图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0151]本领域技术人员应当理解，根据设计需要和其他因素，可以进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内。
【主权项】
1.一种图像处理装置，包括: 改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及 输出单元，其输出移动图片流和图像信号改变信息。2.根据权利要求1所述的图像处理装置，进一步包括: 编码单元，其对移动图片流编码， 其中除了图像信号改变信息之外，所述输出单元输出所述编码单元编码之后的移动图片流。3.根据权利要求1所述的图像处理装置， 其中所述改变信息提取单元提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(cd/m2)、内容亮度(％)、或者膝状曲线压缩期间的膝状位置信息。4.根据权利要求1所述的图像处理装置， 其中所述输出单元沿传输路径发送移动图片流和改变信息。5.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元以场景为单位从移动图片流提取改变信息，以及其中所述输出单元在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SEI。6.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元提取值逐渐改变的改变信息，以及其中所述输出单元传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。7.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及 其中所述输出单元传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据的改变信息。8.一种图像处理方法，包括: 提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及 输出移动图片流和图像信号改变信息。9.一种图像处理装置，包括: 输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及 改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。10.根据权利要求9所述的图像处理装置，进一步包括: 解码单元，其对所述输入单元输入的移动图片流解码， 其中所述改变信息应对处理单元基于改变信息对所述解码单元解码之后的移动图片流执行应对处理。11.根据权利要求9所述的图像处理装置， 其中所述输入单元输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。12.根据权利要求9所述的图像处理装置，进一步包括 改变信息恢复单元，其从所述输入单元输入的信息中恢复图像信号改变信息。13.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。14.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。15.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。16.根据权利要求9所述的图像处理装置， 其中所述改变信息应对处理单元基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。17.一种图像处理方法，包括: 除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及 基于改变信息对输入的移动图片流执行应对处理。18.一种图像处理系统，包括: 图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及 图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
【专利摘要】本公开涉及图像处理装置、图像处理方法和图像处理系统。根据本公开的图像处理装置包括：改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
【IPC分类】H04N5/232
【公开号】CN104902164
【申请号】CN201510088681
【发明人】服部忍, 葛西启文, 金井健一, 津留卓己, 浜田俊也, 江藤博昭
【申请人】索尼公司
【公开日】2015年9月9日
【申请日】2015年2月26日
【公告号】US20150256846
【专利说明】图像处理装置、图像处理方法和图像处理系统
[0001]相关申请的交叉引用
[0002]本申请要求在2014年3月5日提交的日本在先专利申请JP2014-042858的优先权，其整体内容通过引用合并于此。
技术领域
[0003]本说明书中公开的技术涉及处理高动态范围移动图片的图像处理装置、图像处理方法和图像处理系统。
【背景技术】
[0004]近年来，由于成像元件(图像传感器)的位数增加，图像的高动态范围(HDR)的增加也在进行。在HDR图像中，最大亮度颜色和最小亮度颜色之间的对比度可以例如达到10000:1或更高，并且以逼真的方式实现真实世界。在HDR图像中，存在如下优点:可以以逼真的方式实现阴影，可以模拟照相曝光，以及可以实现闪光。
[0005]例如，已建议从具有不同曝光量的多个拍摄图像合成HDR图像的成像设备(例如，参照日本未审专利申请公布N0.2013-255201)。
[0006]对应于最大亮度约为500nit或100nit的HDR图像的显示器已开始商用。例如，HDR移动图片通过流式传输在互联网上从服务器分送，通过将诸如Blu-ray Disc (蓝光盘)的可记录介质设定为中间介质提供，或者从广播站广播。用户可以使用HDR功能显示器享受HDR移动图片。
【发明内容】
[0007]期望提供能够适当地处理高动态范围移动图片的图像处理装置、图像处理方法和图像处理系统。
[0008]根据本技术的实施例，提供了一种图像处理装置，其包括:改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
[0009]该图像处理装置可以进一步包括编码单元，其对移动图片流编码。此外，除了图像信号改变信息之外，输出单元可以输出编码单元编码之后的移动图片流。
[0010]在该图像处理装置中，改变信息提取单元可以提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(Cd/m2)、内容亮度(% )、或者膝状曲线压缩期间的膝状位置信息。
[0011]在该图像处理装置中，输出单元可以沿传输路径发送移动图片流和改变信息。
[0012]在该图像处理装置中，改变信息提取单元可以以场景为单位从移动图片流提取改变信息，以及输出单元可以在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SE I。
[0013]在该图像处理装置中，改变信息提取单元可以提取值逐渐改变的改变信息，以及输出单元可以传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。
[0014]在该图像处理装置中，改变信息提取单元可以提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及输出单元可以传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据的改变信息。
[0015]此外，根据本技术的另一实施例，提供了一种图像处理方法，其包括:提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出移动图片流和图像信号改变信息。
[0016]此外，根据本技术的又一实施例，提供了一种图像处理装置，其包括:输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。
[0017]该图像处理装置可以进一步包括解码单元，其对输入单元输入的移动图片流解码。此外，改变信息应对处理单元可以基于改变信息对解码单元解码之后的移动图片流执行应对处理。
[0018]在该图像处理装置中，输入单元可以输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0019]该图像处理装置可以进一步包括改变信息恢复单元，其从输入单元输入的信息中恢复图像信号改变信息。
[0020]在该图像处理装置中，改变信息恢复单元可以恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。
[0021]在该图像处理装置中，改变信息恢复单元可以通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。
[0022]在该图像处理装置中，改变信息恢复单元可以从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。
[0023]在该图像处理装置中，改变信息应对处理单元可以基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0024]此外，根据本技术的再一实施例，提供了一种图像处理方法，其包括:除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及基于改变信息对输入的移动图片流执行应对处理。
[0025]此外，根据本技术的再一实施例，提供了一种图像处理系统，其包括:图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0026]然而，在该实例中，“系统”指的是其中多个设备(或者实现特定功能的功能模块)逻辑上累积，并且不考虑每个设备或功能模块是否在单个壳体内的物体。
[0027]根据在本说明书中公开的技术，可以提供优越的图像处理装置和图像处理方法，其能够以可以在接收或再现侧获取图像信号改变信息的方式处理HDR移动图片。
[0028]此外，根据在本说明书中公开的技术，可以提供优越的图像处理装置和图像处理方法，其能够以通过预先获取图像信号改变信息来执行与图像信号的突然改变对应的显示的方式处理HDR移动图片。
[0029]此外，根据在本说明书中公开的技术，可以提供优越的图像处理系统，其能够执行传输或记录HDR移动图片以与图像信号的突然改变对应的处理。
[0030]此外，本说明书中描述的效果仅是示例，本技术的实施例的效果不限于此。此外，还存在本技术的实施例进一步呈现除了以上描述的效果之外的额外效果的情况。
[0031]将使用基于以下描述的实施例的详细描述和附图来说明本技术中公开的技术的其他目的、特征和优点。
【附图说明】
[0032]图1是图示图像信号在时间方向上改变的情形的示图。
[0033]图2是示意性示出HDR移动图片的图像供给源的图像处理装置的配置示例的示图。
[0034]图3是示意性示出HDR移动图片的再现侧的图像处理装置的配置示例的示图。
[0035]图4是示意性示出本说明书中公开的技术被应用于图像传输系统的实施例的示图。
[0036]图5是示意性示出本说明书中公开的技术被应用于图像记录和再现系统的实施例的示图。
[0037]图6是示意性示出本说明书中公开的技术被应用于图像接收系统的实施例的示图。
【具体实施方式】
[0038]以下将在参照附图的同时详细描述本说明书中公开的技术的实施例。
[0039]在描述本说明书中公开的技术之前，将给出SDR图像和HDR图像的描述。
[0040]HDR图像的动态范围接近真实世界的动态范围，并且例如，最大亮度颜色和最小亮度颜色之间的对比度例如达到10000:1或更高。在HDR图像中，存在如下优点，可以以逼真的方式实现阴影，可以模拟照相曝光，以及可以实现闪光。
[0041]同时，如果当在显示屏幕上显示移动图片时亮度、色域等的图像信号临时急剧改变，则存在对观察者的健康危害，诸如感觉不适的关注。
[0042]图1图示了图像信号在时间方向上改变的情形。然而，水平轴被设定为时间轴，而竖直轴被设定为图像信号水平。图像信号是色域、亮度等。
[0043]在图1中所示的示例中，作为切换场景的结果发生图像信号的突然改变。场景101是房间内部的场景，场景102是在日光中或者蓝天下拍摄的室外场景，场景103是爆炸场景，而场景104是夜晚或夜空的场景。单个场景例如由MPEG(移动图片专家组)格式的移动图片流中的一个或两个或更多个图片组(GOP)构成。
[0044]诸如色域或亮度的图像信号在每个场景之间的切换111、112和113处突然改变。自然地，假设图像信号也在场景内突然改变。此外，还假设除了图像信号在场景之间的整个帧中突然改变的情况之外，在帧内的一部分块或者一部分像素中发生图像信号的突然改变。此外，除了场景之间的切换，还存在如下情况，作为帧变为多屏幕、字幕、同屏显示(OSD)或者正在帧内显示的菜单等的结果，图像信号突然改变。在任何情况下，当图像信号突然改变时，观察者的视觉被过度刺激，并且这致使对观察者的健康的影响。
[0045]特别地，由于HDR移动图片的动态范围是广的，因为在图1中图像信号在每个场景之间的切换111、112和113处显著改变，所以该问题更为严重。
[0046]在该实例中，在本说明书中公开的技术中，HDR移动图片的图像供给源的图像处理装置被设定为从源HDR移动图片提取图像信号改变信息，并且除了 HDR移动图片之外，输出图像信号改变信息。图像信号改变信息包括诸如图像信号突然改变的位置以及改变量等的信息，并且在图像信号突然改变的 位置之前输出。同时，HDR移动图片的再现侧的图像处理装置被设定成，通过基于改变信息将处理应用于所供给的HDR移动图片，图像信号不会突然改变。
[0047]图2示意性示出了 HDR移动图片的图像供给源的图像处理装置200的配置示例。该图中所示的图像处理装置200设置有编码单元201、改变信息提取单元202和输出单元203。
[0048]编码单元201从图像源210输入HDR移动图片作为源图像，并且将HDR移动图片编码成诸如MPEG的压缩格式。
[0049]在编码单元201对HDR移动图片编码之前，改变信息提取单元202从HDR移动图片提取图像信号改变信息，并且输出该改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。
[0050]在编码单元201已对HDR移动图片编码之后，输出单元203向外部输出从移动图片流形成的输出信息，以及改变信息提取单元202已提取的改变信息。
[0051]可以包括以下⑴至(4)作为改变信息提取单元202从HDR移动图片提取的图像信号改变信息。在该实例中，主监视器是在HDR图像的创建和编辑中使用的显示监视器。此夕卜，膝状点是在执行膝状曲线压缩时的输入膝状位置信息和输出膝状位置信息，膝状曲线压缩抑制高亮度部分的信号以便将图像的亮度限制在预定动态范围。关于每个场景101^..的图像信号改变信息121、122、123和124的项在图1中被一起示出。
[0052](I)主监视器的色域
[0053](2)主监视器的显示亮度(cd/m2)
[0054](3)内容亮度)
[0055](4)膝状点
[0056]然而，图像信号改变信息的项仅是示例，并且可以考虑如下实现，提取⑴至(4)中的仅一部分作为改变信息，提取除了(I)至(4)之外的其他改变信息，以及提取其他改变信息替代(I)至(4)中的一部分或全部。
[0057]可以包括根据现有的操作规则列出元数据的方法以及限定新数据以便列出元数据的方法，作为输出改变信息提取单元202已提取的元数据的方法。
[0058]作为遵从现有的操作规则的方法，例如，如下文所示，可以列出以上提及的改变信息⑴至⑷的项作为SEI (补充增强信息)，SEI通过以下方式已由MPEG限定。
[0059](I)主监视器的色域
[0060]—原色彳目息SEI(控制显不彳目息SEI)
[0061](2)主监视器的显示亮度(cd/m2)
[0062]—色调映射信息SEI或膝状函数信息SEI
[0063](3)内容亮度)
[0064]—色调映射信息SEI或膝状函数信息SEI
[0065](4)膝状点
[0066]膝状函数信息SEI
[0067]替选地，列出改变(上/下标志等)的新数据和与改变量相关的信息(差或绝对值的数量)被限定，并且存储在SE1、TS描述符或MP4包中。
[0068]如后面将描述的，由于在HDR移动图片的再现侧对所供给的HDR移动图片执行基于改变信息的处理，因此有必要输出元数据，从而改变信息将在HDR移动图片之前到达再现侧。
[0069]在根据现有规则列出图像信号改变信息的情况下，例如，改变信息提取单元202以场景为单位提取改变信息(I)至(4)的每个项。此外，通过收集改变信息(I)至(4)的每个项并且将改变信息的项设置在移动图片流的场景的首部，或者使改变信息的项与之相关联，输出单元203进行输出。
[0070]替选地，改变信息提取单元202逐渐改变列出改变信息的现有元数据的值。此外，通过依次设置改变信息以与移动图片流的再现位置匹配，或者使改变信息与其相关联，输出单元203进行输出。例如，通过以淡入/淡出(Fade In/Out)的方式设置在原始场景的切换点(图像信号突然改变的位置)之前和之后或者与其相关联，输出亮度逐渐减小的元数据的值
[0071]此外，定义新数据，并且预先执行图像信号改变信息的通知。例如，如果改变信息提取单元202检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，则图像信号突然改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息被输出作为改变信息。此外，输出单元203使用SE1、TS描述符、MP4包等传输改变信息。
[0072]图3示意性示出了 HDR移动图片的再现侧的图像处理装置300的配置示例。图中所示的图像处理装置300配备有输入单元301、解码单元302、改变信息恢复单元303和改变信息应对处理单元304。
[0073]输入单元301输入从HDR移动图片的图像供给源的图像处理装置200输出的输出信息。来自图像处理装置200的输出信息包括编码的移动图片流以及图像信号改变信息。改变信息以如下方式存储在输出信息中，可以获得移动图片流中的图像信号突然改变的位置之前的改变信息。例如，通过收集改变信息的每个项的SEI并且将改变信息的每个项的SEI设置在场景的首部，或者使改变信息的每个项的SEI与其相关联，针对每个场景提取的改变信息的每个项的SEI被包括在输出信息中(如上文所述)。输入单元301使移动图片流和改变信息与输入输出信息隔开。
[0074]解码单元302对编码成诸如MPEG的压缩格式的移动图片流进行解码，并且输出到改变信息应对处理单元304。使用例如诸如HDMI (高清晰度多媒体接口 ；注册商标)的接口从解码单元302向改变信息应对处理单元304传输移动图片流。
[0075]改变信息恢复单元303恢复输入单元301输入的输出信息中包括的改变信息，并且输出到改变信息应对处理单元304。
[0076]例如，改变信息恢复单元303恢复移动图片流的以场景为单位提取并且设置在场景的首部或与其相关联的改变信息。
[0077]替选地，改变信息恢复单元303通过逐渐改变其值，从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据恢复改变信息。
[0078]替选地，改变信息恢复单元303从使用SE1、TS描述符、MP4包等传输的元数据恢复改变信息，其中图像信号突然改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息被登记。
[0079]改变信息应对处理单元304可以在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元303获取改变信息。此外，当从解码单元302输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元304基于预先获取的改变信息执行缓和图像信号的突然改变的处理。
[0080]例如，改变信息应对处理单元304通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。此外，改变信息应对处理单元304对图像信号突然改变的整个帧、图像信号突然改变的帧中的块、或者图像信号突然改变的帧中的像素执行应对处理。
[0081]已被改变信息应对处理单元304处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0082]实施例1
[0083]图4示意性示出了本说明书中公开的技术被应用于图像传输系统400的实施例。图中所示的图像传输系统400由图像传输设备410和图像接收设备420构成，并且移动图片流的传输经由传输路径430执行。
[0084]例如，图像传输设备410是地面或卫星波的数字广播广播站，并且图像接收设备420是调谐并接收数字广播信号的机顶盒(STB)、调谐器、数字电视等。传输路径430是广播信号通过其传送的空气。此外，图像传输设备410例如由广播HDR节目内容的广播组织管理。
[0085]替选地，图像传输设备410是通过流式传输分送移动图片流的分送服务器，并且图像接收设备420是用于接收和观看移动图片流的诸如个人计算机的信息设备产品。该情况下的传输路径430是诸如互联网的TCP/IP网络。此外，图像传输设备410由在诸如互联网的网络上通过流式传输分送HDR移动图片的内容提供商管理。
[0086]图像传输设备410配备有编码单元411、改变信息提取单元412和传输单元413。
[0087]编码单元411从诸如主监视器(图中未示出)的图像源输入HDR移动图片作为源图像，并且将HDR移动图片编码为诸如MPEG的压缩格式。
[0088]改变信息提取单元412在编码单元411对HDR移动图片编码之前从HDR移动图片提取图像信号改变信息，并且输出改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0089]传输单元413通过其分组化沿传输路径430发送诸如编码之后的移动图片流的传输信息以及包括图像信号改变信息的元数据。
[0090]在图像接收设备420侧执行与图像信号的改变对应的处理的情况下，相应的元数据有必要在移动图片流中的图像信号突然改变的位置之前到达图像接收设备420。
[0091]例如，改变信息提取单元412以场景为单位提取改变信息的每个项。此外，传输单元413被设定成在与移动图片流对应的场景的首部共同派送改变信息的每个项的SEI。
[0092]替选地，改变 信息提取单元412提取值逐渐改变的改变信息。此外，传输单元413传输移动图片流中的图像信号突然改变的位置之前和之后的改变信息作为元数据。例如，传输单元413以淡入/淡出的方式在原始场景的切换点之前和之后使用SE1、TS描述符或MP4包传输亮度逐渐减小的元数据的值。
[0093]替选地，改变信息提取单元412检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，并且输出图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息作为改变信息。此外，传输单元413使用SE1、TS描述符、MP4包等预先传输改变信息。
[0094]图像接收设备420配备有接收单元421、解码单元422、改变信息恢复单元423和改变信息应对处理单元424。
[0095]接收单元421接收从图像传输设备410传输的分组，并且通过分组的对准组装源移动图片流。
[0096]解码单元422对编码成诸如MPEG的压缩格式的移动图片流解码，并且将流输出到改变信息应对处理单元424。使用例如诸如HDMI (注册商标)的接口从解码单元422向改变信息应对处理单元424传输移动图片流。
[0097]改变信息恢复单元423取回并且恢复接收到的移动图片流的SE1、TS描述符、MP4包等中存储的改变信息，并且将该信息输出到改变信息应对处理单元424 ?在移动图片流中的图像信号突然改变的位置之前传送改变信息，使得可以在改变信息应对处理单元424中执行与图像信号的改变对应的处理。
[0098]改变信息应对处理单元424在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元423获取改变信息。此外，当从解码单元422输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元424基于预先获取的改变信息执行缓和图像信号的突然改变的处理。例如，改变信息应对处理单元424通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。
[0099]已被改变信息应对处理单元424处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0100]实施例2
[0101]图5示意性示出了本说明书中公开的技术被应用于图像记录和再现系统500的实施例。图中所示的图像记录和再现系统500由将移动图片流记录在图像积累设备530上的图像记录设备510和再现图像积累设备530上记录的移动图片流的图像再现设备520构成。图像积累设备530是在诸如硬盘驱动器的大容量记录设备或者诸如蓝光盘的便携式记录介质上执行数据的写入和读取的媒体记录和再现设备。图像记录设备510例如由销售其上记录HDR移动图片的诸如蓝光盘的记录介质的媒体销售公司管理。
[0102]图像记录设备510配备有编码单元511、改变信息提取单元512和数据写入单元513。
[0103]编码单元511输入HDR移动图片作为源图像，并且将HDR移动图片编码为诸如MPEG的压缩格式。
[0104]改变信息提取单元512在编码单元511对HDR移动图片编码之前从HDR移动图片提取图像信号改变信息，并且输出改变信息作为元数据。图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0105]数据写入单元513例如根据诸如FAT(文件分配表)的预定文件系统将诸如编码之后的移动图片流的记录信息以及包括图像信号改变信息的元数据写入图像积累设备530。
[0106]在图像再现设备520侧执行与图像信号的改变对应的处理的情况下，图像再现设备520有必要能够获取在移动图片流中的图像信号突然改变的位置之前的相应元数据。
[0107]例如，改变信息提取单元512以场景为单位提取改变信息的每个项。此外，数据写入单元513被设定成通过将改变信息的每个项共同地设置在与移动图片流对应的场景的首部来将改变信息的每个项记录在图像积累设备530上。替选地，数据写入单元513被设定为，通过设定成理解与相应场景的首部位置的对应关系，将以场景为单位提取的改变信息的每个项记录在图像积累设备530上，作为独立于移动图片流的文件。
[0108]替选地，改变信息提取单元512逐渐改变列出改变信息的元数据的值。此外，数据写入单元513将元数据记录在图像积累设备530上以与移动图片流的再现位置匹配。例如，亮度逐渐减小的元数据的值以淡入/淡出的方式被记录在原始场景的切换点之前和之后。
[0109]替选地，改变信息提取单元512检测到图像信号在移动图片流的XX秒(或XX帧)之后突然改变，并且输出图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息作为改变信息。此外，数据写入单元513通过将改变信息设置在移动图片流中的XX秒之前或XX帧之前的位置来将改变信息记录在图像积累设备530上。
[0110]图像再现设备520配备有数据读取单元521、解码单元522、改变信息恢复单元523和改变信息应对处理单元524。
[0111]数据读取单元521从图像积累设备530读取移动图片流和元数据。
[0112]解码单元522对编码成诸如MPEG的压缩格式的移动图片流解码，并且将流输出到改变信息应对处理单元524。使用例如诸如HDMI (注册商标)的接口从解码单元522向改变信息应对处理单元524传输移动图片流。
[0113]改变信息恢复单元523从数据读取单元521读取自图像积累设备530的元数据恢复改变信息，并且将该信息输出到改变信息应对处理单元524。
[0114]改变信息恢复单元523恢复在移动图片流中的图像信号突然改变的位置之前的相应的改变信息，使得可以在改变信息应对处理单元524中执行与图像信号的改变对应的处理。
[0115]例如，改变信息的元数据被设置在与移动图片流对应的场景的首部。替选地，通过设定成理解与相应场景的首部位置的对应关系，改变信息被记录在图像积累设备530上，作为独立于移动图片流的文件。
[0116]替选地，值逐渐改变的改变信息的元数据被记录在图像积累设备530上以与移动图片流的再现位置匹配。例如，亮度逐渐减小的元数据的值以淡入/淡出的方式被记录在原始场景的切换点之前和之后。
[0117]替选地，包括图像信号改变(在XX秒之后或在XX帧之后)的位置信息、指示改变存在与否的信息(上/下标志等)、以及与改变量(差或绝对值的数量)相关的信息的改变信息的元数据通过在移动图片流中被设置在移动图片流的图像信号突然改变XX秒之前(或XX帧之前)而被记录在图像积累设备530上。
[0118]改变信息应对处理单元524在移动图片流中的图像信号突然改变的位置之前从改变信息恢复单元523获取改变信息。此外，当从解码单元522输入的移动图片流到达图像信号突然改变的位置时，改变信息应对处理单元524基于预先获取的改变信息执行缓和图像信号的突然改变的处理。例如，改变信息应对处理单元524通过使位置突然改变的图像信号通过低通滤波器来去除或抑制高频分量。
[0119]已被改变信息应对处理单元524处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0120]实施例3
[0121]图6示意性示出了本说明书中公开的技术被应用于图像接收设备600的实施例。图像接收设备600接收从广播站广播的或者从互联网上的分送服务器分送的HDR移动图片流。
[0122]图中所示的图像接收设备600配备有接收单元601、解码单元602、改变信息提取单元603、延迟单元604和改变信息应对处理单元605。
[0123]接收单元601从传输路径610接收分组，并且通过分组的对准组装源移动图片流。此外，解码单元602对编码成诸如MPEG的压缩格式的移动图片流解码。
[0124]改变信息提取单元603在解码单元的解码之后从HDR移动图片提取图像信号改变信息，并且将改变信息输出到改变信息应对处理单元605 ο图像信号改变信息包括图像信号突然改变的位置、改变量等。前面已描述了改变信息的具体示例。
[0125]例如，改变信息提取单元603以场景为单位提取图像信号改变信息。延迟单元604使解码单元602解码的移动图片流被延迟输入到改变信息应对处理单元605，直到改变信息提取单元603已提取场景改变信息，并且可以对相应场景执行处理。
[0126]改变信息应对处理单元605基于从改变信息提取单元603提供的改变信息执行缓和移动图片流上的图像信号的突然改变的处理。例如，改变信息应对处理单元605通过使图像信号突然改变的位置的图像信号通过低通滤波器来去除或抑制高频分量。
[0127]已被改变信息应对处理单元605处理的移动图片流被显示在诸如液晶显示面板(图中未示出)的HDR功能显示器上。由于在使用HDR功能显示器显示的HDR移动图片中抑制了图像信号的突然改变，因此可以防止诸如感觉不适的对观察者的健康危害。
[0128]此外，本说明书的技术可以具有诸如以下配置的 配置。
[0129](I) 一种图像处理装置，包括:改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
[0130](2)根据⑴所述的图像处理装置，进一步包括编码单元，其对移动图片流编码，其中除了图像信号改变信息之外，所述输出单元输出所述编码单元编码之后的移动图片流。
[0131](3)根据(I)所述的图像处理装置，其中所述改变信息提取单元提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(Cd/m2)、内容亮度(％)、或者膝状曲线压缩期间的膝状位置信息。
[0132](4)根据⑴所述的图像处理装置，其中所述输出单元输出在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0133](5)根据(4)所述的图像处理装置，其中所述改变信息提取单元以场景为单位提取移动图片流的图像信号改变信息，并且所述输出单元通过将改变信息设置在移动图片流的场景的首部或者使改变信息与场景的首部相关联来输出每个场景的改变信息。
[0134](6)根据(4)所述的图像处理装置，其中所述改变信息提取单元提取值逐渐改变的改变信息，以及所述输出单元通过将改变信息设置在移动图片流的图像信号突然改变的位置之前和之后或者使改变信息与其相关联来进行输出。
[0135](7)根据(4)所述的图像处理装置，其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及所述输出单元输出改变信息作为移动图片流的元数据。
[0136](8)根据(I)所述的图像处理装置，其中所述输出单元沿传输路径发送移动图片流和改变信息。
[0137](9)根据⑶所述的图像处理装置，其中所述改变信息提取单元以场景为单位从移动图片流提取改变信息，以及所述输出单元在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SEI。
[0138](10)根据(8)所述的图像处理装置，其中所述改变信息提取单元提取值逐渐改变的改变信息，以及所述输出单元传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。
[0139](11)根据(8)所述的图像处理装置，其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及所述输出单元传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据等的改变信息。
[0140](12) 一种图像处理方法，包括:提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出移动图片流和图像信号改变信息。
[0141](13) 一种图像处理装置，包括:输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。
[0142](14)根据(13)所述的图像处理装置，进一步包括解码单元，其对所述输入单元输入的移动图片流解码，其中所述改变信息应对处理单元基于改变信息对所述解码单元解码之后的移动图片流执行应对处理。
[0143](15)根据(13)所述的图像处理装置，其中所述输入单元输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。
[0144](16)根据(13)所述的图像处理装置，进一步包括改变信息恢复单元，其从所述输入单元输入的信息中恢复图像信号改变信息。
[0145](17)根据(16)所述的图像处理装置，其中所述改变信息恢复单元恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。
[0146](18)根据(16)所述的图像处理装置，其中所述改变信息恢复单元通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。
[0147](19)根据(16)所述的图像处理装置，其中所述改变信息恢复单元从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。
[0148](20)根据(13)所述的图像处理装置，其中所述改变信息应对处理单元基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0149](21) 一种图像处理方法，包括:除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及基于改变信息对输入的移动图片流执行应对处理。
[0150](22) 一种图像处理系统，包括:图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
[0151]本领域技术人员应当理解，根据设计需要和其他因素，可以进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内。
【主权项】
1.一种图像处理装置，包括: 改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及 输出单元，其输出移动图片流和图像信号改变信息。2.根据权利要求1所述的图像处理装置，进一步包括: 编码单元，其对移动图片流编码， 其中除了图像信号改变信息之外，所述输出单元输出所述编码单元编码之后的移动图片流。3.根据权利要求1所述的图像处理装置， 其中所述改变信息提取单元提取以下至少之一作为图像信号改变信息:在预定监视器上显示移动图片流时的色域、或者显示亮度(cd/m2)、内容亮度(％)、或者膝状曲线压缩期间的膝状位置信息。4.根据权利要求1所述的图像处理装置， 其中所述输出单元沿传输路径发送移动图片流和改变信息。5.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元以场景为单位从移动图片流提取改变信息，以及其中所述输出单元在与移动图片流对应的场景的首部共同传输关于每个场景的改变信息的SEI。6.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元提取值逐渐改变的改变信息，以及其中所述输出单元传输在移动图片流的图像信号突然改变的位置之前和之后的改变信息作为元数据。7.根据权利要求4所述的图像处理装置， 其中所述改变信息提取单元提取包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息，以及 其中所述输出单元传输作为移动图片流的SEI或TS描述符，或者MP4包的元数据的改变信息。8.一种图像处理方法，包括: 提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及 输出移动图片流和图像信号改变信息。9.一种图像处理装置，包括: 输入单元，除了在图像信号突然改变的位置处的图像信号改变信息之外，其输入移动图片流；以及 改变信息应对处理单元，其基于改变信息对输入的移动图片流执行应对处理。10.根据权利要求9所述的图像处理装置，进一步包括: 解码单元，其对所述输入单元输入的移动图片流解码， 其中所述改变信息应对处理单元基于改变信息对所述解码单元解码之后的移动图片流执行应对处理。11.根据权利要求9所述的图像处理装置， 其中所述输入单元输入在移动图片流的图像信号突然改变的位置之前的位置处的改变信息。12.根据权利要求9所述的图像处理装置，进一步包括 改变信息恢复单元，其从所述输入单元输入的信息中恢复图像信号改变信息。13.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元恢复移动图片流的以场景为单位提取并且设置在场景的首部或者与场景的首部相关联的改变信息。14.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元通过逐渐改变值来从设置在图像信号突然改变的位置之前和之后或者与其相关联的元数据中恢复改变信息。15.根据权利要求12所述的图像处理装置， 其中所述改变信息恢复单元从移动图片流的元数据中恢复包括在图像信号突然改变的后继位置之前的时间量或帧数目以及在该位置处的图像信号的改变量的改变信息。16.根据权利要求9所述的图像处理装置， 其中所述改变信息应对处理单元基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。17.一种图像处理方法，包括: 除了在图像信号突然改变的位置处的图像信号改变信息之外，输入移动图片流；以及 基于改变信息对输入的移动图片流执行应对处理。18.一种图像处理系统，包括: 图像供给设备，除了在图像信号突然改变的位置处的图像信号改变信息之外，其供给移动图片流；以及 图像应用设备，其基于改变信息执行抑制移动图片流的图像信号中的突然改变的处理。
【专利摘要】本公开涉及图像处理装置、图像处理方法和图像处理系统。根据本公开的图像处理装置包括：改变信息提取单元，其提取在移动图片流的图像信号突然改变的位置处的图像信号改变信息；以及输出单元，其输出移动图片流和图像信号改变信息。
【IPC分类】H04N5/232
【公开号】CN104902164
【申请号】CN201510088681
【发明人】服部忍, 葛西启文, 金井健一, 津留卓己, 浜田俊也, 江藤博昭
【申请人】索尼公司
【公开日】2015年9月9日
【申请日】2015年2月26日
【公告号】US20150256846
最新回复(0)