一种视频场景的识别方法和装置的制造方法

一种视频场景的识别方法和装置的制造方法
【技术领域】
[0001]本发明涉及图像处理技术领域，特别是涉及一种视频场景的识别方法和一种视频场景的识别装置。
【背景技术】
[0002]在众多图像处理的相关领域，视频的场景识别是一个比较常见的问题，例如，视频版权的审核等。
[0003]通常的视频场景识别办法是:首先，提取视频中各视频帧的图像特征来刻画场景，也即用图像特征来表征视频，然后用已经训练好的分类器对视频的图像特征进行识别和分类，不同的类别对应不同的视频场景，从而可以实现对视频场景的识别。分类器的训练可以是首先采集不同种类的样本图像，对不同种类的样本图像提取图像特征，然后利用提取的图像特征及样本图像的种类对分类器进行训练，常见的分类器有SVM，贝叶斯，逻辑回归、KNN 等。
[0004]然而，上述识别方法中可能会由于分类器的分类精度不高而导致对视频场景的分类准确度不高，鲁棒性不强。
[0005]因此，目前需要本领域技术人员迫切解决的一个技术问题就是:如何提高视频场景识别的准确度。

【发明内容】

[0006]本发明实施例所要解决的技术问题是提供一种视频场景的识别方法，能够提高视频场景识别的准确度。
[0007]相应的，本发明实施例还提供了一种视频场景的识别装置，用以保证上述方法的实现及应用。
[0008]为了解决上述问题，本发明公开了一种视频场景的识别方法，包括:
[0009]提取待识别视频的视频帧；
[0010]采用两级级联分类器对所述视频帧进行两级分类；
[0011]将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。
[0012]进一步，所述采用两级级联分类器对所述视频帧进行两级分类，包括:
[0013]采用一级分类器对所述视频帧进行一级分类；
[0014]当满足指定一级类别对应的分类条件时，采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类，所述指定一级类别对应的分类条件至少包括所述待识别视频中至少一个视频帧属于所述指定一级类别；
[0015]所述将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景，包括:
[0016]当满足指定二级类别对应的分类条件时，确定所述待识别视频的场景为所述指定二级类别对应的场景，所述指定二级类别对应的分类条件至少包括所述待识别视频中的至少一个视频帧属于所述指定二级类别；
[0017]其中，所述指定二级类别为所述指定一级类别的子类，不同二级类别对应不同的场景。
[0018]进一步，在所述采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类之前，还包括:
[0019]利用正样本及负样本对两类分类器进行训练获得所述二级分类器，其中，所述正样本为属于所述指定二级类别的样本图像，所述负样本为不属于所述指定二级类别的样本图像。
[0020]进一步，所述负样本为在训练所述一级分类器时使用的样本中，所述一级分类器误判为所述指定一级类别的样本。
[0021]进一步，所述指定一级类别对应的分类条件还包括:所述至少一个视频帧属于所述指定一级类别的置信度高于阈值。
[0022]进一步，所述提取待识别视频的视频帧，包括:
[0023]在所述待识别视频中按预设时间间隔提取关键帧作为所述视频帧。
[0024]本发明实施例还提供了一种视频场景的识别装置，包括:
[0025]帧提取单元，用于提取待识别视频的视频帧；
[0026]两级分类单元，用于采用两级级联分类器对所述视频帧进行两级分类；
[0027]场景确定单元，用于将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。
[0028]进一步，所述两级分类单元包括:
[0029]一级分类子单元，用于采用一级分类器对所述视频帧进行一级分类；
[0030]二级分类子单元，用于当满足指定一级类别对应的分类条件时，采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类，所述指定一级类别对应的分类条件至少包括所述待识别视频中至少一个视频帧属于所述指定一级类别；其中，所述指定二级类别为所述指定一级类别的子类，不同二级类别对应不同的场景；
[0031]场景确定单元，具体用于当满足指定二级类别对应的分类条件时，确定所述待识别视频的场景为所述指定二级类别对应的场景，所述指定二级类别对应的分类条件至少包括所述待识别视频中的至少一个视频帧属于所述指定二级类别。
[0032]进一步，所示两级分类单元还包括:
[0033]训练子单元，用于在所述二级分类子单元采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类之前，利用正样本及负样本对两类分类器进行训练获得所述二级分类器，其中，所述正样本为属于所述指定二级类别的样本图像，所述负样本为不属于所述指定二级类别的样本图像。
[0034]进一步，所述负样本为在训练所述一级分类器时使用的样本中，所述一级分类器误判为所述指定一级类别的样本。
[0035]进一步，所述指定一级类别对应的分类条件还包括:所述至少一个视频帧属于所述指定一级类别的置信度高于阈值。
[0036]进一步，所述帧提取单元，具体用于在所述待识别视频中按预设时间间隔提取关键帧作为所述视频帧。
[0037]与现有技术相比，本发明实施例包括以下优点:
[0038]本发明实施例通过采用级联分类器对待识别视频的视频帧进行逐级分类，将最终确定出的类别对应的场景作为待识别视频的场景，该方法相比较现有技术提高了视频场景识别的准确度。
[0039]而且，通过提取待识别视频的关键帧进行识别，提高了识别处理速度。
【附图说明】
[0040]图1是本发明的一种视频场景的识别方法实施例的步骤流程图；
[0041]图2是本发明中一种采用级联分类器对视频帧进行两级级分类的方法实施例的步骤流程图；
[0042]图3是本发明中另一种采用级联分类器对视频帧进行两级分类的方法实施例的步骤流程图；
[0043]图4是本发明的一种视频场景的识别装置实施例的结构框图；
[0044]图5是本发明中一种两级分类单元实施例的结构框图；
[0045]图6是本发明中另一种两级分类单元实施例的结构框图。
【具体实施方式】
[0046]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0047]参照图1，示出了本发明的一种视频场景的识别方法实施例的步骤流程图，具体可以包括如下步骤:
[0048]步骤101，提取待识别视频的视频帧。
[0049]本步骤中，视频场景的识别装置可以提取待识别视频的全部视频帧；也可以只提取部分视频帧，以加快识别速度。具体的，该装置可以按预设时间间隔在待识别视频中提取关键帧作为后续进行分类的视频帧。
[0050]步骤102，采用两级级联分类器对视频帧进行两级分类。
[0051]本实施例中，视频场景的识别装置预先训练有两级级联分类器，可以对视频帧图像进行两级分类，每一级分类器对应的分类类别是其上一级分类器对应分类类别的子类另IJ，最低一级的分类类别与视频场景一一对应。该级联分类器的级数至少可以为两级。
[0052]通过采用级联分类器可以对视频进行更精细准确的场景识别。
[0053]其中，每一级分类器的训练方法可以相同，均可以利用采集的对应类别的样本图像进行训练获得，具体训练方法与现有技术类似，此处不再赘述。
[0054]步骤103，将两级分类后确定出的类别所对应的场景作为待识别视频的场景。
[0055]在级联分类器确定出待识别视频的视频帧最终的或最低级别的分类类别后，即可将该类别对应的视频场景作为待识别视频的场景。
[0056]本发明实施例通过采用级联分类器对待识别视频的视频帧进行逐级分类，将最终确定出的类别对应 的场景作为待识别视频的场景，该方法相比较现有技术实现了对视频帧更精细准确的分类，提高了视频场景识别的准确度。
[0057]而且，通过提取待识别视频的关键帧进行识别，提高了识别处理速度。
[0058]在本发明的另一实施例中，采用级联分类器对视频帧进行两级分类的过程，如图2所示，可以包括以下步骤:
[0059]步骤201，采用一级分类器对视频帧进行一级分类。
[0060]本实施例中，以级联分类器包括一级分类器和二级分类器为例进行说明，一级分类器对应的分类类别记为一级类别，二级分类器对应的分类类别记为二级类别，二级类别为一级类别的子类别，不同二级类别对应不同的场景。
[0061]视频场景识别装置预先通过采集一级类别(如1000种类别)对应的大量样本图像，然后利用样本图像进行分类器训练，获得一级分类器，同理，通过采集各二级类别对应的大量样本图像，然后利用样本图像进行分类器训练，获得二级分类器。
[0062]在本步骤中，该视频场景识别装置首先采用一级分类器对待识别视频的视频帧进行一级分类，该分类过程与现有技术中采用分类器进行图像分类的过程类似，此处不再赘述。
[0063]步骤202，当满足指定一级类别对应的分类条件时，采用指定一级类别对应的二级分类器对待识别视频的视频帧进行二级分类。
[0064]本实施例还可以设置每个级别的分类类别对应的分类条件，例如对于一级类别中的某一分类类别，记为指定一级类别，对应的分类条件至少包括待识别视频中至少一个视频帧属于该指定一级类别，也即待识别视频中只要有一个视频帧属于该指定一级类别，则认为该待识别视频属于该指定一级类别；该分类条件还可以进一步包括待识别视频中至少一个视频帧属于该指定一级类别的置信度高于阈值。该置信度是视频帧属于某一一级类别的置信度，可以在一级分类器进行分类时获得。
[0065]当待识别视频的视频帧满足指定一级类别对应的分类条件时，进一步采用该指定一级类别的下一级分类器也即二级分类器对待识别视频的视频帧进行二级分类。
[0066]该二级分类的过程与一级分类类似。
[0067]在进行二级分类时，也可以设定指定二级类别的分类条件，例如，待识别视频中的至少一个视频帧属于指定二级类别。当待识别视频的视频帧满足该指定二级类别的分类条件时，确定该待识别视频属于该指定二级类别。
[0068]然后，执行前述步骤103将两级分类后确定出的类别所对应的场景作为待识别视频的场景，具体的，当满足指定二级类别对应的分类条件时，确定待识别视频的场景为指定二级类别对应的场景。
[0069]在另一实施例中，如图3所示，在采用指定一级类别对应的二级分类器对待识别视频的视频帧进行二级分类之前，还可以包括:
[0070]步骤301，利用正样本及负样本对两类分类器进行训练获得二级分类器，其中，正样本为属于指定二级类别的样本图像，负样本为不属于指定二级类别的样本图像。
[0071]本实施例中，在采用一级分类器对视频帧进行一级分类后，对二级分类器进行训练，该二级分类器为一两类分类器。
[0072]该两类分类器通过采集正负样本，并利用正负样本对两类分类器进行训练获得。两类分类器对应的两分类类别即指定二级类别及非指定二级类别。其中，正样本为属于指定二级类别的样本图像，负样本为不属于指定二级类别的样本图像。
[0073]在另一实施例中，该负样本可以是在训练一级分类器时使用的样本中，一级分类器误判为指定一级类别的样本
[0074]获得负样本的过程可以是:首先采用一级类别(如1000种类别)对应的大量样本进行分类器训练，获得一级分类器，然后用获得的一级分类器对训练样本进行分类测试，一级分类器测试时误判为指定一级类别的样本即可作为二级分类器的负样本。
[0075]另外，在训练获得二级分类器后，还可以对训练好的一级和二级分类器作为级联分类器进行测试，只有当两级分类器均判为指定一级类别的样本才可确定该样本为指定一级类别的样本。在获得二级分类器后，再执行上述步骤202采用指定一级类别对应的二级分类器对待识别视频的视频帧进行二级分类。
[0076]在一具体实例中，假设在提取一段待识别视频的N张视频帧后，利用CNN训练ImageNet数据库(1000种类别，包括篮球)作为一级分类器，将训练好的模型依次识别N张视频帧。如果该待识别视频中存在一张视频帧被一级分类器识别为“篮球”类别，且置信度在top-30中，则确定该待识别视频对应的指定一级类别为篮球类别，该待识别视频为篮球视频。
[0077]然后，将一级分类器误检的样本，也即一级分类器识别为不属于篮球类别的待识别视频的视频帧作为负样本，预先采集的NBA场景图像作为正样本，利用CNN训练一个两类分类器作为二级分类器，将训练好的二级分类器对一级分类器识别为篮球类别的N张视频帧依次分类。如果N张视频帧中存在一张视频帧的图像被二级分类器识别为NBA类别，则确定该待识别视频对应的指定二级类别为NBA类别，该待识别视频为NBA视频，该待识别视频的场景记为NBA场景。
[0078]本实施例通过采用两级级联分类器对待识别视频进行分类检测，提高了视频场景的识别准确率，而且，将对视频的处理转化为对N张视频帧的处理，加快了处理速度。
[0079]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0080]参照图4，示出了本发明一种视频场景的识别装置实施例的结构框图，具体可以包括如下单元:
[0081]帧提取单元401，用于提取待识别视频的视频帧。
[0082]两级分类单元402，用于采用两级级联分类器对所述视频帧进行两级分类。
[0083]场景确定单元403，用于将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。
[0084]本发明实施例通过上述单元采用级联分类器对待识别视频的视频帧进行逐级分类，将最终确定出的类别对应的场景作为待识别视频的场景，该装置相比较现有技术提高了视频场景识别的准确度。
[0085]而且，通过提取待识别视频的关键帧进行识别，提高了识别处理速度。
[0086]上述帧提取单元401，具体可以用于在所述待识别视频中按预设时间间隔提取关键帧作为所述视频帧。
[0087]在本发明的另一实施例中，如图5所示，两级分类单元402可以进一步包括:
[0088]一级分类子单元501，用于采用一级分类器对所述视频帧进行一级分类。
[0089]二级分类子单元502，用于当满足指定一级类别对应的分类条件时，采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类，所述指定一级类别对应的分类条件至少包括所述待识别视频中至少一个视频帧属于所述指定一级类别；其中，所述指定二级类别为所述指定一级类别的子类，不同二级类别对应不同的场景。
[0090]其中，指定一级类别对应的分类条件还可以包括:所述至少一个视频帧属于所述指定一级类别的置信度高于阈值。
[0091]场景确定单元403，具体可以用于当满足指定二级类别对应的分类条件时，确定所述待识别视频的场景为所述指定二级类别对应的场景，所述指定二级类别对应的分类条件至少包括所述待识别视频中的至少一个视频帧属于所述指定二级类别。
[0092]在另一实施例中，如图6所示，两级分类单元402还可以包括:
[0093]训练子单元601，用于在所述二级分类子单元502采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类之前，利用正样本及负样本对两类分类器进行训练获得所述二级分类器，其中，所述正样本为属于所述指定二级类别的样本图像，所述负样本为不属于所述指定二级类别的样本图像。
[0094]其中，负样本为在训练所述一级分类器时使用的样本中，所述一级分类器误判为 所述指定一级类别的样本。
[0095]该训练子单元601还可以用于利用收集的样本训练获得一级分类器。
[0096]对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0097]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0098]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0099]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0100]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0101]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0102]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0103]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0104]以上对本发明所提供的一种视频场景的识别方法和一种视频场景的识别装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种视频场景的识别方法，其特征在于，包括: 提取待识别视频的视频帧； 采用两级级联分类器对所述视频帧进行两级分类； 将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。2.根据权利要求1所述的方法，其特征在于，所述采用两级级联分类器对所述视频帧进行两级分类，包括: 采用一级分类器对所述视频帧进行一级分类； 当满足指定一级类别对应的分类条件时，采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类，所述指定一级类别对应的分类条件至少包括所述待识别视频中至少一个视频帧属于所述指定一级类别； 所述将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景，包括:当满足指定二级类别对应的分类条件时，确定所述待识别视频的场景为所述指定二级类别对应的场景，所述指定二级类别对应的分类条件至少包括所述待识别视频中的至少一个视频帧属于所述指定二级类别； 其中，所述指定二级类别为所述指定一级类别的子类，不同二级类别对应不同的场景。3.根据权利要求2所述的方法，其特征在于，在所述采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类之前，还包括: 利用正样本及负样本对两类分类器进行训练获得所述二级分类器，其中，所述正样本为属于所述指定二级类别的样本图像，所述负样本为不属于所述指定二级类别的样本图像。4.根据权利要求3所述的方法，其特征在于，所述负样本为在训练所述一级分类器时使用的样本中，所述一级分类器误判为所述指定一级类别的样本。5.根据权利要求2所述的方法，其特征在于，所述指定一级类别对应的分类条件还包括:所述至少一个视频帧属于所述指定一级类别的置信度高于阈值。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述提取待识别视频的视频帧，包括: 在所述待识别视频中按预设时间间隔提取关键帧作为所述视频帧。7.一种视频场景的识别装置，其特征在于，包括: 帧提取单元，用于提取待识别视频的视频帧； 两级分类单元，用于采用两级级联分类器对所述视频帧进行两级分类； 场景确定单元，用于将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。8.根据权利要求7所述的装置，其特征在于，所述两级分类单元包括: 一级分类子单元，用于采用一级分类器对所述视频帧进行一级分类； 二级分类子单元，用于当满足指定一级类别对应的分类条件时，采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类，所述指定一级类别对应的分类条件至少包括所述待识别视频中至少一个视频帧属于所述指定一级类别；其中，所述指定二级类别为所述指定一级类别的子类，不同二级类别对应不同的场景； 场景确定单元，具体用于当满足指定二级类别对应的分类条件时，确定所述待识别视频的场景为所述指定二级类别对应的场景，所述指定二级类别对应的分类条件至少包括所述待识别视频中的至少一个视频帧属于所述指定二级类别。9.根据权利要求8所述的装置，其特征在于，所示两级分类单元还包括: 训练子单元，用于在所述二级分类子单元采用所述指定一级类别对应的二级分类器对所述待识别视频的视频帧进行二级分类之前，利用正样本及负样本对两类分类器进行训练获得所述二级分类器，其中，所述正样本为属于所述指定二级类别的样本图像，所述负样本为不属于所述指定二级类别的样本图像。10.根据权利要求9所述的装置，其特征在于，所述负样本为在训练所述一级分类器时使用的样本中，所述一级分类器误判为所述指定一级类别的样本。11.根据权利要求8所述的装置，其特征在于，所述指定一级类别对应的分类条件还包括:所述至少一个视频帧属于所述指定一级类别的置信度高于阈值。12.根据权利要求7至11中任意一项所述的装置，其特征在于， 所述帧提取单元，具体用于在所述待识别视频中按预设时间间隔提取关键帧作为所述视频帧。
【专利摘要】本发明实施例提供了一种视频场景的识别方法和装置。一种视频场景的识别方法，包括：提取待识别视频的视频帧；采用两级级联分类器对所述视频帧进行两级分类；将两级分类后确定出的类别所对应的场景作为所述待识别视频的场景。本发明实施例通过采用级联分类器对待识别视频的视频帧进行逐级分类，将最终确定出的类别对应的场景作为待识别视频的场景，该方法相比较现有技术提高了视频场景识别的准确度。
【IPC分类】G06K9/62
【公开号】CN104881675
【申请号】CN201510222342
【发明人】兰细鹏, 王涛, 张彦刚
【申请人】北京奇艺世纪科技有限公司
【公开日】2015年9月2日
【申请日】2015年5月4日