使用音频对象的时间变化的音频对象聚类的制作方法

使用音频对象的时间变化的音频对象聚类的制作方法
【技术领域】
[0001] 本发明总体上涉及音频对象聚类，更具体地，涉及用于在音频对象聚类中使用音 频对象的时间变化的方法和系统。
【背景技术】
[0002] 传统上，音频内容W基于声道（channel based)的格式被创建和存储。在此使用 的术语"音频声道"或"声道"是指通常具有预定义物理位置的音频内容。例如，立体声、环 绕5. 1、环绕7. 1等都是用于音频内容的基于声道的格式。近来，很多传统的多声道系统已 经被扩展为支持一种新型格式，该种格式包括声道和音频对象二者。在此使用的术语"音 频对象"或简称"对象"是指在声场中存在特定持续时间的个体音频元素。一个音频对象 可W是动态的也可W是静态的。例如，音频对象可W是人、动物或者能够充当声源的任何 其他元素。音频对象和声道可W被分开发送，继而由重现系统动态使用W便基于回放设备 的配置来自适应地重建创作意图。作为示例，在称为"自适应音频内容"（adaptive audio content)的格式中，可W存在一个或多个音频对象W及一个或多个"静态环境声"（audio bed),静态环境声是将W预定义的、固定的位置进行重现的声道。
[0003] 通过创建更具沉浸感的声场W及精准地控制离散的音频对象（无需考虑回放设 备的特定配置），基于对象的音频内容相对于传统基于声道的音频内容而言代表着显著的 进步。例如，在电影的音轨中可W包含多个不同声音元素，W对应于屏幕上画面、对话、噪声 和音效，该些音效从画面上的不同位置发出，并且与背景音乐和环境音效结合W创建整体 的听觉体验。
[0004] 然而，基于对象的音频内容中的大量音频信号（静态环境声和音频对象）给音频 内容的编码和分发带来了新的挑战。将会理解，在很多情况下，诸如在经由蓝光光碟、广播 (蓝线、卫星和陆地广播）、移动网络、互联网机顶盒（0TT)或者因特网的分发中，用于传输 和处理所有静态环境声、音频对象和相关信息的带宽和/或其他资源可能是有限的。尽管 可W使用音频编码和压缩技术来减小待处理信息的量，但是该些技术在某些情况下是不适 用的，特别是对于复杂的场景W及带宽非常有限的网络（诸如，移动网络）。而且，音频编 码/压缩技术只能够通过考虑单声道或者声道配对内的兀余来降低比特率。对于基于对象 的音频内容，很多空间兀余并未被纳入考虑，诸如音频对象之间的空间位置重叠和空间掩 蔽效应（maskeffect)。
[0005]为了利用空间兀余性来进一步降低资源需求，已经提供向音频对象应用聚类 (clustering)过程，使得得到的每个类能够代表一个或多个音频对象。通常，一个类可W包 含/合并彼此足够接近的多个音频对象（静态环境声可W作为具有预定义位置的音频对 象而被处理）。一般而言，在音频对象聚类中，需要考虑若干基本的标准。例如，应当准确地 表征和建模原始内容的空间特性，W便保持总体空间感。另外，在聚类过程中应当避免听觉 瑕疵或者对后续处理的任何问题/挑战。然而，在空间对象聚类的已知尝试中，聚类通常是 在每个峽的基础上执行的。例如，聚类中也（centroid)是针对每个峽而独立确定的，没有 考虑音频对象随时间的变化。因此，聚类过程的峽间稳定性相对较低，该很可能在呈现音频 对象类时引起听觉瑕疵。
[0006] 有鉴于此，本领域中需要一种支持更加稳定的音频对象聚类的技术方案。

【发明内容】

[0007] 为了解决上述问题，本发明提出一种用于音频对象聚类的方法和系统。
[0008] 在一个方面，本发明的实施例提供一种用于在音频对象聚类中使用音频对象的时 间变化的方法。所述方法包括：获取与所述音频对象相关联的音轨的至少一个片段，所述至 少一个片段包含所述音频对象；基于所述音频对象的至少一个属性，估计所述音频对象在 所述至少一个片段的持续时间上的变化；W及至少部分地基于估计的所述变化，调整所述 音频对象在所述音频对象聚类中对聚类中也的确定的贡献。在方面的实施例还包括对应的 计算机程序产品。
[0009] 在另一方面，本发明的实施例提供一种用于在音频对象聚类中使用音频对象的时 间变化的系统。所述系统包括：片段获取单元，被配置为获取与所述音频对象相关联的音轨 的至少一个片段，所述至少一个片段包含所述音频对象；变化估计单元，被配置为基于所述 音频对象的至少一个属性，估计所述音频对象在所述至少一个片段的持续时间上的变化； W及惩罚单元，被配置为至少部分地基于估计的所述变化，调整所述音频对象在所述音频 对象聚类中对聚类中也的确定的贡献。
[0010] 通过下文描述将会理解，根据本发明的实施例，音频对象的时间变化可W被估计 并且在对音频对象进行聚类时被纳入考虑。例如，通过主要依赖于那些具有较小时间变化 的音频对象来确定聚类中也，能够有效地改善峽之间的对象向类的分配稳定性。也即，可W W-种更加稳定和一致的方式选择聚类中也。由此，可W在处理后的音频信号中避免听觉 上的瑕疵。
【附图说明】
[0011] 通过参考附图阅读下文的详细描述，本发明实施例的上述W及其他目的、特征和 优点将变得易于理解。在附图中，W示例而非限制性的方式示出了本发明的若干实施例，其 中：
[0012] 图1示出了已知的音频对象聚类过程中的不稳定问题的示意图；
[0013] 图2示出了根据本发明的示例实施例的用于在音频对象聚类中使用音频对象的 时间变化的方法的流程图；
[0014] 图3示出了根据本发明的示例实施例的用于在音频对象聚类中使用音频对象的 时间变化的系统的框图；W及
[0015] 图4示出了适于实现本发明的示例实施例的计算机系统的框图。
[0016] 在各个附图中，相同或对应的标号表7]^相同或对应的部分。
【具体实施方式】
[0017] 下面将参考附图中示出的若干示例实施例来描述本发明的原理。应当理解，描述 该些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非W任何 方式限制本发明的范围。
[0018] 如上所述，在已知的音频对象聚类方案中，对象向类的分配有时是不稳定的。在此 所说的稳定的分配是指：音频对象（至少对于那些静态的对象而言）被一致地分配给具有 相同位置的聚类中也。对于具有固定位置的音频对象，对象向类的分配通常是由所选择的 聚类中也的位置确定的。如果中也的位置相对稳定，则对象向类的分配也将会比较稳定。相 反，如果聚类中也频繁地或者快速地从一个位置向另一个位置移动甚至跳跃，则峽之间的 对象向类的分配稳定性很可能降低，由此引入一些听觉上的瑕疵。
[0019] 图1示出了在已知的音频聚类过程中的不稳定性的一个示例。在所示的示例中， 将使用两个类来表示空间100中的H个音频对象101、102和103,其中音频对象101在空间 100的左前方，音频对象102在空间的右前方，并且音频对象103在空间100的前方中部。 在该种情况下，每个音频对象与重要性（importance)的值相关联，其指明各音频对象在音 频内容中的感知重要性。假设音频对象101和103的重要性值分别是1和1. 5,音频对象 102的重要性值在0. 5到1. 3之间变化。基于感知标准，音频对象103将总是被选作一个中 也，另一中也则在音频对象101与102之间切换。该样，音频对象101将在W位置（〇,〇,〇) 和化5,0,0)为中也的类之间切换。由此，音频对象101的感知位置将在空间100的左前 部和中前部之间跳跃，该将在处理后的音频信号中引起听觉上的瑕疵。
[0020] 为了稳定对象向类的分配，根据本发明的示例实施例，在确定聚类中也时将估计 各音频对象的时间变化。根据本发明的示例实施例，时间变化可W基于音频对象的一个或 多个相关属性来估计。继而，例如，与那些具有较大时间变化的音频对象相比，在峽之间的 时间变化较小的音频对象可W被赋予被选为聚类中也的更高概率。通过惩罚时间变化，根 据本发明的示例实施例，可更加稳定和一致的方式来选择聚类中也。相应地，对象向类 的分配W及峽间的稳定性都会得到改善。
[0021] 现在参考图2,其示出了根据本发明的示例实施例的用于在音频对象聚类中使用 音频对象的时间变化的方法200的流程图。
[0022] 如图所示，在步骤S201，获得与音频对象相关联的音轨（audiotrack)的至少一 个片段（segment),使得获得的片段包含所处理的音频对象。如已知的，一个音轨可W包含 一个或多个音频对象。为了准确地估计每个音频对象的时间变化，在某些示例实施例中，可 W将音轨分为多个片段，每个片段由一个或多个峽（化ame)组成。在理想情况中，所得的每 个片段包含一个单独的音频对象，但该不是必须的。
[0023] 在某些示例实施例中，可W基于音频对象的特征的一致性来对音轨进行分段。在 该些实施例中，假设；在多数情况下，一个完整音频对象的特征（例如，频谱）是一致的，而 不同音频对象的特征彼此不同。相应地，可W应用基于特征一致性的分段来将音轨划分为 不同的片段，使得每个片段包含一个单独的音频对象。作为示 例，在某些示例实施例中，可 W在音轨内选择一个或多个时间戳。对于每个时间戳t，通过比较特征在该时间戳t之前和 之后两个时间窗中的值，来衡量给定特征的一致性。如果测量的特征一致性低于预定阔值， 则在该时间戳处检测到潜在的边界。用于衡量两个时间窗之间的特征一致性的度量可W 包括但不限于；相对赌（KuHback Leibler Divergence, KLD)、贝叶斯信息准则炬ayesian In化rmation hiterion)W及诸如欧拉距离、余弦距离、马氏距离等多个简单的度量。
[0024]附加地或备选地，在某些示例实施例中，可W基于音频对象的一个或多个感知属 性（perceptualpropedy)来实现对音轨的分段。在此使用的术语"感知属性"是指能够 表明音频对象的感知水平的属性。感知属性的示例可W包括但不限于：音频对象的响度 (lOiKlness)、能量、感知重要性，等等。在此使用的术语"感知重要性"被用来衡量音频对象 在呈现音频内容时对于声学感知的重要程度。例如，在某些实施例中，用于量化音频对象的 感知重要性的度量可W包括但不限于局部响度和/或语义（音频类型）。局部响度是在考 虑音频场景中的其他音频对象的空间掩蔽效应的情况下感知到的响度度量。语义可W被用 于指示音频对象的音频内容类型（诸如，对话、音乐等）。感知重要性也可W通过其他任何 适当的方式确定。例如，它可由用户指定和/或在与音频内容相关联的元数据中被预定义。
[0025] 仅出于说明之目的，下面将描述响度W作为感知属性的示例。在包含音频对象的 音轨中，已经注意到：音频对象通常是稀疏的。换言之，在两个音频对象之间通常存在间 隙/静默。因此，在某些示例实施例中，可W检测静默，继而基于检测到的静默将音轨划分 为片段。为此，可W计算音轨中的每个峽的响度。继而对于每个峽，所计算的响度与一个阔 值进行比较W做出静默或非静默的决策。在某些示例实施例中，可W对获得的静默/非静 默结果应用平滑过程。例如，如果一个非静默峽的先前峽和后续峽都是静默的，则可W将该 非静默峽平滑为静默峽。接下来，可W将连续的非静默峽分组到一起，W形成包含相应音频 对象的一个或多个片段。
[0026] 备选地或附加地，可W基于一个或多个预定义的时间窗对音轨进行分段。一个预 定义的时间窗具有特定的长度（例如，1砂）。基于预定义时间窗的分段可W提供粗略的结 果，例如，一个长音频对象可能被分割为多个片段，或者获得的片段可能包含不同的音频对 象，但该仍然能够为时间变化估计提供某些有价值的信息。另一个益处在于，该只需要应用 较短的前向（100k-址ead)窗口，而不必引入任何其他的计算。
[0027] 应当注意，上面所描述的示例实施例仅仅出于说明目的，并非限制本发明的范围。 根据本发明的示例实施例，可W利用各种分段技术将音轨划分为包含相应音频对象的片 段，不论该些技术是目前已知的还是将来开发的。而且，取决于不同的应用和需求，该些分 段方法可W任意组合使用。此外，在某些备选实施例中，包含音频对象的片段可W由终端用 户来提供或指定，无需依赖于自动的分段过程。
[0028] 方法200继而进行到步骤S202,在此基于音频对象的至少一个属性，估计该音频 对象在所获得的音频片段的持续时间上的变化。
[0029] 根据本发明的示例实施例，可W使用音频对象的各种属性来估计该时间变化。例 女口，在某些示例实施例中，可W基于音频对象的一个或多个感知属性来估计时间变化。如上 所述，感知属性可W包括响度、能量、感知重要性或者能够指示音频对象的感知水平的任何 其他属性。根据本发明的示例实施例，可W通过估计音频对象的感知属性在相关联片段的 持续时间上的间断性或不连续性（discontinuity)，来估计该音频对象的时间变化。
[0030] 作为示例，在某些实施例中，可W估计音频对象的响度的间断性，它指示响度在随 时间的变化程度。如已知的，响度可W充当重要的标准来衡量感知重要性，而感知重要性是 聚类中也选择的基础。具有较大响度间断性的音频对象可能会导致聚类中也的切换。换言 么此时，选择的中也可能从一个位置跳转到另一个位置，该可能降低对象向类的分配稳定 性。应当注意，在本发明的上下文中，响度包括全带（化11-band)响度，也包括局部响度（其 将音频对象之间的掩蔽效应纳入考虑）。
[0031] 可W使用一个或多个可测量的度量来表征音频对象的响度的间断性。例如，在某 些实施例中，可W计算响度的动态范围。响度的动态范围指示响度在片段的持续时间内的 最大值与最小值之间的改变幅度。在某些实施例中，响度的动态范围可W如下计算：
[0032]
[003引其中1。"和imi。分别表示响度在音频片段的持续时间内的最大值和最小值。
[0034] 附加地或备选地，在某些示例实施例中，响度的间断性估计可W包括估计感知属 性在片段持续时间上的跃迁频率（transition化equency)。跃迁频率（表示为f)指示响 度值在单位时间（例如，1砂）内从峰到谷或者从谷到峰的跃迁的次数。在某些示例实施例 中，可W将响度大于的峽视为峰，而将响度低于的峽 视为谷，其中a表示一个预定义的参数，其在某些实施例中可被设置为a=0.1。假设T表 示在单位时间内响度在峰谷之间的跃迁次数，跃迁频率f(其值在0到1之间）可W通过一 个双曲函数（sigmoid化nction)如下计算：
[00巧]
[0036] 其中af和bf表示双曲函数的预定义参数。
[0037] 根据本发明的示例性实施例，诸如动态范围和跃迁频率之类的度量可W单独使 用，也可W结合使用。例如，在某些实施例中，响度的动态范围r和跃迁频率f的值可被直 接用作对响度间断性的估计值。备选地，在某些实施例中，该些度量可W相互结合。例如， 可W如下该样基于动态范围r和跃迁频率f来计算音频对象的响度间断性：
[0038]d=Fj(r,f)
[0039] 其中Fd表示关于动态范围r和跃迁频率f的单调递增函数。作为另一示例，在某 些实施例中，响度间断性可W简单地计算为动态范围r和跃迁频率f的乘积：
[0040]Fd(r,f)=r*f
[0041] 应当注意，除动态范围和跃迁频率之外或者作为替代，可W估计其他度量来表征 响度的间断性。例如，在某些实施例中，可W估计响度在片段持续时间上的高阶统计量（例 如标准差）。而且，应当注意，上文描述的对间断性的估计同样适用于音频对象的任何其他 感知属性，诸如能量和感知重要性。
[0042] 根据本发明的示例性实施例，对音频对象的时间变化的估计还可W包括；估计音 频对象在相关联音频片段的持续时间上的空间速度。将会理解，空间速度可W指示音频对 象在空间中的移动速率，其中音频对象的移动可W是连续的移动，也可W是不连续的跃变。 一般而言，从峽间稳定性的角度考虑，在音频对象聚类中选择具有较低空间速度的那些音 频对象作为聚类中也将是有益的。
[0043] 特别地，已知的是；在基于对象的音频内容中，一个音频对象在每个时间戳的空间 位置可在元数据中被描述。因此，在某些实施例中，可W基于元数据描述的空间信息来计算 音频对象的空间速度。例如，假设[Pl，P2，'''Pj分别是音频对象在时间戳'''tj处 的空间位置。音频对象的空间速度可W计算如下：
[0044]
[0045] 其中N表示音频片段内的时间戳的数目。在某些示例实施例中，可W使用双曲函 数将空间速度的值规则化为在[0，1]之间变化的值，例如：
[0046]
[0047] 其中ay和by表示双曲函数的预定义参数。
[004引根据本发明的示例性实施例，时间变化的不同类型的度量诸如感知属性的间断性 和空间速度之类的可W独立地被用于控制音频对象聚类。备选地，在某些其他实施例中，不 同的时间变化度量可W结合，W表示音频对象在相关联片段的持续时间内的总体变化。在 某些示例实施例中，音频对象的总体时间变化可W是不同变化度量的线性加权和：
[0049]
[0050] 其中K表示时间变化度量的类型数目，Vk表示第k个变化度量，ak表示对应的权 重。特别地，作为示例，音频对象的感知属性间断性d和空间速度V可W通过W下方式结 合：
[0051] Vaii= ai*d+a2*v
[0052] 在某些实施例中，权重a1和a2均可设置为0. 5。其他任何适当的值也是可行的。
[0053] 继续参考图2,在步骤S203,至少部分地基于在步骤S202获得时间变化来调整音 频对象聚类过程，从而对音频对象做出"惩罚"。更具体地，根据本发明的示例实施例，估计 出的时间变化可被用来调整相关联的音频对象对于聚类过程中的聚类中也确定的贡献。
[0054] 例如，可W使用估计出的时间变化来调整音频对象被在音频对象聚类中被选择为 聚类中也的概率。在某些示例实施例中，可W使用"硬惩罚"，该意味着具有较大时间变化的 音频对象被选择为聚类中也的可能将被直接排除。在该样的实施例中，将步骤S202处估计 的变化与预定义的变化阔值进行比较。如果确定估计的 变化大于该变化阔值，则将相关联 音频对象排除在聚类中也的选择之外。换言之，该音频对象被选择为聚类中也的概率被直 接设置为零。
[00巧]在某些示例实施例中，除了估计出的音频对象的时间变化之外，在硬惩罚中还可W将一个或多个其他约束纳入考虑。例如，在某些实施例中，一个约束可W是：所考虑的音 频对象的预定义邻域内的至少一个音频对象，未从音频对象聚类的中也选择中被排除。换 言之，仅当给定的音频对象附近的至少一个音频对象仍有资格参选聚类中也时，该给定的 音频对象才可被排除。W此方式，可W避免在绘制被排除的音频对象时产生较大的空间误 差。在某些示例实施例中，邻域或者"可容忍"最大距离可W事先定义。
[0056] 备选地或附加地，在某些示例实施例中，可W在硬惩罚中使用的另一约束可W是： 如果给定的音频对象在音频片段的前一峽中未被选择作为聚类中也，则可W将该给定音频 对象从聚类中也选择中排除。该对应于聚类中也选择而言是有益的，因为如果将在先前峽 中被选作聚类中也的音频对象直接排除，则对象向类的分配可能是不稳定的。
[0057] 根据本发明的示例实施例，在音频对象的硬惩罚中还可W考虑很多其他的约束或 者因素。而且，在硬惩罚中使用的各种阔值例如可w动态地调整。另外，还可w进一步基于 场景的复杂性来执行硬惩罚，该将在下文详述。
[005引不同于硬惩罚，在步骤S203,在某些示例实施例中，也可W应用"软惩罚"。更具体 地，已知的是；各个音频对象的感知重要性对于聚类中也的选择而言是有影响的。也即，音 频对象对于聚类中也的确定所做出的贡献可W至少部分地基于该音频对象的感知重要性 来确定。如上所述，感知重要性可W由各种度量确定，包括但不限于局部响度、语义、用户输 入，等等。由此，在某些示例实施例中，软惩罚可W该样来执行；基于在步骤S202处估计的 音频对象的时间变化，来修改音频对象的感知重要性。
[0059] 为了计算修改的感知重要性，在某些示例实施例中，可W将一个增益应用于音频 对象的原始感知重要性，该增益是基于估计的时间变化来确定的。例如，可W将增益与原始 感知重要性相乘。一般而言，增益随着时间变化提高而降低（即，较高的惩罚）。在某些示 例实施例中，增益（表示为g)可W被计算为：
[0060] g=Fg(V)
[0061] 其中V表示音频对象的估计出的时间变化，Fg表示关于V的单调递减函数。在某 些实施例中，函数Fg可W定义如下：
[0062]
[0063] 其中P。表示一个预定义参数，其指示针对时间变化的惩罚程度。将会理解，在该 些实施例中，当惩罚程度P。非常小时，不论时间变化如何，计算出的增益都将逼近1。该意 味着时间变化对重要性估计的影响非常小。相反，当惩罚程度较大时，修改后的感知重要性 与时间变化的值将具有较高的相关。
[0064]除调整音频对象在聚类中也选择中的概率之外或者作为替代，还可W通过其他方 式惩罚时间变化，例如调整音频对象对聚类过程中的聚类中也更新的贡献。例如，音频可W 通过K均值聚类等算法被聚类，此时不存在一个显式的过程将音频对象选择为聚类中也， 或者聚类中也并不固定于音频对象的位置。在该种情况下，估计的时间变化仍然能够通过 调整相关联音频对象对聚类中也更新的贡献，来控制聚类过程。作为示例，软惩罚可W与聚 类过程相结合。最初，可W通过各种方式确定一个或多个聚类中也，例如通过随机选择、相 隔最远标准，等等。接下来，每个音频对象被分配到与最接近的中也相关联的类中。继而， 可W基于分配到类中的音频对象的加权平均来更新每个聚类中也，其中每个音频对象的权 重是其感知重要性。该过程可W重复直到收敛。如上所述，在某些示例实施例中，估计出的 时间变化可被用来调整音频对象的感知重要性。该样，对于每个音频对象而言，在确定该音 频对象对于聚类中也更新的贡献时，其时间变化被纳入考虑。
[0065] 应当理解，上文针对聚类中也选择而描述的所有特征同样适用于聚类中也的更 新。例如，在某些实施例中，也可W使用硬惩罚，从而将变化大于预定义阔值的音频对象排 除在聚类中也的更新之外。而且，一个或多个约束可W与时间变化结合使用。例如，一个约 束可W是：仅当具有高时间变化的音频对象的预定邻域内的至少一个音频对象没有从聚类 中也的确定（例如，聚类中也的更新）中被排除时，可W将该具有高时间变化的音频对象排 除。另一个示例约束可W是：如果具有高时间变化的音频对象在片段的先前峽中已经从聚 类中也的确定（例如，聚类中也的更新）中被排除，则可W排除该音频对象。
[0066] 根据本发明的示例实施例，除了估计出的音频对象的时间变化之外，在步骤S203 处惩罚对象变化时还可W考虑其他因素。例如，在某些实施例中，可W将与音频对象相关联 的场景的复杂性纳入考虑范畴。更具体地，已经发现：对于具有低场景复杂性的某些音频内 容，选择具有高时间变化的音频对象可能并不会造成不稳定的问题。在该种情况下，基于变 化的惩罚却可能增加音频对象聚类的空间误差。例如，对于具有5个输入音频对象和5个 输出类的音频内容而言，无需对音频对象的时间变化进行惩罚，因为可W在无需额外处理 的情况下解决问题。作为另一示例，如果有2个类用于5个音频对象，其中1个音频对象是 移动的而其他4个音频对象固定在相同/相近的位置，则无需惩罚移动的音频对象，因为 可W将该移动音频对象归为一类而将另外4个音频对象分组到另一个类中。
[0067] 为了避免对时间变化的不必要的惩罚，在某些示例实施例中，可W确定场景的复 杂性，该例如是根据场景中的音频对象的数目、输出类的数目、音频对象在场景中的分布情 况、音频对象的移动情况和/或任何其他有关的因素。继而，在步骤S203,对音频对象的惩 罚不仅可W基于估计的时间变化，还可W基于场景复杂性。换言之，音频对象对于聚类中也 的确定的贡献可W基于估计出的音频对象的时间变化W及确定的场景复杂性来调整。
[0068] -般地，根据本发明的示例实施例，可W向场景复杂性相对较高的音频内容应用 时间变化惩罚（此时聚类中也不稳定将造成问题），而不向那些场景复杂性较低的音频内 容应用。换言之，场景复杂性被用作指示，指明当聚类中也不稳定时引入潜在问题的概率。 特别地，基于场景复杂性的惩罚可W与硬惩罚、软惩罚或其结合一并使用。
[0069] 如上所述，在硬惩罚中，一个或多个约束可W与估计出的时间变化相结合。在某些 示例实施例中，在决定是否将给定的音频对象排除在聚类中也的确定之外时，可W添加与 场景复杂性有关的约束。例如，一个该样的约束可W是：音频内容的场景复杂性应当大于预 定义阔值。换言之，仅当音频对象与高复杂性的场景相关联时，才启动该音频对象从聚类中 也确定的排除。
[0070] 场景复杂性也可W与音频对象的软惩罚相关联。在某些示例实施例中，在对音频 对象的软惩罚中，用于修改所估计感知重要性的惩罚程度可W与场景复杂性相关。例如，表 示为P(sc)的惩罚程度可W定义为关于场景复杂性SrC的单调递增函数，例如：
[0071] P(SC)=P^SC
[0072] 其中P。表示预定义参数，其指示用于时间变化的惩罚程度。由此，在该些实施例 中，用于调整音频对象的原始感知重要性的增益g可W被调整为：
[0073]
[0074] 图3示出了根据本发明的示例实施例的用于在音频对象聚类中使用音频对象的 时间变化的系统300的框图。如图所示，系统300包括；片段获取单元301，被配置为获取 与所述音频对象相关联的音轨的至少一个片段，所述至少一个片段包含所述音频对象；变 化估计单元302,被配置为基于所述音频对象的至少一个属性，估计所述音频对象在所述至 少一个片段的持续时间上的变化；W及惩罚单元303,被配置为至少部分地基于估计的所 述变化，调整所述音频对象在所述音频对象聚类中对聚类中也的确定的贡献。
[0075] 在某些示例实施例中，所述片段获取单元301可W包括分段单元（未示出），其被 配置为基于W下至少一个对所述音轨进行分段：所述音频对象的特征的一致性；所述音频 对象的感知属性，所述感知属性指示所述音频对象的感知水平；w及预定义的时间窗。
[0076] 在某些示例实施例中，所述音频对象的所述至少一个属性包括所述音频对象的感 知属性，所述感知属性指示所述音频对象的感知水平。在该些实施例中，所述变化估计单元 302可W包括间断性估计单元（未示出），其被配置为估计所述感知属性在所述至少一个片 段的所述持续时间上的间断性。特别地，在某些示例性实施例中，所述间断性估计单元可被 配置为估计W下至少一个：所述感知属性在所述持续时间上的动态范围；所述感知属性在 所述持续时间上的跃迁频率；W及所述感知属性在所述持续时间上的高阶统计量。
[0077] 在某些示例实施例中，所述音频对象的所述感知属性包括W下至少一个；所述音 频对象的响度；所述音频对象的能量；W及所述音频对象的感知重要性。
[0078] 备选地或附加地，在某些示例实施例中，变化估计单元302可W包括速度估计单 元（未示出），其被配置为估计所述音频对象在所述至少一个片段的所述持续时间上的空 间速度 。
[0079] 在某些示例实施例中，所述惩罚单元303可被配置为；至少部分地基于估计的所 述变化，调整所述音频对象在所述音频对象聚类中被选择作为所述聚类中也的概率；或者 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对所述聚类中 也的更新的贡献。
[0080] 在某些示例实施例中，系统300可W进一步包括比较单元（未示出），被配置为将 估计的所述变化与预定义变化阔值进行比较。在该些实施例中，所述惩罚单元303可W包 括硬惩罚单元（未示出），其被配置为至少部分地基于所述比较单元做出的估计的所述变 化大于所述预定义变化阔值该一确定，在所述音频对象聚类中从所述聚类中也的所述确定 中排除所述音频对象。在某些示例实施例中，对所述音频对象的所述排除还基于一组约束， 所述一组约束包括W下至少一个：如果所述音频对象的预定义邻域内的至少一个音频对象 未从所述聚类中也的所述确定中被排除，则所述音频对象可被排除；W及如果所述音频对 象在所述至少一个片段的先前峽中已经从所述聚类中也的所述确定中被排除，则所述音频 对象可被排除。
[0081] 在某些示例实施例中，所述音频对象的所述贡献至少部分地基于对所述音频对象 的感知重要性的估计而确定。在该些实施例中，所述惩罚单元303可W包括软惩罚单元（未 示出），被配置为基于估计的所述变化来修改所述音频对象的所述感知重要性。
[0082] 在某些示例实施例中，系统300还可W包括；场景复杂性确定单元（未示出），被 配置为确定与所述音频对象相关联的场景的复杂性。在该些实施例中，所述惩罚单元303 可被配置为基于所述音频对象的估计的所述变化W及确定的所述场景的所述复杂性，来调 整所述音频对象的所述贡献。特别地，在某些示例实施例中，所述场景复杂性确定单元可被 配置为基于W下至少一个来确定所述场景的所述复杂性：所述场景中的音频对象的数目； 输出类的数目；W及所述场景中的音频对象的分类。
[0083] 应当注意，为清晰起见，在图3中没有示出系统300的某些可选单元。然而应当理 解，上文参考图2所描述的特征均适用于系统300。而且，系统300中的各单元可W是硬件 模块，也可W是软件模块。例如，在某些实施例中，系统300可W部分或者全部地利用软件 和/或固件来实现，例如被实现为包含在计算机可读介质上的计算机程序产品。备选地或 附加地，系统300可W部分或者全部地基于硬件来实现，例如被实现为集成电路（1C)、专用 集成电路（ASIC)、片上系统（SOC)、现场可编程口阵列（FPGA)等。本发明的范围在此方面 不雙限制。
[0084] 下面参考图4,其示出了适于用来实现本发明实施例的计算机系统400的示意性 框图。如图4所示，计算机系统400包括中央处理单元（CPU)401，其可W根据存储在只读 存储器（ROM) 402中的程序或者从存储单元408加载到随机访问存储器（RAM) 403中的程序 而执行各种适当的动作和处理。在RAM403中，还存储有设备400操作所需的各种程序和数 据。CPU40UR0M402W及RAM403通过总线404彼此相连。输入/输出（I/ 0)接口 405也 连接至总线404。
[0085]W下部件连接至I/ 0接口 405;包括键盘、鼠标等的输入单元406;包括诸如阴极 射线管（CRT)、液晶显示器（LCD)等W及扬声器等的输出单元407;包括硬盘等的存储单元 408 ;W及包括诸如LAN卡、调制解调器等的网络接口卡的通信单元409。通信单元409经 由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/ 0接口 405。可拆 卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，W 便于从其上读出的计算机程序根据需要被安装入存储单元408。
[0086] 特别地，根据本发明的实施例，上文参考图2描述的过程可W被实现为计算机软 件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介 质上的计算机程序，所述计算机程序包含用于执行方法200的程序代码。在该样的实施例 中，该计算机程序可W通过通信单元409从网络上被下载和安装，和/或从可拆卸介质411 被安装。
[0087] 一般而言，本发明的各种示例实施例可W在硬件或专用电路、软件、逻辑，或其任 何组合中实施。某些方面可W在硬件中实施，而其他方面可W在可W由控制器、微处理器或 其他计算设备执行的固件或软件中实施。当本发明的实施例的各方面被图示或描述为框 图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可 W作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计 算设备，或其某些组合中实施。
[0088] 而且，流程图中的各框可W被看作是方法步骤，和/或计算机程序代码的操作生 成的操作，和/或理解为执行相关功能的多个禪合的逻辑电路元件。例如，本发明的实施 例包括计算机程序产品，该计算机程序产品包括有形地实现在机器可读介质上的计算机程 序，该计算机程序包含被配置为实现上文描述方法的程序代码。
[0089] 在公开的上下文内，机器可读介质可W是包含或存储用于或有关于指令执行系 统、装置或设备的程序的任何有形介质。机器可读介质可W是机器可读信号介质或机器可 读存储介质。机器可读介质可W包括但不限于电子的、磁的、光学的、电磁的、红外的或半 导体系统、装置或设备，或其任意合适的组合。机器可读存储介质的更详细示例包括带有 一根或多根导线的电气连接、便携式计算机磁盘、硬盘、随机存储存取器（RAM)、只读存储器 (ROM)、可擦除可编程只读存储器巧PROM或闪存）、光存储设备、磁存储设备，或其任意合适 的组合。
[0090]用于实现本发明的方法的计算机程序代码可W用一种或多种编程语言编写。该 些计算机程序代码可W提供给通用计算机、专用计算机或其他可编程的数据处理装置的处 理器，使得程序代码在被计算机或其他可编程的数据处理装置执行的时候，引起在流程图 和/或框图中规定的功能/操作被实施。程序代码可w完全在计算机上、部分在计算机上、 作为独立的软件包、部分在计算机上且部分在远程计算机上或完全在远程计算机或服务器 上执行。
[0091] 另外，尽管操作W特定顺序被描绘，但该并不应该理解为要求此类操作W示出的 特定顺序或W相继顺序完成，或者执行所有图示的操作W获取期望结果。在某些情况下，多 任务或并行处理会是有益的。同样地，尽管上述讨论包含了某些特定的实施细节，但该并不 应解释为限制任何发明或权利要求的范围，而应解释为对可W针对特定发明的特定实施例 的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可W整合实施在单个实 施例中。相反地，在单个实施例的上下文中描述的各种特征也可W分离地在多个实施例或 在任意合适的子组合中实施。
[0092] 针对前述本发明的示例实施例的各种修改、改变将在连同附图查看前述描述时对 相关技术领域的技术人员变得明显。任何及所有修改将仍落入非限制的和本发明的示例实 施例范围。此外，前述说明书和附图存在启发的益处，涉及本发明的该些实施例的技术领域 的技术人员将会想到此处阐明的本发明的其他实施例。
[0093] 由此，本发明可W通过在此描述的任何形式来实现。例如，W下的枚举示例实施例 (邸巧描述了本发明的某些方面的某些结构、特征和功能。
[0094] E邸1. 一种处理基于对象的音频数据的方法，包括；基于对象音频数据和相关联 的元数据确定一个或多个音频对象的时间变化；W及通过惩罚确定的时间变化将音频对象 结合到音频类中，W稳定音频对象聚类中的对象向类的分配。
[0095] E邸2.根据邸E1所述的方法，其中所述音频对象轨道被分割为片段f对象。
[0096] E邸3.根据邸E2所述的方法，其中所述分段包括W下之一：预定义窗口分段；基于 响度的分段；W及基于特征一致性的分段。
[0097] E邸4.根据邸E1所述的方法，其中所述时间变化基于W下至少一个；响度的间断 性，W及空间速度。
[009引 E邸5.根据邸E4所述的方法，其中所述时间变化还基于能量的间断性或者感知重 要性的间断性，感知重要性包括局部响度和音频类型中的至少一个。
[0099] E邸6.根据邸E4所述的方法，其中响度的间断性基于响度动态范围和响度跃迁频 率来计算。
[0100] E邸7.根据邸E4所述的方法，其中空间速度基于对象的元数据而被估计。
[0101] EEE8.根据EEE1所述的方法，其中惩罚时间变化包括将对象排除在聚类中也选择 之外，或者修改重要性估计。
[0102] EEE9.根据EEE8所述的方法，其中具有大时间变化的对象通过结合W下约束中的 至少一个而被排除；被排除对象附近的至少一个保留对象；在先前峽中被选作聚类中也的 对象不可排除。
[0103] 邸E10.根据邸E8所述的方法，其中修改的对象重要性随时间变化的递增而单调 递减。
[0104] 邸E11.根据邸E1或者邸E8所述的方法，其中对时间变化的惩罚由将 要聚类的音 频内容的场景复杂性控制。
[0105] EEE12.根据EEE1所述的方法，其中惩罚确定的时间变化包括基于确定的时间变 化，调整相关联的音频对象在音频对象聚类中对于聚类中也更新的贡献。
[0106] 邸E13. -种处理基于对象的音频数据的系统，包括被配置为执行根据邸E1-12任 一项所述的方法的相应步骤的单元。
[0107]EEE14. -种处理基于对象的音频数据的计算机程序产品，所述计算机程序产品被 有形地存储在非瞬态计算机可读介质上，并且包括机器可执行指令，所述指令在被执行时 使得所述机器执行根据EEE1-12任一项所述的方法的步骤。
[010引将会理解，本法明的实施例不限于公开的特定实施例，并且修改和其他实施例都 应包含于所附的权利要求范围内。尽管此处使用了特定的术语，但是它们仅在通用和描述 的意义上使用，而并不用于限制目的。
【主权项】
1. 一种用于在音频对象聚类中使用音频对象的时间变化的方法，所述方法包括： 获取与所述音频对象相关联的音轨的至少一个片段，所述至少一个片段包含所述音频 对象； 基于所述音频对象的至少一个属性，估计所述音频对象在所述至少一个片段的持续时 间上的变化；以及 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对聚类中 心的确定的贡献。2. 根据权利要求1所述的方法，其中获取所述音轨的所述至少一个片段包括基于以下 至少一个对所述音轨进行分段： 所述音频对象的特征的一致性； 所述音频对象的感知属性，所述感知属性指示所述音频对象的感知水平；以及 预定义的时间窗。3. 根据权利要求1或者2所述的方法，其中所述音频对象的所述至少一个属性包括所 述音频对象的感知属性，所述感知属性指示所述音频对象的感知水平，并且其中估计所述 音频对象的所述变化包括： 估计所述感知属性在所述至少一个片段的所述持续时间上的间断性。4. 根据权利要求3所述的方法，其中估计所述感知属性的所述间断性包括估计以下至 少一个： 所述感知属性在所述持续时间上的动态范围； 所述感知属性在所述持续时间上的跃迁频率；以及 所述感知属性在所述持续时间上的高阶统计量。5. 根据权利要求2到4任一项所述的方法，其中所述音频对象的所述感知属性包括以 下至少一个： 所述音频对象的响度； 所述音频对象的能量；以及 所述音频对象的感知重要性。6. 根据权利要求1到5任一项所述的方法，其中估计所述音频对象的所述变化包括： 估计所述音频对象在所述至少一个片段的所述持续时间上的空间速度。7. 根据权利要求1到6任一项所述的方法，其中调整所述音频对象的所述贡献包括： 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中被选择作 为所述聚类中心的概率；或者 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对所述聚 类中心的更新的贡献。8. 根据权利要求1到7任一项所述的方法，其中调整所述音频对象的所述贡献包括： 将估计的所述变化与预定义变化阈值进行比较；以及 至少部分地基于估计的所述变化大于所述预定义变化阈值这一确定，在所述音频对象 聚类中从所述聚类中心的所述确定中排除所述音频对象。9. 根据权利要求8所述的方法，其中对所述音频对象的所述排除还基于一组约束，所 述一组约束包括以下至少一个： 如果所述音频对象的预定义邻域内的至少一个音频对象未从所述聚类中心的所述确 定中被排除，则排除所述音频对象；以及 如果所述音频对象在所述至少一个片段的先前帧中已经从所述聚类中心的所述确定 中被排除，则排除所述音频对象。10. 根据权利要求1到9任一项所述的方法，其中所述音频对象的所述贡献至少部分地 基于对所述音频对象的感知重要性的估计而确定，并且其中调整所述贡献包括： 基于估计的所述变化来修改所述音频对象的所述感知重要性。11. 根据权利要求1到10任一项所述的方法，还包括： 确定与所述音频对象相关联的场景的复杂性， 其中所述音频对象的所述贡献基于所述音频对象的估计的所述变化以及确定的所述 场景的所述复杂性而被调整。12. 根据权利要求11所述的方法，其中所述场景的所述复杂性基于以下至少一个来确 定： 所述场景中的音频对象的数目； 输出类的数目；以及 所述场景中的音频对象的分类。13. -种用于在音频对象聚类中使用音频对象的时间变化的系统，所述系统包括： 片段获取单元，被配置为获取与所述音频对象相关联的音轨的至少一个片段，所述至 少一个片段包含所述音频对象； 变化估计单元，被配置为基于所述音频对象的至少一个属性，估计所述音频对象在所 述至少一个片段的持续时间上的变化；以及 惩罚单元，被配置为至少部分地基于估计的所述变化，调整所述音频对象在所述音频 对象聚类中对聚类中心的确定的贡献。14. 根据权利要求13所述的系统，其中所述片段获取单元包括分段单元，所述分段单 元被配置为基于以下至少一个对所述音轨进行分段： 所述音频对象的特征的一致性； 所述音频对象的感知属性，所述感知属性指示所述音频对象的感知水平；以及 预定义的时间窗。15. 根据权利要求13或者14所述的系统，其中所述音频对象的所述至少一个属性包括 所述音频对象的感知属性，所述感知属性指示所述音频对象的感知水平，并且其中所述变 化估计单元包括： 间断性估计单元，被配置为估计所述感知属性在所述至少一个片段的所述持续时间上 的间断性。16. 根据权利要求15所述的系统，其中所述间断性估计单元被配置为估计以下至少一 个： 所述感知属性在所述持续时间上的动态范围； 所述感知属性在所述持续时间上的跃迁频率；以及 所述感知属性在所述持续时间上的高阶统计量。17. 根据权利要求14到16任一项所述的系统，其中所述音频对象的所述感知属性包括 以下至少一个： 所述音频对象的响度； 所述音频对象的能量；以及 所述音频对象的感知重要性。18. 根据权利要求13到17任一项所述的系统，其中所述变化估计单元包括： 速度估计单元，被配置为估计所述音频对象在所述至少一个片段的所述持续时间上的 空间速度。19. 根据权利要求13到18任一项所述的系统，其中所述惩罚单元被配置为： 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中被选择作 为所述聚类中心的概率；或者 至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对所述聚 类中心的更新的贡献。20. 根据权利要求13到19任一项所述的系统，还包括： 比较单元，被配置为将估计的所述变化与预定义变化阈值进行比较， 其中所述惩罚单元包括硬惩罚单元，被配置为至少部分地基于所述比较单元做出的估 计的所述变化大于所述预定义变化阈值这一确定，在所述音频对象聚类中从所述聚类中心 的所述确定中排除所述音频对象。21. 根据权利要求20所述的系统，其中对所述音频对象的所述排除还基于一组约束， 所述一组约束包括以下至少一个： 如果所述音频对象的预定义邻域内的至少一个音频对象未从所述聚类中心的所述确 定中被排除，则排除所述音频对象；以及 如果所述音频对象在所述至少一个片段的先前帧中已经从所述聚类中心的所述确定 中被排除，则排除所述音频对象。22. 根据权利要求13到21任一项所述的系统，其中所述音频对象的所述贡献至少部分 地基于对所述音频对象的感知重要性的估计而确定，并且其中所述惩罚单元包括： 软惩罚单元，被配置为基于估计的所述变化来修改所述音频对象的所述感知重要性。23. 根据权利要求13到22任一项所述的系统，还包括： 场景复杂性确定单元，被配置为确定与所述音频对象相关联的场景的复杂性， 其中所述惩罚单元被配置为基于所述音频对象的估计的所述变化以及确定的所述场 景的所述复杂性，来调整所述音频对象的所述贡献。24. 根据权利要求23所述的系统，其中所述场景复杂性确定单元被配置为基于以下至 少一个来确定所述场景的所述复杂性： 所述场景中的音频对象的数目； 输出类的数目；以及 所述场景中的音频对象的分类。25. -种用于在音频对象聚类中使用音频对象的时间变化的计算机程序产品，所述计 算机程序产品被有形地包含在非瞬态计算机可读介质上并且包括机器可执行指令，所述机 器可执行指令在被执行时使所述机器执行根据权利要求1到12任一项所述的方法的步骤。
【专利摘要】本发明的实施例涉及使用音频对象的时间变化的音频对象聚类。提供一种用于在音频对象聚类中使用音频对象的时间变化的方法。该方法包括：获取与所述音频对象相关联的音轨的至少一个片段，所述至少一个片段包含所述音频对象；基于所述音频对象的至少一个属性，估计所述音频对象在所述至少一个片段的持续时间上的变化；以及至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对聚类中心的确定的贡献。还公开了相应的系统和计算机程序产品。
【IPC分类】G10L19/022, H04S7/00
【公开号】CN104882145
【申请号】CN201410078314
【发明人】陈连武, 芦烈, J·布里巴特
【申请人】杜比实验室特许公司
【公开日】2015年9月2日
【申请日】2014年2月28日
【公告号】WO2015130617A1