音频校正设备及其音频校正方法
音频校正设备及其音频校正方法
【技术领域】
[0001] 本公开设及一种音频校正设备及其音频校正方法，更具体地，设及一种检测音频 数据的起音（onset)信息和音高（pitch)信息并根据参考音频数据的起音信息和音高信息 对音频数据进行校正的音频校正设备及其音频校正方法。
【背景技术】
[0002] 存在根据乐谱对由唱歌糟糕的普通人所唱的歌曲进行校正的技术。具体地，存在 根据用于对歌曲进行校正的乐谱的音高对人所唱的歌曲的音高进行校正的现有技术的方 法。
[0003] 然而，人所唱的歌曲或当弦乐器被演奏时产生的声音包括音符彼此连接的轻起音 (softonset)。也就是说，在人所唱的歌曲或当弦乐器被演奏时产生的声音的情况下，当仅 对音高进行校正而不捜索作为每个音符的开始点的起音时，会存在音符在歌曲或演奏的中 间丢失或者音高从错误的音符被校正的问题。
【发明内容】
[0004] 技术目标
[0005] 本公开已被开发W解决上述问题，并且本公开的目标在于提供一种检测音频数据 的起音和音高并根据参考音频数据的起音和音高对音频数据进行校正的音频校正设备和 音频校正方法。
[0006] 技术方案
[0007] 根据用于解决上述问题的本公开的示例性实施例，一种音频校正方法包括；接收 音频数据的输入；通过分析音频数据的谐波分量来检测起音信息；基于检测到的起音信息 来检测音频数据的音高信息；基于检测到的起音信息和音高信息将音频数据与参考音频数 据进行比较并将音频数据与参考音频数据对齐；将与参考音频数据对齐的音频数据校正为 与参考音频数据匹配。
[0008] 检测起音信息的步骤可包括：通过针对音频数据执行倒谱分析并对经过倒谱分析 的音频数据的谐波分量进行分析来检测起音信息。
[0009] 检测起音信息的步骤可包括：针对音频数据执行倒谱分析；使用先前帖的音高分 量来选择当前帖的谐波分量；使用当前帖的谐波分量和先前帖的谐波分量来针对多个谐波 分量计算倒谱系数；通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数；通过 检测检测函数的波峰来提取起音候选组；通过从起音候选组移除多个邻近起音来检测起音 f目息。
[0010] 计算步骤可包括：响应于存在先前帖的谐波分量，计算高倒谱系数，响应于不存在 先前帖的谐波分量，计算低倒谱系数。
[0011] 检测音高信息的步骤可包括：使用相关滴音高检测方法来检测在检测到的起音分 量之间的音高信息。
[0012] 对齐步骤可包括；使用动态时间规整方法将音频数据与参考音频数据进行比较并 将音频数据与参考音频数据对齐。
[0013] 对齐步骤可包括；计算音频数据对于参考音频数据的起音校正率和音高校正率。
[0014] 校正步骤可包括；根据计算出的起音校正率和音高校正率对音频数据进行校正。
[0015] 校正步骤可包括：通过使用SOLA算法保持音频数据的共振峰不变来对音频数据 进行校正。
[0016] 根据用于解决上述问题的本公开的示例性实施例，一种音频校正设备可包括：输 入器，被配置用于接收音频数据的输入；起音检测器，被配置用于通过分析音频数据的谐波 分量来检测起音信息；音高检测器，被配置用于基于检测到的起音信息来检测音频数据的 音高信息；对齐器，被配置用于基于检测到的起音信息和音高信息将音频数据与参考音频 数据进行比较并将音频数据与参考音频数据对齐；校正器，被配置用于将与参考音频数据 对齐的音频数据校正为与参考音频数据匹配。
[0017] 起音检测器可通过针对音频数据执行倒谱分析并对经过倒谱分析的音频数据的 谐波分量进行分析来检测起音信息。
[0018] 起音检测器可包括；倒谱分析器，用于针对音频数据执行倒谱分析；选择器，用于 使用先前帖的音高分量来选择当前帖的谐波分量；系数计算器，用于使用当前帖的谐波分 量和先前帖的谐波分量来针对多个谐波分量计算倒谱系数；函数产生器，用于通过计算所 述多个谐波分量的倒谱系数的总和来产生检测函数；起音候选组提取器，用于通过检测检 测函数的波峰来提取起音候选组；起音信息检测器，用于通过从起音候选组移除多个邻近 起音来检测起音信息。
[0019] 响应于存在先前帖的谐波分量，系数计算器可计算高倒谱系数，响应于不存在先 前帖的谐波分量，系数计算器可计算低倒谱系数。
[0020] 音高检测器可使用相关滴音高检测方法来检测在检测到的起音分量之间的音高 信息。
[0021] 对齐器可使用动态时间规整方法将音频数据与参考音频数据进行比较并将音频 数据与参考音频数据对齐。
[0022] 对齐器可计算音频数据对于参考音频数据的起音校正率和音高校正率。
[0023] 校正器可根据计算出的起音校正率和音高校正率对音频数据进行校正。
[0024] 校正器可通过使用SOLA算法保持音频数据的共振峰不变来对音频数据进行校 正。
[00巧]根据用于解决上述问题的本公开的示例性实施例，一种音频校正设备的起音检测 方法可包括；针对音频数据执行倒谱分析；使用先前帖的音高分量来选择当前帖的谐波分 量；使用当前帖的谐波分量和先前帖的谐波分量来针对多个谐波分量计算倒谱系数；通过 计算所述多个谐波分量的倒谱系数的总和来产生检测函数；通过检测检测函数的波峰来提 取起音候选组；通过从起音候选组移除多个邻近起音来检测起音信息。
[002引有益效果
[0027] 根据上述的各种示例性实施例，可从起音未被清楚地辨别的音频数据（诸如，人 所唱的歌曲或弦乐器的声音）中检测起音，从而音频数据可被更准确地校正。
【附图说明】
[0028] 图1是示出根据本公开示例性实施例的音频校正方法的流程图；
[0029] 图2是示出根据本公开示例性实施例的用于检测起音信息的方法的流程图；
[0030]图3a至图3d是示出根据本公开示例性实施例的在起音信息被检测到时产生的音 频数据的曲线图；
[0031] 图4是示出根据本公开示例性实施例的用于检测音高信息的方法的流程图；
[0032] 图5a和图化是示出根据本公开示例性实施例的用于检测相关滴（correntropy) 音高的方法的曲线图；
[0033] 图6a至图6d是示出根据本公开示例性实施例的动态时间规整方法的示图；
[0034] 图7是示出根据本公开示例性实施例的音频数据的时间延伸（stretching)校正 方法的示图；W及
[0035] 图8是示意性地示出根据本公开示例性实施例的音频校正设备的配置的框图。
【具体实施方式】
[0036]W下，将参照附图来详细解释本公开。图1是示出根据本公开示例性实施例的音 频校正设备800的音频校正方法的流程图。
[0037] 首先，音频校正设备800接收音频数据的输入（S110)。在该种情况下，音频数据可 W是包括人所唱的歌曲或弦乐器发出的声音的数据。
[0038] 音频校正设备800可通过分析谐波分量来检测起音信息（S120)。起音表示音符通 常开始的点。然而，人类语音的起音会不清楚，像滑奏、滑音和连音。因此，根据本公开的示 例性实施例，在人所唱的歌曲中包括的起音可表示元音开始的点。
[0039] 具体地，音频校正设备800可使用谐波倒谱规整（肥时方法来检测起音信息。肥R 方法通过对音频数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来 检测起音f目息。
[0040] 将参照图2来详细解释音频校正设备800通过分析谐波分量来检测起音信息的方 法。
[0041] 首先，音频校正设备800对输入音频数据执行倒谱分析（S121)。具体地，音频校正 设备800可对输入音频数据执行诸如预加重的预处理。此外，音频校正设备800对输入音 频数据执行快速傅里叶变换（FFT)。此外，音频校正设备800可计算变换后的音频数据的对 数，并可通过对音频数据执行离散余弦变换值CT)来执行倒谱分析。
[0042] 此外，音频校正设备800选择当前帖的谐波分量（S122)。具体地，音频校正设备 800可检测先前帖的音高信息，并使用先前帖的音高信息来选择作为当前帖的谐波分量的 谐波类步巧化armonicquefrency) 〇
[0043] 此外，音频校正设备800使用当前帖的谐波分量和先前帖的谐波分量来对多个谐 波分量计算倒谱系数（S123)。在该种情况下，当存在先前帖的 谐波分量时，音频校正设备 800计算高倒谱系数，当不存在先前帖的谐波分量时，音频校正设备800可计算低倒谱系 数。
[0044] 此外，音频校正设备800通过计算多个谐波分量的倒谱系数的总和来产生检测函 数（S124)。具体地，音频校正设备800接收包括如图3a中所示的语音信号的音频数据的输 入。此外，音频校正设备800可通过倒谱分析来检测多个谐波类频，如图3b中所示。此外， 音频校正设备800可基于如图3b中所示的谐波类频，通过如图3c中所示的操作S123来计 算多个谐波分量的倒谱系数。此外，检测函数可通过如图3c中所示的计算多个谐波分量的 倒谱系数的总和而被产生，如图3d中所示。
[0045] 此外，音频校正设备800通过检测产生的检测函数的波峰来提取起音候选组 (S125)。具体地，当另一谐波分量出现在现有的谐波分量的中部（即，在起音发生的点）时， 倒谱系数突然改变。因此，音频校正设备800可提取作为多个谐波分量的倒谱系数的总和 的检测函数突然改变的波峰点。在该种情况下，提取的波峰点可被设置为起音候选组。
[0046] 此外，音频校正设备800检测起音候选组之间的起音信息（S126)。具体地，从在操 作S125中提取的起音候选组中，多个起音候选组可从邻近区间被提取。从邻近区间提取的 多个起音候选组可W是当人类语音颤抖或其它噪声进入时发生的起音。因此，音频校正设 备800可从邻近区间的多个起音候选组中移除除了仅一个起音候选组之外的其它起音候 选组，并仅将所述一个起音候选组检测为起音信息。
[0047] 通过如上所述经由倒谱分析来检测起音，可从起音未被清楚地辨别的音频数据 (像人所唱的歌曲或弦乐器发出的声音）检测准确的起音。
[004引下面所示的表1示出使用肥R方法来检测起音的结果：
[0049] 表1
[0050]
[0051]
[0052] 如上所示，可看出各种源的F值被计算为0. 60-0. 79。也就是说，鉴于通过各种现 有技术算法检测的F值是0. 19-0. 56,可使用根据本公开的HCR方法更准确地检测起音。
[0053] 参照回图1，音频校正设备800基于检测的起音信息来检测音高信息（S130)。具 体地，音频校正设备800可使用相关滴音高检测方法来检测起音分量之间的音高信息。将 参照图4来详细解释音频校正设备800使用相关滴音高检测方法来检测音高分量之间的音 高信息的示例性实施例。
[0054] 首先，音频校正设备800划分起音之间的信号（S131)。具体地，音频校正设备800 可基于在操作S120中检测的起音来划分多个起音之间的信号。
[00巧]此外，音频校正设备800可对输入信号执行人耳滤波（gammatonefiltering) (S132)。具体地，音频校正设备800将64个人耳滤波器应用于输入信号。在该种情况下， 多个人耳滤波器的频率根据带宽被划分。此外，滤波器的中间频率按照相同间隔被划分，并 且带宽被设置在80化与400化之间。
[0056] 此外，音频校正设备800对输入信号产生相关滴函数（S133)。通常，相关滴可获得 现有技术的自相关中的更高维统计。因此，当处理人类语音时，频率分辨率高于现有技术的 自相关。音频校正设备800可获得如下的等式1所示的相关滴函数：
[0057]V(t,S)=E比(x(t),x(s))]等式 1
[0058] 在该种情况下，k(*，*)可W是具有正值和对称特性的核函数。在该种情况下，核 函数可使用高斯核。被替换为高斯核的等式的相关滴函数W及高斯核可由如下所示的等式 2和等式3表达；
[0061] 此外，音频校正设备800检测相关滴函数的波峰（S134)。具体地，当相关滴被计算 时，音频校正设备800可输出比自相关更高的关于输入音频数据的频率分辨率，并检测比 相应信号的频率更锐利的波峰。在该种情况下，音频校正设备800可将计算的波峰中大于 或等于预定阔值的频率测量为输入语音信号的音高。更具体地，图5a示出归一化的相关滴 函数。在该种情况下，检测70帖的相关滴的结果在图化中示出。在该种情况下，在图化 中检测的两个波峰之间的频率值可表示音调。
[0062] 此外，音频校正设备800可基于检测到的音高来检测音高序列（S135)。具体地，音 频松正设备800可对多个起音检测音局f目息，并可对每个起音检测音局序列。
[0063] 在上述示例性实施例中，使用相关滴音高检测方法来检测音高。然而，该仅是示 例，可使用其它方法（例如，自相关方法）来检测音频数据的音高。
[0064] 参照回图1，音频校正设备800将音频数据与参考音频数据对齐（S140)。在该种 情况下，参考音频数据可W是用于对输入音频数据进行校正的音频数据。
[006引具体地，音频校正设备800可使用动态时间规整（DTW)方法，将音频数据与参考音 频数据对齐。具体地，动态时间规整方法是用于通过比较两个序列之间的相似性来寻找最 优规整路径的算法。
[0066] 具体地，音频校正设备800可检测关于通过操作S120和操作S130输入的音频数 据的序列X(如图6a所示），并可获得关于参考音频数据的序列Y。此外，音频校正设备800 可通过比较序列X与序列Y之间的相似性来计算代价矩阵，如图化所示。
[0067] 具体地，根据本公开的示例性实施例，音频校正设备800可检测音高信息的最优 路径（如图6c中的虚线所示），并检测起音信息的最优路径（如图6d中的虚线所示）。因 此，可实现比现有技术的仅检测音高信息的最优路径的方法更准确的对齐。
[0068] 在该种情况下，音频校正设备800可在计算最优路径的同时计算音频数据针对参 考音频数据的起音校正率和音高校正率。起音校正率可w是用于对输入音频数据的时间长 度进行校正的比率（时间延伸率），音高校正率可W是用于对输入音频数据的频率进行校 正的比率（音高偏移率）。
[0069] 参照回图1，音频校正设备800可对输入音频数据进行校正（S150)。在该种情况 下，音频校正设备800可使用在操作S140中计算的起音校正率和音高校正率来对输入音频 数据进行校正，W与参考音频数据匹配。
[0070] 具体地，音频校正设备800可使用相位音码器对音频数据的起音信息进行校正。 具体地，相位音码器可通过分析、修改和合成来对音频数据的起音信息进行校正。具体地， 相位音码器中的起音信息校正可通过不同地设置分析跳距化opsize)和合成跳距来延伸 或减少输入音频数据的时间。
[0071] 此外，音频校正设备800可使用相位音码器对音频数据的音高信息进行校正。在 该种情况下，音频校正设备800可使用当时间量程（timescale)通过重取样而被改变时发 生的音高改变来对音频数据的音高信息进行校正。具体地，音频校正设备800对输入音频 数据151执行时间延伸152,如图7中所示。在该种情况下，时间延伸率可等于由合成跳距 划分的分析跳距。此外，音频校正设备800输出经过重取样153的音频数据154。在该种情 况下，重取样率可等于由分析跳距划分的合成跳距。
[0072] 此外，当音频校正设备800对经过重取样的音高进行校正时，输入音频数据可与 对齐系数P相乘，其中，对齐系数P被提前预定为即使在重取样之后也保持共振峰不变W避 免共振峰被改变。对齐系数P可由如下所示的等式4计算：
[0073]
等式 4
[0074] 在该种情况下，A似是共振峰包络（envelope)。
[007引此外，在一般相位音码器的情况下，诸如振铃的失真会被引起。该是由时间轴的相 位非连续性引起的问题，其中，时间轴的相位非连续性是通过对频率轴的相位非连续性进 行校正而发生的。为了解决该个问题，音频校正设备800可通过使用同步叠加（SOLA)算法 保持音频数据的共振峰，来对音频数据进行校正。具体地，音频校正设备800可对一些初始 帖执行相位音编码，并随后可通过将输入音频数据与经过相位音编码的数据进行同步来去 除在时间轴上发生的非连续性。
[0076] 根据前述的音频校正方法，可从起音未被清楚地辨别的音频数据（诸如，人所唱 的歌曲或弦乐器的声音）检测起音，从而音频数据可被更准确地校正。
[0077]W下，将参照图8来详细解释音频校正设备800。如图8所示，音频校正设备800 包括输入器810、起音检测器820、音高检测器830、对齐器840和校正器850。在该种情况 下，音频校正设备800可 通过使用诸如智能电话、智能TV、平板PC等的各种电子装置而被实 现。
[0078] 输入器810接收音频数据的输入。在该种情况下，音频数据可W是人所唱的歌曲 或弦乐器的声音。
[0079] 起音检测器820可通过分析输入音频数据的谐波分量来检测起音。具体地，起音 检测器820可通过对音频数据执行倒谱分析并随后对经过倒谱分析的音频数据的谐波分 量进行分析，来检测起音信息。具体地，首先，起音检测器820对音频数据执行倒谱分析，如 图2所示。此外，起音检测器820使用先前帖的音高分量来选择当前帖的谐波分量，并使用 当前帖的谐波分量和先前帖的谐波分量来计算针对多个谐波分量的倒谱系数。此外，起音 检测器820通过计算针对多个谐波分量的倒谱系数的总和来产生检测函数。起音检测器 820通过检测检测函数的波峰来提取起音候选组，并通过从起音候选组中移除多个邻近起 音来检测起音信息。
[0080] 音高检测器830基于检测到的起音信息来检测音频数据的音高信息。在该种情况 下，音高检测器830可使用相关滴音高检测方法来检测起音信息之间的音高信息。然而，该 仅是示例，并且可使用其它方法来检测音高信息。
[0081] 对齐器840基于检测到的起音信息和音高信息将音频数据与参考音频数据进行 比较并将音频数据与参考音频数据对齐。在该种情况下，对齐器840可使用动态时间规整 方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。在该种情况 下，对齐器840可计算音频数据针对参考音频数据的起音校正率和音高校正率。
[0082] 校正器850可将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。具 体地，校正器850可根据计算的起音校正率和音高校正率来对音频数据进行校正。此外，校 正器850可使用SOLA算法对音频数据进行校正，W避免当起因和音高被校正时会引起的共 振峰的改变。
[0083] 上述音频校正设备800可从起音未被清楚地辨别的音频数据（诸如，人所唱的歌 曲或弦乐器的声音）检测起音，从而可更准确地对音频数据进行校正。
[0084] 具体地，当音频校正设备800通过使用诸如智能电话的用户终端而被实现时，各 种方案可被应用于本公开。例如，用户可选择用户想要唱的歌曲。音频校正设备800获得 由用户选择的歌曲的参考MIDI数据。当记录按钮被用户选择时，音频校正设备800显示乐 谱并指导用户更准确地歌唱歌曲。当用户的歌曲的记录完成时，音频校正设备800如上参 照图1至图8所述对用户的歌曲进行校正。当重听命令由用户输入时，音频校正设备800 可重放校正后的歌曲。此外，音频校正设备800可向用户提供诸如合唱或混响的效果。在 该种情况下，音频校正设备800可向用户的已被记录并随后被校正的歌曲提供诸如合唱或 混响的效果。当校正完成时，音频校正设备800可根据用户命令重放歌曲或者可通过社交 网络服务（SN巧与其他人分享歌曲。
[0085] 根据上述各种示例性实施例的音频校正设备800的音频校正方法可被实现为程 序并被提供给音频校正设备800。具体地，包括移动装置100的感测方法的程序可被存储在 非暂时性计算机可读介质中并被提供。
[0086] 非暂时性计算机可读介质是指半永久性地存储数据而非短时间存储数据（诸如， 寄存器、缓存和内存）的介质，并可由设备读取。具体地，上述各种应用或程序可被存储在 非暂时性计算机可读介质（诸如，紧凑盘（CD)、数字多功能盘值VD)、硬盘、藍光盘、通用串 行总线扣SB)、记忆卡和只读存储器（ROM))中，并可被提供。
[0087] 前述示例性实施例和优点仅是示例性的并不被解释为限制本发明构思。示例性实 施例可被容易地应用于其它类型的设备。另外，示例性实施例的描述意欲示出的目的，而不 是限制权利要求的范围，并且许多替代、修改和改变对于本领域技术人员将是明显的。
【主权项】
1. 一种音频校正方法，包括： 接收音频数据的输入； 通过分析音频数据的谐波分量来检测起音信息； 基于检测到的起音信息来检测音频数据的音高信息； 基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数 据与参考音频数据对齐；以及 将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。2. 如权利要求1所述的音频校正方法，其中，检测起音信息的步骤包括：通过针对音频 数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。3. 如权利要求1所述的音频校正方法，其中，检测起音信息的步骤包括： 针对音频数据执行倒谱分析； 使用先前帧的音高分量来选择当前帧的谐波分量； 使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波分量计算倒谱系数； 通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数； 通过检测检测函数的波峰来提取起音候选组；以及 通过从起音候选组移除多个邻近起音来检测起音信息。4. 如权利要求3所述的音频校正方法，其中，计算步骤包括：响应于存在先前帧的谐波 分量，计算高倒谱系数，响应于不存在先前帧的谐波分量，计算低倒谱系数。5. 如权利要求1所述的音频校正方法，其中，检测音高信息的步骤包括：使用相关熵音 高检测方法来检测在检测到的起音分量之间的音高信息。6. 如权利要求1所述的音频校正方法，其中，对齐步骤包括：使用动态时间规整方法将 音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。7. 如权利要求6所述的音频校正方法，其中，对齐步骤包括：计算音频数据对于参考音 频数据的起音校正率和音高校正率。8. 如权利要求7所述的音频校正方法，其中，校正步骤包括：根据计算出的起音校正率 和音高校正率对音频数据进行校正。9. 如权利要求1所述的音频校正方法，其中，校正步骤包括：通过使用SOLA算法保持 音频数据的共振峰不变来对音频数据进行校正。10. -种音频校正设备，包括： 输入器，被配置用于接收音频数据的输入； 起音检测器，被配置用于通过分析音频数据的谐波分量来检测起音信息； 音高检测器，被配置用于基于检测到的起音信息来检测音频数据的音高信息； 对齐器，被配置用于基于检测到的起音信息和音高信息将音频数据与参考音频数据进 行比较并将音频数据与参考音频数据对齐；以及 校正器，被配置用于将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。11. 如权利要求10所述的音频校正设备，其中，起音检测器被配置用于通过针对音频 数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。12. 如权利要求10所述的音频校正设备，其中，起音检测器包括： 倒谱分析器，被配置用于针对音频数据执行倒谱分析； 选择器，被配置用于使用先前帧的音高分量来选择当前帧的谐波分量； 系数计算器，被配置用于使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波 分量计算倒谱系数； 函数产生器，被配置用于通过计算所述多个谐波分量的倒谱系数的总和来产生检测函 数； 起音候选组提取器，被配置用于通过检测检测函数的波峰来提取起音候选组；以及 起音信息检测器，被配置用于通过从起音候选组移除多个邻近起音来检测起音信息。13. 如权利要求12所述的音频校正设备，其中，响应于存在先前帧的谐波分量，系数计 算器被配置用于计算高倒谱系数，响应于不存在先前帧的谐波分量，系数计算器被配置用 于计算低倒谱系数。14. 如权利要求10所述的音频校正设备，其中，音高检测器被配置用于使用相关熵音 高检测方法来检测在检测到的起音分量之间的音高信息。15. 如权利要求10所述的音频校正设备，其中，对齐器被配置用于使用动态时间规整 方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。
【专利摘要】提供了一种音频校正设备及其音频校正方法。所述音频校正方法包括：接收音频数据的输入；通过分析音频数据的谐波分量来检测起音信息；基于检测到的起音信息来检测音频数据的音高信息；基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐；将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。
【IPC分类】G10L25/48, G10L25/90
【公开号】CN104885153
【申请号】CN201380067507
【发明人】田相培, 李佼昫, 成斗镛, 许勋, 金善民, 金正寿, 孙尚模
【申请人】三星电子株式会社, 首尔大学校产学协力团
【公开日】2015年9月2日
【申请日】2013年12月19日
【公告号】US20150348566
【技术领域】
[0001] 本公开设及一种音频校正设备及其音频校正方法，更具体地，设及一种检测音频 数据的起音（onset)信息和音高（pitch)信息并根据参考音频数据的起音信息和音高信息 对音频数据进行校正的音频校正设备及其音频校正方法。
【背景技术】
[0002] 存在根据乐谱对由唱歌糟糕的普通人所唱的歌曲进行校正的技术。具体地，存在 根据用于对歌曲进行校正的乐谱的音高对人所唱的歌曲的音高进行校正的现有技术的方 法。
[0003] 然而，人所唱的歌曲或当弦乐器被演奏时产生的声音包括音符彼此连接的轻起音 (softonset)。也就是说，在人所唱的歌曲或当弦乐器被演奏时产生的声音的情况下，当仅 对音高进行校正而不捜索作为每个音符的开始点的起音时，会存在音符在歌曲或演奏的中 间丢失或者音高从错误的音符被校正的问题。
【发明内容】
[0004] 技术目标
[0005] 本公开已被开发W解决上述问题，并且本公开的目标在于提供一种检测音频数据 的起音和音高并根据参考音频数据的起音和音高对音频数据进行校正的音频校正设备和 音频校正方法。
[0006] 技术方案
[0007] 根据用于解决上述问题的本公开的示例性实施例，一种音频校正方法包括；接收 音频数据的输入；通过分析音频数据的谐波分量来检测起音信息；基于检测到的起音信息 来检测音频数据的音高信息；基于检测到的起音信息和音高信息将音频数据与参考音频数 据进行比较并将音频数据与参考音频数据对齐；将与参考音频数据对齐的音频数据校正为 与参考音频数据匹配。
[0008] 检测起音信息的步骤可包括：通过针对音频数据执行倒谱分析并对经过倒谱分析 的音频数据的谐波分量进行分析来检测起音信息。
[0009] 检测起音信息的步骤可包括：针对音频数据执行倒谱分析；使用先前帖的音高分 量来选择当前帖的谐波分量；使用当前帖的谐波分量和先前帖的谐波分量来针对多个谐波 分量计算倒谱系数；通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数；通过 检测检测函数的波峰来提取起音候选组；通过从起音候选组移除多个邻近起音来检测起音 f目息。
[0010] 计算步骤可包括：响应于存在先前帖的谐波分量，计算高倒谱系数，响应于不存在 先前帖的谐波分量，计算低倒谱系数。
[0011] 检测音高信息的步骤可包括：使用相关滴音高检测方法来检测在检测到的起音分 量之间的音高信息。
[0012] 对齐步骤可包括；使用动态时间规整方法将音频数据与参考音频数据进行比较并 将音频数据与参考音频数据对齐。
[0013] 对齐步骤可包括；计算音频数据对于参考音频数据的起音校正率和音高校正率。
[0014] 校正步骤可包括；根据计算出的起音校正率和音高校正率对音频数据进行校正。
[0015] 校正步骤可包括：通过使用SOLA算法保持音频数据的共振峰不变来对音频数据 进行校正。
[0016] 根据用于解决上述问题的本公开的示例性实施例，一种音频校正设备可包括：输 入器，被配置用于接收音频数据的输入；起音检测器，被配置用于通过分析音频数据的谐波 分量来检测起音信息；音高检测器，被配置用于基于检测到的起音信息来检测音频数据的 音高信息；对齐器，被配置用于基于检测到的起音信息和音高信息将音频数据与参考音频 数据进行比较并将音频数据与参考音频数据对齐；校正器，被配置用于将与参考音频数据 对齐的音频数据校正为与参考音频数据匹配。
[0017] 起音检测器可通过针对音频数据执行倒谱分析并对经过倒谱分析的音频数据的 谐波分量进行分析来检测起音信息。
[0018] 起音检测器可包括；倒谱分析器，用于针对音频数据执行倒谱分析；选择器，用于 使用先前帖的音高分量来选择当前帖的谐波分量；系数计算器，用于使用当前帖的谐波分 量和先前帖的谐波分量来针对多个谐波分量计算倒谱系数；函数产生器，用于通过计算所 述多个谐波分量的倒谱系数的总和来产生检测函数；起音候选组提取器，用于通过检测检 测函数的波峰来提取起音候选组；起音信息检测器，用于通过从起音候选组移除多个邻近 起音来检测起音信息。
[0019] 响应于存在先前帖的谐波分量，系数计算器可计算高倒谱系数，响应于不存在先 前帖的谐波分量，系数计算器可计算低倒谱系数。
[0020] 音高检测器可使用相关滴音高检测方法来检测在检测到的起音分量之间的音高 信息。
[0021] 对齐器可使用动态时间规整方法将音频数据与参考音频数据进行比较并将音频 数据与参考音频数据对齐。
[0022] 对齐器可计算音频数据对于参考音频数据的起音校正率和音高校正率。
[0023] 校正器可根据计算出的起音校正率和音高校正率对音频数据进行校正。
[0024] 校正器可通过使用SOLA算法保持音频数据的共振峰不变来对音频数据进行校 正。
[00巧]根据用于解决上述问题的本公开的示例性实施例，一种音频校正设备的起音检测 方法可包括；针对音频数据执行倒谱分析；使用先前帖的音高分量来选择当前帖的谐波分 量；使用当前帖的谐波分量和先前帖的谐波分量来针对多个谐波分量计算倒谱系数；通过 计算所述多个谐波分量的倒谱系数的总和来产生检测函数；通过检测检测函数的波峰来提 取起音候选组；通过从起音候选组移除多个邻近起音来检测起音信息。
[002引有益效果
[0027] 根据上述的各种示例性实施例，可从起音未被清楚地辨别的音频数据（诸如，人 所唱的歌曲或弦乐器的声音）中检测起音，从而音频数据可被更准确地校正。
【附图说明】
[0028] 图1是示出根据本公开示例性实施例的音频校正方法的流程图；
[0029] 图2是示出根据本公开示例性实施例的用于检测起音信息的方法的流程图；
[0030]图3a至图3d是示出根据本公开示例性实施例的在起音信息被检测到时产生的音 频数据的曲线图；
[0031] 图4是示出根据本公开示例性实施例的用于检测音高信息的方法的流程图；
[0032] 图5a和图化是示出根据本公开示例性实施例的用于检测相关滴（correntropy) 音高的方法的曲线图；
[0033] 图6a至图6d是示出根据本公开示例性实施例的动态时间规整方法的示图；
[0034] 图7是示出根据本公开示例性实施例的音频数据的时间延伸（stretching)校正 方法的示图；W及
[0035] 图8是示意性地示出根据本公开示例性实施例的音频校正设备的配置的框图。
【具体实施方式】
[0036]W下，将参照附图来详细解释本公开。图1是示出根据本公开示例性实施例的音 频校正设备800的音频校正方法的流程图。
[0037] 首先，音频校正设备800接收音频数据的输入（S110)。在该种情况下，音频数据可 W是包括人所唱的歌曲或弦乐器发出的声音的数据。
[0038] 音频校正设备800可通过分析谐波分量来检测起音信息（S120)。起音表示音符通 常开始的点。然而，人类语音的起音会不清楚，像滑奏、滑音和连音。因此，根据本公开的示 例性实施例，在人所唱的歌曲中包括的起音可表示元音开始的点。
[0039] 具体地，音频校正设备800可使用谐波倒谱规整（肥时方法来检测起音信息。肥R 方法通过对音频数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来 检测起音f目息。
[0040] 将参照图2来详细解释音频校正设备800通过分析谐波分量来检测起音信息的方 法。
[0041] 首先，音频校正设备800对输入音频数据执行倒谱分析（S121)。具体地，音频校正 设备800可对输入音频数据执行诸如预加重的预处理。此外，音频校正设备800对输入音 频数据执行快速傅里叶变换（FFT)。此外，音频校正设备800可计算变换后的音频数据的对 数，并可通过对音频数据执行离散余弦变换值CT)来执行倒谱分析。
[0042] 此外，音频校正设备800选择当前帖的谐波分量（S122)。具体地，音频校正设备 800可检测先前帖的音高信息，并使用先前帖的音高信息来选择作为当前帖的谐波分量的 谐波类步巧化armonicquefrency) 〇
[0043] 此外，音频校正设备800使用当前帖的谐波分量和先前帖的谐波分量来对多个谐 波分量计算倒谱系数（S123)。在该种情况下，当存在先前帖的 谐波分量时，音频校正设备 800计算高倒谱系数，当不存在先前帖的谐波分量时，音频校正设备800可计算低倒谱系 数。
[0044] 此外，音频校正设备800通过计算多个谐波分量的倒谱系数的总和来产生检测函 数（S124)。具体地，音频校正设备800接收包括如图3a中所示的语音信号的音频数据的输 入。此外，音频校正设备800可通过倒谱分析来检测多个谐波类频，如图3b中所示。此外， 音频校正设备800可基于如图3b中所示的谐波类频，通过如图3c中所示的操作S123来计 算多个谐波分量的倒谱系数。此外，检测函数可通过如图3c中所示的计算多个谐波分量的 倒谱系数的总和而被产生，如图3d中所示。
[0045] 此外，音频校正设备800通过检测产生的检测函数的波峰来提取起音候选组 (S125)。具体地，当另一谐波分量出现在现有的谐波分量的中部（即，在起音发生的点）时， 倒谱系数突然改变。因此，音频校正设备800可提取作为多个谐波分量的倒谱系数的总和 的检测函数突然改变的波峰点。在该种情况下，提取的波峰点可被设置为起音候选组。
[0046] 此外，音频校正设备800检测起音候选组之间的起音信息（S126)。具体地，从在操 作S125中提取的起音候选组中，多个起音候选组可从邻近区间被提取。从邻近区间提取的 多个起音候选组可W是当人类语音颤抖或其它噪声进入时发生的起音。因此，音频校正设 备800可从邻近区间的多个起音候选组中移除除了仅一个起音候选组之外的其它起音候 选组，并仅将所述一个起音候选组检测为起音信息。
[0047] 通过如上所述经由倒谱分析来检测起音，可从起音未被清楚地辨别的音频数据 (像人所唱的歌曲或弦乐器发出的声音）检测准确的起音。
[004引下面所示的表1示出使用肥R方法来检测起音的结果：
[0049] 表1
[0050]
[0051]
[0052] 如上所示，可看出各种源的F值被计算为0. 60-0. 79。也就是说，鉴于通过各种现 有技术算法检测的F值是0. 19-0. 56,可使用根据本公开的HCR方法更准确地检测起音。
[0053] 参照回图1，音频校正设备800基于检测的起音信息来检测音高信息（S130)。具 体地，音频校正设备800可使用相关滴音高检测方法来检测起音分量之间的音高信息。将 参照图4来详细解释音频校正设备800使用相关滴音高检测方法来检测音高分量之间的音 高信息的示例性实施例。
[0054] 首先，音频校正设备800划分起音之间的信号（S131)。具体地，音频校正设备800 可基于在操作S120中检测的起音来划分多个起音之间的信号。
[00巧]此外，音频校正设备800可对输入信号执行人耳滤波（gammatonefiltering) (S132)。具体地，音频校正设备800将64个人耳滤波器应用于输入信号。在该种情况下， 多个人耳滤波器的频率根据带宽被划分。此外，滤波器的中间频率按照相同间隔被划分，并 且带宽被设置在80化与400化之间。
[0056] 此外，音频校正设备800对输入信号产生相关滴函数（S133)。通常，相关滴可获得 现有技术的自相关中的更高维统计。因此，当处理人类语音时，频率分辨率高于现有技术的 自相关。音频校正设备800可获得如下的等式1所示的相关滴函数：
[0057]V(t,S)=E比(x(t),x(s))]等式 1
[0058] 在该种情况下，k(*，*)可W是具有正值和对称特性的核函数。在该种情况下，核 函数可使用高斯核。被替换为高斯核的等式的相关滴函数W及高斯核可由如下所示的等式 2和等式3表达；
[0061] 此外，音频校正设备800检测相关滴函数的波峰（S134)。具体地，当相关滴被计算 时，音频校正设备800可输出比自相关更高的关于输入音频数据的频率分辨率，并检测比 相应信号的频率更锐利的波峰。在该种情况下，音频校正设备800可将计算的波峰中大于 或等于预定阔值的频率测量为输入语音信号的音高。更具体地，图5a示出归一化的相关滴 函数。在该种情况下，检测70帖的相关滴的结果在图化中示出。在该种情况下，在图化 中检测的两个波峰之间的频率值可表示音调。
[0062] 此外，音频校正设备800可基于检测到的音高来检测音高序列（S135)。具体地，音 频松正设备800可对多个起音检测音局f目息，并可对每个起音检测音局序列。
[0063] 在上述示例性实施例中，使用相关滴音高检测方法来检测音高。然而，该仅是示 例，可使用其它方法（例如，自相关方法）来检测音频数据的音高。
[0064] 参照回图1，音频校正设备800将音频数据与参考音频数据对齐（S140)。在该种 情况下，参考音频数据可W是用于对输入音频数据进行校正的音频数据。
[006引具体地，音频校正设备800可使用动态时间规整（DTW)方法，将音频数据与参考音 频数据对齐。具体地，动态时间规整方法是用于通过比较两个序列之间的相似性来寻找最 优规整路径的算法。
[0066] 具体地，音频校正设备800可检测关于通过操作S120和操作S130输入的音频数 据的序列X(如图6a所示），并可获得关于参考音频数据的序列Y。此外，音频校正设备800 可通过比较序列X与序列Y之间的相似性来计算代价矩阵，如图化所示。
[0067] 具体地，根据本公开的示例性实施例，音频校正设备800可检测音高信息的最优 路径（如图6c中的虚线所示），并检测起音信息的最优路径（如图6d中的虚线所示）。因 此，可实现比现有技术的仅检测音高信息的最优路径的方法更准确的对齐。
[0068] 在该种情况下，音频校正设备800可在计算最优路径的同时计算音频数据针对参 考音频数据的起音校正率和音高校正率。起音校正率可w是用于对输入音频数据的时间长 度进行校正的比率（时间延伸率），音高校正率可W是用于对输入音频数据的频率进行校 正的比率（音高偏移率）。
[0069] 参照回图1，音频校正设备800可对输入音频数据进行校正（S150)。在该种情况 下，音频校正设备800可使用在操作S140中计算的起音校正率和音高校正率来对输入音频 数据进行校正，W与参考音频数据匹配。
[0070] 具体地，音频校正设备800可使用相位音码器对音频数据的起音信息进行校正。 具体地，相位音码器可通过分析、修改和合成来对音频数据的起音信息进行校正。具体地， 相位音码器中的起音信息校正可通过不同地设置分析跳距化opsize)和合成跳距来延伸 或减少输入音频数据的时间。
[0071] 此外，音频校正设备800可使用相位音码器对音频数据的音高信息进行校正。在 该种情况下，音频校正设备800可使用当时间量程（timescale)通过重取样而被改变时发 生的音高改变来对音频数据的音高信息进行校正。具体地，音频校正设备800对输入音频 数据151执行时间延伸152,如图7中所示。在该种情况下，时间延伸率可等于由合成跳距 划分的分析跳距。此外，音频校正设备800输出经过重取样153的音频数据154。在该种情 况下，重取样率可等于由分析跳距划分的合成跳距。
[0072] 此外，当音频校正设备800对经过重取样的音高进行校正时，输入音频数据可与 对齐系数P相乘，其中，对齐系数P被提前预定为即使在重取样之后也保持共振峰不变W避 免共振峰被改变。对齐系数P可由如下所示的等式4计算：
[0073]
等式 4
[0074] 在该种情况下，A似是共振峰包络（envelope)。
[007引此外，在一般相位音码器的情况下，诸如振铃的失真会被引起。该是由时间轴的相 位非连续性引起的问题，其中，时间轴的相位非连续性是通过对频率轴的相位非连续性进 行校正而发生的。为了解决该个问题，音频校正设备800可通过使用同步叠加（SOLA)算法 保持音频数据的共振峰，来对音频数据进行校正。具体地，音频校正设备800可对一些初始 帖执行相位音编码，并随后可通过将输入音频数据与经过相位音编码的数据进行同步来去 除在时间轴上发生的非连续性。
[0076] 根据前述的音频校正方法，可从起音未被清楚地辨别的音频数据（诸如，人所唱 的歌曲或弦乐器的声音）检测起音，从而音频数据可被更准确地校正。
[0077]W下，将参照图8来详细解释音频校正设备800。如图8所示，音频校正设备800 包括输入器810、起音检测器820、音高检测器830、对齐器840和校正器850。在该种情况 下，音频校正设备800可 通过使用诸如智能电话、智能TV、平板PC等的各种电子装置而被实 现。
[0078] 输入器810接收音频数据的输入。在该种情况下，音频数据可W是人所唱的歌曲 或弦乐器的声音。
[0079] 起音检测器820可通过分析输入音频数据的谐波分量来检测起音。具体地，起音 检测器820可通过对音频数据执行倒谱分析并随后对经过倒谱分析的音频数据的谐波分 量进行分析，来检测起音信息。具体地，首先，起音检测器820对音频数据执行倒谱分析，如 图2所示。此外，起音检测器820使用先前帖的音高分量来选择当前帖的谐波分量，并使用 当前帖的谐波分量和先前帖的谐波分量来计算针对多个谐波分量的倒谱系数。此外，起音 检测器820通过计算针对多个谐波分量的倒谱系数的总和来产生检测函数。起音检测器 820通过检测检测函数的波峰来提取起音候选组，并通过从起音候选组中移除多个邻近起 音来检测起音信息。
[0080] 音高检测器830基于检测到的起音信息来检测音频数据的音高信息。在该种情况 下，音高检测器830可使用相关滴音高检测方法来检测起音信息之间的音高信息。然而，该 仅是示例，并且可使用其它方法来检测音高信息。
[0081] 对齐器840基于检测到的起音信息和音高信息将音频数据与参考音频数据进行 比较并将音频数据与参考音频数据对齐。在该种情况下，对齐器840可使用动态时间规整 方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。在该种情况 下，对齐器840可计算音频数据针对参考音频数据的起音校正率和音高校正率。
[0082] 校正器850可将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。具 体地，校正器850可根据计算的起音校正率和音高校正率来对音频数据进行校正。此外，校 正器850可使用SOLA算法对音频数据进行校正，W避免当起因和音高被校正时会引起的共 振峰的改变。
[0083] 上述音频校正设备800可从起音未被清楚地辨别的音频数据（诸如，人所唱的歌 曲或弦乐器的声音）检测起音，从而可更准确地对音频数据进行校正。
[0084] 具体地，当音频校正设备800通过使用诸如智能电话的用户终端而被实现时，各 种方案可被应用于本公开。例如，用户可选择用户想要唱的歌曲。音频校正设备800获得 由用户选择的歌曲的参考MIDI数据。当记录按钮被用户选择时，音频校正设备800显示乐 谱并指导用户更准确地歌唱歌曲。当用户的歌曲的记录完成时，音频校正设备800如上参 照图1至图8所述对用户的歌曲进行校正。当重听命令由用户输入时，音频校正设备800 可重放校正后的歌曲。此外，音频校正设备800可向用户提供诸如合唱或混响的效果。在 该种情况下，音频校正设备800可向用户的已被记录并随后被校正的歌曲提供诸如合唱或 混响的效果。当校正完成时，音频校正设备800可根据用户命令重放歌曲或者可通过社交 网络服务（SN巧与其他人分享歌曲。
[0085] 根据上述各种示例性实施例的音频校正设备800的音频校正方法可被实现为程 序并被提供给音频校正设备800。具体地，包括移动装置100的感测方法的程序可被存储在 非暂时性计算机可读介质中并被提供。
[0086] 非暂时性计算机可读介质是指半永久性地存储数据而非短时间存储数据（诸如， 寄存器、缓存和内存）的介质，并可由设备读取。具体地，上述各种应用或程序可被存储在 非暂时性计算机可读介质（诸如，紧凑盘（CD)、数字多功能盘值VD)、硬盘、藍光盘、通用串 行总线扣SB)、记忆卡和只读存储器（ROM))中，并可被提供。
[0087] 前述示例性实施例和优点仅是示例性的并不被解释为限制本发明构思。示例性实 施例可被容易地应用于其它类型的设备。另外，示例性实施例的描述意欲示出的目的，而不 是限制权利要求的范围，并且许多替代、修改和改变对于本领域技术人员将是明显的。
【主权项】
1. 一种音频校正方法，包括： 接收音频数据的输入； 通过分析音频数据的谐波分量来检测起音信息； 基于检测到的起音信息来检测音频数据的音高信息； 基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数 据与参考音频数据对齐；以及 将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。2. 如权利要求1所述的音频校正方法，其中，检测起音信息的步骤包括：通过针对音频 数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。3. 如权利要求1所述的音频校正方法，其中，检测起音信息的步骤包括： 针对音频数据执行倒谱分析； 使用先前帧的音高分量来选择当前帧的谐波分量； 使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波分量计算倒谱系数； 通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数； 通过检测检测函数的波峰来提取起音候选组；以及 通过从起音候选组移除多个邻近起音来检测起音信息。4. 如权利要求3所述的音频校正方法，其中，计算步骤包括：响应于存在先前帧的谐波 分量，计算高倒谱系数，响应于不存在先前帧的谐波分量，计算低倒谱系数。5. 如权利要求1所述的音频校正方法，其中，检测音高信息的步骤包括：使用相关熵音 高检测方法来检测在检测到的起音分量之间的音高信息。6. 如权利要求1所述的音频校正方法，其中，对齐步骤包括：使用动态时间规整方法将 音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。7. 如权利要求6所述的音频校正方法，其中，对齐步骤包括：计算音频数据对于参考音 频数据的起音校正率和音高校正率。8. 如权利要求7所述的音频校正方法，其中，校正步骤包括：根据计算出的起音校正率 和音高校正率对音频数据进行校正。9. 如权利要求1所述的音频校正方法，其中，校正步骤包括：通过使用SOLA算法保持 音频数据的共振峰不变来对音频数据进行校正。10. -种音频校正设备，包括： 输入器，被配置用于接收音频数据的输入； 起音检测器，被配置用于通过分析音频数据的谐波分量来检测起音信息； 音高检测器，被配置用于基于检测到的起音信息来检测音频数据的音高信息； 对齐器，被配置用于基于检测到的起音信息和音高信息将音频数据与参考音频数据进 行比较并将音频数据与参考音频数据对齐；以及 校正器，被配置用于将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。11. 如权利要求10所述的音频校正设备，其中，起音检测器被配置用于通过针对音频 数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。12. 如权利要求10所述的音频校正设备，其中，起音检测器包括： 倒谱分析器，被配置用于针对音频数据执行倒谱分析； 选择器，被配置用于使用先前帧的音高分量来选择当前帧的谐波分量； 系数计算器，被配置用于使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波 分量计算倒谱系数； 函数产生器，被配置用于通过计算所述多个谐波分量的倒谱系数的总和来产生检测函 数； 起音候选组提取器，被配置用于通过检测检测函数的波峰来提取起音候选组；以及 起音信息检测器，被配置用于通过从起音候选组移除多个邻近起音来检测起音信息。13. 如权利要求12所述的音频校正设备，其中，响应于存在先前帧的谐波分量，系数计 算器被配置用于计算高倒谱系数，响应于不存在先前帧的谐波分量，系数计算器被配置用 于计算低倒谱系数。14. 如权利要求10所述的音频校正设备，其中，音高检测器被配置用于使用相关熵音 高检测方法来检测在检测到的起音分量之间的音高信息。15. 如权利要求10所述的音频校正设备，其中，对齐器被配置用于使用动态时间规整 方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。
【专利摘要】提供了一种音频校正设备及其音频校正方法。所述音频校正方法包括：接收音频数据的输入；通过分析音频数据的谐波分量来检测起音信息；基于检测到的起音信息来检测音频数据的音高信息；基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐；将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。
【IPC分类】G10L25/48, G10L25/90
【公开号】CN104885153
【申请号】CN201380067507
【发明人】田相培, 李佼昫, 成斗镛, 许勋, 金善民, 金正寿, 孙尚模
【申请人】三星电子株式会社, 首尔大学校产学协力团
【公开日】2015年9月2日
【申请日】2013年12月19日
【公告号】US20150348566
最新回复(0)