音频数据处理方法、装置、系统、电子设备及存储介质与流程

本技术属于计算机，可涉及音频处理等领域，具体而言，本技术涉及一种音频数据处理方法、装置、系统、电子设备及存储介质。

背景技术：

1、随着多媒体技术的发展，人们对于音频质量的需求也越来越高，开始追求更具真实感、沉浸感的音频体验。

2、目前存在多种使用扬声器阵列来虚拟定位声源的空间化技术，这些技术通常假设听众的位置已知且固定，并且扬声器在二维圆环或三维球面上围绕听众。其中，常见的扬声器布局有5.1环绕声，7.1环绕声和7.1.4全景声等。

3、相关技术中常采用基于向量的振幅平移（vectorbasedamplitude

4、panning，vbap）算法对音频对象进行定位，利用空间中3个临近的扬声器形成三维声音矢量，实现虚拟声源在三维空间中的定位。

5、然而这种算法只能将声音定位在扬声器阵列形成的二维圆环或三维球面上，无法定位扬声器阵列内部的虚拟声源位置。

技术实现思路

1、本技术实施例的目的旨在提供一种能够实现扬声器阵列内部的虚拟声源定位的音频数据处理方法、装置、系统、电子设备及存储介质。为实现该目的，本技术实施例提供的技术方案如下：

2、一方面，本技术实施例提供了一种音频数据处理方法，所述方法应用于音频数据处理系统，所述系统包括音频处理设备以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；所述方法由所述音频处理设备执行，所述方法包括：

3、获取音频文件；所述音频文件中包括音频数据和所述音频数据的元数据，所述元数据包括所述音频数据对应的虚拟声源位置以及音频增益；

4、根据所述基准位置和所述虚拟声源位置，确定所述虚拟声源位置在所述扬声器阵列的部署边界上的两个镜像声源位置；

5、根据所述虚拟声源位置和所述两个镜像声源位置，确定每个镜像声源位置对应的第一音频增益权重；

6、对于每个所述镜像声源位置，根据该镜像声源位置以及各所述扬声器的位置，从所述多个扬声器中确定出该镜像声源位置关联的至少一个目标扬声器；

7、对于每个所述镜像声源位置，根据该镜像声源位置、该镜像声源位置关联的各目标扬声器的位置，以及该镜像声源位置对应的第一音频增益权重，确定该镜像声源位置关联的各目标扬声器的目标音频增益权重；

8、对于每个所述目标扬声器，根据该目标扬声器的目标音频增益权重以及所述音频增益，确定该目标扬声器的目标音频增益；根据该目标扬声器的目标音频增益以及所述音频数据，得到该目标扬声器所要播放的目标音频数据。

9、另一方面，本技术实施例还提供了音频数据处理装置，所述装置部署于音频数据处理系统中的音频处理设备中，所述音频数据处理系统包括所述音频处理设备以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；所述装置包括：

10、获取模块，用于获取音频文件；所述音频文件中包括音频数据和所述音频数据的元数据，所述元数据包括所述音频数据对应的虚拟声源位置以及音频增益；

11、镜像声源定位模块，用于根据所述基准位置和所述虚拟声源位置，确定所述虚拟声源位置在所述扬声器阵列的部署边界上的两个镜像声源位置；

12、第一权重确定模块，用于根据所述虚拟声源位置和所述两个镜像声源位置，确定每个镜像声源位置对应的第一音频增益权重；

13、目标扬声器确定模块，用于针对每个所述镜像声源位置，根据该镜像声源位置以及各所述扬声器的位置，从所述多个扬声器中确定出该镜像声源位置关联的至少一个目标扬声器；

14、第二权重确定模块，用于针对每个所述镜像声源位置，根据该镜像声源位置、该镜像声源位置关联的各目标扬声器的位置，以及该镜像声源位置对应的第一音频增益权重，确定该镜像声源位置关联的各目标扬声器的目标音频增益权重；

15、目标音频数据确定模块，用于针对每个所述目标扬声器，根据该目标扬声器的目标音频增益权重以及所述音频增益，确定该目标扬声器的目标音频增益；根据该目标扬声器的目标音频增益以及所述音频数据，得到该目标扬声器所要播放的目标音频数据。

16、可选的，所述第一权重确定模块可以用于：

17、确定由所述基准位置指向所述虚拟声源位置的第一矢量；

18、对于每个镜像声源位置，确定由所述基准位置指向该镜像声源位置的第二矢量；

19、根据所述第一矢量、各所述镜像声源位置对应的第二矢量、以及第一条件，确定各所述镜像声源位置对应的第一音频增益权重；

20、其中，所述第一条件为两个镜像声源位置对应的第一音频增益权重满足的约束条件；两个镜像声源位置对应的调整后的矢量与所述第一矢量满足第二条件，每个所述镜像声源位置对应的调整后的矢量是基于该镜像声源位置对应的第一音频增益权重，对该镜像声源位置对应的第二矢量进行调整得到的。

21、可选的，所述两个镜像声源位置包括第一镜像声源位置和第二镜像声源位置；

22、所述第一条件包括：

23、；其中，为所述第一镜像声源位置对应的第一音频增益权重；为所述第二镜像声源位置对应的第一音频增益权重；

24、所述第二条件包括：

25、；其中，o表示所述基准位置，b表示虚拟声源位置，表示所述第一矢量，表示第一镜像声源位置，表示第一镜像声源位置对应的第二矢量，表示第一镜像声源位置对应的调整后的矢量，表示第二镜像声源位置，表示第二镜像声源位置对应的第二矢量，表示第二镜像声源位置对应的调整后的矢量。

26、可选的，所述第二权重确定模块可以用于：

27、确定由所述基准位置指向该镜像声源位置的第二矢量；

28、对于该镜像声源位置关联的每个目标扬声器，确定由所述基准位置指向该目标扬声器的位置的第三矢量；

29、根据所述第二矢量、各所述目标扬声器对应的第三矢量，以及第三条件，确定各所述目标扬声器对于该镜像声源位置的贡献度；其中，所述第三条件为各所述目标扬声器对于该镜像声源位置的贡献度所满足的约束条件；各所述目标扬声器对应的调整后的矢量与所述第二矢量满足第四条件，所述各所述目标扬声器对应的调整后的矢量是基于该目标扬声器对于该镜像声源位置的贡献度，对该目标扬声器对应的第三矢量进行调整得到的；

30、对于该镜像声源位置关联的每个目标扬声器，将该目标扬声器对于该镜像声源位置的贡献度与该镜像声源位置对应的第一音频增益权重的乘积，作为该目标扬声器的目标音频增益权重。

31、可选的，该镜像声源位置关联n个目标扬声器，n1，且n为整数；

32、所述第三条件包括：

33、；

34、其中，表示该镜像声源位置关联的第n个目标扬声器对于该镜像声源位置的贡献度；

35、所述第四条件包括：

36、；

37、其中，o表示所述基准位置，表示该镜像声源位置，表示该镜像声源位置对应的第二矢量，表示该镜像声源位置关联的第n个目标扬声器的位置，表示所关联的第n个目标扬声器对应的第三矢量，表示所关联的第n个目标扬声器对应的调整后的矢量。

38、可选的，所述目标扬声器确定模块可以用于：

39、分别确定每个扬声器的位置与该镜像声源位置之间的第二距离；

40、从各所述扬声器中选择与该镜像声源位置之间的第二距离符合预设条件的至少一个扬声器，作为该镜像声源位置关联的至少一个目标扬声器；

41、所述预设条件包括以下至少一项：

42、扬声器的位置与镜像声源位置之间的距离小于或等于第一阈值；

43、按照各扬声器的位置与镜像声源位置之间的距离由近至远的顺序，对应的距离排序靠前预设数量的扬声器。

44、可选的，所述镜像声源定位模块可以用于：

45、确定所述基准位置与所述虚拟声源位置所在直线；

46、将所述直线与所述部署边界的两个交点，分别作为所述虚拟声源位置对应的两个镜像声源位置。

47、可选的，所述虚拟声源位置位于所述扬声器阵列内部或部署边界上。

48、可选的，所述扬声器阵列的部署边界包括：

49、在所述扬声器阵列中的多个扬声器为二维空间布局的情况下，所述扬声器阵列的部署边界为所述多个扬声器的外接圆；

50、在所述扬声器阵列中的多个扬声器为三维空间布局的情况下，所述扬声器阵列的部署边界为所述多个扬声器的外接球的球面。

51、本技术实施例还提供了一种音频数据处理系统，所述系统包括音频处理设备，以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；

52、其中：

53、所述音频处理设备，用于获取音频文件；所述音频文件中包括音频数据和所述音频数据的元数据，所述元数据包括所述音频数据对应的虚拟声源位置以及音频增益；根据所述基准位置和所述虚拟声源位置，确定所述虚拟声源位置在所述扬声器阵列的部署边界上的两个镜像声源位置； 根据所述虚拟声源位置和所述两个镜像声源位置，确定每个镜像声源位置对应的第一音频增益权重； 对于每个所述镜像声源位置，根据该镜像声源位置以及各所述扬声器的位置，从所述多个扬声器中确定出该镜像声源位置关联的至少一个目标扬声器；根据该镜像声源位置、该镜像声源位置关联的各目标扬声器的位置，以及该镜像声源位置对应的第一音频增益权重，确定该镜像声源位置关联的各目标扬声器的目标音频增益权重；对于每个所述目标扬声器，根据该目标扬声器的目标音频增益权重以及所述音频增益，确定该目标扬声器的目标音频增益；根据该目标扬声器的目标音频增益以及所述音频数据，得到该目标扬声器对应的目标音频数据；分别向各所述目标扬声器发送对应的目标音频数据；

54、所述目标扬声器，用于根据接收到的目标音频数据进行播放。

55、本技术实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本技术任一可选实施例中提供的方法。

56、另一方面，本技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

57、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

58、本技术实施例提供的技术方案带来的有益效果如下：

59、本技术实施例提供的音频数据处理方法，应用于音频处理系统中，该系统包括音频处理设备以及围绕基准位置部署的扬声器阵列。该方法通过将虚拟声源位置映射到扬声器阵列的部署边界上，得到两个镜像声源位置，进而基于两个镜像声源位置、虚拟声源位置、各扬声器的位置，确定每个镜像声源位置关联的各目标扬声器及其目标音频增益，进而得到各目标扬声器所要播放的目标音频数据。基于该方法，通过将虚拟声源拆分为扬声器阵列的部署边界上的两个镜像声源，并将虚拟声源的音频增益分配至各镜像声源上，进而将各镜像声源的音频增益分配至扬声器阵列中关联的目标扬声器上，解决了vbap算法只能定位扬声器阵列的部署边界上的虚拟声源位置，而无法定位扬声器阵列内部的虚拟声源的问题，能够准确重现扬声器阵列内部的声像。

技术特征：

1.一种音频数据处理方法，其特征在于，所述方法应用于音频数据处理系统，所述系统包括音频处理设备以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；所述方法由所述音频处理设备执行，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟声源位置和所述两个镜像声源位置，确定每个镜像声源位置对应的第一音频增益权重，包括：

3.根据权利要求2所述的方法，其特征在于，所述两个镜像声源位置包括第一镜像声源位置和第二镜像声源位置；

4.根据权利要求1所述的方法，其特征在于，对于每个所述镜像声源位置，所述根据该镜像声源位置、该镜像声源位置关联的各目标扬声器的位置，以及该镜像声源位置对应的第一音频增益权重，确定该镜像声源位置关联的各目标扬声器的目标音频增益权重，包括：

5.根据权利要求4所述的方法，其特征在于，该镜像声源位置关联n个目标扬声器，n1，且n为整数；

6.根据权利要求1所述的方法，其特征在于，对于每个镜像声源位置，所述根据该镜像声源位置以及各所述扬声器的位置，从所述多个扬声器中确定出该镜像声源位置关联的至少一个目标扬声器，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述基准位置和所述虚拟声源位置，确定所述虚拟声源位置在所述扬声器阵列的部署边界上的两个镜像声源位置，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述虚拟声源位置位于所述扬声器阵列内部或部署边界上。

9.根据权利要求1所述的方法，其特征在于，所述扬声器阵列的部署边界包括：

10.一种音频数据处理系统，其特征在于，所述系统包括音频处理设备，以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；

11.一种音频数据处理装置，其特征在于，所述装置部署于音频数据处理系统中的音频处理设备中，所述音频数据处理系统包括所述音频处理设备以及围绕基准位置部署的扬声器阵列，所述扬声器阵列包括多个扬声器；所述装置包括：

12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求1至9任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法。

技术总结
本申请实施例提供了一种音频数据处理方法、装置、系统、电子设备及存储介质，可涉及音频处理等领域。该方法包括：根据扬声器阵列部署的基准位置以及音频文件中的虚拟声源位置，确定虚拟声源位置在扬声器阵列的部署边界上的两个镜像声源位置，根据虚拟声源位置和两个镜像声源位置，确定每个镜像声源位置对应的第一音频增益权重，根据各镜像声源位置、关联的各目标扬声器的位置及其对应的第一音频增益权重、以及音频文件中的音频增益，确定各目标扬声器的目标音频增益，根据各目标音频增益以及音频文件中的音频数据，得到各目标扬声器所要播放的目标音频数据。基于该方法，实现了对扬声器阵列内部的虚拟声源的准确定位。

技术研发人员：杜正中
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/9/23