媒体流处理方法、装置、设备和介质与流程

本公开涉及计算机，特别涉及一种媒体流处理方法、装置、设备和介质。

背景技术：

1、随着流媒体技术的不断发展，流媒体越来越广泛的应用于人们的工作、学习和生活中。例如，在线上视频会议的场景下，或者在直播的场景下，用户既要听到声音，又要看到画面，因此，需要同时进行音频和视频的传输。然而，用户对音频和视频的需求不同，例如，用户需要听到所有声音，或者需要听到音量最大的声音，而画面可以由用户选择性查看，因此，音频和视频是通过不同通道独立传输的。而音频和视频的独立传输，会导致音频和视频在播放过程中出现音画不同步的问题。并且，由于用户可以切换相同场景下的不同画面，或者服务端根据需要切换相同场景下的不同音频，所以，需要根据音频或视频的切换，调整音频和视频之间的同步关系。目前，需要一种音画同步的方案。

技术实现思路

1、本公开提供一种媒体流处理方法、装置、设备和介质。

2、根据第一方面，提供一种媒体流处理方法，所述方法包括：

3、接收媒体流；所述媒体流包括通过不同通道传输的音频流以及视频流；

4、响应于预设事件的触发，确定所述媒体流中包括的所述音频流与所述视频流的时间差；

5、获取所述媒体流的缓冲信息；

6、基于所述时间差以及所述缓冲信息，调整所述媒体流的缓冲区的大小，以使所述媒体流中包括的所述音频流和所述视频流同步播放。

7、根据第二方面，提供一种训练目标模型的装置，所述装置包括：

8、接收模块，用于接收媒体流；所述媒体流包括通过不同通道传输的音频流以及视频流；

9、确定模块，用于响应于预设事件的触发，确定所述媒体流中包括的所述音频流与所述视频流的时间差；

10、获取模块，用于获取所述媒体流的缓冲信息；

11、调整模块，用于基于所述时间差以及所述缓冲信息，调整所述媒体流的缓冲区的大小，以使所述媒体流中包括的所述音频流和所述视频流同步播放。

12、根据第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

13、根据第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的方法。

14、本公开的实施例提供的技术方案可以包括以下有益效果：

15、本公开的实施例提供的一种媒体流处理方法及装置，通过确定接收到的媒体流所包括的音频流与视频流的时间差，并获取媒体流的缓冲信息，根据时间差和缓冲信息，调整媒体流缓冲区的大小，从而使媒体流包括的音频流和视频流能够同步播放。在不产生较大性能开销的前提下，高效地实现了音画同步的效果。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种媒体流处理方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述确定所述媒体流中包括的所述音频流与所述视频流的时间差，包括：

3.根据权利要求2所述的方法，其中，所述方法应用于web端，其中，所述获取所述第一数据包对应的第一采集时刻以及所述第二数据包对应的第二采集时刻，包括：

4.根据权利要求2所述的方法，其中，所述基于所述第一采集时刻、所述第二采集时刻、所述第一接收时刻和所述第二接收时刻，计算所述时间差，包括：

5.根据权利要求1所述的方法，其中，所述方法应用于web端，其中，所述获取所述媒体流的缓冲信息，包括：

6.根据权利要求5所述的方法，其中，所述基于所述时间差以及所述缓冲信息，调整所述媒体流的缓冲区的大小，包括：

7.根据权利要求6所述的方法，其中，所述利用所述调整参数，调整所述媒体流中所述视频流对应的缓冲区的大小，包括：

8.一种媒体流处理装置，所述装置包括：

9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1-7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。

技术总结
本公开提供一种媒体流处理方法、装置、设备和介质，所述方法的一具体实施方式包括：接收媒体流；所述媒体流包括通过不同通道传输的音频流以及视频流；响应于预设事件的触发，确定所述媒体流中包括的所述音频流与所述视频流的时间差；获取所述媒体流的缓冲信息；基于所述时间差以及所述缓冲信息，调整所述媒体流的缓冲区的大小，以使所述媒体流中包括的所述音频流和所述视频流同步播放。该实施方式在不产生较大性能开销的前提下，高效地实现了音画同步的效果。

技术研发人员：徐焕强,李文锋
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/9/23