基于视频数据的分布式处理方法、系统及存储介质与流程

本技术涉及视频通信的，尤其是涉及一种基于视频数据的分布式处理方法、系统及存储介质。

背景技术：

1、在线视频通信是指通过网络技术、通信技术和多媒体技术，实现不同地域的人之间实时视频交流的一种通信方式。在线视频通信的业务种类繁多，例如电视会议和视频电话，电视会议是集图像、语音为一体的视频通信业务，用于连接不同地点的会议室，实现远程会议。视频电话则利用电话线路或网络实时传送人的语音和图像，实现面对面的通话。

2、随着在线视频通信的技术不断发展，在线视频通信的内容在不断升级。传统的视频内容只是传输原始的拍摄内容，现在有些视频画面可以使目标和背景进行分离或者更深入的优化操作，比如更换目标背景等。

3、更换在线视频通信中目标的背景需要先对视频内容中的目标进行实时提取，然后对目标之外的背景部分进行替换，需要占用大量的算力，这对支持在线视频通信的硬件设备提出了更高的要求，若是硬件设备算力不够，可能在更换背景时造成在线视频通信的卡顿问题。

技术实现思路

1、为了提升在线视频通信过程中对视频内容进行深度操作时的流畅度，本技术提供一种基于视频数据的分布式处理方法、系统及存储介质。

2、第一方面，本技术提供一种基于视频数据的分布式处理方法，采用如下的技术方案：

3、一种基于视频数据的分布式处理方法，包括如下步骤：

4、基于第一账号在第一设备中使用第一通信软件与第二账号建立通信连接，然后进行视频连接；

5、获取所述第一账号的第一视频画面；

6、从所述第一视频画面中选定目标特征，标记所述目标特征的轮廓；

7、从所述第一视频画面中识别出与所述目标特征相似的相似特征，标记所述相似特征的轮廓；

8、对所述第一视频画面中位于所述目标特征的轮廓之外和所述相似特征标记的轮廓之外的区域画面进行替换，替换成选定的特效背景；

9、计算所述第一设备识别所述相似特征与替换所述区域画面期间的计算耗时与算力占比；

10、若所述计算耗时大于预设的参考时长，或者所述算力占比大于预设的参考占比；则所述第一设备通过第一通信链路与目标设备进行匹配；

11、匹配成功后，所述第一设备实时将所述第一视频画面发送至所述第二设备；

12、所述第二设备获取所述第一视频画面；

13、基于所述第一设备从所述第一视频画面中选定新的所述目标特征，所述第一设备将选定的所述目标特征的坐标发送至所述第二设备，所述第二设备在所述第一视频画面中标记所述目标特征的轮廓；

14、所述第二设备从所述第一视频画面中识别出与所述目标特征相似的相似特征，所述第二设备在所述第一视频画面中标记所述相似特征的轮廓；

15、所述第二设备对所述第一视频画面中位于所述目标特征的轮廓之外和所述相似特征标记的轮廓之外的区域画面进行替换，替换成从所述第一设备选定的特效背景，形成第二视频画面；

16、所述第二设备将所述第二视频画面发送至所述第一设备，所述第一设备接收所述第二视频画面作为新的第一视频画面进行显示，所述第一设备通过所述第一账号将新的所述第一视频画面发送至所述第二账号。

17、通过采用上述技术方案，在线视频通信的过程中，可以选择不同的背景画面，例如抠图+特效背景，此时对设备的处理要求较高，算力需求提升；基于移动设备和便携式设备的短距通信交互，第一设备和第二设备，比如手机与平板或电脑交互，可以对视频处理的数据进行分布式处理，保证在线视频通信的流程性和稳定性。

18、可选地，方法还包括如下步骤：

19、基于总帧数为n的多帧图像，根据第一设备耗时与算力占比的数值或者参考时长与参考占比的比值，将部分帧的图像分发给第二设备处理；

20、分发给第二设备的图像帧数m=总帧数n×（耗时与算力占比的数值+参考时长与参考占比的比值）/2；

21、待发送的图像采用间隔发送的方式，间隔第一帧数m1的图像发送第二帧数m2的图像；

22、使得第一帧数m1的图像的帧率大于等于24帧/秒；

23、其中，所有第一帧数m1和第二帧数m2的总和为总帧数为n，所有第二帧数m2的总和为m；m1大于等于1。

24、通过采用上述技术方案，根据监控结果，可以动态调整分发策略，如增加或减少分发给第二设备的图像量，或者选择其他性能更优的设备进行协作。可以更加灵活地利用多设备资源，提高视频处理的效率和质量，同时保证用户体验的流畅性。

25、可选地，方法还包括如下步骤：

26、匹配成功后，将所述第一账号发送至所述第二设备；

27、所述第二设备基于所述第一账号使用所述第二通信软件与所述第二账号建立通信连接；

28、断开所述第一设备上的所述第一账号与所述第二账号之间的视频连接，基于第一账号在所述第二设备中使用所述第二通信软件与所述第二账号建立视频连接；

29、所述第二设备实时获取所述第一账号的第一视频画面并发送至所述第一设备；

30、基于所述第一设备从所述第一视频画面中选定新的所述目标特征，所述第一设备将选定的所述目标特征的坐标作为目标坐标发送至所述第二设备，所述第二设备在所述第一视频画面中标记所述目标特征的轮廓；

31、所述第二设备从所述第一视频画面中识别出与所述目标特征相似的相似特征，所述第二设备在所述第一视频画面中标记所述相似特征的轮廓；

32、所述第二设备对所述第一视频画面中位于所述目标特征的轮廓之外和所述相似特征标记的轮廓之外的区域画面进行替换，替换成从所述第一设备选定的特效背景，形成新的所述第一视频画面。

33、通过采用上述技术方案，第一设备和第二设备之间通过实时的数据传输和指令交换实现了高效的协作。不仅提高了视频处理的速度和效率，还使得用户可以在不同的设备之间灵活切换和控制视频通信和编辑任务。

34、可选地，方法还包括如下步骤：

35、所述第二设备识别出的所述相似特征的坐标作为相似坐标；

36、所述第二设备将所述相似坐标和所述目标坐标发送至所述第一设备；

37、所述第一设备基于所述相似坐标和所述目标坐标在对应的区域中叠加选定的显示图块。

38、通过采用上述技术方案，甚至可以对抠图效果或者特效背景进行自定义编辑，编辑后继续进行视频通信。通过增加相似坐标的传输和显示图块的叠加的步骤，提供了更加灵活和强大的视频编辑功能。用户可以根据自己的需求和创意对视频画面进行自定义编辑，并在编辑后继续进行视频通信，从而实现了视频内容的实时美化和个性化创作。

39、可选地，方法还包括如下步骤：

40、所述显示图块的动作幅度跟随目标特征的目标坐标的位移幅度调节；目标坐标的位移幅度越大，显示图块的动作幅度越大；目标坐标的位移幅度越小，显示图块的动作幅度越小；

41、所述显示图块的动作频率跟随目标特征的目标坐标的位移速度调节；目标坐标的位移速度越快，显示图块的动作频率越快；目标坐标的位移速度越慢，显示图块的动作频率越慢。

42、通过采用上述技术方案，通过增加显示图块动作幅度和频率的动态调节步骤，为用户提供了更加灵活和丰富的视频编辑手段。这种动态调节机制不仅提升了视频画面的视觉效果和互动性，还扩展了视频编辑的应用场景和可能性。

43、可选地，方法还包括如下步骤：

44、所述第二设备从所述第一视频画面中识别出多个与所述目标特征相似的相似特征；

45、多个相似特征上配置有不同的显示图块；

46、根据相似特征的面积大小匹配不同亮度的显示图块，相似特征的面积越大，显示图块的亮度越大；相似特征的面积越小，显示图块的亮度越小；

47、或者，根据相似特征的面积大小匹配不同面积的显示图块，相似特征的面积越大，显示图块的面积越大；相似特征的面积越小，显示图块的面积越小；

48、或者，根据相似特征的面积大小匹配不同色彩饱和度的显示图块，相似特征的面积越大，显示图块的色彩饱和度越高；相似特征的面积越小，显示图块的色彩饱和度越低。

49、通过采用上述技术方案，基于相似特征面积大小的动态匹配策略，该技术方案能够自动调整显示图块的属性，如亮度、面积、色彩饱和度，以更好地适应和突出视频画面中的相似特征。这种动态调整不仅提升了视频画面的视觉效果和吸引力，还增强了用户体验的沉浸感和互动性。

50、可选地，方法还包括如下步骤：

51、第一设备与第二账号建立通信连接，并接收第一视频画面；

52、第二设备响应第一触发指令，接收所述第一视频画面，并对所述第一视频画面中的目标特征和相似特征进行识别；并发送至第一设备；

53、第三设备响应第二触发指令，接收所述第一视频画面，对所述第一视频画面中位于所述目标特征的轮廓之外和所述相似特征标记的轮廓之外的区域画面进行替换，替换的图片由实时ai生成；并发送至第一设备；

54、第三设备，根据视频通信中的第二账号的数量，是否需要发出第一触发指令和第二触发指令。

55、通过采用上述技术方案，当处理超高清图像，图像像素比较高，数量大时，采用多台设备同时分布式处理；第一设备用来与第二账号建立通信连接，接收第一视频画面；第二设备对第一视频画面中的目标特征和相似特征进行识别；第三设备对第一视频画面中的背景技术进行ai生成，以节约若在同一台设备上处理背景生成的等待时间；第三设备根据通信连接的第二账号的数量，如直播间的人气，判断是否需要发出识别触发指令和生成触发指令；如果人数较少，可以都在第一设备上完成，如果人数稍多，可以在第二设备上分布完成数据的处理，如果人数较多，可以分布多台设备进行处理，有助于提高数据处理的效率。

56、可选地，替换的图片由实时ai生成的方法还包括如下步骤：

57、获取触发关键词；ai生成系统根据触发关键词实时生成背景替换的图片；

58、其中，所述触发关键词与视频通信中的第二账号的数量、视频通信中的产品销量、视频通信中画面变化幅度相关联匹配。

59、通过采用上述技术方案，采用实时ai生成替换图片的方法，并结合与视频通信中特定情境相关联的触发关键词，可以极大地提升视频内容的动态性、互动性和个性化。

60、第二方面，本技术提供一种基于视频数据的分布式处理系统，采用如下的技术方案：

61、一种基于视频数据的分布式处理系统，包括处理器，所述处理器中运行有上述中任意一项所述的基于视频数据的分布式处理方法的程序。

62、第三方面，本技术提供一种存储介质，采用如下的技术方案：

63、一种存储介质，存储有上述中任意一项所述的基于视频数据的分布式处理方法的程序。

64、综上所述，本技术包括以下至少一种有益技术效果：

65、基于视频数据的分布式处理方法充分利用了网络通信和多设备协作的能力，以提高视频处理的速度和效率，特别是在实时视频通信场景中，可以更加高效、稳定地应用于实时视频通信和处理场景。通过允许用户自定义编辑视频中的相似特征，并叠加选定的显示图块，本技术极大地增强了视频编辑的灵活性。用户可以根据个人喜好或创作需求，对视频内容进行精细化的调整和优化，实现独特的视觉效果。本技术引入了显示图块动作幅度和频率的动态调节机制，这些机制根据目标特征在视频画面中的位移幅度和速度进行自动调节。通过动态交互不仅使得视频内容更加生动有趣，还提升了用户的参与感和沉浸感。

技术特征：

1.一种基于视频数据的分布式处理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

3.根据权利要求1所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

4.根据权利要求3所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

5.根据权利要求4所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

6.根据权利要求5所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

7.根据权利要求1所述的基于视频数据的分布式处理方法，其特征在于，方法还包括如下步骤：

8.根据权利要求1所述的基于视频数据的分布式处理方法，其特征在于，替换的图片由实时ai生成的方法还包括如下步骤：

9.一种基于视频数据的分布式处理系统，其特征在于，包括处理器，所述处理器中运行有如权利要求1-8中任意一项所述的基于视频数据的分布式处理方法的程序。

10.一种存储介质，其特征在于，存储有如权利要求1-8中任意一项所述的基于视频数据的分布式处理方法的程序。

技术总结
本申请涉及视频通信的技术领域，公开基于视频数据的分布式处理方法、系统及存储介质，方法包括：通过第一设备上的第一通信软件与第二账号建立连接，并进行视频通话；第一设备捕获第一账号的视频画面；从中选定目标特征，并标记轮廓；识别并标记与选定目标特征相似的其他特征；将视频画面中其他区域替换为特效背景；计算画面处理的计算耗时与算力占比；如果性能不足，则协作；将原始视频画面发送给第二设备；根据第一设备发送的目标特征坐标重新标记目标特征和相似特征，替换背景，生成第二视频画面；处理后的视频画面发回给第一设备，经第一账号发送给第二账号。本申请具有提升在线视频通信过程中对视频内容进行深度操作时的流畅度的优点。

技术研发人员：丁永建,王举,詹登峰,马鹏山,滕越,魏平花,王辉
受保护的技术使用者：浙江嗨皮网络科技有限公司
技术研发日：
技术公布日：2024/9/23