视频处理方法、装置和计算机可读存储介质与流程

本公开涉及视频领域，尤其涉及一种针对全景视频的处理方法、装置和计算机可读存储介质。更具体地，本公开的视频处理方法涉及根据可移动对象和交互对象来播放全景视频的方法。

背景技术：

1、全景视频是通过全景摄像机对周围环境进行全方位拍摄所得到的视频，其通常可以具有360度水平视角和180度垂直视角的视频，从而可以使观看者以自身为中心身临其境地浏览整个场景，体验更加真实的环境显示并能够获得更加丰富的视觉信息。由于全景视频具备这样的特点，在诸如现场监控、公共交通、视频会议以及游戏娱乐等领域都有非常广泛的应用。

2、然而，利用全景视频虽然可以全方位地拍摄并记录具有广阔视野范围的画面，但在观看此类全景图像或视频时，受播放端窗口范围的限制，观看者只能观看到与部分视野范围对应的画面，而无法关注到画面外的事物，因此导致一些重要信息或需要主要到的细节可能被忽略。

3、尽管在一些现有技术中，可以手动调节全景视频的视角来改变观看的画面，使得观看者看到所期望的视野范围，但此方式无疑增加了用户操作的不便性。另外，如果依靠物理的方式(例如，控制云台转动)来改变视角，其可靠性和性能将受限于装置的机械结构，而可能影响观看者的自由观看。并且，上述方式均不能保证用户在全景视频所呈现的众多信息中快速定位到期望的画面，仍然无法解决错失重要信息的问题。

4、因此，需要一种针对全景视频改进的视频处理方法和装置。

技术实现思路

1、鉴于以上，本公开提出如下视频处理方法、装置和计算机可读存储介质，从而解决现有技术中的至少上述技术问题或对现有技术作出改进。

2、根据本公开的一个方面，提供了一种视频处理方法，包括：获取由一系列连续的全景图像帧构成的全景视频；确定全景视频的当前全景图像帧中的可移动对象的第一位置和运动状态；当确定可移动对象的运动状态为驻定时，根据可移动对象的第一位置，检测可移动对象正在交互的交互对象，并且确定交互对象的第二位置；根据交互对象的第二位置来确定用于全景视频的下一全景图像帧的播放视窗，并且确定用于下一全景图像帧的缩放比例；以及使用播放视窗和缩放比例来播放下一全景图像帧。

3、根据本公开的实施例，其中，检测交互对象包括：针对可移动对象执行关键点检测，以确定可移动对象的关键特征；根据与关键特征对应的向量来确定当前全景图像帧中的交互方向线；在当前全景图像帧中检测与交互方向线相交的对象，作为候选交互对象；以及将候选交互对象中符合预定条件的至少一个候选交互对象确定为可移动对象正在交互的交互对象。

4、根据本公开的实施例，其中，确定当前全景图像帧中的交互方向线包括：将当前全景图像帧投影到三维空间坐标系中；确定与关键特征对应的向量在三维空间坐标系中所在的周长线；以及将所确定的周长线投影回当前全景图像帧中，以确定交互方向线。

5、根据本公开的实施例，其中，符合预定条件包括：候选交互对象是从与关键特征对应的向量的方向起的第一个候选交互对象；或候选交互对象是距离可移动对象最近的候选交互对象；或候选交互对象是预定类型的候选交互对象；或候选交互对象位于预定位置或区域；或以上的任意组合。

6、根据本公开的实施例，其中，确定用于全景视频的下一全景图像帧的播放视窗包括：将当前全景图像帧投影到三维空间坐标系中；确定第二位置在三维空间坐标系中的三维坐标；以及根据第二位置的三维坐标来确定用于下一全景图像帧的播放视窗，并且确定用于下一全景图像帧的缩放比例，以及其中，确定用于下一全景图像帧的缩放比例包括：根据交互对象的尺寸信息，确定用于下一全景图像帧的缩放比例。

7、根据本公开的实施例，其中，使用播放视窗和缩放比例来播放下一全景图像帧，使得交互对象位于下一全景图像帧的中央区域。

8、根据本公开的实施例，还包括：当确定可移动对象的运动状态为移动时，对可移动对象进行追踪，并且使用默认缩放比例来播放全景视频的下一全景图像帧。

9、根据本公开的实施例，还包括：当接收到用户选择的用于手动模式的指令时，停止对可移动对象进行追踪，并且使用手动缩放比例来播放全景视频的下一全景图像帧，手动缩放比例是根据用户操作而确定的。

10、根据本公开的实施例，其中，当当前全景图像中存在多个对象时，基于对象属性来确定可移动对象，对象属性包括：对象距离全景摄像机的距离；或对象的运动幅度；或对象的生物特征；或对象是否正在讲话；或以上的任意组合。

11、根据本公开的另一个方面，提供了一种视频处理装置，包括：获取单元，配置为获取由一系列连续的全景图像帧构成的全景视频；确定单元，配置为确定全景视频的当前全景图像帧中的可移动对象的第一位置和运动状态，其中，当确定可移动对象的运动状态为驻定时，根据可移动对象的第一位置，检测可移动对象正在交互的交互对象，并且确定交互对象的第二位置，以及根据交互对象的第二位置来确定用于全景视频的下一全景图像帧的播放视窗，并且确定用于所述下一全景图像帧的缩放比例；以及播放单元，配置为使用播放视窗和缩放比例来播放下一全景图像帧。

12、根据本公开的又一个方面，提供了一种视频处理装置，包括：处理器；和存储器，在存储器中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器执行以下步骤：获取由一系列连续的全景图像帧构成的全景视频；确定全景视频的当前全景图像帧中的可移动对象的第一位置和运动状态；当确定可移动对象的运动状态为驻定时，根据可移动对象的第一位置，检测可移动对象正在交互的交互对象，并且确定交互对象的第二位置；以及根据交互对象的第二位置来确定用于全景视频的下一全景图像帧的播放视窗，并且确定用于所述下一全景图像帧的缩放比例，其中，所确定的播放视窗和缩放比例被用来播放下一全景图像帧。

13、根据本公开的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，计算机程序指令在被执行时实现以下步骤：获取由一系列连续的全景图像帧构成的全景视频；确定全景视频的当前全景图像帧中的可移动对象的第一位置和运动状态；当确定可移动对象的运动状态为驻定时，根据可移动对象的第一位置，检测可移动对象正在交互的交互对象，并且确定交互对象的第二位置；以及根据交互对象的第二位置来确定用于全景视频的下一全景图像帧的播放视窗，并且确定用于所述下一全景图像帧的缩放比例，其中，所确定的播放视窗和缩放比例被用来播放下一全景图像帧。

14、根据本公开的上述视频处理方法、视频处理装置以及计算机可读存储介质，能够根据全景视频中的可移动对象及其正在交互的对象，自动地确定并使用优化后的视频参数来播放全景视频，使得观看者可以容易地定位到感兴趣的画面，避免错失视频演示过程中的细节。

技术特征：

1.一种视频处理方法，包括：

2.根据权利要求1所述的视频处理方法，其中，所述检测所述交互对象包括：

3.根据权利要求2所述的视频处理方法，其中，所述确定所述当前全景图像帧中的交互方向线包括：

4.根据权利要求2所述的视频处理方法，其中，所述符合预定条件包括：

5.根据权利要求1至4中任一项所述的视频处理方法，其中，所述确定用于所述全景视频的下一全景图像帧的播放视窗包括：

6.根据权利要求5所述的视频处理方法，其中，使用所述播放视窗和所述缩放比例来播放所述下一全景图像帧，使得所述交互对象位于所述下一全景图像帧的中央区域。

7.根据权利要求1至4中任一项所述的视频处理方法，还包括：

8.根据权利要求7所述的视频处理方法，还包括：

9.根据权利要求1至4中任一项所述的视频处理方法，其中，当所述当前全景图像中存在多个对象时，基于对象属性来确定所述可移动对象，所述对象属性包括：

10.一种视频处理装置，包括：

11.一种视频处理装置，包括：

12.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令在被执行时实现以下步骤：

技术总结
公开了一种视频处理方法，包括：获取由一系列连续的全景图像帧构成的全景视频；确定全景视频的当前全景图像帧中的可移动对象的第一位置和运动状态；当确定可移动对象的运动状态为驻定时，根据可移动对象的第一位置，检测可移动对象正在交互的交互对象，并且确定交互对象的第二位置；根据交互对象的第二位置来确定用于全景视频的下一全景图像帧的播放视窗，并且确定用于下一全景图像帧的缩放比例；以及使用播放视窗和缩放比例来播放下一全景图像帧。

技术研发人员：伊红,贾海晶,张恒之,刘丽艳,张宇鹏
受保护的技术使用者：株式会社理光
技术研发日：
技术公布日：2024/9/23