一种模拟飞行混合现实头盔低延迟混合现实方法及装置与流程

xiaoxiao2026-07-26  22


本发明涉及模拟飞行训练领域,更为具体的,涉及一种模拟飞行混合现实头盔低延迟混合现实方法及装置。


背景技术:

1、现有模拟飞行混合现实使用pc端软件进行实现,即通过pc端软件进行实景采集并与模拟飞行虚景画面进行融合叠加,由于pc端软件既需要采集摄像头画面,又需要生成模拟飞行虚景画面,并要进行虚实融合。

2、使用上述方法存在如下技术问题:a)虚实融合为高负载高算力任务,软件需检测画面的每一像素并进行融合处理,导致视景计算机硬件算力消耗,不利于系统的高效稳定运行;b)虚实融合中的实景由视景计算机采集,其采集环节多,涉及到usb、操作系统、内存、显卡,导致实景延迟大,不利于模拟飞行领域低时延仿真的要求;c)视景计算机上需额外运行虚实融合代码,开发难度高、维护和调试难度大,相较于使用专用设备,不利于模拟飞行领域各功能的模块化扩展。


技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种模拟飞行混合现实头盔低延迟混合现实方法及装置,降低了模拟飞行计算机的计算开销,并将飞行画面生成与混合现实进行了解耦,让其可并行执行,进一步降低了模拟飞行混合现实的时间延迟。

2、本发明的目的是通过以下方案实现的:

3、一种模拟飞行混合现实头盔低延迟混合现实方法,包括以下步骤:

4、s1,构建混合现实系统:将混合现实头盔与pc机连接,pc机内设有信号处理板,信号处理板与pc机中的显卡连接;

5、s2,利用pc机中的所述信号处理板同时接收模拟飞行画面与实景摄像头画面,将进行融合处理后输出;其中,模拟飞行画面由pc机进行生成,并通过pc机的显卡视频口输出到所述信号处理板;实景摄像头画面由混合现实头盔中的摄像头产生,并传输至所述信号处理板;混合现实画面由信号处理板将模拟飞行画面与实景摄像头画面混合得出,并输出到混合现实头盔,以供用户进行观看;

6、在步骤s2中,对实景摄像头画面采集,具体包括子步骤:信号处理板基于fpga硬件采集并并行解码摄像头画面;信号处理板将解码后的摄像头画面输出至显示器;

7、在步骤s2中,对模拟飞行画面采集,具体包括子步骤:实时接收显卡传输的模拟飞行画面,并在接收过程中按行缓存,按行进行模拟飞行画面和实景画面的叠加融合和输出,使其延迟为硬件缓存一行视频的延迟。

8、进一步地,在步骤s2中,所述融合处理具体包括子步骤:

9、s21,检测模拟飞行画面中的像素点像素值,若其像素点像素值为rbg000,则将其替换为摄像头画面;

10、s22,模拟飞行软件在进行模拟飞行画面飞行生成时,将针对待融合画面进行相应处理,将被融合的飞机部件置为黑色,当信号处理板进行虚实融合时,将逐像素并行检测模拟飞行画面,将其黑色像素部分替换为实景摄像头画面。

11、进一步地,所述信号处理板的画面采集、画面融合、画面输出均使用fpga进行实现。

12、进一步地,对于模拟飞行画面采集,所述信号处理板使用dp接口进行画面接收,

13、进一步地,对于实景摄像头画面采集,所述信号处理板通过usb接口进行采集。

14、进一步地,对于混合现实画面输出,所述信号处理板使用dp接口输出。

15、进一步地,实景摄像头画面由混合现实头盔中的摄像头产生后,并具体通过uvc协议传输至所述信号处理板。

16、一种模拟飞行混合现实头盔低延迟混合现实装置,包括处理器和存储器,在存储器中存储有程序,当程序被处理器加载时执行如上任一项所述的模拟飞行混合现实头盔低延迟混合现实方法。

17、本发明的有益效果包括:

18、本发明将模拟飞行中的视景渲染与混合现实进行物理分离,模拟飞行计算机仅负责生成模拟飞行画面,新增混合现实信号处理板用做视景摄像头采集及叠加。本发明降低了模拟飞行计算机的计算开销,并将飞行画面生成与混合现实进行了解耦,让其可并行执行,进一步降低了模拟飞行混合现实的时间延迟。



技术特征:

1.一种模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,在步骤s2中,所述融合处理具体包括子步骤:

3.根据权利要求2所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,所述信号处理板的画面采集、画面融合、画面输出均使用fpga进行实现。

4.根据权利要求2所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,对于模拟飞行画面采集,所述信号处理板使用dp接口进行画面接收。

5.根据权利要求2所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,对于实景摄像头画面采集,所述信号处理板通过usb接口进行采集。

6.根据权利要求2所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,对于混合现实画面输出,所述信号处理板使用dp接口输出。

7.根据权利要求2所述的模拟飞行混合现实头盔低延迟混合现实方法,其特征在于,实景摄像头画面由混合现实头盔中的摄像头产生后,并具体通过uvc协议传输至所述信号处理板。

8.一种模拟飞行混合现实头盔低延迟混合现实装置,其特征在于,包括处理器和存储器,在存储器中存储有程序,当程序被处理器加载时执行权利要求1~7中任一项所述的模拟飞行混合现实头盔低延迟混合现实方法。


技术总结
本发明公开了一种模拟飞行混合现实头盔低延迟混合现实方法及装置,属于模拟飞行训练领域,包括步骤:S1,构建混合现实系统;S2,利用PC机中的所述信号处理板同时接收模拟飞行画面与实景摄像头画面,将进行融合处理后输出;其中,模拟飞行画面由PC机进行生成,并通过PC机的显卡视频口输出到所述信号处理板;实景摄像头画面由混合现实头盔中的摄像头产生,并传输至所述信号处理板;混合现实画面由信号处理板将模拟飞行画面与实景摄像头画面混合得出,并输出到混合现实头盔,以供用户进行观看。本发明降低了模拟飞行计算机的计算开销,将飞行画面生成与混合现实进行了解耦,让其可并行执行,进一步降低了模拟飞行混合现实的时间延迟。

技术研发人员:解军,冯吴巍,庹春龙
受保护的技术使用者:成都成电光信科技股份有限公司
技术研发日:
技术公布日:2024/9/23
转载请注明原文地址:https://www.famiwei.com/read-9025211.html

最新回复(0)