本发明涉及数据可视化,尤其涉及一种多模态融合的肛肠数据可视化分析方法及系统。
背景技术:
1、随着医疗诊断技术的不断进步,对肛肠疾病的检测和分析也日益精细化,传统的单一检测手段已经无法全面反映复杂的肛肠生理结构和功能,往往存在着数据分析效率低,不准确的问题,亟需新型的数据融合分析方法来实现更为全面的诊断,近年来,随着医疗成像技术的发展,医生可以获取肛肠的三维结构信息,如ct、mri等影像数据,也可以实时采集患者的肛肠压力、张力、括约肌活动等生理信号数据,这些来自不同模态的数据,蕴含着丰富的肛肠疾病诊断信息,然而,仅依靠单一模态的信息往往难以全面把握肛肠的复杂生理机制,一方面,影像数据可以反映肛肠的解剖结构,但无法直接推测其功能状态;另一方面,生理信号数据能够反映肛肠的实时生理变化,却难以定位其结构异常的根源,因此,迫切需要一种基于多模态数据融合的可视化分析方法,以实现对肛肠复杂生理过程的全面把握。
技术实现思路
1、本发明为解决上述技术问题,提出了一种多模态融合的肛肠数据可视化分析方法及系统,以解决至少一个上述技术问题。
2、为实现上述目的,本发明提供一种多模态融合的肛肠数据可视化分析方法,包括以下步骤:
3、步骤s1:获取肛肠部位高清影像及实时肛肠生理信号参数;基于肛肠部位高清影像生成区域像素点亮度分布数据;基于区域像素点亮度分布数据进行全局亮度动态调整,以生成亮度调整肛肠图像;
4、步骤s2:对实时肛肠生理信号参数进行小波变换分解,以生成肛肠信号频域数据;对肛肠信号频域数据进行趋势波动分析,得到信号频域波动趋势数据;
5、步骤s3:基于亮度调整肛肠图像提取肛肠体素特征点;基于肛肠体素特征点进行三维布局结构分析,生成肛肠三维布局结构数据;对肛肠三维布局结构数据进行三维点云重建,构建肛肠三维点云结构模型;
6、步骤s4:对实时肛肠生理信号参数进行时序窗口划分,以得到多个时序窗口;基于多个时序窗口对时序肛肠生理信号参数及肛肠三维点云结构模型进行结构-参数动态交互分析,以生成结构-参数动态交互特征数据;
7、步骤s5:基于信号频域波动趋势数据对结构-参数动态交互特征数据进行滑动窗口短期趋势预测,以生成结构-参数短期趋势预测数据;基于结构-参数短期趋势预测数据生成结构-参数精细趋势预测数据;
8、步骤s6:利用结构-参数精细趋势预测数据对肛肠三维点云结构模型进行空间结构相对位移分析,生成全局结构动态形变轨迹;基于全局结构动态形变轨迹对肛肠三维点云结构模型进行多维可视化投影处理,构建肛肠可视化三维渲染模型。
9、本发明通过获取肛肠部位的高清影像和实时肛肠生理信号参数,我们获得多种信息来源,从而全面了解肛肠的状态,基于肛肠部位高清影像,生成区域像素点亮度分布数据,有助于提取图像中不同区域的亮度特征,进而改善图像的清晰度和对比度,全局亮度动态调整根据图像的整体亮度分布情况进行自适应调整,使得肛肠图像的视觉效果更加优化,突出重要细节,方便医生的观察和分析,通过对实时肛肠生理信号参数进行小波变换分解,得到肛肠信号的频域表示,从而揭示信号的频域特征和频域成分,对肛肠信号频域数据进行趋势波动分析,提取信号在频域上的波动趋势信息,例如频域上的峰值、频谱形状等,为后续的病变分析和预测提供基础,通过亮度调整后的肛肠图像,提取出肛肠的体素特征点,这些特征点在图像中标志着肛肠重要的解剖结构和病变区域,基于肛肠体素特征点进行三维布局结构分析,了解这些特征点之间的关系和空间布局,从而获得肛肠的三维布局结构数据,进一步对肛肠三维布局结构数据进行三维点云重建,构建出真实世界中肛肠的三维点云结构模型,通过对实时肛肠生理信号参数进行时序窗口划分,将连续的信号数据划分为多个时序窗口,以便对每个窗口内的信号进行分析和比较,基于多个时序窗口,对时序肛肠生理信号参数和肛肠三维点云结构模型进行结构-参数动态交互分析,这意味着我们研究信号参数与肛肠结构之间的相互作用和关联,以获得更详细的信息和洞察力,结构-参数动态交互特征数据是在不同时间窗口内获得的肛肠信号特征和结构特征之间的交互信息,将实时采集的肛肠生理信号参数数据,划分为多个时间窗口,以获取不同时间段内的信号特征,将这些时序窗口内的信号特征数据,与之前构建的三维肛肠结构模型进行动态交互分析,这种结构-参数的动态耦合分析,反映肛肠生理变化与结构变化之间的内在联系,为后续的趋势预测奠定基础,通过滑动窗口分析,预测未来一段时间内肛肠结构和生理参数的整体变化趋势,进一步优化预测模型,生成更加精细的结构-参数长期趋势预测数据,为全局动态形变分析提供依据,分析肛肠三维结构模型的全局动态形变轨迹,通过多维投影处理,将三维结构模型的动态变化以生动形象的方式呈现出来,构建出可视化的三维渲染模型,这种可视化模型直观展示肛肠部位的整体结构及其变化过程。
10、优选地,步骤s1包括以下步骤:
11、步骤s11:获取肛肠部位高清影像及肛肠生理信号参数;
12、步骤s12:对肛肠部位高清影像进行高斯滤波处理,以得到边缘增强部位影像;
13、步骤s13:对边缘增强部位影像进行形态学分割,得到边缘增强肛肠区域图像;
14、步骤s14:对边缘增强肛肠区域图像进行像素点亮度分布计算,生成区域像素点亮度分布数据;
15、步骤s15:基于区域像素点亮度分布数据对边缘增强肛肠区域图像进行全局亮度动态调整,以生成动态亮度调整肛肠区域图像。
16、本发明通过获取高分辨率的肛肠部位影像数据,能够捕捉到肛肠结构的细节信息,为后续的图像分析提供高质量的数据基础,同时采集实时的肛肠生理信号参数,如压力、温度、ph值等,为动态分析肛肠生理状况提供关键依据,使用高斯滤波算法对原始高清影像进行平滑处理,有效抑制噪音,同时保留重要的边缘信息,边缘增强有助于突出肛肠部位的结构细节,为后续的区域分割和特征提取提供更加清晰的图像输入,利用形态学分割算法,从边缘增强的影像中精确提取出肛肠部位的感兴趣区域,将原始影像中的无关背景信息排除,只保留目标肛肠区域,为后续的特征分析提供更加集中的数据,分割结果更好地反映肛肠部位的实际结构和边界信息,基于提取出的肛肠区域图像,计算每个像素点的亮度值,并统计整个区域的亮度分布特征,像素点亮度分布数据反映肛肠区域的整体亮度特征,为后续的亮度调整提供依据,采用全局亮度动态调整算法优化肛肠区域图像的整体亮度,增强图像的细节对比度,提高后续特征提取和结构分析的效果,动态亮度调整后的肛肠区域图像为下一步的三维结构重建和可视化分析提供更加优质的输入数据。
17、优选地,步骤s15的具体步骤为:
18、对边缘增强肛肠区域图像进行边缘特征点识别,以提取边缘特征点;
19、基于区域像素点亮度分布数据对边缘特征点进行局部细粒度亮度增强,得到局部增强区域图像;
20、对局部增强区域图像进行亮度区域划分,得到高亮区域图像及低光区域图像;
21、对高亮区域图像进行高亮像素压缩,生成高光压缩区域图像;
22、基于区域像素点亮度分布数据对低光区域图像进行低亮像素点非线性映射增强,得到低亮补偿图像;
23、对高光压缩区域图像及低亮补偿图像进行全局亮度动态调整,以生成动态亮度调整肛肠区域图像。
24、本发明通过对边缘增强的肛肠区域图像进行边缘特征点识别,我们提取出图像中的边缘信息和边缘特征点,边缘特征点的识别有助于定位肛肠图像中的重要结构和轮廓,为后续的图像增强和分析提供基础,基于区域像素点亮度分布数据,对边缘特征点进行局部细粒度亮度增强,使得这些特征点在图像中更加明显和突出,局部细粒度亮度增强有助于提高边缘特征的可见性和对比度,使得医生能够更清晰地观察和分析肛肠图像的边缘结构,对局部增强区域图像进行亮度区域划分,得到高亮区域图像和低光区域图像,亮度区域划分将图像中的亮度信息进行分离,有助于将高亮和低光的区域分开,方便后续的不同处理和分析,对高亮区域图像进行高光像素压缩,减少图像中过亮的像素值,避免细节丢失和视觉疲劳,高光压缩有助于保留图像中的重要细节信息,并提高图像的观察品质和可视化效果,基于区域像素点亮度分布数据,对低光区域图像进行低亮像素点非线性映射增强,以补偿图像中过暗的区域,低亮补偿技术增强图像中的低光细节,并提高图像的对比度和可视化效果,对高光压缩区域图像和低亮补偿图像进行全局亮度动态调整,以生成动态亮度调整的肛肠区域图像,全局亮度动态调整根据图像的整体亮度分布情况进行自适应调整,使得肛肠区域图像的视觉效果更加优化,突出重要细节。
25、优选地,步骤s2的具体步骤为:
26、步骤s21:对实时肛肠生理信号参数进行多模态特征融合,以得到实时肛肠特征融合参数;
27、步骤s22:对实时肛肠特征融合参数进行小波变换分解,以生成肛肠信号频域数据;
28、步骤s23:对肛肠信号频域数据进行信号间相关性分析,生成信号间依赖性数据;
29、步骤s24:基于信号间依赖性数据对肛肠信号频域数据进行趋势波动分析,得到信号频域波动趋势数据。
30、本发明通过对实时肛肠生理信号参数进行多模态特征融合,综合利用多种信号参数的信息,得到更全面和准确的肛肠特征融合参数。多模态特征融合提高对肛肠生理状态的理解和分析,从不同角度捕捉和表达肛肠信号的特征,增强数据的信息量和可解释性。对实时肛肠特征融合参数进行小波变换分解,将信号从时域转换到频域,得到肛肠信号的频域数据。小波变换分解提供不同频率尺度上的肛肠信号信息,帮助分析人员更好地理解信号的频域特性和频域组成。对肛肠信号频域数据进行信号间相关性分析,量化不同信号之间的相关性和关联程度,生成信号间依赖性数据。信号间相关性分析有助于发现不同信号之间的模式和关系,揭示潜在的信号相互影响的机制和规律。基于信号间依赖性数据,对肛肠信号频域数据进行趋势波动分析,研究信号的波动性质和趋势变化。趋势波动分析揭示信号的周期性、趋势性和周期间的关系,帮助分析人员识别信号的重要特征和变化趋势。
31、优选地,步骤s3的具体步骤为:
32、步骤s31:基于亮度调整肛肠图像构建二维体素网格;
33、步骤s32:对二维体素网格进行特征点采样,以提取肛肠体素特征点;
34、步骤s33:对肛肠体素特征点进行纹理细节轮廓识别,以得到肛肠纹理轮廓;
35、步骤s34:基于肛肠纹理轮廓对亮度调整肛肠图像进行三维布局结构分析,生成肛肠三维布局结构数据;
36、步骤s35:对肛肠三维布局结构数据进行三维点云重建,构建肛肠三维点云结构模型。
37、本发明通过基于亮度调整的肛肠图像,通过将图像转换为二维体素网格,将图像信息以离散的方式表示,构建二维体素网格有助于将肛肠图像转化为结构化的数据形式,为后续的特征提取和分析提供基础,对二维体素网格进行特征点采样,选择具有代表性的体素点作为肛肠体素特征点,特征点采样有助于提取图像中的重要特征点,减少数据冗余和计算复杂度,并提供了对肛肠图像的局部描述,对肛肠体素特征点进行纹理细节轮廓识别,分析肛肠图像的纹理信息,提取纹理轮廓特征,纹理细节轮廓识别有助于捕捉图像中的纹理变化和细节信息,为后续的结构分析提供基础,基于肛肠纹理轮廓,对亮度调整的肛肠图像进行三维布局结构分析,揭示肛肠图像的空间结构和布局关系,三维布局结构分析有助于理解肛肠图像中的结构特征和空间排布,为对肛肠图像的三维重建提供依据,对肛肠三维布局结构数据进行三维点云重建,构建出肛肠的三维点云结构模型,三维点云重建将肛肠图像转换为三维空间中的点云数据,提供了对肛肠结构的立体化表示和可视化。
38、优选地,步骤s4的具体步骤为:
39、步骤s41:对实时肛肠生理信号参数进行时序分析,以得到时序肛肠生理信号参数;
40、步骤s42:对时序肛肠生理信号参数进行时序窗口划分,以得到多个时序窗口;
41、步骤s43:基于多个时序窗口对时序肛肠生理信号参数及肛肠三维点云结构模型进行跨模态时空关联性特征挖掘,生成跨模态时空关联特征数据;
42、步骤s44:对跨模态时空关联特征数据进行结构-参数动态交互分析,以生成结构-参数动态交互特征数据。
43、本发明通过对实时肛肠生理信号参数进行时序分析,研究信号的时间变化特性。时序分析有助于分析信号的周期性、趋势性和时域动态特征,为后续的时序窗口划分提供基础。对时序肛肠生理信号参数进行时序窗口划分,将时序信号划分为多个连续的窗口。时序窗口划分有助于将信号分割为相对独立的时间段,以便更好地研究每个窗口内的信号特征和时域变化。基于多个时序窗口,对时序肛肠生理信号参数及肛肠三维点云结构模型进行跨模态时空关联性特征挖掘。跨模态时空关联特征挖掘有助于探索不同模态数据之间的时空关系,发现信号参数与三维结构模型之间的相关性和关联特征。对跨模态时空关联特征数据进行结构-参数动态交互分析,研究肛肠结构和参数之间的相互作用和动态关系。结构-参数动态交互分析有助于揭示肛肠结构和参数之间的相互影响和动态变化,为肛肠数据的可视化分析提供更全面和综合的信息。
44、优选地,步骤s43的具体步骤为:
45、基于多个时序窗口对时序肛肠生理信号参数及肛肠三维点云结构模型进行时间信号对齐,并提取肛肠时域特征数据;
46、基于肛肠时域特征数据对肛肠三维点云结构模型进行跨模态关联映射分析,生成多窗格跨模态关联映射关系;
47、对多窗格跨模态关联映射关系进行关联关系拼接,生成时序关联特征序列;
48、对时序关联特征序列进行隐式动态关联挖掘,生成跨模态时空关联特征数据。
49、本发明通过基于多个时序窗口,对时序肛肠生理信号参数及肛肠三维点云结构模型进行时间信号对齐。时间信号对齐有助于将不同时间窗口内的数据进行同步,确保它们具有相同的时间参考。对齐后,提取时域特征数据,如平均值、方差、频谱分析等,用于描述不同时间窗口内的肛肠生理信号特征。基于肛肠时域特征数据,对肛肠三维点云结构模型进行跨模态关联映射分析。跨模态关联映射分析有助于探索肛肠时域特征数据与三维点云结构模型之间的关联关系。通过映射分析,了解不同时域特征和点云结构之间的相互影响和关联程度。对多窗格跨模态关联映射关系进行关联关系拼接,将不同窗格内的关联信息整合起来。关联关系拼接有助于构建全局的时序关联特征序列,将不同时间窗口内的关联特征有机地连接在一起。对时序关联特征序列进行隐式动态关联挖掘,探索其中的潜在动态关系和模式。隐式动态关联挖掘有助于发现不同时序关联特征之间的时空关联性,揭示肛肠数据中的动态变化和演化趋势。
50、优选地,步骤s5的具体步骤为:
51、步骤s51:对信号频域波动趋势数据进行周期趋势分析,生成周期频域趋势数据;
52、步骤s52:基于周期频域趋势数据对结构-参数动态交互特征数据进行滑动窗口短期趋势预测,以生成结构-参数短期趋势预测数据;
53、步骤s53:对结构-参数短期趋势预测数据进行动态参数精度优化,生成结构-参数精细趋势预测数据。
54、本发明通过对信号频域波动趋势数据进行周期趋势分析,研究信号在频域上的周期性变化,周期趋势分析有助于发现信号中的周期性成分和频域上的波动特征,为后续的结构-参数短期趋势预测提供基础,基于周期频域趋势数据,对结构-参数动态交互特征数据进行滑动窗口短期趋势预测,短期趋势预测分析结构-参数动态交互特征数据在近期内的变化趋势,预测其未来的发展方向,通过滑动窗口的方式,实现对不同时间段内的短期趋势预测,提供更细粒度的预测结果,对结构-参数短期趋势预测数据进行动态参数精度优化,生成结构-参数精细趋势预测数据,参数精细趋势预测进一步提升了预测的准确性和精度,通过优化预测模型的参数,使预测结果更加精细和可靠,结构-参数精细趋势预测数据更好地揭示结构与参数之间的动态关系,提供更准确、可靠的趋势预测结果。
55、优选地,步骤s6的具体步骤为:
56、步骤s61:利用结构-参数精细趋势预测数据对肛肠三维点云结构模型进行空间结构相对位移分析,以得到点云结构相对位移轨迹;
57、步骤s62:基于点云结构相对位移轨迹进行全局动态形变位置更新,生成全局结构动态形变轨迹;
58、步骤s63:基于全局结构动态形变轨迹对肛肠三维点云结构模型进行结构定位动态渲染,构建肛肠动态参数渲染模型;
59、步骤s64:对肛肠动态参数渲染模型进行多维可视化投影处理,构建肛肠可视化渲染模型。
60、本发明通过利用结构-参数精细趋势预测数据,对肛肠三维点云结构模型进行空间结构相对位移分析,结构相对位移分析研究点云结构模型中不同部分之间的相对运动关系,了解结构的变形和形变情况,通过分析结构相对位移,获得点云结构的相对位移轨迹,描述结构变化的空间特征,基于点云结构相对位移轨迹,进行全局动态形变位置更新,生成全局结构动态形变轨迹全局动态形变轨迹反映了点云结构模型在时间上的演化过程,描述了结构的动态变化和形变趋势,通过全局动态形变轨迹,了解肛肠结构在不同时间点上的形态变化,提供全局的动态形变信息,基于全局结构动态形变轨迹,对肛肠三维点云结构模型进行结构定位动态渲染,结构定位动态渲染将动态形变轨迹应用于点云结构模型,使其呈现出动态的形态和位置信息,通过结构定位动态渲染,直观地观察和理解肛肠结构的动态变化,揭示结构在时间上的位置演化过程,对肛肠动态参数渲染模型进行多维可视化投影处理,构建肛肠可视化渲染模型,多维可视化投影处理将肛肠动态参数渲染模型中的多维数据映射到二维或三维可视化空间,通过多维可视化渲染,将肛肠数据的多个特征维度以直观、可视化的方式展现,帮助用户更好地理解和分析数据。
61、在本说明书中,提供一种多模态融合的肛肠数据可视化分析系统,用于执行如上所述的多模态融合的肛肠数据可视化分析方法,包括:
62、亮度调整模块,用于获取肛肠部位高清影像及实时肛肠生理信号参数;基于肛肠部位高清影像生成区域像素点亮度分布数据;基于区域像素点亮度分布数据进行全局亮度动态调整,以生成亮度调整肛肠图像;
63、趋势波动模块,用于对实时肛肠生理信号参数进行小波变换分解,以生成肛肠信号频域数据;对肛肠信号频域数据进行趋势波动分析,得到信号频域波动趋势数据;
64、三维结构模块,用于基于亮度调整肛肠图像提取肛肠体素特征点;基于肛肠体素特征点进行三维布局结构分析,生成肛肠三维布局结构数据;对肛肠三维布局结构数据进行三维点云重建,构建肛肠三维点云结构模型;
65、动态交互特征模块,用于对实时肛肠生理信号参数进行时序窗口划分,以得到多个时序窗口;基于多个时序窗口对时序肛肠生理信号参数及肛肠三维点云结构模型进行结构-参数动态交互分析,以生成结构-参数动态交互特征数据;
66、趋势预测模块,用于基于信号频域波动趋势数据对结构-参数动态交互特征数据进行滑动窗口短期趋势预测,以生成结构-参数短期趋势预测数据;基于结构-参数短期趋势预测数据生成结构-参数精细趋势预测数据;
67、可视化投影模块,用于利用结构-参数精细趋势预测数据对肛肠三维点云结构模型进行空间结构相对位移分析,生成全局结构动态形变轨迹;基于全局结构动态形变轨迹对肛肠三维点云结构模型进行多维可视化投影处理,构建肛肠可视化三维渲染模型。
68、本发明通过获取肛肠部位高清影像及实时肛肠生理信号参数,提供了观察肛肠区域的清晰图像和实时生理参数的能力,基于肛肠部位高清影像,生成区域像素点亮度分布数据,用于描述肛肠区域的亮度分布情况,进行全局亮度动态调整,以生成亮度调整后的肛肠图像,使图像中的亮度更加均衡和适宜,对实时肛肠生理信号参数进行小波变换分解,生成肛肠信号的频域数据,用于分析信号的频域特征,对肛肠信号频域数据进行趋势波动分析,得到信号频域波动趋势数据,用于描述信号的波动特征和趋势,基于亮度调整后的肛肠图像,提取肛肠体素特征点,用于表示肛肠结构的关键点,进行三维布局结构分析,生成肛肠三维布局结构数据,描述了肛肠结构的布局和形态特征,对肛肠三维布局结构数据进行三维点云重建,构建肛肠三维点云结构模型,提供了对肛肠结构进行三维可视化的能力,对实时肛肠生理信号参数进行时序窗口划分,得到多个时序窗口,用于分析信号在不同时间段上的特征,基于多个时序窗口,对时序肛肠生理信号参数及肛肠三维点云结构模型进行结构-参数动态交互分析,生成结构-参数动态交互特征数据,描述了结构和参数之间的相互影响关系,基于信号频域波动趋势数据,对结构-参数动态交互特征数据进行滑动窗口短期趋势预测,提供了对未来短期趋势的预测能力,基于结构-参数短期趋势预测数据生成结构-参数精细趋势预测数据,提供了更详细和准确的趋势预测结果,利用结构-参数精细趋势预测数据对肛肠三维点云结构模型进行空间结构相对位移分析,生成全局结构动态形变轨迹,描述了结构的动态变化和形变趋势,基于全局结构动态形变轨迹对肛肠三维点云结构模型进行多维可视化投影处理,构建肛肠可视化三维渲染模型,提供了对肛肠结构动态变化的可视化呈现。
1.一种多模态融合的肛肠数据可视化分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s1的具体步骤为:
3.根据权利要求2所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s15的具体步骤为:
4.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s2的具体步骤为:
5.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s3的具体步骤为:
6.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s4的具体步骤为:
7.根据权利要求6所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s43的具体步骤为:
8.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s5的具体步骤为:
9.根据权利要求1所述的多模态融合的肛肠数据可视化分析方法,其特征在于,步骤s6的具体步骤为:
10.一种多模态融合的肛肠数据可视化分析系统,其特征在于,用于执行如权利要求1所述的多模态融合的肛肠数据可视化分析方法,包括:
