虚拟眼科ICL晶状体植入手术训练方法和系统与流程
本发明涉及虚拟现实及人机交互，具体为虚拟眼科icl晶状体植入手术训练方法和系统。
背景技术：
1、目前市场上有两个成熟的眼科手术训练系统，分别是德国vrmagic公司研发的eyesi眼科手术训练系统和microvistouch系统。
2、eyesi系统是目前市场上唯一通过同行评议可用于练习玻璃体视网膜和白内障眼科手术的仿真系统。该系统涵盖了夹持、撕囊、超声乳化和人工晶体植入等多个模块，研究表明其能够有效训练白内障手术中的关键步骤。
3、microvistouch系统是目前唯一一款支持触觉感应回馈的眼科手术仿真模拟器。该系统实现了全面视觉体验的仿真，包括手术设备、头部和眼睛，相较于前两个系统更具逼真度。
4、在国内，目前还没有被广泛认可的用于眼科手术训练的系统。由于手术过程的复杂性和技术的高难度，相关研究相对较少。浙江大学现代教育中心研发了基于自然交互的白内障训练平台，利用leapmotion等算法实现了系统的人机交互功能，并模拟了手术过程中的撕囊、超声乳化玻璃体和晶状体植入等功能。
5、目前用于显微眼科手术训练系统的研究还有些不足之处，主要包括以下几个方面：
6、首先，关于显微眼科手术训练系统的研究技术还不够成熟，真正可以投入市面用于实际显微眼科手术训练的系统主要还是上述系统，关于此方向的研究较少。
7、然后，考虑到整套手术的复杂性，目前研究大多集中于攻克手术过程中单一部分模块的技术研究，比如针对白内障手术过程中的撕囊、晶体植入、眼角膜变形等其中的某一部分，关于外部硬件部分涉足更是较少，有关手部触觉反馈的研究还有待提高。
8、最后，人机交互功能存在较大不足，不能使用户获得高度的手术沉浸感和更加自然、真实的手术体验，对手术的培训效果有较大影响。
技术实现思路
1、针对现有技术的不足，本发明提供了虚拟眼科icl晶状体植入手术训练方法和系统，解决了上述背景技术所提出的问题。
2、本发明提供如下技术方案：虚拟眼科icl晶状体植入手术训练方法，包括以下步骤：
3、s1：用户通过登录端登录至系统端上，通过知识学习模块选择想要学习的眼科手术器械知识，通过资料获取模块根据用户选择想要学习的眼科手术操作知识，从教学数据库内部调取相应的眼科手术操作知识；
4、s2：学习完相关知识后，佩戴带有硬件设备的反馈功能的ar控制手套，通过虚拟现实技术对虚拟眼球进行手术操作或趣味训练；
5、s3：将正确的眼科手术操作过程进行分解，并预设至系统端，将用户在虚拟手术操作中的手术操作过程进行分解，并进行对比，根据对比结果进行分数评估，同时保留训练记录；
6、对用户在虚拟手术操作中的表现进行评估，根据评估结果进行调整，保留训练记录步骤中，用户操作完具体某个手术步骤或趣味训练后，及时反馈操作结果，显示相关评分和失误操作的信息，便于用户调整改进操作手法。
7、优选的，s1中具体包括：通过虚拟现实环境场景学习步骤中，通过裸眼3d显示屏进行手术器械学习，使得用户通过虚拟现实模型全方位展示相关的手术器械，并带有文字介绍内容；
8、其步骤具体为：用户点击某个手术器械的图片，屏幕中间显示该手术器械的3d模型，可以通过拖拽360度旋转查看该模型，放大缩小显示细节，点击内容介绍按钮，出现该手术器械的相关介绍。
9、优选的，s2中具体包括：通过虚拟现实模型进行虚拟眼科手术操作，采用模拟手术操作平台进行实际模拟手术操作，通过动作捕捉模块对人员的操作进行数据收集，通过动作反馈模块反馈至虚拟现实模型内部，使晶状体根据人员的操作实现实时的变化，从而使得用户可以通过虚拟现实模型身临其境地进行虚拟现实眼科手术操作。
10、虚拟眼科icl晶状体植入手术训练系统，包括以下模块：
11、登录端、系统端与硬件端；
12、系统端包括知识学习模块、资料获取模块、教学数据库、虚拟现实模型、动作反馈模块；
13、硬件端包括现实操作模块与动作捕捉模块；
14、所述知识学习模块，用于用户进行眼科手术操作器械相关知识的学习；
15、所述资料获取模块，用于用户进行眼科手术操作学习时对于相关知识的调取；
16、所述教学数据库，用于存储眼科手术操作学习资料；
17、所述虚拟现实模型，用于通过构建虚拟现实环境以供用户进行眼科手术操作学习；
18、所述动作反馈模块，用于将采集到的传感数据导入至虚拟现实模型内部；
19、所述现实操作模块，用于用户在进行虚拟现实学习以及操作时，通过现实操作模块模拟现实操作场景；
20、所述动作捕捉模块，用于将用户在进行虚拟现实学习以及操作时，实现操作模块的各种传感器数据的采集，使虚拟现实模型中运行的虚拟环境和用户的操作过程实现实时同步；
21、使得用户进行虚拟手术操作的过程中，能够感受到实际工具的物理反馈，从而能够使用户明显感知到手术器械操作方向和力度等因素；
22、动作捕捉模块采集的各种传感器数据，如方向、角度、力的大小以及位置关系等传感器数据，能够通过虚拟现实模型，对模拟实际操作时，对于操作感觉以及具体情况的模拟。
23、优选的，所述教学数据库内部存储有眼科手术操作学习资料，该眼科手术操作学习资料包括视频学习资料等，可以随时向教学数据库内部补充以及更新最新的眼科手术操作学习资料。
24、优选的，所述虚拟现实模型使用软体物体引擎实现虚拟场景中的力学仿真，将虚拟环境中的物理场景与软体物体引擎整合，使虚拟手术场景中的对象、器械元素映射到软体物体引擎的物理模型中，器械元素在虚拟环境中正确地受到物理力的影响，从而实现虚拟环境的真实化。
25、优选的，所述动作捕捉模块具体包括，基于目标检测网络实现器械指尖定位和手势识别，包括以下步骤：
26、s1：通过帧间差分后二值化图像像素取值，实现展示不同手势的边缘信息优点的同时进一步减少网络的计算量；
27、s2：将其和稀疏光流二值图像进行运算；
28、s3：把结果图像作为yolov4-tiny网络的训练和检测图像；
29、s4：通过摄像头采集视频进行检测，在gpu上实现器械指尖的实时定位追踪，以及多种手势的识别。
30、本发明具备以下有益效果：
31、1、该虚拟眼科icl晶状体植入手术训练方法和系统，采用虚拟现实技术，结合力反馈设备和软体物体引擎，提供虚拟手术场景，以模拟晶体植入手术过程。通过力反馈设备的跟踪定位实现虚拟手术器械的相应操作，使用户感受到虚拟手术器械在其手中得到真实操控，从而显著提升沉浸感和真实感。同时，本发明成功解决了虚拟眼科手术中关键训练技术的困难问题。
32、2、该虚拟眼科icl晶状体植入手术训练系统，通过yolov4-tiny网络运行速度快、准确率高，性能优良，利用帧间差分后二值化图像像素取值简单、占用空间少，又能展示不同手势的边缘信息的优点，进一步减少网络的计算量，将其和稀疏光流二值图像进行或运算，把结果图像作为yolov4-tiny网络的训练和检测图像，通过摄像头采集视频进行检测，可在gpu上实现人脸指尖的实时定位追踪，以及多种手势的识别，实现复杂背景干扰下的手势分割和识别，准确率高且实时性好，对人手的形状变化也具有较高的鲁棒性。
技术特征：
1.虚拟眼科icl晶状体植入手术训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的虚拟眼科icl晶状体植入手术训练方法，其特征在于，s1中具体包括：通过虚拟现实环境场景学习步骤中，通过裸眼3d显示屏进行手术器械学习，使得用户通过虚拟现实模型(6)全方位展示相关的手术器械，并带有文字介绍内容；
3.根据权利要求1所述的虚拟眼科icl晶状体植入手术训练方法，其特征在于，s2中具体包括：通过虚拟现实模型(6)进行虚拟眼科手术操作，采用模拟手术操作平台进行实际模拟手术操作，通过动作捕捉模块(10)对人员的操作进行数据收集，通过动作反馈模块(7)反馈至虚拟现实模型(6)内部，使晶状体根据人员的操作实现实时的变化，从而使得用户可以通过虚拟现实模型(6)身临其境地进行在虚拟现实眼科手术操作。
4.根据权利要求1-3所述的虚拟眼科icl晶状体植入手术训练系统，其特征在于，包括以下模块：
5.根据权利要求4所述的虚拟眼科icl晶状体植入手术训练系统，其特征在于：所述教学数据库(5)内部存储有眼科手术操作学习资料，该眼科手术操作学习资料包括视频学习资料等，可以随时向教学数据库(5)内部补充以及更新最新的眼科手术操作学习资料。
6.根据权利要求4所述的虚拟眼科icl晶状体植入手术训练系统，其特征在于：所述虚拟现实模型(6)使用软体物体引擎实现虚拟场景中的力学仿真，将虚拟环境中的物理场景与软体物体引擎整合，使虚拟手术场景中的对象、器械元素映射到软体物体引擎的物理模型中，器械元素在虚拟环境中正确地受到物理力的影响，从而实现虚拟环境的真实化。
7.根据权利要求4所述的虚拟眼科icl晶状体植入手术训练系统，其特征在于：所述动作捕捉模块(10)具体包括，基于目标检测网络实现器械指尖定位和手势识别，包括以下步骤：
技术总结
本发明涉及虚拟现实及人机交互技术领域，且公开了虚拟眼科ICL晶状体植入手术训练方法，包括以下步骤：S1：用户通过登录端1登录至系统端2上，通过知识学习模块3选择想要学习的眼科手术器械知识，通过资料获取模块4根据用户选择想要学习的眼科手术操作知识，从教学数据库5内部调取相应的眼科手术操作知识。采用虚拟现实技术，结合力反馈设备和软体物体引擎，提供虚拟手术场景，以模拟晶体植入手术过程。通过力反馈设备的跟踪定位实现虚拟手术器械的相应操作，使用户感受到虚拟手术器械在其手中得到真实操控，从而显著提升沉浸感和真实感。同时，本发明成功解决了虚拟眼科手术中关键训练技术的困难问题。
技术研发人员：李鹏飞,郑兵
受保护的技术使用者：上海华禹信息科技有限公司
技术研发日：
技术公布日：2024/9/23