模拟外科过程的方法和系统的制作方法
专利名称：模拟外科过程的方法和系统的制作方法
技术领域：
本发明通常涉及模拟外科过程，更具体地说，涉及在虚拟环境中模拟最小侵入外科过程。
背景技术：
在现代外科技术中，将最小侵入技术用在越来越多的应用中。在该相对新的领领域内技术的发展很快，这对外科医生产生了很大的训练需求。使得该训练更有效的一种方法是使用计算机模拟。就以处理器和存储器为形式的计算机应用来说，提供可信模拟的已知技术非常复杂并且昂贵。因此，该结果不足以提供逼真的模拟环境。解剖学呈现的可视特性实际上在模拟中很难再现并且很耗时。
在腹腔镜检查领域内，使用摄象机来向外科医生提供来自病人的图象信息。该显示屏显示该摄象机在例如腹腔内获取的图象。通过摄象机以及显示屏再现所有仪器以及外科医生所操作的解剖模型。外科医生使用显示屏上的信息来控制和操作他或她的仪器并执行实现外科手术所需的过程。由于最小侵入技术(minimal invasivetechnique)通过显示屏向外科医生提供信息，将三维真实性降低到显示屏上的二维，因此除其他方面外，图象缺少有关实际上存在的深度的信息。外科医生必须通过研究明暗分布状况、颜色等等来弥补该信息的损失。
通过现代计算机工程，可在由计算机程序创建的虚拟环境中提供逼真的训练情形。在计算机程序中，提供模拟所涉及的目标的三维模型。向用户提供应当与在实际情形中由摄象机俘获的图象信息相应的投影。这表示通过计算机绘制所有视觉信息，诸如仪器和解剖模型。然而，在计算机试图再现的图象信息与摄象机俘获的实际图象间还存在相当大的差别。在计算机中很难逼真地再现在实际情况中外科医生使用的大部分图象信息，例如，在实际情形中存在的光效应和解剖结构、诸如呼吸和脉博跳动等因素。
如果可能的话，在计算机中整个模拟外科领域内的许多复杂过程是很昂贵的。这表示模拟仅可包括缺乏连续性的短暂过程，该连续性当执行该过程通常是存在的。例如，在US5,791,907中，Ramshaw等公开了用于模拟整个手术的系统。该方案建立在显示手术中的不同过程的记录视频序列的数据库上。然后，实际模拟包括将引入表示单独过程的视频序列。随后，询问该用户许多问题。然后，播放示出由问题的回答者确定的连续手术的视频序列。
发明内容
本发明的目的是提供创建逼真模拟环境的方法和系统，该方法和系统全部或部分地解决上述问题。另一目的是提供用于逼真模拟整个手术的方法和系统。
这是通过根据附后权利要求书的方法和系统来实现的。
本发明涉及用于在由计算机单元提供的虚拟环境中模拟身体目标，诸如器官的外科过程的方法。该环境包括所述身体目标的三维数字描述模型，其至少反映所述身体目标的几何和机械特性，以及由连接到所述处理单元的物理进给装置控制的虚拟仪器，其使得有可能影响所述模型。根据本发明的方法包括通过视频序列表示所述模型的二维投影，与仅和所述模型交互作用的虚拟仪器啮合的步骤，所述视频序列包含真实身体目标的记录视图。
在虚拟环境中，可从不同角度观看目标，但通常引入一些限制以便与实际环境类似。例如，在腹部外科手术中，能引入某些限制以便在虚拟环境中的用户能仅从在实际情形中物理上可能的各方向工作。在最小侵入手术中，使用腹腔镜摄象机来在身体内拍片。这导致用户将他或她自身限制到一个或多个视角上。因此，确定虚拟环境，即视角，以及通过该角度，用三维模型创建二维投影。该二维投影与当腹腔镜摄象机在身体内拍片时所呈现的相应。在这里，身体目标是指身体内遭受外科手术过程的某些东西，例如，器官，诸如肝脏、心脏等等，或例如，恶性肿瘤。计算机单元包括具有相关装置的计算机，例如个人计算机。
所使用的虚拟仪器受物理进给装置的控制。进给装置可包括例如，与用在实际手术中的那些类似的、并可安装在装配传感器的台上的仪器。这种物理进给装置的一个例子是由美国ImmersionCorporation制造的“腹腔镜脉冲机”。其提供五个自由度，即，绕支点(仪器插入身体的点)旋转、纵向向内和向外移动仪器的可能性、绕仪器轴旋转以及夹住功能。为允许用户与虚拟目标相互作用以及显示相对于同一目标仪器所处的位置，同样在显示屏上显示虚拟仪器。方便地，由处理单元确定在显示屏上虚拟仪器的初始位置，其后，基于随同进给装置的运动，在虚拟环境中移动它们。
由于固定用于虚拟对象的视角，二维投影实际上变成相同，尽管由于脉博、呼吸或干预存在运动。如果以获得模型化目标的真实外观为目的创建曲面描绘，则可模拟手术。如通过介绍中所述的，然而这不能产生逼真的环境。因此，根据本发明的方法使用记录的视频序列。根据本发明的方法提供显示目标的自然运动，诸如呼吸和脉博的逼真模拟环境。通过用记录的视频序列代替身体目标的三维模型的计算机创建的投影，实现相当高的真实度。本发明的基本思想是不同人的身体器官实质上具有相同的结构。然而，器官的基于计算机的模型实质上必须与胶片中的器官类似。不象其他方案，本发明是基于器官的类似性，即，本发明可基于例如胃的类模型，并基于此应用该视频序列。然而，对受图象资料影响的类模型本身，或者是受模型的属性知识影响的图象资料来说，适应性是必需的。然而，重要的是虚拟仪器是作用于计算机模型上，而不是视频序列上。因为该视频序列包含模型中的某些受限的运动，诸如呼吸和脉博跳动，需要将基础模型做成相应的动画以便通过虚拟仪器的手术击中虚拟模型中的与可在视频序列上看到的点相同的点。
为了形像化计算机模型中的改变，需要对所显示的内容做出改变。完成此工作的一种方法是提供所述模型的那些仅受所述虚拟仪器影响的部分的再现表面，以及将所述再现表面(rendered surface)叠加在所述视频序列上。因此，与已知系统和方法相比，由于仅需要再现已经改变的那些部分，故可获得很大的优点。这节省了计算机应用，同时，最重要是对用户来说，增加了关于视觉印象的真实感。结果，基本整个目标将显示给用户作为拍片序列，一方面，这对于在二维图象中再现三维的用户可能性是重要的，另一方面，增加了“对于真实”的感觉。最好，视频序列包含整个呼吸和脉博周期。由于在某一时间周期期间，脉博跳动快于呼吸，视频序列适当地包含当脉博跳动和呼吸同时发生时开始的以及当脉博跳动和呼吸同时出现时结束的序列。其原因在于虚拟环境应当尽可能与真实环境类似。
另外，本发明允许所示的虚拟仪器将受它们与模型的相互作用的影响。由于视频序列仅是形像化的，而虚拟仪器与模型交互作用，从而使用有关模型中的深度的信息，获得有关全部隐藏或是通过突出模型的部分而部分地隐藏仪器的信息。例如，当针头刺入器官壁时其被部分隐藏，或通过位于将在其上动手术的目标的前台(foreground)的器官来隐藏仪器。
由于虚拟仪器在三维虚拟环境中工作，因此能分析用户正确地估计基于二维投影的视觉印象如何构造三维环境是重要的。因此，该方法最好包括测量虚拟仪器的运动或与目标的交互作用中的至少一个参数，该参数反映用户的技能。能被测量以评价技能的参数是时间、与组织碰撞的次数、不正确过程的次数等等。通过以结构化方法继续模拟，提高了学习，特别是对用户还没有观察过的、在模拟时不正确操作的过程的学习的可能性。
另外，本发明包括用于在由计算机单元提供的虚拟环境中，模拟在身体目标，诸如器官上的外科手术的方法，该外科手术包含多个手术过程。该环境包括数学地描述的所述身体目标的三维模型，其至少反映所述身体目标的几何和机械性能，以及受连接到所述处理单元的物理进给控制的虚拟仪器，这使得影响所述模型成为可能。该方法包括下列步骤通过视频序列表示二维投影，所述序列包含实际身体目标的记录视图、提供反映手术的多个不同阶段期间的目标的多种状态中的所述模型、提供与各个状态期间的真实目标的自然运动相应的第一组多个视频序列、提供分别形像化表示该目标如何从一个状态改变到另一个状态的外科手术过程的第二组多个视频序列，以及允许用户在模拟过程和察看该过程的显像之间选择以便将目标从一个状态改变到另一个状态。
因此，可实现模拟整个手术。反映手术的多个不同阶段期间的目标的状态可由例如，未改变目标的初始状态、具有用于缝合的切口的目标，或具有完全缝合的目标组成。通过这种方法提供训练过程，其中通过使用图象信息保存真实过程的连续性。与基于纯包含视频部分的方案，诸如由US专利申请5,791,907中提出的、用户在处理中自己可能选择进行他们所期望实践的过程，而他们能选择仅查看他们已经很了解或不处理的过程的显像的方案的系统相比，这产生了很大的优点。除此之外，当不个别地模拟单独的外科过程，而是投入它们的环境中时，实现更大程度的全面理解度。
此外，本发明包括用于在由计算机单元提供的虚拟环境中，模拟身体目标，诸如器官上的外科过程的系统。该环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，其受连接到所述处理单元的物理进给装置的控制，使得可影响所述模型。该系统包括所述模型的二维投影，由包含真实身体目标的记录视图的视频序列表示，和仅与所述模型交互作用的虚拟仪器啮合。该系统基本上显示出与上述相应方法相同的优点。
在下文中，将通过参考附图的例子来更详细地描述本发明，其中图1表示模拟环境；以及图2a-2b表示记录视频序列。
具体实施例方式
根据本发明的优选实施例的模拟环境包括处理单元1、显示屏2、如图1所示的进给装置3。通过处理单元1实现虚拟环境。处理单元例如可包括最好装备有含3D电路的图形卡的个人计算机。
图2a-2b表示过程之前、期间和之后，如何通过摄象机拍摄真实的外科过程。为允许在身体内拍摄，使用腹腔镜摄象机。图2a表示腹腔镜摄象机如何在器官内拍片，所获得的结果如图2b所示。其后，该胶片构成模拟中的视觉属性的基础。最好与图象信息分开地记录光强度、光角以及视角。从该胶片选择构成整个呼吸和脉博周期的部分。由于它具有相同的开始和结束，可将其放在一个循环内以便连续地反映病人的自然运动。这意味着存在共同构成拍片的视频序列的有限多个拍片图象。该视频序列将被用来表示不受虚拟仪器影响的模拟目标的自然运动。另外，记录实际手术，这使得可形像化整个手术。
在一个实施例中，然后基于该目标的视觉印象以及解剖学知识，在虚拟环境中创建在胶片中出现的目标的计算机模型，该目标可是器官、癌细胞等等。该计算机模型变为在计算机环境中相对自由绘制的三维模型。在另一实施例中，已经创建了人的器官和其他目标的多个类模型。不管出发点如何，模拟将基于该模型。因此，模型具有真实目标或器官所具有的几何、机械和触觉特性是很重要的。因此，可数学地整个描述该模型。数学描述的数据结构包含有关表面和体积两者的信息。为再现的目的，可使用表面信息，体积信息对了解目标内部的机械和视觉特性来说是必要的。数据结构的例子是体元或八进树(octtree)。
获得与拍片目标的模型化目标相同的透视图是重要的。在最简单的实施例中，这是通过在计算机环境中转动该模型来执行的，以便可选地确定何时找出正确的透视图。在更先进的实施例中，存在转动和/或比例化模型直到它与拍片的目标相应的算法。在比较期间，使用来自拍片序列的一个或多个图象。比较来自胶片的图象和该模型的投影的一种方式是以可能补偿为目的，通过稍微转动该模型，从来自胶片的图象开始，然后对来自该胶片的多个图象继续进行该过程。将来自该胶片的图象与该模型的特定透视图比较的另一种方式是将该图象中的急转线与投影中该模型的轮廓进行比较。用相同的方式，可确定图象中较暗部分是否比另一部分向下更深些，以及有关光源位置的信息。这些比较产生指定的将获得的透视图，然后，锁定它以便确定为与拍片的实际目标的透视图相同。
对模拟装置的用户来说，现在有限的视频序列已经呈现为该模型的投影。因此，获得用于实践的十分逼真的环境。由于该模型位于胶片后并且该虚拟仪器实际上在该模型中操作，考虑到是从该模型而不是胶片提取深度效果，能实现完全真实感。在显示屏2上向用户呈现该胶片。
该模型及其通过视频序列的显像可构成用于与用户实际交互的基础。为与真实情形类似，使用进给装置3，该进给装置基本上与在实际手术中使用的相同。然而，是将其安装在台上并连接到用于检测运动的传感器。如在实际手术中一样，用户在与显示模型的显像相同的显示屏2上查看仪器的运动。将这些仪器描绘成好象它们与真实身体啮合时那样。差别在于屏幕2上的显像不是源自于腹腔镜摄象机，而是源自于在处理单元中创建的显像。于是该虚拟仪器与模型啮合，当该模型包含必要的数据时这允许功率反馈。当然，当真实仪器与真实目标啮合时，出现目标变化；例如，用刀切入导致目标中的切口。因此，这在表示摄象机正在拍摄什么的屏幕上的真实手术中示出。在优选实施例中，在显示给用户的透视图中已经可视地改变的模型中的区域创建再现部分。然后将这些叠加在视频序列上。为使再现部分反映目标的自然运动，必须创建刚好与视频序列中存在的图象一样多的再现部分。
为创建逼真环境，同样在该优选实施例中存在用于影响在屏幕2上如何可视化虚拟仪器3的装置。由于在被动画的计算机模型的每个时刻以三维完整地描述虚拟目标，因此能确定何时在虚拟仪器和虚拟目标之间发生碰撞。实际上，例如，当针尖将要刺入组织时，出现很明显的目标变形。通过找出该仪器与该目标接触的点以及确定变形来实现相同的效果。随后，在变形区域中以及从有关当拍摄视频序列时的光源的信息来确定新表面结构，可创建新图象。该图象位于该胶片上新一层中，并且通过使用能通过特定的3D卡获得的边界透明性，可以极其小的可视边界进行叠加。通过有关目标表面以及图象中深度情况的知识，能实现虚拟仪器的显像。因此，处理单元可了解虚拟仪器的哪些部分已经由位于该仪器前的目标的部分覆盖，或者如果仪器已经刺入目标其被覆盖的部分。
有利地，还能模拟包括整个外科过程或手术的课程形式。这是基于为模拟或形像化而准备的多个过程。当形像化时，使用在该部分开始处已提及的视频记录，这显示真实的拍片手术。
应当理解，在本发明的范围内，上述实施例的各种修改是可能的；例如，可在视频序列上的几层放置模型表面结构的变化的再现部分。这种修改和类似的修改应当被视为由附后权利要求书限定的本发明所包含。
权利要求
1.一种用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟外科手术过程的方法，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，由连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述方法的特征在于包括步骤通过视频序列表示所述模型的二维投影，所述视频序列包含真实身体目标的记录视图，和仅与所述模型交互作用的虚拟仪器啮合。
2.如权利要求1所述的方法，进一步包括步骤提供仅受所述虚拟仪器影响的所述模型的那些部分的再现表面；将所述再现表面叠加在所述视频序列上。
3.如以上任何一个权利要求所述的方法，进一步包括步骤当记录所述视频序列时，测量光源相对于所述身体目标的位置，通过具有相同位置的光源使再现所述再现表面的步骤发生。
4.如以上任何一个权利要求所述的方法，其中所述视频序列由腹腔镜摄象机记录。
5.如以上任何一个权利要求所述的方法，其中所述视频序列是与在目标的初始状态期间真实目标的自然运动对应的循环。
6.如以上任何一个权利要求所述的方法，进一步包括步骤用腹腔镜摄象机，从相同的透视图拍摄真实身体目标，以及从包含整个呼吸和脉博周期的所述记录胶片选择一个序列。
7.如以上任何一个权利要求所述的方法，进一步包括步骤确定所述虚拟仪器的哪些部分由所述虚拟目标完全或部分覆盖，以及仅将未被所述虚拟仪器覆盖的部分放在具有所述视频序列的层的顶部。
8.如以上任何一个权利要求所述的方法，进一步包括步骤至少测量所述虚拟仪器的运动或与所述目标的交互作用中的一个参数，所述参数反映用户的技能。
9.如权利要求8所述的方法，其中被测量的参数与组织碰撞。
10.一种用于在由计算机单元提供的虚拟环境中模拟包含在身体目标，如器官上的多个外科过程的外科手术的方法，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，受连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述方法的特征在于下列步骤通过视频序列表示所述模型的二维投影，所述视频序列包含真实身体目标的记录视图；提供多个状态中的所述模型，所述多个状态反映手术过程中的多个不同阶段期间的该目标，提供第一组多个视频序列，该第一组多个视频序列对应于各个状态期间真实目标的自然运动，提供第二组多个视频序列，该第二组多个视频序列的每一个形像化表示所述目标如何从一种状态改变到另一种状态的外科手术过程，以及允许用户以将所述目标从一个状态改变到另一状态为目的在模拟过程以及查看该过程的显像之间进行选择。
11.一种用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟外科过程的系统，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，由连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述系统的特征在于由视频序列表示的所述模型的二维投影，所述视频序列包含真实身体目标的记录视图，和仅与所述模型交互作用的虚拟仪器的啮合。
全文摘要
用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟手术过程的方法和系统。该虚拟环境包括该身体目标的数学地描述的三维模型，其反映该身体目标的几何和机械特性，以及虚拟仪器，由物理进给装置控制，其使得可影响该模型。该方法包括步骤通过视频序列表示该模型的二维投影，该视频序列包含真实身体目标的记录视图，和仅与该模型交互作用的虚拟仪器啮合。另外，本发明还涉及用于模拟包含几个外科过程的手术的方法。
文档编号G09B9/00GK1488127SQ028040
公开日2004年4月7日 申请日期2002年1月15日 优先权日2001年1月24日
发明者安德斯·许尔特安德, 安德斯·拉森, 戴维·洛夫斯特兰德, 汉斯·伦罗斯, 拉森, 伦罗斯, 安德斯 许尔特安德, 洛夫斯特兰德 申请人:哥德堡大学外科科学股份公司
技术领域：
本发明通常涉及模拟外科过程，更具体地说，涉及在虚拟环境中模拟最小侵入外科过程。
背景技术：
在现代外科技术中，将最小侵入技术用在越来越多的应用中。在该相对新的领领域内技术的发展很快，这对外科医生产生了很大的训练需求。使得该训练更有效的一种方法是使用计算机模拟。就以处理器和存储器为形式的计算机应用来说，提供可信模拟的已知技术非常复杂并且昂贵。因此，该结果不足以提供逼真的模拟环境。解剖学呈现的可视特性实际上在模拟中很难再现并且很耗时。
在腹腔镜检查领域内，使用摄象机来向外科医生提供来自病人的图象信息。该显示屏显示该摄象机在例如腹腔内获取的图象。通过摄象机以及显示屏再现所有仪器以及外科医生所操作的解剖模型。外科医生使用显示屏上的信息来控制和操作他或她的仪器并执行实现外科手术所需的过程。由于最小侵入技术(minimal invasivetechnique)通过显示屏向外科医生提供信息，将三维真实性降低到显示屏上的二维，因此除其他方面外，图象缺少有关实际上存在的深度的信息。外科医生必须通过研究明暗分布状况、颜色等等来弥补该信息的损失。
通过现代计算机工程，可在由计算机程序创建的虚拟环境中提供逼真的训练情形。在计算机程序中，提供模拟所涉及的目标的三维模型。向用户提供应当与在实际情形中由摄象机俘获的图象信息相应的投影。这表示通过计算机绘制所有视觉信息，诸如仪器和解剖模型。然而，在计算机试图再现的图象信息与摄象机俘获的实际图象间还存在相当大的差别。在计算机中很难逼真地再现在实际情况中外科医生使用的大部分图象信息，例如，在实际情形中存在的光效应和解剖结构、诸如呼吸和脉博跳动等因素。
如果可能的话，在计算机中整个模拟外科领域内的许多复杂过程是很昂贵的。这表示模拟仅可包括缺乏连续性的短暂过程，该连续性当执行该过程通常是存在的。例如，在US5,791,907中，Ramshaw等公开了用于模拟整个手术的系统。该方案建立在显示手术中的不同过程的记录视频序列的数据库上。然后，实际模拟包括将引入表示单独过程的视频序列。随后，询问该用户许多问题。然后，播放示出由问题的回答者确定的连续手术的视频序列。
发明内容
本发明的目的是提供创建逼真模拟环境的方法和系统，该方法和系统全部或部分地解决上述问题。另一目的是提供用于逼真模拟整个手术的方法和系统。
这是通过根据附后权利要求书的方法和系统来实现的。
本发明涉及用于在由计算机单元提供的虚拟环境中模拟身体目标，诸如器官的外科过程的方法。该环境包括所述身体目标的三维数字描述模型，其至少反映所述身体目标的几何和机械特性，以及由连接到所述处理单元的物理进给装置控制的虚拟仪器，其使得有可能影响所述模型。根据本发明的方法包括通过视频序列表示所述模型的二维投影，与仅和所述模型交互作用的虚拟仪器啮合的步骤，所述视频序列包含真实身体目标的记录视图。
在虚拟环境中，可从不同角度观看目标，但通常引入一些限制以便与实际环境类似。例如，在腹部外科手术中，能引入某些限制以便在虚拟环境中的用户能仅从在实际情形中物理上可能的各方向工作。在最小侵入手术中，使用腹腔镜摄象机来在身体内拍片。这导致用户将他或她自身限制到一个或多个视角上。因此，确定虚拟环境，即视角，以及通过该角度，用三维模型创建二维投影。该二维投影与当腹腔镜摄象机在身体内拍片时所呈现的相应。在这里，身体目标是指身体内遭受外科手术过程的某些东西，例如，器官，诸如肝脏、心脏等等，或例如，恶性肿瘤。计算机单元包括具有相关装置的计算机，例如个人计算机。
所使用的虚拟仪器受物理进给装置的控制。进给装置可包括例如，与用在实际手术中的那些类似的、并可安装在装配传感器的台上的仪器。这种物理进给装置的一个例子是由美国ImmersionCorporation制造的“腹腔镜脉冲机”。其提供五个自由度，即，绕支点(仪器插入身体的点)旋转、纵向向内和向外移动仪器的可能性、绕仪器轴旋转以及夹住功能。为允许用户与虚拟目标相互作用以及显示相对于同一目标仪器所处的位置，同样在显示屏上显示虚拟仪器。方便地，由处理单元确定在显示屏上虚拟仪器的初始位置，其后，基于随同进给装置的运动，在虚拟环境中移动它们。
由于固定用于虚拟对象的视角，二维投影实际上变成相同，尽管由于脉博、呼吸或干预存在运动。如果以获得模型化目标的真实外观为目的创建曲面描绘，则可模拟手术。如通过介绍中所述的，然而这不能产生逼真的环境。因此，根据本发明的方法使用记录的视频序列。根据本发明的方法提供显示目标的自然运动，诸如呼吸和脉博的逼真模拟环境。通过用记录的视频序列代替身体目标的三维模型的计算机创建的投影，实现相当高的真实度。本发明的基本思想是不同人的身体器官实质上具有相同的结构。然而，器官的基于计算机的模型实质上必须与胶片中的器官类似。不象其他方案，本发明是基于器官的类似性，即，本发明可基于例如胃的类模型，并基于此应用该视频序列。然而，对受图象资料影响的类模型本身，或者是受模型的属性知识影响的图象资料来说，适应性是必需的。然而，重要的是虚拟仪器是作用于计算机模型上，而不是视频序列上。因为该视频序列包含模型中的某些受限的运动，诸如呼吸和脉博跳动，需要将基础模型做成相应的动画以便通过虚拟仪器的手术击中虚拟模型中的与可在视频序列上看到的点相同的点。
为了形像化计算机模型中的改变，需要对所显示的内容做出改变。完成此工作的一种方法是提供所述模型的那些仅受所述虚拟仪器影响的部分的再现表面，以及将所述再现表面(rendered surface)叠加在所述视频序列上。因此，与已知系统和方法相比，由于仅需要再现已经改变的那些部分，故可获得很大的优点。这节省了计算机应用，同时，最重要是对用户来说，增加了关于视觉印象的真实感。结果，基本整个目标将显示给用户作为拍片序列，一方面，这对于在二维图象中再现三维的用户可能性是重要的，另一方面，增加了“对于真实”的感觉。最好，视频序列包含整个呼吸和脉博周期。由于在某一时间周期期间，脉博跳动快于呼吸，视频序列适当地包含当脉博跳动和呼吸同时发生时开始的以及当脉博跳动和呼吸同时出现时结束的序列。其原因在于虚拟环境应当尽可能与真实环境类似。
另外，本发明允许所示的虚拟仪器将受它们与模型的相互作用的影响。由于视频序列仅是形像化的，而虚拟仪器与模型交互作用，从而使用有关模型中的深度的信息，获得有关全部隐藏或是通过突出模型的部分而部分地隐藏仪器的信息。例如，当针头刺入器官壁时其被部分隐藏，或通过位于将在其上动手术的目标的前台(foreground)的器官来隐藏仪器。
由于虚拟仪器在三维虚拟环境中工作，因此能分析用户正确地估计基于二维投影的视觉印象如何构造三维环境是重要的。因此，该方法最好包括测量虚拟仪器的运动或与目标的交互作用中的至少一个参数，该参数反映用户的技能。能被测量以评价技能的参数是时间、与组织碰撞的次数、不正确过程的次数等等。通过以结构化方法继续模拟，提高了学习，特别是对用户还没有观察过的、在模拟时不正确操作的过程的学习的可能性。
另外，本发明包括用于在由计算机单元提供的虚拟环境中，模拟在身体目标，诸如器官上的外科手术的方法，该外科手术包含多个手术过程。该环境包括数学地描述的所述身体目标的三维模型，其至少反映所述身体目标的几何和机械性能，以及受连接到所述处理单元的物理进给控制的虚拟仪器，这使得影响所述模型成为可能。该方法包括下列步骤通过视频序列表示二维投影，所述序列包含实际身体目标的记录视图、提供反映手术的多个不同阶段期间的目标的多种状态中的所述模型、提供与各个状态期间的真实目标的自然运动相应的第一组多个视频序列、提供分别形像化表示该目标如何从一个状态改变到另一个状态的外科手术过程的第二组多个视频序列，以及允许用户在模拟过程和察看该过程的显像之间选择以便将目标从一个状态改变到另一个状态。
因此，可实现模拟整个手术。反映手术的多个不同阶段期间的目标的状态可由例如，未改变目标的初始状态、具有用于缝合的切口的目标，或具有完全缝合的目标组成。通过这种方法提供训练过程，其中通过使用图象信息保存真实过程的连续性。与基于纯包含视频部分的方案，诸如由US专利申请5,791,907中提出的、用户在处理中自己可能选择进行他们所期望实践的过程，而他们能选择仅查看他们已经很了解或不处理的过程的显像的方案的系统相比，这产生了很大的优点。除此之外，当不个别地模拟单独的外科过程，而是投入它们的环境中时，实现更大程度的全面理解度。
此外，本发明包括用于在由计算机单元提供的虚拟环境中，模拟身体目标，诸如器官上的外科过程的系统。该环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，其受连接到所述处理单元的物理进给装置的控制，使得可影响所述模型。该系统包括所述模型的二维投影，由包含真实身体目标的记录视图的视频序列表示，和仅与所述模型交互作用的虚拟仪器啮合。该系统基本上显示出与上述相应方法相同的优点。
在下文中，将通过参考附图的例子来更详细地描述本发明，其中图1表示模拟环境；以及图2a-2b表示记录视频序列。
具体实施例方式
根据本发明的优选实施例的模拟环境包括处理单元1、显示屏2、如图1所示的进给装置3。通过处理单元1实现虚拟环境。处理单元例如可包括最好装备有含3D电路的图形卡的个人计算机。
图2a-2b表示过程之前、期间和之后，如何通过摄象机拍摄真实的外科过程。为允许在身体内拍摄，使用腹腔镜摄象机。图2a表示腹腔镜摄象机如何在器官内拍片，所获得的结果如图2b所示。其后，该胶片构成模拟中的视觉属性的基础。最好与图象信息分开地记录光强度、光角以及视角。从该胶片选择构成整个呼吸和脉博周期的部分。由于它具有相同的开始和结束，可将其放在一个循环内以便连续地反映病人的自然运动。这意味着存在共同构成拍片的视频序列的有限多个拍片图象。该视频序列将被用来表示不受虚拟仪器影响的模拟目标的自然运动。另外，记录实际手术，这使得可形像化整个手术。
在一个实施例中，然后基于该目标的视觉印象以及解剖学知识，在虚拟环境中创建在胶片中出现的目标的计算机模型，该目标可是器官、癌细胞等等。该计算机模型变为在计算机环境中相对自由绘制的三维模型。在另一实施例中，已经创建了人的器官和其他目标的多个类模型。不管出发点如何，模拟将基于该模型。因此，模型具有真实目标或器官所具有的几何、机械和触觉特性是很重要的。因此，可数学地整个描述该模型。数学描述的数据结构包含有关表面和体积两者的信息。为再现的目的，可使用表面信息，体积信息对了解目标内部的机械和视觉特性来说是必要的。数据结构的例子是体元或八进树(octtree)。
获得与拍片目标的模型化目标相同的透视图是重要的。在最简单的实施例中，这是通过在计算机环境中转动该模型来执行的，以便可选地确定何时找出正确的透视图。在更先进的实施例中，存在转动和/或比例化模型直到它与拍片的目标相应的算法。在比较期间，使用来自拍片序列的一个或多个图象。比较来自胶片的图象和该模型的投影的一种方式是以可能补偿为目的，通过稍微转动该模型，从来自胶片的图象开始，然后对来自该胶片的多个图象继续进行该过程。将来自该胶片的图象与该模型的特定透视图比较的另一种方式是将该图象中的急转线与投影中该模型的轮廓进行比较。用相同的方式，可确定图象中较暗部分是否比另一部分向下更深些，以及有关光源位置的信息。这些比较产生指定的将获得的透视图，然后，锁定它以便确定为与拍片的实际目标的透视图相同。
对模拟装置的用户来说，现在有限的视频序列已经呈现为该模型的投影。因此，获得用于实践的十分逼真的环境。由于该模型位于胶片后并且该虚拟仪器实际上在该模型中操作，考虑到是从该模型而不是胶片提取深度效果，能实现完全真实感。在显示屏2上向用户呈现该胶片。
该模型及其通过视频序列的显像可构成用于与用户实际交互的基础。为与真实情形类似，使用进给装置3，该进给装置基本上与在实际手术中使用的相同。然而，是将其安装在台上并连接到用于检测运动的传感器。如在实际手术中一样，用户在与显示模型的显像相同的显示屏2上查看仪器的运动。将这些仪器描绘成好象它们与真实身体啮合时那样。差别在于屏幕2上的显像不是源自于腹腔镜摄象机，而是源自于在处理单元中创建的显像。于是该虚拟仪器与模型啮合，当该模型包含必要的数据时这允许功率反馈。当然，当真实仪器与真实目标啮合时，出现目标变化；例如，用刀切入导致目标中的切口。因此，这在表示摄象机正在拍摄什么的屏幕上的真实手术中示出。在优选实施例中，在显示给用户的透视图中已经可视地改变的模型中的区域创建再现部分。然后将这些叠加在视频序列上。为使再现部分反映目标的自然运动，必须创建刚好与视频序列中存在的图象一样多的再现部分。
为创建逼真环境，同样在该优选实施例中存在用于影响在屏幕2上如何可视化虚拟仪器3的装置。由于在被动画的计算机模型的每个时刻以三维完整地描述虚拟目标，因此能确定何时在虚拟仪器和虚拟目标之间发生碰撞。实际上，例如，当针尖将要刺入组织时，出现很明显的目标变形。通过找出该仪器与该目标接触的点以及确定变形来实现相同的效果。随后，在变形区域中以及从有关当拍摄视频序列时的光源的信息来确定新表面结构，可创建新图象。该图象位于该胶片上新一层中，并且通过使用能通过特定的3D卡获得的边界透明性，可以极其小的可视边界进行叠加。通过有关目标表面以及图象中深度情况的知识，能实现虚拟仪器的显像。因此，处理单元可了解虚拟仪器的哪些部分已经由位于该仪器前的目标的部分覆盖，或者如果仪器已经刺入目标其被覆盖的部分。
有利地，还能模拟包括整个外科过程或手术的课程形式。这是基于为模拟或形像化而准备的多个过程。当形像化时，使用在该部分开始处已提及的视频记录，这显示真实的拍片手术。
应当理解，在本发明的范围内，上述实施例的各种修改是可能的；例如，可在视频序列上的几层放置模型表面结构的变化的再现部分。这种修改和类似的修改应当被视为由附后权利要求书限定的本发明所包含。
权利要求
1.一种用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟外科手术过程的方法，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，由连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述方法的特征在于包括步骤通过视频序列表示所述模型的二维投影，所述视频序列包含真实身体目标的记录视图，和仅与所述模型交互作用的虚拟仪器啮合。
2.如权利要求1所述的方法，进一步包括步骤提供仅受所述虚拟仪器影响的所述模型的那些部分的再现表面；将所述再现表面叠加在所述视频序列上。
3.如以上任何一个权利要求所述的方法，进一步包括步骤当记录所述视频序列时，测量光源相对于所述身体目标的位置，通过具有相同位置的光源使再现所述再现表面的步骤发生。
4.如以上任何一个权利要求所述的方法，其中所述视频序列由腹腔镜摄象机记录。
5.如以上任何一个权利要求所述的方法，其中所述视频序列是与在目标的初始状态期间真实目标的自然运动对应的循环。
6.如以上任何一个权利要求所述的方法，进一步包括步骤用腹腔镜摄象机，从相同的透视图拍摄真实身体目标，以及从包含整个呼吸和脉博周期的所述记录胶片选择一个序列。
7.如以上任何一个权利要求所述的方法，进一步包括步骤确定所述虚拟仪器的哪些部分由所述虚拟目标完全或部分覆盖，以及仅将未被所述虚拟仪器覆盖的部分放在具有所述视频序列的层的顶部。
8.如以上任何一个权利要求所述的方法，进一步包括步骤至少测量所述虚拟仪器的运动或与所述目标的交互作用中的一个参数，所述参数反映用户的技能。
9.如权利要求8所述的方法，其中被测量的参数与组织碰撞。
10.一种用于在由计算机单元提供的虚拟环境中模拟包含在身体目标，如器官上的多个外科过程的外科手术的方法，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，受连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述方法的特征在于下列步骤通过视频序列表示所述模型的二维投影，所述视频序列包含真实身体目标的记录视图；提供多个状态中的所述模型，所述多个状态反映手术过程中的多个不同阶段期间的该目标，提供第一组多个视频序列，该第一组多个视频序列对应于各个状态期间真实目标的自然运动，提供第二组多个视频序列，该第二组多个视频序列的每一个形像化表示所述目标如何从一种状态改变到另一种状态的外科手术过程，以及允许用户以将所述目标从一个状态改变到另一状态为目的在模拟过程以及查看该过程的显像之间进行选择。
11.一种用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟外科过程的系统，所述环境包括所述身体目标的数学地描述的三维模型，其至少反映所述身体目标的几何和机械特性，以及虚拟仪器，由连接到所述处理单元的物理进给装置控制，其使得可影响所述模型，所述系统的特征在于由视频序列表示的所述模型的二维投影，所述视频序列包含真实身体目标的记录视图，和仅与所述模型交互作用的虚拟仪器的啮合。
全文摘要
用于在由计算机单元提供的虚拟环境中，在身体目标，诸如器官上模拟手术过程的方法和系统。该虚拟环境包括该身体目标的数学地描述的三维模型，其反映该身体目标的几何和机械特性，以及虚拟仪器，由物理进给装置控制，其使得可影响该模型。该方法包括步骤通过视频序列表示该模型的二维投影，该视频序列包含真实身体目标的记录视图，和仅与该模型交互作用的虚拟仪器啮合。另外，本发明还涉及用于模拟包含几个外科过程的手术的方法。
文档编号G09B9/00GK1488127SQ028040
公开日2004年4月7日 申请日期2002年1月15日 优先权日2001年1月24日
发明者安德斯·许尔特安德, 安德斯·拉森, 戴维·洛夫斯特兰德, 汉斯·伦罗斯, 拉森, 伦罗斯, 安德斯 许尔特安德, 洛夫斯特兰德 申请人:哥德堡大学外科科学股份公司
最新回复(0)