专利名称:用于量化技能的方法及系统的制作方法
技术领域:
本发明涉及训练领域,在一个实施方式中涉及外科训练。
背景技术:
近年来,虚拟训练系统得到了越来越多的认可和完善。然而,训练不足可导致更高的错误发生率。因此,临床医生期望有一种用于量化临床技能的更为客观的方法。包括虚拟系统在内的涉及人机接口的各种系统可涉及实质上随机的人类动作。尽管测量结果代表以相同技能级别执行的相同任务,但多次执行可重复的任务的人常常产生不同的动作测量结果(例如力、速度、位置等)。因此,技能建模应揭露并测量隐藏在可测量的动作数据中的潜在特征。包括人机接口的这样的系统的一个实施例为远程操控机器人手术系统,例如由 Intuitive Surgical公司商品化的da Vinci (达芬奇)手术系统。在使用远程操控机
器人手术系统时,即使在多次任务的执行之间操作者表现出许多小的动作特征变化,熟练的操作者也可以多次执行特定的任务。并且,技能级别熟练度较低的操作者在执行特定任务时常常表现出与熟练操作者执行该任务时的动作特征区别很大的动作特征。人们期望有一种识别非熟练的操作者或较不熟练的操作者的动作特征如何与熟练操作者的动作特征进行比较,从而使非熟练的操作者或较不熟练的操作者的任务熟练度可被客观量化的方式。人们还希望有一种提供操作者的技能级别的客观量化的方式,可用于帮助训练操作者从而以更高的技能级别执行。特别地,希望对学习使用远程机器人手术系统的外科医生的具体外科任务执行力进行客观量化,然后使用任务执行力信息帮助外科医生达到更熟练的执行力级别。附图的简要说明
图1、图9、以及图13至图14示出根据一些实施方式的涉及用于量化技能的手术系统的细节。图2至图8和图12示出根据多个实施方式的量化技能的实施例。图10至图11示出根据一些实施方式的用于量化技能的方法。发明的实施方式的描述提供了用于量化技能的系统和方法。数据可被收集用于用户执行的外科任务。然后,可将数据与用于相同外科任务的其它数据进行比较。然后,用户的专业技能级别可根据比较来确定,用户的临床技能可被量化。在一些实施方式中,指示熟练用户如何执行外科任务的数据可被收集,该数据可与所收集的指示第二个用户如何执行外科任务的数据进行比较,从而确定第二个用户的临
4床技能。在一些实施方式中,所收集的指示熟练用户如何执行外科任务的数据可用于训练第二个用户。用于将技能量化的系统图1示出根据一个实施方式的手术系统100。在系统100中,数据被收集并存档。 在一个实施方式中,手术系统100可为由htuitive Surgical公司商品化的da Vinci 手术系统。da Vinci ^^术系统的另外的信息可从例如美国专利第6,441,577号(于2001年 4月3日提交;公开了“用于机器人手术的机械手定位联动”)和第7,155,315号(于2005 年12月12日提交;公开了 “在微创手术设备中的摄像机的相关控制”)获取,这两篇专利均通过引用被并入本文。虽然在一个实施方式中使用了 da Vinci 手术系统,但本领域技术人员将理解可以使用任意的手术系统。本领域技术人员还将理解存在收集数据的其它方式,并且本发明的实施方式可以在除了手术的许多领域中使用,包括但不限于康复、驾驶和/或操作机器。在一个实施方式中,手术系统100可包括外科医生控制台105、视觉系统125以及患者旁机械臂塔110。系统100的这些主要部件可以多种方式相互连接,例如通过电缆或光缆或通过无线连接。对系统100进行操作必需的电子数据处理可集中在主要部件之一,或分布在两个或多个主要部件(涉及电子数据处理器、计算机或类似物,因此,可包括可用于产生特定计算结果的一个或多个实际的硬件、固件或软件部件)中。患者旁机械臂塔110可包括一个或多个机械手以及与该机械手相关的一个或多个可移动的手术仪器部件,例如图13中示出的一个仪器。图13示出多个可能的运动部件及其相关活动(例如自由度,其可被多方面限定如振动、偏转、滚动、插入/撤出、抓握等), 并且还示出可与这些部件的自由度相关的接合件。图14示出与这些自由度相关的可能参数(数据点),以及其它系统部件(例如用于主操控器的运动参数如接合位置和速度、笛卡尔位置和速度、旋转矩阵值等;用于患者旁机械臂塔的接合位置和速度,动作的远程中心的笛卡尔位置、旋转矩阵值、设定的接合值等;在系统的多个位置处的各个伺服次数、按钮位置等;等)。这些数据参数可在测量外科医生的活动时使用,所述外科医生的活动可以以子任务(surgeme)动作和特定动作(dexeme)为特征,这将在下面进行更详细地描述。如系统100所示,手术系统可包括应用编程接口(API),可在医生控制台105或另一系统部件上的例如接口 115上通过以太网连接访问该API。多个系统100的参数如参照图14识别的那些参数可通过API被监测且记录(存储、存档等)。由安装在患者旁机械臂塔110上的内窥镜成像系统收集的视频数据可由视觉系统125处理并输出至位于医生控制台105处的外科医生。视频数据可以是有立体感的(例如左眼和右眼通道,从而给出明显的三维(3D)立体图像)或可以是单视场的。可通过系统 100中的一个或多个视频输出端口,例如位于接口 115上的视频输出联接器,来存取视频数据。存取的视频数据可被记录,记录的视频数据可与通过API输出的数据同步,使得监测的系统参数与视频数据可彼此同步地记录且存储。如图1所示,系统100包括计算机135,计算机135可为与系统100的一个或多个其它部件分开和连接的平台,或者可与系统100的一个或多个其它部件构成整体。量化技能的计算机应用130可存储在待访问的存储器上并由计算机135执行。图9示出量化技能的计算机应用130的细节,量化技能的计算机应用130可包括用户接口 910、比较模块915、建模模块905、教导模块920以及分段模块925。用户接口 910可用于与用户交互。例如,用户接口 910可显示被跟踪以进行测试的动作和子动作,还指示文本被分类为哪个组以及在分类后将数据公开。分段模块925可用于将数据从过程 (procedure)分段为子任务和特定动作。用于将数据分段的公式将在下面更详细地描述。比较模块915可用于将来自测试用户的数据与表示专家数据、中级数据或新手数据(或任意的专业级别)进行比较,根据测试用户的活动数据确定测试用户应被指定为哪个级别。建模模块905可对特定的技能级别(例如专家外科医生)的模型活动进行建模。例如,建模模块905可获取表示专家用户活动的数据并对这些活动建模。教导模块920可用于教导用户如何进行特定任务或子任务。例如,教导模块920可利用对专家活动进行建模的数据并使用建模后的数据来训练用户。在一些实施方式中,对专家活动进行建模的数据可从建模模块905获得。收集的数据可被加密并使用位于数据收集部分端部处的盒式驱动器传送至附接的便携式盒式带(cartridge)(例如,耦接至计算机135 ;未示出)。由一人或多人执行的多个记录过程可存储在盒式带上。来自盒式带的数据可上载至安全的储存库(例如通过网络或互联网如因特网),或者,来自盒式驱动器的数据可被物理地发送至用于存储和/或分析的另一系统。可替换地,收集的数据可从计算机135直接通过网络或互联网传送至位于另一位置的计算机进行存储和/或分析。可维护使用手术系统100的用户的匿名列表,每个用户可被分配唯一的ID。收集并存档的数据可使用唯一 ID,使得可在进行进一步分析时仅通过唯一 ID识别用户。可以以各种粒度级别对存档的数据分段,以用于特定试验、任务或过程。例如,存档的数据可被分段为试验(例如过程级别)数据、子任务(例如过程子任务级别)数据、或特定动作(例如子任务级别的具体动作组成部分)数据。这些级别的数据以及如何使用这些数据将在下面进行详细描述。存档数据可被安全存储。在一个实施方式中,仅参与数据收集的用户或实体可存取存档数据。用于量化技能的方法图10示出用于将技能量化的方法。在1005中,可从用于执行手术过程的一个或多个手术系统中采集数据。在一个实施方式中,可以利用遥控机器人手术系统例如da Vinci 手术系统。在1010中,数据被分段和标记。在1015中,经分段的数据可与其它分段数据进行比较和分析。然后,经分析的数据可被用于将手术系统的用户的技能进行量化。涉及这些元件的细节将在下面进行详细描述。数据采集仍参照图10,在1005中可从一个或多个外科医生用于执行手术过程的一个或多个手术系统中采集数据。因此,例如,当具有不同专业技能级别的外科医生使用一个或多个手术系统执行外科任务时,可从这些外科医生处采集动作数据。例如,在一个实施方式中, 遥控机器人手术系统可被用于执行包括缝合任务(例如两个表面的手术连接)的试验(例如过程)。可使用遥控机器人手术系统收集数据。数据可包括遥控机器人手术系统的医生控制台主操控器和/或患者旁机械臂塔的位置、旋转角度和速度。如上所述,所采集的数据还可包括在试验或一部分试验过程中从手术系统中收集的视频数据。
数据分段和/或数据标记仍参照图10,在1010中测试数据可被分段和/或标记。图2示出根据一个实施方式的可用于将过程分段(打断)的各个级别。如上所述,所记录的数据可被分段为试验 (例如过程)数据、任务数据、子任务(例如子任务)数据、或特定动作(例如子任务的动作)数据。技能评估和训练可在每个级别下进行。Pi可为试验或过程级别(例如根治性前列腺切除术、子宫切除术、二尖瓣修补术)。Tl和T2为各种任务级别(例如缝合)的示例性说明,其为需要在过程中执行的任务。Sl至S6为子任务级别(例如拉动针)的示例性说明,其为任务所需的子任务。如图2所示,例如,任务Tl被分段为子任务Sl至S3,任务T2 被分段为子任务S4至S6。Ml至M6为各个特定动作级别的示例性说明,其为子任务的动作元素(特定动作表示较小的灵巧动作)。特定动作可用于辨别单个姿势的短暂的子姿势,以及相同姿势的样本之间的风格变化。例如,在缝合任务中的一些姿势如引导针穿过组织可比其它姿势如拉线更能显示专门技能。这样细微的粒度评估可导致更好的自动手术评估和训练。如图2所示,例如,子任务S2被分段为特定动作M1、M4和M2,子任务S5被分段为特定动作M5、M4和M3。因此,具体的特定动作可为单个子任务的组成部分,或特定动作可以是两个或多个子任务的组成部分。同样地,任何相对较细微粒度的分段可以为下一个最高级别的仅一个或一个以上的相对较粗(courser)粒度的分段的组成部分。图3示出根据一个实施方式可如何手工分段及标记各个子任务。图3示出与缝合任务相关的九个子任务的实施例(不必按照次序)及其各自的标记。为九个子任务提供以下动作标记(0)空闲位置、(1)伸手去拿针、(2)定位针、(3)将针插过组织、(4)将针从左手传递至右手、( 用右手将针移向中心、(6)用左手拉缝、(7)用右手拉缝、以及(8)用双手将针定向(空闲状态可以或不可以被看作子任务;不进行动作的空闲时间可以为期望监测的一个特征)。在该实施方式中,数据被手工分段和标记。然后可将子任务手工分段为特定动作。在一些实施方式中,数据可被自动分段为子任务。动作数据可通过将数据标准化并使用线性判别分析(LDA)将数据映射到低维来自动分段。(对于LDA的更多信息,参见 Fisher, R :The use of multiple measurements in taxonomic problems, Annals of Eugenics 7(1936) 179-188)。然后,贝叶斯分类器(Bayes classifier)可根据从训练标记数据集获取的可能性决定较低维度的每个数据最可能存在的子任务。关于如何将数据自动分段的更多信息,参见 H. Lin 等人的"Towards Automatic Skill Evaluation =Detection and Segmentation of Robot Assisted Surgical Motions" , Computer Aided Surgery, Sept. 2006,11(5) :220-230 (2006),此处通过引用将其并入本文。在一个实施方式中,可检验该自动分类的准确性。为此,可使用{> i = 1, 2,…,k}指示测验的子任务标记序列,其中σ m在集合{1,…,11}中并且k 20,[bi; ej为σ 的开始和结束时间,并且1彡bi < ei彡T。应注意的是,ID1 = 1,bi+1 = e^l,
ek = Τ。子任务副本
权利要求
1.用于量化至少一个用户的临床技能的系统,包括在至少一个计算机上可执行的至少一个应用程序,所述至少一个应用程序被配置为 收集与由至少一个用户使用至少一个外科设备执行的至少一个外科任务有关的数据;将用于所述至少一个外科任务的数据与用于至少一个其它类似的外科任务的其它数据进行比较;基于用于所述至少一个外科任务的数据与用于所述至少一个其它类似的外科任务的其它数据的比较结果,量化所述至少一个用户的临床技能; 输出所述至少一个用户的所述临床技能。
2.如权利要求1所述的系统,其中,所述外科设备为外科机器人。
3.如权利要求1所述的系统,其中,所述数据为视频数据、动作数据或其任意组合。
4.如权利要求1所述的系统,其中,所述至少一个应用程序进一步被配置为 基于所述比较结果确定至少一个专家用户;对所述至少一个专家用户的至少一个活动进行建模;基于所述至少一个专家用户的至少一个已建模的活动教导至少一个新手用户。
5.如权利要求1所述的系统,其中,所述至少一个应用程序进一步被配置为 将所述至少一个外科任务注释为新手级别、中级级别或专家级别。
6.如权利要求4所述的系统,其中,所述教导能在没有任何人类监督者的情况下进行。
7.如权利要求1所述的系统,其中,所述至少一个用户的临床专业级别是使用各种基础模型的比较进行区分的。
8.如权利要求1所述的系统,其中技能是在物理活动中开发的任何任务均能够被量化。
9.如权利要求4所述的系统,其中,所述教导还包括基于所述至少一个专家用户的至少一个已建模活动引导所述至少一个新手用户的至少一个活动。
10.如权利要求1所述的系统,其中,所述至少一个应用程序进一步被配置为 收集指示至少一个熟练用户如何执行至少一个外科任务的数据;收集指示至少一个其它用户如何执行所述至少一个外科任务的数据; 将所收集的所述至少一个熟练用户的数据与所收集的所述至少一个其它用户的数据进行比较,以确定所述至少一个其它用户的临床技能级别; 输出所述至少一个其它用户的所述临床技能级别。
11.如权利要求10所述的系统,其中,所述至少一个外科任务为 至少一个外科试验;所述至少一个外科试验的至少一个子任务;或所述至少一个子任务的至少一个特定动作。
12.用于量化至少一个用户的临床技能的方法,包括收集待存储在至少一个数据库中的数据,所述数据与由至少一个用户使用至少一个外科设备执行的至少一个外科任务有关;利用至少一个比较模块将用于所述至少一个外科任务的数据与用于至少一个其它类似的外科任务的其它数据进行比较;基于用于所述至少一个外科任务的数据与用于所述至少一个其它类似的外科任务的其它数据的比较结果,利用至少一个比较模块量化所述至少一个用户的临床技能; 将所述至少一个用户的所述临床技能输出至至少一个用户接口。
13.如权利要求12所述的方法,其中,所述外科设备为外科机器人。
14.如权利要求12所述的方法,其中,所述数据为视频数据、动作数据或其任意组合。
15.如权利要求12所述的方法,还包括利用所述至少一个比较模块基于所述比较结果确定至少一个专家用户; 利用至少一个建模模块对所述至少一个专家用户的至少一个活动进行建模; 利用至少一个教导模块基于所述至少一个专家用户的所述至少一个已建模的活动教导至少一个新手用户。
16.如权利要求12所述的方法,还包括利用所述至少一个比较模块将所述至少一个外科任务注释为新手级别、中级级别或专家级别。
17.如权利要求15所述的方法,其中,所述教导能在没有任何人类监督者的情况下进行。
18.如权利要求12所述的方法,其中,所述至少一个用户的临床专业级别是使用各种基础模型的比较结果进行区分的。
19.如权利要求12所述的方法,其中技能是在物理活动中开发的任何任务均能够被量化。
20.如权利要求15所述的方法,其中,所述教导还包括基于所述至少一个专家用户的至少一个已建模的活动,利用所述至少一个教导模块引导所述至少一个新手用户的至少一个活动。
21.如权利要求12所述的方法,还包括使用所述至少一个用户接口收集指示至少一个熟练用户如何执行至少一个外科任务的数据;使用所述至少一个用户接口收集指示至少一个其它用户如何执行所述至少一个外科任务的数据;以及使用所述至少一个比较模块将所收集的用于所述至少一个熟练用户的数据与所收集的用于所述至少一个其它用户的数据进行比较,从而确定所述至少一个其它用户的临床技能级别;使用所述至少一个用户接口输出所述至少一个其它用户的所述临床技能级别。
22.如权利要求21所述的方法,其中,所述至少一个外科任务为 至少一个外科试验;所述至少一个外科试验的至少一个子任务;或所述至少一个子任务的至少一个特定动作。
全文摘要
用于将用户的临床技能量化的系统和方法,包括收集与用户使用外科设备进行的外科任务有关的数据;将外科任务的数据与其它类似外科任务的其它数据进行比较;根据外科任务的数据与其它类似外科任务的其它数据的比较结果,将用户的临床技能量化;输出用户的临床技能。
文档编号G09B9/00GK102362302SQ201080013001
公开日2012年2月22日 申请日期2010年3月19日 优先权日2009年3月20日
发明者亨利·C·林, 卡罗尔·E·赖利, 巴拉克瑞士楠·瓦拉达拉真, 拉杰什·库马尔, 格雷格罗伊·D·黑格, 桑吉维·胡丹珀尔 申请人:约翰斯·霍普金斯大学