内窥镜系统的制作方法

内窥镜系统的制作方法
【技术领域】
[0001 ] 本发明涉及通过摄像单元对被检体内进行摄像的内窥镜系统。
【背景技术】
[0002]近年来，具有能够插入到体腔内等的插入部的内窥镜广泛应用于医疗领域等中。
[0003]另一方面，在插入到体腔内的支气管这样的复杂分支的管腔脏器内对管腔脏器的末梢侧的目标部位(的患部组织)进行检查或基于处置器械的活检和处置的情况下，仅利用插入时得到的内窥镜图像有时很难将插入部前端导入到目标部位附近。
[0004]因此，提出了用于支援将内窥镜的插入部前端导入到目标部位附近的操作的系统或装置。
[0005]例如，作为第I现有例的W02007-129493号公报的医疗图像观察支援装置公开了具有CT图像数据取入部、CT图像数据存储部、信息提取部、解剖学的信息数据库、视点位置/视线方向设定部、管腔脏器图像生成部、解剖学的名称信息产生部、分支指定部、图像合成显示部和用户I/F控制部的结构。视点位置/视线方向设定部根据信息提取部提取出的管腔脏器的构造信息，设定将视点锁定在管腔脏器的大致中心轴上来观察管腔脏器的外观的视点位置和视线方向。
[0006]并且，作为第2现有例的日本特开2009-279250号公报的医疗装置具有:假想内窥镜图像生成单元，其根据预先取得的支气管的三维图像数据，生成从多个不同视线位置的假想内窥镜图像；图像检索单元，其检索与真实图像的相似度较高的假想内窥镜图像；基准点设定单元，其根据相似度较高的假想内窥镜图像的视线的位置设定基准点；相对位置计算单元，其计算处置器械相对于基准点的相对位置；移动检测单元，其检测基准点或支气管的移动；以及位置校正单元，其根据基准点或支气管的移动，对相对位置进行校正。
[0007]在估计内窥镜的插入部前端的位置的情况下，通过比较由内窥镜的摄像单元进行摄像而得到的内窥镜图像(实际图像)和根据基于CT的管腔脏器的三维数据而生成的假想内窥镜图像(假想图像)来进行估计。因此，最初进行基于两个图像的比较的位置对齐。
[0008]然后，在位置的估计精度降低的情况下，需要进行用于设定为能够确保规定的精度的状态的再次位置对齐，但是，由于没有以适于进行再次位置对齐的条件记录信息，所以，上述现有例存在花费时间的缺点。
[0009]更具体进行说明时，例如第I现有例公开了在三维图像上对内窥镜前端位置进行坐标转换并对与芯线之间的距离进行比较的观点、以及对分支部的实际图像(内窥镜图像)和假想图像(假想内窥镜图像)进行比较的观点，还公开了记录分支部的特征信息等。
[0010]但是，根据所记录的信息进行再次位置对齐时进行图像比较来进行位置对齐以使得两个图像尽可能一致，但是，相对于内窥镜前端位置的变化的内窥镜图像或假想内窥镜图像的变化量不确定，很难得知以何种程度使两个图像对齐比较好，所以，进行再次位置对齐花费时间。
[0011]为了容易进行位置对齐，具有所记录的信息相对于支气管内的内窥镜前端位置的变化而容易变化的特征，优选设定为容易在视觉上进行位置对齐。
[0012]但是，在上述现有例中，如上所述，由于没有设定为容易在视觉上进行位置对齐，所以，很难得知以何种程度使两个图像对齐比较好，因此，进行再次位置对齐花费时间。
[0013]并且，支气管以如下方式变化:随着从支气管的入口附近到作为其深部侧的末端(末梢)侧，在分支部进行分支，管腔直径逐渐变细。因此，当在记录再次位置对齐用的信息的条件中利用支气管径的变化的检测结果时，认为容易更加有效地进行再次位置对齐。
[0014]本发明是鉴于上述情况而完成的，其目的在于，提供记录容易在短时间内进行再次位置对齐的信息的内窥镜系统。

【发明内容】

[0015]用于解决课题的手段
[0016]本发明的一个方式的内窥镜系统具有:图像记录部，其记录预先取得的被检体中的三维图像信息；管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像；位置信息取得部，其取得所述内窥镜的插入部的前端的位置信息；管腔直径变化量检测比较部，其根据所述内窥镜的插入部的前端的位置信息检测所述规定的管腔脏器的管腔直径的变化量；图像变化量检测部，其在由所述摄像部摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据所述管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定信息。
【附图说明】
[0017]图1是示出本发明的第I实施方式的内窥镜系统的整体结构的图。
[0018]图2A是示出支气管的一部分和支气管形状图像的图。
[0019]图2B是示出插入到支气管内并对支气管径进行经时计算的状况的图。
[0020]图2C是示出计算支气管径的位置和计算出的支气管径的大小的图。
[0021]图2D是示出在指示了进行再次位置对齐的情况下在监视器中显示的候选信息的图。
[0022]图3A是示出具有进行立体计测的立体内窥镜的内窥镜装置的结构的图。
[0023]图3B是示出进行立体计测的计测对象的位置在左右摄像元件的摄像面上成像的关系的说明图。
[0024]图3C是示出在监视器画面中显示使用立体内窥镜对支气管内进行摄像而得到的图像的一例的图。
[0025]图3D是用于根据图3C的图像计算支气管径的说明图。
[0026]图3E是用于通过使用了单一摄像装置的立体计测来计算支气管径的说明图。
[0027]图4是示出第I实施方式中的处理内容的一例的流程图。
[0028]图5是取得支气管径的情况的说明图。
[0029]图6是利用与图5不同的方法取得支气管径的情况的说明图。
[0030]图7是取得支气管径的位置的说明图。
[0031]图8是利用与图7不同的设定来取得支气管径的位置的说明图。
[0032]图9是取得支气管径的情况的说明图。
[0033]图10是利用与图9不同的方法取得支气管径的情况的说明图。
[0034]图11是检测到内窥镜图像中的暗部的面积的变化的情况的说明图。
[0035]图12是检测到内窥镜图像中的分支的形状的变化的情况的说明图。
[0036]图13是检测到内窥镜图像中的支线的长度的变化的情况的说明图。
[0037]图14是检测到内窥镜图像中的支线的角度的变化的情况的说明图。
[0038]图15是检测到内窥镜图像的针对视野不良的变化的情况的说明图。
[0039]图16是检测到内窥镜图像中的支气管的分支以外的变化的情况的说明图。
[0040]图17是检测到内窥镜图像中的特征部的抖动的变化的情况的说明图。
【具体实施方式】
[0041]下面，参照附图对本发明的实施方式进行说明。
[0042](第I实施方式)
[0043]如图1所示，本发明的第I实施方式的内窥镜系统I主要由以下部分构成:内窥镜装置4A，其具有插入到作为检查对象的被检体即患者中的作为规定的管腔脏器的支气管
2(图2A)内的内窥镜3A ;以及插入支援装置5，其与该内窥镜装置4A —起使用，用于进行内窥镜3A的插入支援。
[0044]内窥镜装置4A具有内窥镜3A、对该内窥镜3A供给照明光的光源装置6、对搭载于内窥镜3A中的构成摄像单元的摄像元件7进行信号处理的作为信号处理装置的照相机控制单元(简记为(XU) 8A、以及显示由CXU 8A生成的内窥镜图像的监视器9A。
[0045]内窥镜3A具备具有挠性的细长的插入部(或内窥镜插入部)11以及设置在该插入部11的后端的操作部12，在插入部11的前端部13设有照明窗和观察窗。在插入部11、操作部12内贯穿插入有传递照明光的光导14，该光导14的入射端与光源装置6连接，由光源装置6内的未图示的光源灯或LED产生的照明光入射到入射端。由该光导14传递的照明光从安装在照明窗上的出射端(前端面)向前方出射。
[0046]并且，在观察窗上安装有形成用于对被摄体进行成像的物镜光学系统的物镜15，在其成像位置配置有CCD等摄像元件7，通过物镜15和摄像元件7形成作为摄像单元的摄像装置16，该摄像装置16对作为供插入部11插入的规定的管腔脏器的支气管2内进行摄像。
[0047]摄像元件7经由贯穿插入到插入部11、操作部12内的信号线而与CXU 8A连接。CCU 8A通过其内部的未图示的图像信号生成电路生成与摄像元件7的摄像面上形成的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9A。监视器9A显示图像信号的图像(动态图像)作为内窥镜图像(也称为摄像图像)。
[0048]在内窥镜3A的插入部11中，在前端部13的后端设有弯曲自如的弯曲部19，手术医生通过进行使设置在操作部12上的弯曲操作旋钮20例如旋转的操作，能够使弯曲部19向上下左右的任意方向弯曲。另外，弯曲操作旋钮20具有用于向上下方向弯曲的上下方向用弯曲操作旋钮、以及用于向左右方向弯曲的左右方向用弯曲操作旋钮。
[0049]也可以代替图1所示的内窥镜装置4A而采用图3A所示的内窥镜装置4B。
[0050]内窥镜装置4B具有能够进行立体计测的立体内窥镜3B、光源装置6、对设置在立体内窥镜3B中的两个摄像元件7a、7b进行信号处理的CXU 8B、以及显示由CXU 8B生成的立体图像信号的立体显示用监视器9B。
[0051]在立体内窥镜3B的插入部11的前端部13，在左右方向上分开规定的间隔配置有左右物镜15a、15b，在各自的成像位置配置有左右摄像元件7a、7b，构成具有左右摄像装置16a、16b的立体摄像装置16'。另外，左右物镜15a、15b和左右摄像装置16a、16b分别使用特性一致的部件。
[0052]并且，在插入部11内贯穿插入有传送来自光源装置6的照明光的光导14。光导14的前端安装在前端部13的照明窗上，从照明窗出射所传达的照明光，对体腔内的患部等被摄体进行照明。
[0053]对被照明的被摄体进行摄像的左右摄像元件7a、7b将光电转换后的摄像信号输入到CXU 8B内的摄像控制部18a、18b，摄像控制部18a、18b生成左右图像信号并将其输出到立体图像信号生成部18c。
[0054]立体图像信号生成部18c根据左右图像信号生成立体显示用的图像信号，并将其输出到立体显示用监视器9B。然后，立体显示用监视器9B显示立体显示用的图像信号，手术医生等用户能够通过立体显示用的图像信号的显示对被摄体进行立体观察。
[0055]并且，由摄像控制部18a、18b生成的左右图像信号被输入到计测运算部18d，使用左右图像信号，通过利用了三角测量原理的立体计测，能够计测进行摄像而得到的图像上的2点间的距离等。如后所述，例如能够计测支气管径Den。另外，由计测运算部18d计算出的支气管径Den等信息被输出到图像处理部25。并且，由摄像控制部18a(或18b)生成的影像信号也输出到图像处理部25。
[0056]接着，使用图3B对基于立体计测的计测对象的点(位置)的三维坐标的求解方法进行说明。使用左右物镜15a、15b，针对摄像元件7a、7b的摄像面的图像，通过三角测量的方法，利用以下的⑴式?(3)式计算计测点60的三维坐标(X、Y、Z)。其中，设实施了失真校正的左右图像上的计测点61、62的二维坐标分别为(XpYJ、(XK、YK)，设左右物镜15a、15b的光学中心63、64之间的距离为D，设焦距为F，设t = D/(\-XK)。于是，以下的关系式成立。
[0057]X = tXXK+D/2…(I)
[0058]Y = tXYf.(2)
[0059]Z = tXF...(3)
[0060]如上所述，当决定针对计测点60的图像上的二维坐标的计测点61、62后，使用作为参数的距离D和焦距F求出计测点60的三维坐标。
[0061]通过求出几个点的三维坐标，能够进行这几个点中的2点间的距离、连接2点的线与I点的距离、面积、深度、表面形状等各种计测。并且，还能够求出从左物镜15a的光学中心63或右物镜15b的光学中心64到被摄体的距离(物体距离)。为了进行上述立体计测，使用表示内窥镜3B的前端部13和物镜15a、15b的特性的光学数据。另外，在图3B中，利用PL表示包含2个摄像面的面，并且，利用(\、Ok表示(图3B中未显示的物镜15a、15b的光轴上的)右摄像面的中心。
[0062]作为根据立体图像运算三维坐标的方法，存在日本特开2011-027911号公报所示的方法等。
[0063]在本实施方式中，在根据后述内窥镜图像计测支气管径Den的情况下，通过指定图3B的摄像面上的与支气管径的一个计测点60对应的图像上的计测点61和62以及与另一个计测点对应的点来计算支气管径Den。
[0064]使用图3C和图3D对该方法进行说明。示出在监视器9B的显示画面71中显示内窥镜图像中的支气管72以及作为该支气管72的末梢侧的下一个支气管分支部73的状况。相对于该画面71的范围，利用网格74所示的块进行划分，提取各块内的平均亮度为规定值以下的区。图3D中标注斜线示出这样提取出的检测块75。
[0065]然后，通过将检测块75的直径最大的部分设为计测对象的支气管径，来设定计测点60a和计测点60b。一般情况下，在利用内窥镜观察管腔脏器时，越靠里侧成为越暗的图像，所以，能够利用上述那样进行说明的方法来设定计测点。在指定计测点60a、60b的情况下，也可以在该计测点60a、60b之间最大的方向上进行指定。
[0066]在构成立体图像的左画面和右画面双方中实施上述运算，在左画面和右画面中分别求出与计测点60a 和计测点60b相当的点。然后，当将与左画面的计测点60a相当的点作为图3B的计测点61、将与右画面的计测点60a相当的点作为计测点62进行运算时，能够求出计测点60的位置。通过对与计测点60b相当的左画面和右画面进行同样的运算，能够得到与支气管径两端的计测点60相当的三维坐标，所以，能够根据这2点间的距离来计算支气管径Den。
[0067]每当更新内窥镜图像时进行以上的动作，由此，能够根据内窥镜图像来监视支气管径Den的变化。
[0068]并且，也可以代替使用图3A所示的具备具有成对的左右摄像装置16a、16b的立体摄像装置16'的立体内窥镜3B，而使用图1的具有单眼(单一)摄像装置16的内窥镜3A，如下所述进行立体计测。
[0069]如图3E所示，在将内窥镜3A插入到支气管2内的情况下，手术医生也可以使插入部11的前端侧的弯曲部19左右弯曲，设定为与图3B的利用左右摄像装置进行摄像的状态大致等效的状态，通过立体计测来计算支气管径。
[0070]例如，在不使弯曲部19弯曲的状态下，将插入部11的前端设定在支气管2的中心线附近，手术医生使弯曲部19例如向左侧弯曲，使插入部11的前端与支气管2的左侧内壁接触，设定为与图3B的利用左摄像装置16a进行摄像的状态相当的第I摄像位置16a'。分别利用15a'、7a'示出第I摄像位置16a'处的物镜15和摄像元件7。
[0071]在该第I摄像位置16a'处进行了摄像后，手术医生使弯曲部19向右侧弯曲，如图3E中双点划线所示那样使前端与支气管2的右侧内壁接触，设定为与图3B中的利用右摄像装置16b进行摄像的状态相当的第2摄像位置16b'。分别利用15b'、7b'示出第2摄像位置16b'处的物镜15和摄像元件7。在该第2摄像位置16b'处进行摄像。
[0072]预先调查通过弯曲操作旋钮20的操作而使弯曲部19分别向左右弯曲的情况下的前端部13的方向的移动量、摄像装置16的物镜15的焦距、摄像元件7的左右和垂直方向的像素数、像素的间距等信息，将其存储在信息记录部27等中。
[0073]在这种情况下，能够根据弯曲部19的弯曲角(或弯曲操作旋钮20的操作量)等计算与图3B的左右光学中心63、64对应的图3E中的光学中心63' ,64r和与左右光学中心间的距离D对应的距离D'。并且，能够根据针对与图3B的计测点60的情况对应的计测点6(V的摄像元件7a, ,7b'上的计测点6P ,62r的信息，计算计测点6(V的三维位置。并且，通过指定支气管径的一个位置和另一个位置这2点作为计测点60'，能够计算支气管径。这样，使用图1的内窥镜3A，也可以计算支气管径。另外，虽然利用向左右方向弯曲的情况进行了说明，但是，在向其他方向弯曲的情况下，也同样能够计算沿着该其他方向的支气管径。
[0074]如图1所示，上述插入支援装置5具有:CT数据取入部21，其针对由内窥镜
3A或3 B进行检查的患者，经由DVD、蓝光光盘、闪存等移动型存储介质取入由公知的CT (Computed Tomography:计算机断层扫描)生成的患者的作为三维图像信息的CT数据；以及作为图像记录单元的CT图像数据记录部22，其记录由该CT数据取入部21取入的CT数据。
[0075]另外，CT图像数据记录部22也可以经由通信线路、因特网等存储由CT生成的(作为被检体的患者的作为三维图像信息的)CT数据。该CT图像数据记录部22可以由硬盘装置、闪存、DVD等构成。
[0076]并且，构成图像记录单元的CT图像数据记录部22具有对应图像信息记录部22a，该对应图像信息记录部22a记录将从CT数据中分离出的CT图像数据和从CT数据中分离出位置信息而得到的三维位置数据对应起来的对应图像信息，其中，所述三维位置数据使用了与该CT图像数据对应的第I坐标系(CT坐标系)。
[0077]并且，插入支援装置5具有支气管提取部23，该支气管提取部23由从CT图像数据记录部22的CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数据的作为管腔脏器提取单元的管腔脏器提取电路等构成。
[0078]该支气管提取部23根据提取出的支气管2的三维数据(更具体而言为三维体数据)，生成表示支气管2的中空形状的三维形状的信息(形状数据)和三维形状的图像信息(图像数据)。即，支气管提取部23具有作为支气管形状图像生成单元的支气管形状图像生成部23a，该支气管形状图像生成部23a根据提取出的支气管2的三维数据生成作为中空的三维形状的支气管形状的图像的支气管形状图像2a。
[0079]并且，该支气管提取部23在提取支气管2的三维数据时，对应地提取与三维数据对应的第I坐标系(或CT坐标系)中的三维位置数据。而且，该支气管提取部23具有由存储器等构成的对应信息记录部23b，该对应信息记录部23b记录将支气管2的三维形状的数据(即支气管形状数据)和三维位置数据对应起来的对应信息。并且，对应图像信息记录部23b利用一览表等记录所指定的(三维)位置中的支气管径的数据。然后，从对应信息记录部23b中读出与所指定的位置对应的支气管径的数据，能够取得支气管径的数据。另夕卜，也可以不使用对应信息记录部23b，而根据支气管形状数据取得支气管径。
[0080]并且，插入支援装置5具有作为假想内窥镜图像生成单元的VBS图像生成部24，该VBS图像生成部24生成与通过设置在内窥镜3A或3B中的插入部11的前端部13的摄像装置16或16a、16b的摄像而生成的内窥镜图像对应的作为假想的内窥镜图像的假想内窥镜图像(称为VBS图像)。下面，在内窥镜3A或3B中的任意一方均可的情况下，利用内窥镜3A的情况进行说明。
[0081]例如从输入装置31经由控制部26对VBS图像生成部24输入与内窥镜3A的前端部13的摄像装置16有关的包含成像系统的特性信息(物镜15的焦距、摄像元件7的像素数、像素尺寸等)。另外，也可以不经由控制部26而从输入装置31对VBS图像生成部24输入与摄像装置16有关的特性信息。
[0082]VBS图像生成部24根据实际插入到支气管2内的内窥镜3A的前端部13内所配置的摄像装置16的三维位置(也称为插入部11的前端的三维位置)的信息、利用摄像装置16对支气管2内的被摄体进行成像的特性信息、支气管形状数据，生成假想地描绘将所述三维位置(简称为位置)作为视点位置而以内窥镜的角度对支气管2内进行摄像而得到的内窥镜图像的VBS图像。另外，在相同视点位置处改变前端的轴方向(与摄像装置16的光轴方向大致一致)的情况下，VBS图像生成部24能够生成与该变化对应的VBS图像。
[0083]因此，例如当通过CT坐标系指定插入部11的前端的位置和前端的(轴)方向时，VBS图像生成部24生成与位置和方向的指定对应的VBS图像。
[0084]并且，插入支援装置5具有:图像处理部25，其利用图像匹配来进行从CXU 8A输入的内窥镜图像与VBS图像生成部24的VBS图像的位置对齐；作为控制单元的控制部26，其进行图像处理部25等的控制；以及构成信息记录单元的信息记录部27，其在控制部26的控制下，记录用于进行插入支援的VBS图像等规定的信息作为候选信息。
[0085]并且，插入支援装置5具有:MPR图像生成部28，其根据CT图像数据记录部22中记录的CT图像数据生成作为多断面重构图像的CT断层图像(称为MPR图像)；以及作为路径设定单元的路径设定部29，其生成具有MPR图像生成部28生成的MPR图像的作为插入路径设定画面的路径设定画面，设定将内窥镜3A插入到支气管2内的目标部位侧时的路径。
[0086]而且，如图2A所示，例如在根据CT图像数据指定了目标部位36的情况下，路径设定部29具有路径数据生成部29a的功能，该路径数据生成部29a根据CT图像数据和支气管形状图像2a，生成从支气管2中的(插入部11的)插入开始位置到作为目标部位36附近的目标位置的路径数据。
[0087]并且，内窥镜系统I具有针对路径设定部29输入设定信息的由键盘或指示器件等构成的输入装置31。并且，手术医生能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据，或者针对控制部26选择并指示控制动作。
[0088]并且，在手术医生进行了路径设定的情况下，路径设定部29将所设定的路径的信息送到VBS图像生成部24、MPR图像生成部28、控制部26。VBS图像生成部24和MPR图像生成部28分别生成沿着路径的VBS图像、MPR图像，控制部26沿着路径进行各部的动作的控制。
[0089]对上述图像处理部25输入由CXU 8A生成的内窥镜图像(实际图像或简称为图像)和由VBS图像生成部24生成的VBS图像。并且，由支气管形状图像生成部23a生成的支气管形状图像2a也被输入到图像处理部25。
[0090]在本实施方式中，在配置有摄像装置16的插入部11的前端部13未搭载用于检测插入部11的前端的位置的传感器，所以，通过基于图像处理部25的位置对齐处理部25a中的图像匹配来估计(或计算)插入部11的前端的三维位置(位置)。
[0091]当预先根据支气管2的入口或隆凸K(参照图2Α)等支气管形状图像2a设定能够由CT坐标系确定的三维位置(已知位置)或其附近位置作为动画匹配的开始位置时，VBS图像生成部根据该位置信息生成VBS图像。图像处理部25的位置对齐处理部25a根据支气管2的入口或隆凸等支气管形状图像2a，在能够由CT坐标系(第I坐标系)确定的三维位置(已知位置)或其附近位置设定插入部11的前端，设定为能够通过CT坐标系估计(或计算)插入部11的前端的位置的状态。
[0092]然后，手术医生将插入部11的前端插入，以使得内窥镜图像看起来与VBS图像相同。通过进行这种位置对齐，图像处理部25的位置对齐处理部25a对内窥镜图像和VBS图像进行比较，开始进行使比较结果在所设定的条件(能够确保规定的精度的误差)以内一致的图像匹配。
[0093]因此，图像处理部25具有对内窥镜图像和VBS图像进行比较的作为图像比较单元的图像比较部25b，位置对齐处理部25a利用图像比较部25b的图像比较，进行基于图像匹配的位置对齐的处理。
[0094]通过进行上述的位置对齐，图像处理部25的位置对齐处理部25a成为能够通过表示CT坐标系(第I坐标系)中的位置坐标和轴方向(也称为姿势)的信息来确定(取得)插入部11的前端的位置和前端的轴方向(摄像装置16的视点方向或视线方向)的状态。
[0095]在这样进行位置对齐后，使用该位置对齐的信息，通过图像比较部25b的图像比较结果，能够取得以后的插入部11的前端的位置作为与CT坐标系(第I坐标系)中的位置对应的信息。即，图像处理部25具有通过估计来取得插入部11的前端的位置的位置估计部25c，作为取得插入部11的前端的位置(信息)的位置信息取得单元。位置估计部25c也根据图像比较部25b的图像比较结果取得插入部11的前端的位置。进一步进行说明时，在将插入部11插入到支气管2的深部侧(末梢侧)的操作中，图像处理部25根据内窥镜图像和VBS图像这两个图像的比较结果，估计通过位置对齐处理部25a进行位置对齐后的状态下的CT坐标系中的插入部11的前端移动的位置。
[0096]S卩，伴随着使插入部11的前端从进行了位置对齐处理的位置起大致沿着芯线35移动(以进行插入)的操作，摄像装置16移动，所以内窥镜图像变化。
[0097]该情况下，位置估计部25c使用在大致沿着芯线35的路径上移动插入部11的前端的情况下的(从VBS图像生成部24输出的)VBS图像，通过图像处理选出与当前的内窥镜图像最匹配的VBS图像，计算(估计)与所选出的VBS图像对应的三维位置作为插入部11的前端的位置。如上所述，位置估计部25c还与插入部11的前端的位置一起计算(估计)其姿势。
[0098]另外，由于插入部11的前端有时移动到从芯线35上脱离的位置，所以，VBS图像生成部24也可以生成从芯线35偏心适当距离的位置处的VBS图像，将所生成的VBS图像输出到位置对齐处理部25a。这样，能够扩大基于图像匹配的位置估计的范围。
[0099]并且，根据由位置估计部25c估计出的2个位置的差分量，计算(估计)插入部11的前端的移动量和移动的位置。并且，位置估计部25c还能够计算(估计)所估计出的一个位置与支气管2中的特征区域中的分支点(能够由CT坐标系确定的位置)这样的特定位置之间的距离。
[0100]因此，位置估计部25c具有作为距离计算单元的距离计算部的功能，该距离计算部计算由该位置估计部25c估计出的插入部11的前端的位置与作为规定的管腔脏器的支气管2内的分支的分支区域等特征区域之间的距离。如上所述，图像处理部25具有通过估计而取得插入部11的前端的位置的信息的作为位置信息取得单元的位置估计部25c的功能。该情况下，可以定义为位置对齐处理部25a包含位置估计部25c的功能的结构。
[0101]另外，在本说明书中，插入部11的前端是与内窥镜3A的前端相同的意思。
[0102]并且，图像处理部25在控制部26中的对显示进行控制的显示控制部26a等的控制下，生成作为图像显示单元的监视器32中显示的图像。
[0103]在显示控制部26a的控制下，图像处理部25通常将由支气管形状图像生成部23a生成的支气管形状图像2a的图像信号(影像信号)输出到监视器32。然后，如图1所示，在监视器32中显示支气管形状图像2a作为例如以沿着穿过管腔中心的方向的截面切出的二维断层图像。另外，不限于利用二维断层图像进行显示的情况，也可以利用三维图像进行显示。在利用三维图像进行显示的情况下，例如可以利用基于平行投影法的投影图、管腔内部可知的透视图进行显示。
[0104]并且，如图2A所示，在监视器32所显示的支气管形状图像2a中还显示穿过支气管2的管腔中心的芯线35。
[0105]另外，例如由支气管形状图像生成部23a生成芯线35，但是，也可以在图像处理部25中生成芯线35。并且，图像处理部25具有图像生成部25d的功能，该图像生成部25d 生成在支气管形状图像2a上与芯线35 —起重叠由位置估计部25c估计出的插入部11的前端的位置而得到的图像等。
[0106]手术医生等用户在将插入部11从其前端插入到支气管2内的情况下，在表示支气管2的三维形状的支气管形状图像2a上显示芯线35和插入部11的前端的位置，所以，通过参考该显示，容易进行插入部11的插入操作。并且，通过进行沿着芯线35插入的操作，能够在短时间内进行基于图像匹配的插入部11的前端的位置的估计。
[0107]并且，图像处理部25具有检测(作为规定的管腔脏器的支气管2的情况的)支气管径的变化量的支气管径变化量检测部25e，作为根据由位置估计部25c估计出的插入部11的前端的位置的信息来检测规定的管腔脏器的管腔直径的变化量的管腔直径变化量检测单元。
[0108]该支气管径变化量检测部25e具有从与由位置估计部25c估计出的插入部11的当前的前端的位置对应的CT坐标系中取得支气管径的作为支气管径取得单元的支气管径取得部、以及对由支气管径取得部取得的支气管径和预先设定的基准的支气管径进行比较的作为支气管径比较单元的支气管径比较部的功能。而且，支气管径取得部通过依次取得插入部11的插入操作中估计出的插入部11的前端的各位置的支气管径，检测其变化量即支气管径的变化量。
[0109]并且，支气管径比较部对依次取得的当前的支气管径和基准的支气管径进行比较。而且，在本实施方式中，将当前的支气管径小于基准的支气管径的情况设为记录包含VBS图像的规定的信息的情况的第I条件。
[0110]并且，在本实施方式中，图像处理部25具有作为图像变化量检测单元的图像变化量检测部25g，该图像变化量检测部25g检测由摄像装置16进行摄像而得到的内窥镜图像(简称为图像)内的特征部的变化量。
[0111]这样，本实施方式具有作为第I变化量检测单元的支气管径变化量检测部25e以及作为第2变化量检测单元的图像变化量检测部25g。作为第I变化量检测单元的支气管径变化量检测部25e用于是否满足第I条件的检测(判定)。
[0112]并且，作为第2变化量检测单元的图像变化量检测部25g用于是否满足内窥镜图像内的特征部的变化量是否大于设定值ADth的第2条件的检测。而且，在本实施方式中，在满足第I条件的状态下进而满足第2条件(满足规定的条件)的情况下，记录包含VBS图像的信息。
[0113]图像变化量检测部25g具有检测作为特征部的支气管径(支气管2的内径)的变化量的支气管径变化量检测部25h、检测分支区域中的明亮度的变化量或分支区域中的特征区域的明亮度的变化量的明亮度变化量检测部251、以及检测分支区域中的形状变化量或分支区域中的特征部的形状变化量的形状变化量检测部25j。
[0114]并且，形状变化量检测部25j具有检测支气管2的管腔分开(分支)的支线(分支点或分支边界)的长度和角度的变化量作为分支区域(中的特征部)的形状变化量的支线变化量检测部25k，并且，明亮度变化量检测部25i具有后述视野不良检测部251的功能。不限于明亮度变化量检测部25i具有视野不良检测部251的功能的情况。
[0115]另外，上述控制部26也可以根据由位置估计部25c估计出的插入部11的前端的位置，对由路径数据生成部29a(在内窥镜3A的插入部11的插入前)生成的路径数据进行校正。
[0116]并且，控制部26具有条件判定部26b的功能，该条件判定部26b判定支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果是否满足用于记录的规定的条件。
[0117]控制部26中的条件判定部26b在判定为满足规定的条件的情况下，使信息记录部27记录将判定为满足规定的条件的情况下的由位置估计部25c估计出的插入部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的规定的信息即位置和图像信息(作为再次位置对齐时提示的候选信息)。
[0118]因此，信息记录部27具有信息记录单元的功能，该信息记录单元根据支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果，记录作为将插入部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的候选信息的规定的信息。
[0119]并且，控制部26的条件判定部26b具有进行在信息记录部27中记录规定的信息的控制的作为信息记录控制单元的信息记录控制部26c的功能。信息记录控制部26c进行控制，以使得在作为管腔直径变化量检测单元的支气管径变化量检测部25e检测到的支气管径小于基准的支气管径、且图像变化量检测部25g检测到的支线等特征部的变化量变化设定值以上的情况下，信息记录部27记录包含VBS图像的规定的信息。另外，也可以代替控制部26内的条件判定部26b判定支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果是否满足用于记录的规定的条件，而判定支气管径变化量检测部25e和图像变化量检测部25g是否分别满足第I条件和第2条件。因此，也可以构成为图像处理部25具有条件判定部26b的功能。
[0120]并且，控制部26的例如显示控制部26a进行控制，以使得例如在手术医生认为当前的插入部11的前端的被估计出的位置的精度较低的情况等、从输入装置31输入了进行再次位置对齐的指示信号以进行再次位置对齐的情况下，读出信息记录部27中记录的规定的信息，经由图像处理部25在监视器32中显示为候选信息。
[0121]该情况下，图像处理部25具有图像生成部25d，该图像生成部25d生成在支气管形状图像2a上重叠显示从信息记录部27中读出的候选信息而得到的图像。具体而言，在支气管形状图像2a上重叠显示插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像。另外，如后所述，图2D示出如下的状况:在监视器32所显示的支气管形状图像2a上，将插入部11的前端的位置显示在与该位置对应的位置，并且在该位置(用线)关联地重叠显示与该位置对应的VBS图像。
[0122]手术医生参考候选信息，进行再次位置对齐，位置对齐处理部25a或位置估计部25c能够在与支气管2的坐标系(CT坐标系)对应的状态下取得插入部11的前端的位置和姿势的信息。然后，通过再次位置对齐，位置估计部25c能够确保规定的精度，进行再次将插入部11的前端从再次位置对齐的位置插入到支气管2的深部侧的操作。
[0123]在本实施方式中，如上所述，在得到支气管径变化量检测部25e的检测结果满足第I条件、图像变化量检测部25g的检测结果满足第2条件(即满足由第I条件和第2条件构成的规定的条件)的判定结果的情况下，在信息记录部27中记录得到该判定结果的情况下的包含(估计出的)插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的规定的信息作为候选信息。另外，也可以在信息记录部27中记录作为候选信息的规定的信息，以使得包含上述前端的位置和姿势中的至少位置。
[0124]如上所述，通过在满足相互不同的多个条件的情况下记录规定的信息(简记为信息)，在进行再次位置对齐的情况下，能够在作为显示单元的监视器32中显示(或提示)适度信息量(或数量)的候选信息。
[0125]在本实施方式中，通过图像变化量检测部25g检测与由摄像装置16进行摄像而得到的内窥镜图像中的作为规定的管腔脏器的支气管2有关的支气管径等特征部的变化量，至少根据该图像变化量检测部25g的检测结果，在信息记录部27中记录包含所述检测结果时的插入部11的前端的位置和姿势(的信息)以及与该位置和姿势对应的VBS图像的规定的信息(作为进行再次位置对齐时提示的情况的候选信息)。
[0126]手术医生等用户容易掌握记录信息的条件或状况，以进行一边观察由摄像装置16进行摄像而得到的内窥镜图像一边将插入部11插入的操作。并且，进行再次位置对齐时提示的候选信息能够容易地设定为内窥镜图像中的特征部的变化量相对于插入部11的前端的位置的移动而敏感变化，所以，容易进行基于图像比较的位置对齐。
[0127]另外，信息记录部27中记录的信息包括插入部11的前端的位置和姿势以及对应的VBS图像，但是，还可以包括与所述位置和姿势的信息对应的内窥镜图像来进行记录。
[0128]并且，图像处理部25具有在对内窥镜图像和VBS图像这两个图像进行比较并进行图像匹配时暂时存储内窥镜图像和VBS图像或用作图像处理的工作区的图像存储器26f。另外，也可以在图像处理部25的外部设置图像存储器25f。
[0129]并且，在本实施方式中，例如输入装置31也可以构成为具有指定部31a，该指定部31a分别选择性地指定(或设定)与支气管径变化量检测部25e检测的支气管2的内径的变化量有关的第I条件、以及与图像变化量检测部25g检测的特征部的变化量有关的第2条件。
[0130]并且，例如信息记录部27也可以具有条件信息记录部27a，该条件信息记录部27a除了记录作为上述候选信息的规定的信息(位置和图像信息)以外，还预先记录第I条件的条件信息和与第2条件有关的第2条件的条件信息。另外，也可以构成为与信息记录部27分开地具有条件信息记录部27a。
[0131]第I条件的条件信息是(a)预先设定的基准的支气管径Dre与当前的(插入部11的前端的)支气管径Da的差分(变化量)、(b’)手术医生等用户设定的基准位置处的基准的支气管径Dre与当前的支气管径的差分(的变化量)。另外，也可以进一步对(b’)进行细分，而成为(b)预先设定的分支数的分支部的支气管径Dre与当前的支气管径Da的差分(变化量)、(C)用户设定的任意位置处的基准的支气管径Dre与当前的支气管径Da的差分(的变化量)、(d)预先设定的内窥镜插入长的内窥镜的前端的位置处的基准的支气管径Dre与当前的支气管径Da的差分(变化量)。
[0132]第2条件的条件信息是(a)内窥镜图像中的支气管径(根据内窥镜图像计算出的支气管径)Den的变化、(b)内窥镜图像或显示内窥镜图像的显示画面的明亮度变化、(c)内窥镜图像中的分支的形状的变化、(d)内窥镜图像中的支线的长度的变化、(e)内窥镜图像中的支线的角度的变化、(f)(内窥镜图像中的)视野的不良、(g)内窥镜图像的较大抖动、(h)在内窥镜图像中映出支气管以外的部分的变化等。而且，手术医生等用户也可以通过例如(输入装置31的)指定部31a从(a)?(d)的第I条件的条件信息和(a)?(h)的第2条件的条件信息中选择性地进行指定。
[0133]该情况下，控制部26具有条件设定部26d的功能，该条件设定部26d对应于指定部31a的指定来进行第I条件和第2条件的设定。
[0134]条件设定部26d在进行第I条件和第2条件的设定时，还可以进行条件判定部26b进行判定时使用的阈值信息等的设定。另外，也可以与第I条件和第2条件的信息对应地在信息记录部27中记录阈值信息。并且，也可以仅将第I条件和第2条件的信息中的一个条件(例如第2条件)的条件信息记录在条件信息记录部27a中。
[0135]并且，在本实施方式中，具有显示控制部26a，该显示控制部26a进行控制，以使得在作为位置信息取得部单元的位置估计部25c根据图像比较部25b的比较结果取得插入部11的前端的位置信息失败的情况下、或产生了用于提示信息记录部27中记录的规定的信息作为候选信息的指示信号的情况下，在支气管形状图像2a中的对应位置显示所述信息记录部27中记录的所述规定的信息中的所述插入部11的前端的位置，并且显示与该前端的位置对应的VBS图像，位置估计部25c或位置对齐处理部25a通过对从信息记录部27中读出的VBS图像和由摄像单元摄像而得到的当前的内窥镜图像进行比较，取得插入部11的前端的位置信息。
[0136]另外，在图1中，例如图像处理部25可以由CPU(中央运算处理装置)构成，但是，也可以分别使用CPU以外的专用硬件构成图像处理部25内部的位置对齐处理部25a?图像变化量检测部25g。并且，图1中的控制部26可以由CPU构成，也可以使用CPU以外的专用硬件构成。
[0137]这种结构的内窥镜系统I的特征在于，具有:作为图像记录单元的CT图像数据记录部22，其记录预先取得的被检体中的三维图像信息；作为管腔脏器提取单元的支气管提取部23，其从所述三维图像信息中提取作为规定的管腔脏器的支气管2 ;作为假想内窥镜图像生成单元的VBS图像生成部24，其针对由所述管腔脏器提取单元提取出的所述规定的管腔脏器的信息生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；作为摄像单元的摄像装置16或16'，其设置在内窥镜3A或3B内，对所述规定的管腔脏器内进行摄像；作为位置信息取得单元的位置估计部25c，其取得所述规定的管腔脏器内的所述内窥镜3A的插入部11的前端的位置信息；作为管腔直径变化量检测单元的支气管径变化量检测部25e，其根据所述内窥镜3A或3B的插入部11的前端的位置信息检测作为所述规定的管腔脏器的支气管2的管腔直径的变化量；作为图像变化量检测单元的图像变化量检测部25g，其在由所述摄像单元摄像而得到的内窥镜图像内检测与作为所述规定的管腔脏器的支气管2有关的特征部的变化量；以及作为信息记录单元的信息记录部27，其根据所述管腔直径变化量检测单元的检测结果和所述图像变化量检测单元的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定的信息。
[0138]接着，对本实施方式的动作进行说明。图4示出本实施方式中的代表性处理。
[0139]当图1的内窥镜系统I的电源接通、内窥镜装置4A (或4B)和插入支援装置5成为动作状态时，图4中的处理开始。在图4的最初的步骤SI中进行初始设定的处理。作为该初始设定的处理，手术医生从输入装置31进行本实施方式中用于插入支援的信息的输入。该情况下，手术医生从指定部31a进行第I条件和第2条件的指定。并且，条件判定部26b成为进行与所指定的第I条件和第2条件对应的判定的状态。
[0140]下面，设手术医生指定(a)预先设定的支气管径(基准的支气管径)Dre与当前的支气管径Da的差分作为第I条件、指定内窥镜图像中 的支气管径Den的变化作为第2条件的情况为(A)进行说明。
[0141](A)指定了预先设定的基准的支气管径Dre与当前的支气管径Da的差分、以及内窥镜图像中的支气管径Den的变化(变化量)的情况
[0142]在上述(A)的情况下，在本实施方式中，在满足当前的支气管径Da小于所设定的基准的支气管径Dre的条件的情况下，进而，在根据内窥镜图像计算出的支气管径Den的变化量ADen变化预先设定的阈值或设定值ADth以上的情况下，记录规定的信息。
[0143]通过设定上述基准的支气管径Dre，不进行不需要记录的例如支气管2的入口附近等插入部位的信息的记录，能够在手术医生希望记录的插入部位记录期望信息。并且，在支气管2的入口附近等插入部位，支气管径较粗，并且，由于成为容易按照插入部11的意志进行操作的区域，所以，手术医生容易掌握插入部11的前端的位置处于支气管2的哪个部位。并且，由于成为进行最初的位置对齐的位置附近的区域，所以，能够高精度地进行插入部11的前端的位置的估计。
[0144]与此相对，在支气管2的某种程度的末梢侧的区域中，很难进行插入部11的插入操作，并且，由于支气管2也较细，所以，存在很难得知前端的位置处于支气管2的哪个部位的倾向，并且，由于成为从最初的位置对齐的位置偏离的距离的管腔部位，所以，存在位置估计的精度容易降低的倾向。
[0145]因此，手术医生有时希望用作用于进行再次位置对齐的候选信息的信息。这种情况下，手术医生设定与希望记录的部位的支气管径相当的基准的支气管径Dre。然后，如后所述，能够在手术医生希望记录的管腔部位仅记录容易进行再次位置对齐的作为有效候选信息的规定的信息。
[0146]并且，由于在内窥镜图像中的支气管径Den的变化量ΛDen变化所设定的设定值ADth以上的情况下记录信息，所以，在通过图像比较来进行再次位置对齐的情况下，能够将内窥镜图像中的变化量较大的图像部分设定为主要的比较对象部分。然后，通过设定变化量较大的比较对象部分，容易在视觉上进行基于图像比较的再次位置对齐，并且能够在短时间内结束。
[0147]当如上所述进行步骤SI的设定后，在步骤S2中，支气管形状图像生成部23a(根据检查前的患者的三维数据)如图2A所示生成作为支气管2的形状图像的支气管形状图像2a。然后，支气管形状图像2a经由图像处理部25输出到监视器32，如图2A所示在监视器32中显示支气管形状图像2a。并且，如上所述，在支气管形状图像2a上显示穿过支气管2的管腔中心的芯线35。芯线35和分支点Bi的各位置成为在CT坐标系中确定的已知的三维位置。
[0148]在接下来的步骤S3中，手术医生将内窥镜3A的插入部11插入到支气管2内。该情况下，手术医生在支气管2的入口等已知位置处，使用图像比较部25b进行基于图像匹配的位置对齐处理，以使得基于摄像装置16(或16')的内窥镜图像和VBS图像在所设定的条件(能够确保规定的精度的误差以内)下一致。在使用摄像装置16'的情况下，采用基于摄像装置16'中的一个摄像装置16a或16b的一个内窥镜图像即可。另外，也可以颠倒步骤S2和S3的顺序，还可以并行进行。
[0149]在步骤S3的位置对齐处理后，如步骤S4所示，手术医生将插入部11的前端插入到比位置对齐的位置更靠支气管2的深部侧。
[0150]在插入部11被插入的情况下，如步骤S5所示，图像处理部25的位置估计部25c按照一定时间间隔等判定通过使用了图像比较部25b的图像匹配来估计插入部11的前端的位置和姿势是否成功。
[0151]在能够通过图像匹配进行估计的情况下，如步骤S6所示，取得估计出的插入部11的前端的位置和姿势，并且，(从CT图像数据记录部22或支气管提取部23等中)取得与该插入部11的前端的(当前的)位置对应的支气管径Da的信息。
[0152]将这些信息暂时存储在例如图像存储器25f等中，在图4的处理中需要的情况下进行参照。另外，在该步骤S6中的插入部11的前端的位置和姿势的估计时，也可以同时根据内窥镜图像来计算支气管径Den。
[0153]并且，在支气管形状图像2a中显示估计出的插入部11的前端的位置。如图2A所示，在支气管形状图像2a上的相应位置显示估计出的位置Pj。
[0154]在步骤S6之后的步骤S7中，支气管径变化量检测部25e或控制部26的条件判定部26b判定步骤S5中取得的支气管径Da是否小于预先设定的基准的支气管径Dre。在所取得的当前的支气管径Da不小于基准的支气管径Dre的情况下，返回步骤S4的处理，手术医生将插入部11插入到深部侧。
[0155]另一方面，在图4的步骤S7的判定处理中，在所取得的支气管径Da小于基准的支气管径Dre的情况下，在接下来的步骤S8中，图像变化量检测部25g (的支气管径变化量检测部25h)检测(计算)根据内窥镜图像计算出的支气管径Den的变化量(差分)ADen。
[0156]S卩，图像变化量检测部25g计算当前的插入部11的前端的位置处根据内窥镜图像计算出的支气管径Den与上次估计出的插入部11的前端的位置处根据内窥镜图像计算出的支气管径Den的变化量ADen。
[0157]另外，根据内窥镜图像计算出的支气管径Den不是支气管2的管腔的平均值，包含在分支部分支的方向上扩大的非圆形形状的情况。因此，根据内窥镜图像计算出的支气管径Den有时可能大于支气管2的管腔接近大致圆形的基准的支气管径Dre。
[0158]在接下来的步骤S9中，控制部26的条件判定部26b判定支气管径的变化量ADen是否大于设定值ADth。在支气管径的变化量ADen不大于设定值ADth的情况下，返回步骤S4的处理。
[0159]另一方面，在支气管径的变化量ADen大于设定值Δ Dth的情况下，进入接下来的步骤SlO的处理，条件判定部26b在信息记录部27中记录与步骤S9的判定结果对应的插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的规定的信息(作为提示时的候选信息)。在步骤SlO的信息记录后，返回步骤S4的处理。另外，也可以代替在步骤S9中判定支气管径的变化量ADen是否大于设定值△ Dth，而判定支气管径的变化量ADen是否为设定值ADth以上。
[0160]图2B示出如图2A所示成为插入部11的前端满足第I条件即步骤S7的条件的状态以后、与位置估计一起根据内窥镜图像取得支气管径Den的状况。
[0161]如图2B所示，通过位置估计部25c，例如按照一定时间间隔估计并取得插入部11的前端的位置Pj (图2B中为j = 1、2、…、6)，估计出的位置Pj经由位置P1、P2、…、P6而移动到当前的前端的位置P7。另外，不限于一定时间间隔的情况，也可以是一定距离，还可以是进行插入部11的前端位置的估计运算的情况下的规定的运算次数、进行了计算支气管径的运算的情况下的规定的运算次数等。
[0162]并且，在图2B中，白圆圈所示的各位置Pj是满足第I条件(步骤S7)的位置，黑点所示的位置P7是当前的位置。
[0163]并且，在上述各位置Pj中，由计测运算部18d等计算出的支气管径Den的变化的状况的概略如图2B所示，图2C示出在满足步骤S7的状态下的插入部11的前端的移动中计算出支气管径Den的位置Pl?P6以及计算出的支气管径Den的变化的状况。另外，各位置Pl?P6处取得的信息暂时存储在图像存储器25f等中，用于进行比较。
[0164]如图2B和图2C所示，支气管径Den大幅变化，以使得支气管径Den在分支点Bi附近成为峰值。因此，在从位置P2移动到位置P3的情况下，支气管径Den的变化量ADen从小于设定值ADth的状态起变化为超过设定值ADth的大值。
[0165]因此，条件判定部26b在信息记录部27中记录从位置P2变化为位置P3的情况下的例如位置P3的位置和姿势以及与P3的位置和姿势对应的VBS图像的规定的信息(作为候选信息)。
[0166]另外，在从P3的位置变化为P4的位置的情况下，支气管径Den也从大值变化为小值，但是，由于在位置P3处进行了记录，所以在位置P4处不进行记录。也可以代替在信息记录部27中记录P3的位置和姿势以及对应的VBS图像的信息(作为候选信息)，而在信息记录部27中记录P2与P3之间的位置和姿势的信息以及对应的VBS图像的信息。
[0167]也可以如P3的位置(大致分支点Bi的位置)的情况那样，设定为在内窥镜图像中的支气管径Den成为最大或峰值的位置附近选择性地记录信息。当这样进行记录时，提示候选信息，由于与使插入部11的前端移动以进行再次位置对齐的情况下的内窥镜图像中的支气管径Den相当的部分的变化较大，所以，容易进行基于图像匹配(图像比较)的位置对齐(下述说明的图2D中的候选信息相当于在支气管径Den成为最大或峰值的分支点B1、Bi+l的位置附近记录信息的例子)。
[0168]并且，手术医生在进行位置对齐的情况下，关注内窥镜图像中的支气管径Den部分，调整插入部11的前端的位置和姿势以使支气管径Den部分成为最大。在这样进行再次位置对齐的情况下，容易掌握应该关注的部分，并且，在进行调整以使该值成为最大的情况下，调整内容(调整方针)明确，所以，容易进行基于图像匹配(图像比较)的位置对齐。
[0169]与此相对，在现有例中，应该关注的部分不明确，相对于插入部11的前端的位置和姿势的变化应该如何调整的方向也不明确，所以，再次位置对齐花费时间。
[0170]通过上述步骤S3的位置对齐，在从该位置对齐的位置起的移动距离较小的情况下，位置估计部25c能够比较高精度地进行位置估计，但是，当移动距离增大时，有时位置估计的精度降低。
[0171]然后，当在步骤S5中产生位置估计不成功的情况时，在步骤Sll中，控制部26的显示控制部26a读出信息记录部27中记录的规定的信息，将其送到图像处理部25。图像处理部25将提示信息的图像信号输出到监视器32，监视器32提示候选信息。然后，返回步骤S3的处理。
[0172]在步骤S3中，手术医生参考监视器32中显示的候选信息，进行再次位置对齐。在进行了再次位置对齐后，反复进行图4的处理。这样，能够顺畅地进行将插入部11插入到支气管2的末梢侧(深部侧)的操作。
[0173]图2D示出步骤Sll的情况下的候选信息的显示例。在图2D的候选信息的显示例中，例如以用线连接的方式显示到达位置Pk之前记录在信息记录部27中的插入部11的前端的位置(图2D中为支气管径Den的变化量△ Den成为最大的位置附近)的分支点Bi和Bi+Ι以及分别对应的VBS图像。另外，比分支点Bi靠基端侧(插入口侧)的分支点B1-1等也可以同样显示。
[0174]如图2D所示，将在支气管2中的作为特征区域的管腔分支的分支点附近分别记录的规定的信息作为进行再次位置对齐的情况下的候选信息进行显示。这样，显示适于再次位置对齐的各分支点附近的必要最小限度的候选信息。因此，手术医生容易顺畅地在短时间内进行再次位置对齐。换言之，由于通过第I条件和第2条件来缩小要记录的信息，所以，能够记录适于进行再次位置对齐的信息量的规定的信息。
[0175]另外，在图2D中示出了分支点Bi和Bi+Ι中的候选图像的提示例，但是，针对插入部11的前端的位置Pk，也可以提示在与估计出的位置Pk最近的状态下记录在信息记录部27中的信息作为候选信息。在应用于图2D的情况下，也可以仅提示在分支点Bi+Ι附近记录的信息作为候选信息。
[0176]与此相对，在现有例中，未缩小要记录的信息，所以，再次位置对齐时显示的候选信息过多或不足，以适当的候选信息进行再次位置对齐花费时间。
[0177]并且，在本实施方式中，相对于插入部11的前端的位置的移动，在内窥镜图像中的特征部大幅变化的情况下记录信息，所以，手术医生等用户容易掌握记录信息的条件。因此，在本实施方式中，能够以用户容易在视觉上掌握的条件记录适于进行再次位置对齐的信息量的规定的信息。
[0178]并且，在本实施方式中，在显示(提示)所记录的信息作为候选信息并进行再次位置对齐的情况下，反映了内窥镜图像中的特征部相对于插入部11的前端的位置的移动而大幅变化的特性，所以，用户容易在视觉上进行基于图像匹配的再次位置对齐。
[0179]并且，当在信息记录部27中记录支气管径Den相对于前端的位置的移动的轨迹成为最大(峰值)的位置P3的状态下的信息时，容易进行再次位置对齐。另外，在监视器32中，如图2D中双点划线所示，也可以显示将当前的内窥镜图像与从信息记录部27中读出并显示的作为候选信息的VBS图像(和内窥镜图像)一起重叠在支气管形状图像2a上而得到的合成图像。这样，当与候选信息相邻地显示当前的内窥镜图像时，能够容易地进行基于与候选信息的图像比较的位置对齐。
[0180]并且，该情况下，也可以构成为在图像处理部25中设置图像移动部，该图像移动部能够移动显示位置以使候选信息侧的VBS图像重叠在当前的内窥镜图像的显示位置，或者能够移动显示位置以使候选信息侧的内窥镜图像重叠在当前的内窥镜图像的显示位置。或者，也可以构成为具有能够将当前的内窥镜图像的显示位置移动到候选信息侧的VBS图像的显示位置或候选信息侧的内窥镜图像的显示位置的图像移动部。
[0181]另外，在支气管径变化量检测部25e根据插入部11的前端的位置的信息取得支气管径Da的情况下，也可以利用图5或图6所示的方法取得。
[0182]在取得(计测)支气管径的情况下，如图5所示，也可以采用根据与插入部11的前端的长度方向(或轴方向)垂直的面上的支气管2的管腔计算出的支气管径Dal，还可以采用以包含插入部11的前端和从该前端到芯线35的垂线的方式沿着与芯线35垂直的面计算出的支气管径Da2。或者，如图6所示，也可以采用对支气管2的三维数据进行管理的CT坐标系的坐标轴的方向的Da3。换言之，支气管径变化量检测部25e可以根据插入部11的前端的位置的信息来检测与前端的长度方向垂直的面中的所述规定的管腔脏器的管腔直径的变化量，还可以检测与作为支气管2的管 腔的中心线的芯线35垂直的面中的所述规定的管腔脏器的管腔直径的变化量。
[0183]在上述(A)的情况下，不依赖于患者而设定一个第I条件中使用的基准的支气管径Dre。与此相对，在以下说明的情况(B)、(C)、(D)中，以按照每个患者设定最佳的基准的支气管径为目的，如下所述按照每个患者设定基准的支气管径。
[0184](B)预先设定的分支数的分支部的支气管径
[0185]手术医生进行再次位置对齐时，进行预先决定并输入认为可以记录为要参照的候选信息的分支数的分支部的设定。另外，分支数是以从支气管的入口起根据作为管腔分支的部分的分支部的顺序依次赋予编号等而容易确定的方式赋予的识别信息。手术医生根据支气管提取部23或CT图像数据记录部22的三维数据计算与预先设定的分支数相当的支气管径，将计算出的支气管径设定为基准的支气管径Dre。
[0186]在该设定后，使用所设定的基准的支气管径Dre进行与(A)的情况相同的动作。
[0187]这种情况下，能够根据实际的患者的支气管来设定基准的支气管径Dre。因此，在体格等不同的患者的情况下，也能够适当设定与插入部11实际插入的患者的支气管对应的基准的支气管径Dre。
[0188]并且，手术医生能够高精度地设定与实际希望记录为候选信息的位置的支气管径对应的基准的支气管径Dre。因此，不用白白记录不需要记录的信息，能够仅记录作为手术医生希望的候选信息的有效信息。
[0189]另外，如上述(A)的情况那样，也可以设定一个基准的支气管径Dre并设定为记录小于该值的支气管径的情况的条件，但是，进而，在作为插入目标的分支数确定的情况下，也可以设定第二个基准的支气管径。
[0190]具体而言，如上所述，也可以设定与对应于希望记录的位置的支气管径的基准的支气管径的分支数对应的基准的支气管径DreO以及与作为插入目标的分支数的支气管径对应的基准的支气管径Drel这两个基准的支气管径，将满足两个基准的支气管径DreO、Drel之间的支气管径设定为进行记录时的条件。换言之，也可以除了与第I条件有关的作为上限侧的基准的支气管径的一个基准的支气管径Dre以外，还设定下限侧的基准的支气管径，在计算出的当前的支气管径Da小于下限侧的基准的支气管径的情况下，判断为能够插入到作为目标的管腔部位，结束记录动作。
[0191]并且，也可以代替上述分支数，而使用以解剖学的方式按照每个分支决定名称的次数。
[0192]另外，在检测(计算)是否满足当前的支气管径Da小于上述基准的支气管径Dre的条件的情况下，作为进行检测(计算)的位置，如图7所示，也可以设定为芯线35上的分支点B1、支线Spi的位置附近。或者，如虚线所示，也可以限制在以分支点Bi或支线Spi为中心的半径Ra、Rb的区域以内。在设定这种区域的情况下，也可以按照各分支点Bi或支线Spi进行设定。
[0193]并且，也可以与图7不同，而如图8所示，设定从分支点Bi沿着芯线35方向向支气管2的入口(基端)侧返回距离da的位置Pa、或从支线Spi沿着芯线35方向向支气管2的入口(基端)侧返回距离da的位置Pb作为检测(计算)支气管径Den的变化的位置。该情况下，也可以包含从芯线35上的位置Pa或Pb偏离的情况下的位置。
[0194]并且，作为在上述插入部11的前端的位置Pj处计算支气管径的情况下的方向，如图9或图10所示，可以设为沿着与插入部11的前端的轴方向垂直的面的支气管径Dal、沿着与芯线35垂直的面的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da30
[0195]并且，作为计算基准的支气管径Dre的方法，可以设为相应的支气管2的最大值/最小值、仅右肺、仅左肺、两个肺、或仅预先设定的插入部11的插入路径上等。
[0196](C)手术医生等用户设定的任意位置处的支气管径
[0197]在检查前，手术医生通过CT坐标系的三维数据计算所指定的支气管2上的位置处的支气管径，将计算出的支气管径设定为基准的支气管径Dre。在设定后，使用该基准的支气管径Dre进行与(A)的情况相同的动作。
[0198]关于支气管径的计算方法，如图9或图10所示，可以设为沿着与插入部11的前端的轴方向垂直的面的支气管径Dal、沿着与芯线35垂直的面的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da3。
[0199](C)的情况具有与⑶的情况大致相同的效果。
[0200](D)预先设定的插入长的插入部11的前端的位置处的支气管径Dre
[0201]手术医生预先从输入装置31设定认为可以取得候选信息的插入部11的插入长(内窥镜插入长)，通过例如图像处理部25的位置估计部25c所具有的距离估计部的功能，计算以CT图像数据记录部22或支气管提取部23的三维数据中设定的所述插入长能够到达的支气管2内的全部位置。
[0202]计算所计算出的各位置处的各支气管径，将其平均值设定为基准的支气管径Dre。
[0203]在该设定后，进行与(A)的情况相同的动作。(D)的情况具有与(B)的情况大致相同的效果。
[0204]另外，关于支气管径的计算方法，如图9或图10所示，可以设为与插入部11的前端的轴方向垂直的面中计算出的支气管径Dal、与芯线35垂直的面中计算出的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da3。
[0205]并且，作为计算基准的支气管径Dre的方法，可以设为相应的支气管2的最大值/最小值、仅右肺、仅左肺、两个肺、或仅预先设定的插入部11的插入路径上等。
[0206]在上述(A)?⑶中，说明了图像变化量检测部25g具有检测内窥镜图像中的支气管径Den的变化的支气管径变化量检测部25h的情况，但是，也可以检测以下的(E)?(K)这样的其他变化量。也可以检测(E)内窥镜图像中的内窥镜图像(画面)的明亮度的变化、(F)分支的形状的变化、(G)支线的长度的变化、(H)支线的角度的变化、(I)视野的不良、(J)监视内窥镜图像中的支气管的分支以外的变化的动作的说明图、⑷内窥镜图像中的特征部的抖动的变化。从(E)?(K)中的(E)的情况起依次进行说明。
[0207](E)检测内窥镜图像中的内窥镜图像(画面)的明亮度的变化的情况
[0208]在(E)的情况下，(图像变化量检测部25g的)明亮度变化量检测部25i以预先设定的一定时间的时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视暗部的面积的动作。在图11中，用P1、P2、…、P5示出取得的情况下的插入部11的前端的位置。
[0209]暗部的面积是指内窥镜图像中的明亮度为规定值以下的图像部分的合计面积。在图11中，支气管2内的插入部11的前端前方侧的管腔部分中的分支部分被识别为暗部。
[0210]例如，从位置Pl移动到位置P2的情况下的暗部的面积变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，暗部的面积大幅变化。明亮度变化量检测部25i或条件判定部26b进行控制，以使得在检测到暗部的面积大幅变化设定值以上的情况下，在变化的位置(图11的情况下为P3)，在信息记录部27中记录包含VBS图像的(规定的)信息。
[0211]另外，也可以根据检测为暗部的分支部分的数量的变化(例如从2个变化为I个或从I个变化为2个)，检测为暗部的面积的较大变化量，由此，此时在信息记录部27中记录包含VBS图像的信息。
[0212]并且，作为明亮度的变化量，不限于根据暗部的面积的变化量进行检测的情况，也可以计算内窥镜图像的明亮度的平均值，在成为平均值为阈值以上的变化量的情况下，在信息记录部27中记录包含VBS图像的信息。
[0213]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。另外，在记录包含VBS图像的信息的情况下，不限于暗部的面积等明亮度变化设定值以上的位置，也可以设为其前后的位置。
[0214]如上所述，在位置P3的位置记录信息的情况下，采用暗部的面积等手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
[0215](F)检测分支的形状的变化的情况
[0216]图12示出提取了支气管2的分支形状的部分的状态。该情况下，如图12所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的形状变化量检测部25j检测内窥镜图像中的特征部的形状的变化量。
[0217]更具体而言，如图12所示的位置P1、P2、…、P5所示，形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的分支形状的动作。
[0218]在图12中示出与在各位置Pj (j = 1、2、…、5)处取得的内窥镜图像一起提取支气管2的分支形状的状态。
[0219]具体而言，从位置Pl移动到位置P2的情况下的支气管分支形状的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支气管分支形状大幅变化。形状变化量检测部25j在检测到支气管分支形状大幅变化(设定值以上)的情况下，在变化的位置(图12中为P3)，在信息记录部27中记录包含VBS图像的信息。
[0220]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0221]在(F)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
[0222](G)检测支线的长度的变化的情况
[0223]该情况下，如图13㈧所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的长度的变化量。在图13(A)中示出与各位置Pj(j = 1、2、…、5)处取得的内窥镜图像一起提取支线的长度的状态。另外，支线的长度是支气管2的管腔分支为两股的分支部中的边界的长度。
[0224]如图13(A)所示，在一定间隔或一定时间间隔的位置P1、P2、…、P5中，(图像变化量检测部25g的)支线变化量检测部25k取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的长度的动作。
[0225]图13⑶示出插入部11的前端的位置Pj与支线的长度的关系。根据图13(A)、图13⑶可知，例如从位置Pl移动到位置P2的情况下的支线的长度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支线的长度大幅变化。支线变化量检测部25k进行控制，以使得在检测到支线的长度大幅变化(设定值以上)的情况下，在变化的位置(图13中为P3)，在信息记录部27中记录包含VBS图像的信息。
[0226]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0227]在(G)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
[0228](H)检测支线的角度的变化的情况
[0229]该情况下，如图14㈧所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的角度(朝向)的变化量。在图14(A)中示出与各位置Pj(j = 1、2、…、5)处取得的内窥镜图像一起提取支线的角度的状态。另外，支线的角度是支气管2的管腔分支为两股的分支部中的边界部分的长度方向的朝向或与基准方向所成的角度。
[0230]如图14(A)所示的位置P1、P2、…、P5所示，(图像变化量检测部25g的)支线变化量检测部25k例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的角度的动作。
[0231]图14⑶示出插入部11的前端的位置Pj与支线的角度的关系。根据图14(A)、图14(B)可知，例如从位置Pl移动到位置P2的情况下的支线的角度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，手术医生扭转插入部11，因此，与位置P2相比，支线的角度大幅变化。支线变化量检测部25k进行控制，以使得在检测到支线的角度大幅变化(设定值以上)的情况下，在变化的位置(图14中为P3)，在信息记录部27中记录包含VBS图像的信息。
[0232]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0233]在(H)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
[0234](I)检测视野的不良的情况
[0235]该情况下，如图15所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的视野不良检测部251检测内窥镜图像中的视野不良的产生。
[0236]关于视野不良(的产生)，在支气管内进行摄像而得到的内窥镜图像中，根据是否以能够识别的程度映出管腔的前端侧的分支和暗部来进行判定，假设污渍覆盖视野整体，在内窥镜图像的明亮度低于规定的明亮度、较暗区域大致遍及内窥镜图像整体的情况下，视野不良检测部251判定为视野不良。
[0237]因此，例如明亮度变化量检测部25i具有视野不良检测部251的功能。
[0238]在图15中示出各位置Pj (j = 1、2、…、5)处取得的内窥镜图像的概略。如位置P1、P2、…、P5所示，(图像变化量检测部25g的)视野不良检测部251例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视视野不良的动作。在图15所示的例子中， 在从位置P2移动到位置P3的情况下检测到视野不良的产生，在变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
[0239]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0240]在(I)的情况下，采用如视野不良那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
[0241]另外，上述形状变化量检测部25j检测支气管内的分支形状的变化量，但是，如下所述，也可以在从分支形状变化为分支形状以外的构造、形状的情况下、换言之检测到变化为分支形状以外的情况下记录信息。
[0242](J)检测内窥镜图像中的支气管的分支以外的变化的情况
[0243]该情况下，如图16所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的形状变化量检测部25j持续进行监视对支气管2内进行摄像而得到的内窥镜图像中的支气管2的分支是否存在于内窥镜图像内的动作。然后，手术医生使插入部11的弯曲部19弯曲或使插入部11扭转，在判定为分支不存在于内窥镜图像内的情况下，在信息记录部27中记录包含在紧挨着的之前的位置处的VBS图像的信息。
[0244]如图16所示，如位置P1、P2、…、P5所示，(图像变化量检测部25g的)形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，在所取得的内窥镜图像内提取例如分支形状部分，持续进行监视有无分支的动作。然后，进行控制，以使得在图16中从位置P2移动到位置P3的情况下，判定为变化为不存在分支的状态，在该变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
[0245]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0246]在(J)的情况下，采用如有无分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
[0247](K)检测内窥镜图像中的特征部的抖动的变化的情况
[0248]该情况下，如图17所示，图像处理部25将从CCU 8A依次以规定的时间间隔(例如l/30s或l/60s)输入的图像信号交替存储在图像存储器25f中的第I存储器81a和第2存储器81b中。例如，最新的第η个图像In存储在第2存储器81b中，该I帧或I场之前的第η-1个图像In-1存储在第2存储器81b中。
[0249]以相邻的帧或场进行摄像而得到的第η-1个图像In-1和第η个图像In被输入到抖动量运算处理部82，抖动量运算处理部82进行如下运算:相对于一个图像(例如图像In)中设定的点，计算另一个图像中的对应点，作为表示抖动量的运动矢量。
[0250]由抖动量运算处理部82计算出的运动矢量被输入到抖动量判定部83，抖动量判定部83将计算出的运动矢量视为抖动量，判定运动矢量的大小(绝对值)是否超过规定值，根据判定结果记录包含VBS图像的信息作为候选信息。另外，也可以构成为图1所示的条件判定部26b具有抖动量判定部83的功能。
[0251]抖动量运算处理部82将以图像In的中心点为中心的WXH像素的范围设定为模板，探索与该中心点对应的图像In-1上的对应点。例如通过计算亮度的SAD (Sum ofAbsolute Differences:绝对差值和)来进行对应点的探索。当设模板的像素值为t (x、y)、探索对象的图像的像素值为g(x、y)时，一般利用以下的(4)式计算坐标(u、v)中的SAD即
F (U、V) ο
[0252]F(u、V) = XJjlgQ+u、j+v)_t(1、j) I (4)
[0253]另夕卜，Σρ Σ」分别表示进行在i为N w以内、N Η以内的模板的宽度W、高度H中加上I g-t I的运算，并且，在设模板的宽度为W、高度为H的情况下，设为-W/2 ^ Nff^ W/2.-H/2兰N1^ H/2。并且，设与图像In相当的图像In-1的中心坐标为(Ox、Oy)，在 Ox-W/2 = U = Ox+W/2、Oy-H/2 = v = Oy+H/2 的范围内计算 F(u、v)。F(u、v)最小时的坐标(Ex、Ey)成为对应点。
[0254]根据相对于图像In的中心坐标(0x、0y)的对应点的坐标(Ex、Ey)，利用(5)式计算运动矢量m。
[0255]m = (Ex-Ox、Ey-Oy)…(5)
[0256]以上是运动矢量m的计算方法。
[0257]通过运动矢量m的计算，当计算该运动矢量m作为抖动量的处理结束后，利用抖动量判定部83将运动矢量m的大小与规定值进行比较，在抖动量判定部83判定为运动矢量m的大小大于规定值的情况下，抖动量判定部83针对信息记录部27判定为产生了超过规定值的抖动变化，对信息记录部27输出用于记录VBS图像的记录指示信号(或保存指示信号)O
[0258]接收到该记录指示信号的信息记录部27记录超过规定值的抖动产生前的图像存储器25f的第I存储器81a的图像作为候选图像。每当输入记录指示信号时进行记录该候选图像的动作，在信息记录部27中蓄积候选图像。
[0259]通过反复进行以上动作，能够蓄积紧挨着内窥镜图像的抖动大于规定值的情况之前的内窥镜图像作为候选图像。另外，作为检测内窥镜图像的抖动的方法，在无法进行基于SHIFT (Scale-1nvariant Feature Transform:尺度不变特征转换)的运算、无法运算与各图像对应的特征点的情况下或在图像的频率解析中高频成分减小规定值以上的情况下，也可以同样进行记录。这种情况下也得到相同效果。
[0260]另外，在上述实施方式中，说明了代表性组合的情况，但是，也可以通过上述组合以外的组合来记录信息。
[0261]S卩，本发明还包含与上述实施方式中的第I条件和第2条件有关的任意组合的结构、方法的情况。
[0262]并且，说明了作为条件信息记录单元的条件信息记录部27a分别记录能够设定为第I条件和第2条件的多个候选条件的信息和候选信息的情况，但是，也可以不使用候选条件的信息和候选信息，而分别记录能够设定为第I条件和第2条件的多个条件信息(或信息)。并且，也可以不记录多个条件信息(或信息)，由手术医生等指定期望的条件信息。
[0263]另外，在上述说明中，说明了在从输入装置31等对控制部26输入了进行再次位置对齐的指示信号的情况下、在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息的情况。
[0264]本发明不限于该情况，例如，也可以在规定的时机在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息。
[0265]例如，用户也可以从输入装置31等针对控制部26进行用于设定显示候选信息的时间间隔或条件的输入，控制部26在符合所设定的时间间隔或条件的情况下，进行从信息记录部27中读出信息的控制，经由图像处理部25在监视器32中显示包含VBS图像的候选信息。
[0266]并且，在具有对由摄像单元进行摄像而得到的图像信息和假想内窥镜图像进行比较的图像比较单元、在规定的时机显示信息取得单元中记录的假想内窥镜图像的显示单元的结构中，也可以构成为，信息取得单元根据图像比较单元的比较结果取得摄像单元的至少位置信息。
[0267]另外，在支气管径变化量检测部25e检测到的支气管径小于基准的支气管径Dre、且图像变化量检测单元25g检测到的支线等特征部的变化量变化设定值以上的情况下，在信息记录部27中记录包含VBS图像的信息，但是，也可以在所述变化量变化为最大值或峰值的情况下，信息记录控制部26c等在信息记录部27中记录包含该变化量为最大值或峰值的插入部11的前端的位置及其姿势以及对应的VBS图像的信息。
[0268]并且，本发明不限于上述例如图1所示的结构，可以仅是权利要求1所述的基本结构(要素)，也可以构成为在该基本结构中选择性地追加一个或多个结构要素。
[0269]本申请以2013年3月27日在日本申请的日本特愿2013-67408号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书和权利要求书中。
【主权项】
1.一种内窥镜系统，其特征在于，该内窥镜系统具有: 图像记录部，其记录预先取得的被检体中的三维图像信息； 管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器； 假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像； 摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像； 位置信息取得部，其取得所述内窥镜的插入部的前端的位置信息； 管腔直径变化量检测比较部，其根据所述内窥镜的插入部的前端的位置信息检测所述规定的管腔脏器的管腔直径的变化量； 图像变化量检测部，其在由所述摄像部摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及 信息记录部，其根据所述管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定信息。2.根据权利要求1所述的内窥镜系统，其特征在于， 所述管腔直径变化量检测部检测与所述内窥镜的插入部的前端的长度方向垂直的面中的所述规定的管腔脏器的管腔直径的变化量。3.根据权利要求1所述的内窥镜系统，其特征在于， 所述管腔直径变化量检测部检测与作为所述规定的管腔脏器的管腔的中心线的芯线垂直的面中的所述规定的管腔脏器的管腔直径的变化量。4.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像变化量检测部检测所述规定的管腔脏器的管腔分支的分支区域中的特征部的形状变化量。5.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像变化量检测部检测所述规定的管腔脏器的管腔分支的分支区域中的特征区域的明亮度信息的变化量。6.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有图像比较部，该图像比较部对由所述摄像部拍摄的所述内窥镜图像和由所述假想内窥镜图像生成部生成的所述假想内窥镜图像进行比较， 所述位置信息取得部根据所述图像比较部的比较结果取得所述内窥镜的插入部的前端的所述位置信息。7.根据权利要求6所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有: 管腔形状图像生成部，其生成所述规定的管腔脏器的管腔形状图像；以及显示控制部，其进行控制，以使得在所述位置信息取得部根据所述图像比较部的比较结果取得所述内窥镜的插入部的前端的位置信息失败的情况下、或产生了用于提示所述规定的信息的指示信号的情况下，在所述管腔形状图像中的对应位置显示所述信息记录部中记录的所述规定的信息中的所述内窥镜的插入部的前端的位置，并且显示与该前端的位置对应的所述假想内窥镜图像， 所述位置信息取得部通过对从所述信息记录部中读出的所述假想内窥镜图像和由所述摄像部拍摄的当前的内窥镜图像进行比较，取得所述内窥镜的插入部的前端的位置信息。8.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有信息记录控制部，该信息记录控制部进行控制，以使得在所述管腔直径变化量检测部检测到的所述管腔直径小于预先设定的基准的管腔直径、且所述图像变化量检测部检测到的所述特征部的变化量变化了预先设定的设定值以上的情况下，所述信息记录部记录所述规定的信息。9.根据权利要求8所述的内窥镜系统，其特征在于， 进行控制，以使得在所述图像变化量检测部检测到的所述特征部的变化量以超过所述设定值的方式变化的情况下，在所述变化量为最大值的情况下，所述信息记录部记录所述规定的信息。10.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有条件判定部，该条件判定部判定管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果是否分别满足形成规定的条件的第I条件和第2条件，在所述条件判定部得到满足所述规定的判定结果的情况下，所述信息记录部记录所述规定的信息。11.根据权利要求10所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有: 条件信息记录部，其分别记录了多个条件信息作为所述第I条件和所述第2条件；以及 指定部，其从所述条件信息记录部中选择性地指定分别作为所述第I条件和所述第2条件而使用的条件信息。12.根据权利要求4所述的内窥镜系统，其特征在于， 作为所述规定的管腔脏器的管腔分支的分支区域中的特征部的形状变化量，所述图像变化量检测部检测所述管腔分支的分支边界的长度或所述分支边界的长度方向的朝向的变化是否变化了设定值以上。13.根据权利要求10所述的内窥镜系统，其特征在于， 在所述条件判定部判定为满足所述规定的条件的情况下，所述信息记录部还记录所述插入部的前端的轴方向的信息作为包含所述插入部的前端的位置和所述假想内窥镜图像的所述规定的信息。
【专利摘要】内窥镜系统具有：图像记录部，其记录被检体的三维图像信息；管腔脏器提取部，其从三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对提取出的规定的管腔脏器的信息，从规定的视点位置生成假想内窥镜图像；摄像部，其对规定的管腔脏器内进行摄像；位置信息取得部，其取得插入部的前端的位置信息；管腔直径变化量检测比较部，其根据插入部的前端的位置信息检测管腔直径的变化量；图像变化量检测部，其在摄像而得到的内窥镜图像内检测与规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据两个检测部的检测结果，记录包含插入部的前端的位置和对应的假想内窥镜图像的规定的信息。
【IPC分类】A61B1/00
【公开号】CN104883950
【申请号】CN201480003398
【发明人】伊藤满祐, 秋本俊也, 大西顺一
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2014年2月19日
【公告号】EP2918218A1, US20150272423, WO2014156378A1