图像处理装置、程序以及图像处理方法

图像处理装置、程序以及图像处理方法
【技术领域】
[0001] 本发明涉及图像处理装置、程序以及图像处理方法等。
【背景技术】
[0002] 在使用了内窥镜装置的生物体内部的观察、诊断中，广泛使用了一种通过观察生 物体表面的微小的凹凸状态进行是否是早期病变部的识别的方法。另外，即使不是生物体 用的内窥镜装置而是工业用的内窥镜装置中，观察被摄体（狭义上是被摄体表面）的凹凸 结构也是有用的，例如能够检测出产生于难以直接目视的管内部等的龟裂等。另外，即使在 内窥镜装置以外的图像处理装置中，多数情况下从作为处理对象的图像中检测出被摄体的 凹凸结构也是有用的。
[0003] 以往，作为摄像图像的结构（例如槽等凹凸结构）的强调处理，广泛使用强调特定 的空间频率的处理，但这种方法不适用于上述那样的微小的凹凸状态的检测。另外，还有一 种方法广为人知，该方法不是通过图像处理检测凹凸状态，而是使被摄体侧产生某种变化， 再拍摄变化后的被摄体。作为一例，如果是生物体用的内窥镜装置，则具有通过散布靛蓝胭 脂红等色素使生物体本身染色而在表层粘膜形成对比度的方法。但是，色素散布既花费功 夫和成本，还有可能因为散布的色素而损伤被摄体本来的色调，或者降低凹凸以外的结构 的视觉辨认性。而且如果是对生物体散布色素，还能够产生对患者来说侵入性高的问题。
[0004] 在专利文献1中公开了一种方法，该方法对局部的提取区域的关注像素与其周边 像素的亮度等级进行比较，在关注区域比周边区域暗的情况下通过进行着色的处理而强调 凹凸结构。
[0005] 现有技术文献
[0006] 专利文献
[0007] 专利文献1 :日本特开2003-88498号公报

【发明内容】

[0008] 发明要解决的课题
[0009] 专利文献1的处理是基于以下假设的处理：在从摄像部到被摄体（生物体表面） 的距离较远的情况下，从生物体表面反射的反射光量变少而进行较暗的拍摄。因此，例如即 使是在由亮点周边部或手边的结构而造成的影子的区域、或血管与其周边的粘膜等与生物 体表面的细微的凹凸没有直接关系的情况下，也会在产生亮度变化的区域误检测出凹凸结 构。
[0010] 根据本发明的几种方式，能够提供一种根据与被摄体相关的已知特性信息而对该 被摄体的凹凸部进行适当的强调处理的图像处理装置、程序以及图像处理方法。
[0011] 用于解决课题的手段
[0012] 本发明的一个实施方式涉及一种图像处理装置，其包含：图像获取部，其通过摄像 部的拍摄而获取包含被摄体的像的摄像图像；距离信息获取部，其获取基于所述拍摄时从 所述摄像部到所述被摄体的距离的距离信息；凹凸信息获取部，其从所获取的所述距离信 息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所述被摄体的凹凸部的信息；以 及强调部，其将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信息所确定的 特性一致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与所述 被摄体的结构相关的已知特性的信息。
[0013] 在本发明的一个实施方式中，将由提取凹凸信息所表示的凹凸部中的与由已知特 性信息所确定的特性一致的凹凸部作为强调对象进行强调处理。因此，在对凹凸结构进行 强调处理时，判定被摄体的凹凸结构是否是强调对象，能够对被判定为是强调对象的凹凸 部进行适当地强调处理等。
[0014] 另外，本发明的其它方式涉及一种程序，该程序使计算机执行如下步骤：通过摄 像部的拍摄而获取包含被摄体的像的摄像图像，获取基于所述拍摄时从所述摄像部到所述 被摄体的距离的距离信息，从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹 凸信息是提取出了所述被摄体的凹凸部的信息，将由所述提取凹凸信息所表示的所述凹凸 部中的与由已知特性信息所确定的特性一致的所述凹凸部作为强调对象进行强调处理，其 中，该已知特性信息是表示与所述被摄体的结构相关的已知特性的信息。
[0015] 另外，本发明的其它方式涉及一种图像处理方法，通过摄像部的拍摄而获取包含 被摄体的像的摄像图像，获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信 息，从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所述 被摄体的凹凸部的信息，将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信 息所确定的特性一致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是 表示与所述被摄体的结构相关的已知特性的信息。
【附图说明】
[0016] 图1是图像处理装置的系统结构例。
[0017] 图2是包含本实施方式涉及的图像处理装置的内窥镜装置的结构图。
[0018] 图3是旋转滤色器的结构例。
[0019] 图4是滤色器的分光特性的例子。
[0020] 图5是凹凸信息获取部的结构例。
[0021] 图6(A)~图6(F)是通过形态学处理对提取凹凸信息进行提取处理的说明图。
[0022] 图7(A)~图7(D)是通过滤波处理对提取凹凸信息进行提取处理的说明图。
[0023] 图8是图像处理部的结构例。
[0024] 图9是强调部的结构例。
[0025] 图10是提取凹凸信息的例子。
[0026] 图11是说明凹部的宽度的计算处理的图。
[0027] 图12是说明凹部的深度的计算处理的图。
[0028] 图13(A)、图13(B)是凹部的强调处理中的强调量（增益系数）的设定例。
[0029] 图14(A)、图14⑶是凹部的强调处理的例子。
[0030] 图15是距离信息获取部的结构例。
[0031] 图16是距离信息获取部的其它的结构例。
[0032] 图17是计算机系统的结构例。
[0033] 图18是计算机系统的结构例。
[0034] 图19是说明本实施方式的处理的流程图。
[0035] 图20是说明提取凹凸信息的提取处理的流程图。
[0036] 图21是用于说明强调处理的流程图。
[0037] 图22是说明凸部的宽度的计算处理的图。
[0038] 图23(A)、图23(B)是凸部的强调处理中的强调量（增益系数）的设定例。
【具体实施方式】
[0039] 以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中 记载的本发明的内容进行不恰当的限定。另外，本实施方式所说明的所有结构并非都是本 发明所必须的构成要件。
[0040] 1.本实施方式的方法
[0041] 本实施方式的图像处理装置如图1所示，包括：图像获取部310,其通过摄像部 (后述的图2的摄像部200等）的拍摄，而获取包含被摄体的像的摄像图像；距离信息获取 部350,其获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信息；凹凸信息 获取部320,其从所获取的距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出 了所述被摄体的凹凸部的信息；以及强调部333,其将由所述提取凹凸信息所表现的所述 凹凸部中的与由已知特性信息所确定的特性一致的所述凹凸部作为强调对象进行强调处 理，其中，该已知特性信息是表示与所述被摄体的结构相关的已知特性的信息。
[0042] 距离信息因为是与摄像部200到被摄体的距离对应的信息，所以如图6(A)所示， 是表示被摄体（如果是生物体用的内窥镜装置则是生物体，尤其是其表面）的结构的信息。 即，距离信息包含被摄体表面的微小的凹凸结构。
[0043] 但是，距离信息中也包含被摄体表面的其它的结构的信息。例如，用内窥镜装置 进行观察的生物体多是食道或者大肠等管腔状的物体。在该情况下，生物体壁面因为是具 有指定的曲率的曲面，所以由距离信息所表示的距离包含与该曲面对应的值的变动。在图 6(A)的例子中，距离信息包含各种其它的结构，并且整体上表现的结构为越往右方向行进 从摄像部到被摄体的距离越增加。
[0044] 另外，在被摄体表面也能够包含与希望通过本实施方式的方法输出的提取凹凸信 息对应的凹凸结构所不同的凹凸结构。例如，在胃或大肠等生物体的表面能观察到像图2 的2、3、4所示的褶皱结构。在距离信息中也能够包含与这些褶皱结构相关的信息，但在本 实施方式中在使用了内窥镜装置的观察中所假定的凹凸部是维度与那种当然能在生物体 表面观察到的结构所不同的微小的凹凸结构。
[0045] 因此，要想对应该关注的对象进行适当地强调处理，需要从包含各种结构所引起 的距离变动的距离信息中适当地确定出与期望的凹凸结构相关的信息。这在工业用的内窥 镜装置中也同样，距离信息中能够包含相当于圆形管的曲面的距离变动、为了使管具有指 定的功能而事先挖的槽、以及由于深刻度低而即使遗漏也不妨碍的伤等的信息，将它们除 去即可。
[0046] 因此本申请人提出一种方法，该方法获取表示与被摄体的结构相关的已知特性的 信息即已知特性信息（先验信息），对被摄体的与由该已知特性信息所确定的特性一致的 凹凸部进行强调。已知特性信息是能从被摄体表面的结构中分离出在本实施方式中有用的 结构和没用的结构的信息。具体地说，既可以将强调有用（例如，有助于早期病变部的发 现）的凹凸部的信息作为已知特性信息，在那种情况下，将与该已知特性信息一致的被摄 体作为强调对象。或者，也可以将即使强调也没用的结构的信息作为已知特性信息，在那种 情况下将与已知特性信息不一致的被摄体作为强调对象。或者，还可以事先保持有用的凹 凸部和没用的结构的双方的信息，并高精度地设定有用的凹凸部的范围。
[0047] 但是，在本实施方式中通过后述的图11等方法获取被摄体的凹凸部的维度信息， 并进行与已知特性信息的比较处理。在这种情况下，为了高精度地求出维度信息，需要设定 被摄体的基准面（与图11的Xl对应的面等），此时优选从距离信息中除去全局的距离变动 (狭义上由管腔结构造成的距离变动）。
[0048] 因此，在本实施方式中使用从距离信息中获取提取凹凸信息，并根据该提取凹凸 信息和已知特性信息决定强调对象等的方法，其中提取凹凸信息提取出了与特定的结构相 关的信息。狭义上，提取凹凸信息是除去了与管腔结构相关的信息的信息。对此，能够通过 事先获取与管腔结构相关的信息作为已知特性信息来实现。但是并不限于此，也可以事先 除去与不作为强调对象的其它的结构（褶皱结构等）相关的信息。这是因为如果尽可能地 事先除去与不能作为强调对象的被摄体的结构相关的信息，则在强调对象的设定等处理中 能够减轻处理负载等。该处理能够通过使用能够确定强调对象的已知特性信息来实现。
[0049] 但是，包含于提取凹凸信息中的结构不需要严密地限定为能够作为强调对象的结 构。这是因为本实施方式的强调处理通过以下的3个理由而将使用能够确定强调对象的已 知特性信息作为前提。第1，即使在提取凹凸信息的获取处理中使用了已知特性信息，也能 够通过在强调处理中再次使用已知特性信息而提高强调对象的选择精度。第2,在使用图 6(A)~图6(F)等如后所述获取提取凹凸信息时，着眼于凹凸部的宽度而不对深度或高度 进行考虑。即，如果希望在处理中使用深度或高度，则需要进行使用了有别于提取凹凸信息 的获取的已知特性信息的处理。第3,强调处理也可以采用根据维度信息等改变强调量的方 法。即，即使通过使用了已知特性信息的提取处理能够获取只提取出了强调对象的信息作 为提取凹凸信息，在设定它们的强调量时结果也需要已知特性信息。
[0050] 因此，在提取凹凸信息的提取处理中，只要能够进行仅能够适当地进行强调处理 的处理（狭义上除去全局的结构以能够设定基准面的处理）就足够了，不需要其它的处理。 另外，只要能够适当地设定基准面，在除去与全局的结构相关的信息时也可以不使用已知 特性信息。
[0051] 此外，能够在强调处理（及根据需要提取凹凸信息的提取处理）中使用的已知特 性信息即典型的褶皱的大小、或者有用的凹凸结构的维度等，假定根据作为观察对象的部 位（如果是上部消化系统则是胃、如果是下部消化系统则是大肠等）而不同。因此，已知 特 性信息优选不是一个信息，而能够事先根据观察对象进行选择、变更等。
[0052] 下面对第1~第3实施方式进行说明。此外，在下面如图2所示那样以内窥镜装 置为例进行说明，但如在图1中上述那样，本实施方式能够适用于不限定于内窥镜装置的 图像处理装置。
[0053] 在第1实施方式中说明对被摄体的凹部（槽）进行强调的方法。在第2实施方式 中说明对被摄体的凸部（例如，如果是生物体则是息肉等）进行强调的方法。在第1、第2 的实施方式中，作为强调处理的具体例而使用颜色转换处理。然后在第3实施方式中，作为 强调方法对提高对比度的方法进行说明。
[0054] 2.第1实施方式
[0055] 对第1实施方式进行说明。具体地说，对包含本实施方式的图像处理装置的内窥 镜装置的系统结构例进行说明，之后，对提取凹凸信息的获取处理、强调处理、以及距离信 息获取处理进行说明。然后对使用软件实现本实施方式的方法的例子进行说明，并且使用 流程图说明本实施方式的处理的流程。
[0056] 2. 1系统结构例
[0057] 图2示出第1实施方式中的内窥镜装置的结构例。内窥镜装置包含光源部100、摄 像部200、控制装置300 (处理器部）、显示部400以及外部I/F部500。
[0058] 光源部100具有：白色光源110、光源光圈120、驱动光源光圈120的光源光圈驱动 部130、以及具有多个分光透过率的滤波器的旋转滤色器140。另外，光源部100包含驱动 旋转滤色器140的旋转驱动部150和将透射过旋转滤色器140的光会聚到光导纤维210的 入射端面的会聚透镜160。光源光圈驱动部130根据来自控制装置300的控制部340的控 制信号进行光源光圈120的开闭从而进行光量的调整。
[0059] 图3示出旋转滤色器140的详细的结构例。旋转滤色器140由三原色的红色（以 下简称为R)滤色器701、绿色（以下简称为G)滤色器702、蓝色（以下简称为B)滤色器 703以及旋转电动机704构成。
[0060] 图4示出这些滤色器701~703的分光特性例。旋转驱动部150根据来自控制部 340的控制信号使旋转滤色器140与摄像元件260-U260-2的摄像期间同步地以规定的转 速旋转。例如，如果使旋转滤色器140在1秒内旋转20次，则各滤色器以1/60秒间隔对入 射白色光进行横切。在这种情况下，摄像元件260-U260-2以1/60秒间隔完成图像信号的 拍摄和传送。在此，摄像元件260-U260-2例如是单色单板摄像元件，例如由C⑶或CMOS 图像传感器等构成。即，在本实施方式中，进行以l/60s秒间隔拍摄3原色的各色光（R或 者G或者B)的图像的面顺序方式的拍摄。
[0061] 摄像部200例如形成为细长且能够弯曲，以使得能够插入体腔内。摄像部200包 含用于将在光源部100中会聚的光向照明透镜220引导的光导纤维210以及使通过该光导 纤维210引导到前端的光扩散而向观察对象照射的照明透镜220。另外，摄像部200具有： 物镜230-1、230-2,它们对从观察对象返回的反射光进行会聚；对焦透镜240-1、240-2,它 们用于调整焦点位置；透镜驱动部250,其用于移动对焦透镜240-U240-2的位置；以及摄 像元件260-1、260-2,它们用于检测会聚的反射光。
[0062] 物镜230-U230-2被配置于相隔规定的间隔的位置且被配置于能够拍摄规定的 视差图像（以下也记为立体图像）的位置，摄像元件260-U260-2上分别成像左图像和 右图像。另外，从摄像元件260-U260-2输出的左图像和右图像向图像获取部（A/D转换 部）310输出。此外，如使用图16后述那样，距离信息的获取并不限定于通过立体匹配处理 所进行的。因此，在通过未使用视差图像的方法获取距离信息的情况下，不需要像图2那样 使用多组物镜、对焦透镜以及摄像元件，一组即可。
[0063] 透镜驱动部250例如是VCM(Voice Coil Motor :音圈马达），与对焦透镜240-1、 240-2连接。透镜驱动部250通过在连续的位置上切换对焦透镜240-1、240-2的位置来调整 对焦物体位置。另外，摄像部200设置有用户进行强调处理的启动/关闭指示的开关270。 通过用户操作开关270,从开关270向控制部340输出强调处理的启动/关闭指示信号。
[0064] 控制装置300进行内窥镜装置的各部的控制或图像处理。控制装置300包含图像 获取部（A/D转换部）310、凹凸信息获取部320、图像处理部330、控制部340、距离信息获取 部350以及存储部360。关于凹凸信息获取部320、图像处理部330的详细情况在后面叙述。
[0065] 由图像获取部（A/D转换部）310转换成数字信号的图像信号被传送到图像处理部 330。由图像处理部330进行了处理的图像信号被传送到显示部400。另外，控制装置340 进行内窥镜装置的各部的控制。具体地说，控制部340进行光源光圈驱动部130、透镜位置 控制部359 (在图16的结构的情况下为距离信息获取部350)、以及图像处理部330的同步。 另外，控制部340与开关270和外部I/F部500连接，并向图像处理部330传送强调处理的 启动/关闭指示信号。
[0066] 距离信息获取部350根据控制部340的控制使用从图像处理部330传送的图像信 号计算被摄体距离。此外，在本实施方式中，被摄体距离的信息通过立体匹配处理计算。被 摄体距离的信息被传送到图像处理部330。关于距离信息获取部350的详细情况在后面叙 述。
[0067] 存储部360用于存储控制装置300中的处理所使用的各种信息，该功能能够通过 RAM等存储器或HDD (硬盘驱动器）等实现。存储部360例如存储强调处理等所使用的已知 特性信息。
[0068] 显示部400是能够显示动态图像的显示装置，例如由CRT或液晶监视器等构成。
[0069] 外部I/F部500是用于供用户对内窥镜装置进行输入等的接口。外部I/F部500 具有能够进行强调处理的启动/关闭指示的未图示的强调处理按钮，用户也能够从外部1/ F部500进行强调处理的启动/关闭指示（强调处理按钮功能与摄像部200的开关270相 同）。来自外部I/F部500的强调处理的启动/关闭指示信号被输出到控制部340。外部 I/F部500包含用于进行电源的启动/关闭的电源开关、或用于切换摄像模式或其它各种模 式的模式切换按钮等。
[0070] 2. 2提取凹凸信息获取处理
[0071] 凹凸信息获取部320从距离信息获取部350所输入的距离信息（被摄体距离） 中提取出表示生物体表面的凹凸部的提取凹凸信息。此外，在此对根据已知特性信息设定 提取处理参数、并通过使用了所设定的提取处理参数的提取处理从距离信息中提取出提取 凹凸信息的方法进行说明。具体地说，使用已知特性信息将具有期望的维度特性的凹凸部 (狭义上其宽度在期望的范围内的凹凸部）作为提取凹凸信息提取出来。因为距离信息中 反映了被摄体的三维结构，所以该距离信息中除了期望的凹凸部之外还包含比其大的结构 即褶皱结构、或与管腔的壁面结构对应的全局的结构。即，也可以说本实施方式的提取凹凸 信息获取处理是从距离信息中除去褶皱、管腔结构的处理。
[0072] 但是，提取凹凸信息获取处理并不限定于此。例如，在提取凹凸信息的获取处理中 也可以不使用已知特性信息。另外，即使在使用已知特性信息的情况下，也能够对使用什么 样的信息作为该已知特性信息做各种的变形实施。例如，也可以从距离信息中除去与管腔 结构相关的信息，但却留下与褶皱结构相关的信息这样的提取处理。即使在这种情况下，因 为在后述的强调处理中使用已知特性信息，所以能够进行将期望的被摄体作为对象的强调 处理。
[0073] 图5中示出凹凸信息获取部320的结构例。凹凸信息获取部320包含已知特性信 息获取部321、提取处理部323以及提取凹凸信息输出部325。但是，凹凸信息获取部320 不限定于图5的结构，既能够省略这些一部分的结构要素也能够追加其它的结构要素等进 行各种变形实施。
[0074] 已知特性信息获取部321从存储部360获取已知特性信息。具体地说，从生物体 表面获取引起病变部的希望提取的生物体固有的凹凸部的大小（宽度或高度或深度等维 度信息）、以及基于观察部位信息的部位固有的管腔和褶皱的大小（宽度或高度或纵深等 维度信息）等作为已知特性信息。在此，观察部位信息例如是根据镜体ID信息决定的表示 作为观察对象的部位的信息，该观察部位信息也可以包含于已知特性信息。例如是进行如 下判定的信息：如果是上部消化器用镜体则观察部位是食道、胃、十二指肠，如果是下部消 化器用镜体则观察部位是大肠。因为希望提取的凹凸部的维度信息以及部位固有的管腔和 褶皱的维度信息根据部位而不同，所以在已知特性信息获取部321中向提取处理部323输 出基于观察部位信息而获取的标准的管腔和褶皱的大小等信息。此外，观察部位信息不限 定于通过镜体ID信息所决定的信息，也可以通过用户在外部I/F部500使用能够操作的开 关进行选择等其它的方法决定。
[0075] 提取处理部323根据已知特性信息决定提取处理参数，并根据所决定的提取处理 参数进行提取凹凸信息的提取处理。
[0076] 首先提取处理部323对所输入的距离信息实施NXN像素的规定的大小的低通滤 波处理，提取出大概的距离信息。然后根据所提取出的大概的距离信息适当地决定提取处 理参数。以下对提取处理参数的详细情况进行说明，例如是在距离图的与距离信息正交的 平面位置上的适应于距离信息的形态的内核大小（结构要素的大小）、或者是所述平面位 置的适应于距离信息的低通特性的滤波器、或者是适应于所述平面位置的高通特性的滤波 器。即，是变更与距离信息对应的自适应的非线性和线性的低通滤波器或高通滤波器的变 更信息。此外，在此的低通滤波处理是用于抑制提取处理参数根据图像上位置而进行频繁 地或者极端地变化所引起的提取处理的精度下降的处理，如果该精度下降不成为问题则也 可以不进行低通滤波处理。
[0077] 下面，提取处理部323根据所决定的提取处理参数执行提取处理从而只提取实际 存在于被摄体的期望大小的凹凸部。这些提取出的凹凸部作为与摄像图像（作为强调处理 的对象的图像）相同大小的提取凹凸信息（凹凸图像）被输出到图像处理部330。
[0078] 接着，使用图6(A)~图6(F)说明提取处理部323中的提取处理参数的决定处理 的详细情况。图6(A)~图6(F)的提取处理参数是在形态学处理的开启处理和闭合处理中 使用的结构要素（球）的直径。图6(A)是示意性地示出被摄体的生物体表面和摄像部200 的垂直方向的剖面的图。存在于生物体表面的褶皱（图2的2、3、4)例如是胃壁的褶皱。另 外，如图2所示，早期病变部10、20、30形成于生物体表面。
[0079] 希望在提取处理部323的提取处理参数的决定处理中实现的是决定提取处理参 数，该提取处理参数用于从这样的生物体表面不提取出褶皱2、3、4而只提取出在确定早期 病变部10、20、30中有用的凹凸部。
[0080] 要想实现它，需要使用来自存储部360的引起病变部的希望提取的生物体固有的 凹凸部的大小（宽度或高度或深度等维度信息）、以及基于观察部位信息的部位固有的管 腔和褶皱的大小（宽度或高度或纵深等维度信息）等。
[0081] 如果使用这2种信息决定以开启处理和闭合处理描绘实际的生物体表面的球的 直径，则能够只提取出期望的凹凸部。球的直径设定成比基于观察部位信息的部位固有 的管腔和褶皱的大小小、且比引起病变部的希望提取的生物体固有的凹凸部的大小大的直 径。更详细地说，设定成褶皱的大小的一半以下的直径且引起病变部的希望提取的生物体 固有的凹凸部的大小以上即可。在图6(A)~图6(F)中描绘了在开启处理和闭合处理中使 用了满足上述条件的球的例子。
[0082] 图6 (B)是闭合处理之后的生物体表面，可知通过决定适当的提取处理参数（结构 要素的大小），能够获得维持由生物体壁面所形成的距离变化、或褶皱等结构、并且埋藏有 作 为提取对象的维度的凹凸部中的凹部的信息。通过获取利用闭合处理获得的信息与原来 的生物体表面（与图6(A)对应）之间的差分而能够只提取出像图6(C)那样的生物体表面 的凹部。
[0083] 同样，图6(D)是开启处理之后的生物体表面，可知能够获得作为提取对象的维度 的凹凸部中凸部被删除的信息。因此，通过获取利用开启处理获得的信息与原来的生物体 表面之间的差分而能够只提取出像图6(E)那样的生物体表面的凸部。
[0084] 虽然像上述那样只要对实际的生物体表面进行所有都使用了相同大小的球的开 启处理、闭合处理即可，但是因为距离信息越远立体图像越作为小的区域成像在摄像元件 上，所以要想提取出期望大小的凹凸部，只要进行如下控制即可：在距离信息近的情况下使 上述球的直径变大、在距离信息远的情况下使上述球的直径变小。
[0085] 在图6(F)中示出针对对距离图进行开启处理、闭合处理的情况下的平均的距离 信息，以变更球的直径的方式进行控制的情况。即，要想对距离图提取期望的凹凸部，需要 以光学倍率进行校正以使生物体表面的实际的大小与摄像元件上的成像图像上的像素间 距的大小一致。因此，提取处理部323事先获取根据镜体ID信息所决定的摄像部200的光 学倍率等即可。
[0086] 即，当作为提取处理参数的结构要素的大小的决定处理是在对褶皱等作为除去对 象的形状进行了基于结构要素的处理的情况下（在图6 (A)中使球在表面滑动的情况下）， 决定不破坏（球追随形状而移动）该形状的结构要素的大小。相反，在对作为提取凹凸信息 而成为提取对象的凹凸部进行了基于结构要素的处理的情况下，决定使该凹凸部消失（使 从上方滑动的情况下不陷入凹部、或者使从下方滑动的情况下不进入凸部）那样的结构要 素的大小即可。此外，因为形态学处理是公知的方法，所以省略详细的说明。
[0087] 另外，提取处理不限于形态学处理，也可以通过滤波处理进行。例如，在使用低通 滤波处理的情况下，决定能够使引起上述病变部的希望提取的生物体固有的凹凸部平滑 化、且保持观察部位固有的管腔和褶皱的结构的低通滤波器的特性。因为从已知特性信息 中可知作为提取对象的凹凸部、或作为除去对象的褶皱、管腔结构的特性，所以它们的空间 频率特性为已知，能够决定低通滤波器的特性。
[0088] 低通滤波器作为公知的高斯滤波器或双边滤波器，其特性用〇控制，也可以制作 与距离图的像素一一对应的〇图（在双边滤波器的情况下也可以用亮度差〇与距离〇 中的双方或者其中任意一个来制作σ图）。此外，高斯滤波器能够通过下式（1)表示，双边 滤波器能够通过下式（2)来表示。
[0089] 【数学式1】
[0090]
[0091]
[0092]
[0093] 例如，在此该〇图即使不是像素单位也可以制作进行了间除处理的〇图，并通过 该σ图使对距离图作用期望的低通滤波器。
[0094] 决定低通滤波器的特性的〇例如设定成比与希望提取的生物体固有的凹凸部的 大小对应的距离图的像素间距离Dl的规定倍数α (> 1)大、且比与观察部位固有的管腔 和褶皱的大小对应的距离图的像素间距离D2的规定倍数β (< 1)小的值。例如可以使σ =(a *D1+|3 *D2)/2*R〇。
[0095] 另外，作为低通滤波器的特性，也能够设定更急剧的锐截止的特性。在这种情况下 不是由σ而是由截止频率fc控制滤波器特性。截止频率fc以使上述Dl周期的频率Fl 截止且使D2周期的频率F2通过的方式指定即可。例如，也可以使fc= (Fl+F2)/2*Rf。
[0096] 在此，R〇是局部平均距离的函数，如果局部平均距离小则输出值大，如果局部平 均距离大则输出值小。另一方面，Rf是如果局部平均距离小则输出值小、如果局部平均距 离大则输出值大的函数。
[0097] 通过从未进行低通处理的距离图中减去低通处理结果而只提取出为负的区域，能 够输出凹部图像。另外，通过从未进行低通处理的距离图中减去低通处理结果而只提取出 为正的区域，能够输出凸部图像。
[0098] 在图7(A)~图7(D)中示出由低通滤波器实现的与提取出引起病变的期望的凹凸 部相关的想法。通过对图7(A)的距离图进行使用了低通滤波器的滤波处理，如图7(B)所 示，可知能够获得维持由生物体壁面所形成的距离变化或褶皱等结构、并且作为提取对象 的维度的凹凸部已被除去的信息。因为即使不进行像图6(A)~图6(F)那样的开启处理和 闭合处理2种处理，低通滤波处理结果也成为提取出期望的凹凸部的基准曲面（图7(B))， 所以通过与根本的距离图（图7(A))之间的减法处理，能够如图7(C)所示提取出凹凸部。 与在形态学处理中根据大概的距离信息适当地变更结构要素的大小相同，在滤波处理中也 可以根据大概的距离信息变更低通滤波器的特性，其例在图7(D)中示出。
[0099] 另外，也可以不进行低通滤波处理而进行高通滤波处理，在那种情况下决定保持 引起病变部的希望提取的生物体固有的凹凸部并去除观察部位固有的管腔和褶皱的结构 的高通滤波器的特性。
[0100] 作为高通滤波器的特性，例如以截止频率fhc控制滤波器特性。截止频率fc以使 上述Dl周期的频率Fl通过且使D2周期的频率F2截止的方式指定即可。例如，也可以使 fhc = (Fl+F2)/2*Rf。在此，Rf是如果局部平均距离小则输出值小、如果局部平均距离大 则输出值大的函数。
[0101] 在高通滤波处理中，能够提取出直接引起病变部的希望提取的凹凸部。具体地说， 如图7(C)所示，即使不取差分也能够直接获取提取凹凸信息。
[0102] 2. 3强调处理
[0103] 图8示出第1实施方式中的图像处理部330的详细的结构例。图像处理部330包含 预处理部331、同时化部332、强调部333以及后处理部334。图像获取部（A/D转换部）310 与预处理部331连接。预处理部331与同时化部332连接。同时化部332与距离信息获取 部350和强调部333连接。凹凸信息获取部320与强调部333连接。强调部333与后处理 部334连接。后处理部334与显示部400连接。控制部340与各部双方向连接，并对它们 进行控制。
[0104] 预处理部331针对由图像获取部（A/D转换部）310输入的图像信号，使用预先保 存于控制部340的OB钳位值、增益校正值、WB系数值，进行OB钳位处理、增益校正处理、WB 校正处理。预处理部331向同时化部332传送预处理后的图像信号。
[0105] 同时化部332针对由预处理部331处理的图像信号根据控制部340的控制信号使 面顺序的图像信号同时化。具体地说，同时化部332 -帧一帧地存储按面顺序输入的各色 光（R或者G或者B)的图像信号，并同时读出存储的各色光的图像信号。同时化部332向 距离信息获取部350、强调部333传送被同时化的图像信号。
[0106] 强调部333针对从同时化部332传送的图像信号进行关注像素的强调处理。在此， 制作对散布有靛蓝胭脂红的图像进行模拟的图像，该靛蓝胭脂红用于使生物体表面的微小 的凹凸部的对比度提高。具体地说，在图像信号的关注像素是生物体表面的凹部（以下记 述为槽）的情况下，将图像信号乘以使蓝色色调增加的增益。在此，从凹凸信息获取部320 传送的提取凹凸信息与从同时化部332输入的图像信号之间按照每个像素一一对应。
[0107] 强调部333如图9所示包含维度信息获取部3331、凹部提取部3332、凸部提取部 3333、校正部3334以及强调量设定部3335。但是，强调部333不限于图9的结构，也能够省 略这些一部分的结构要素或者追加其它的结构要素等进行各种变形实施。
[0108] 维度信息获取部3331从存储部360等获取已知特性信息（在此尤其指维度信 息）。凹部提取部3332根据已知特性信息提取包含于提取凹凸信息的凹凸部中的成为强调 对象的凹部。凸部提取部3333根据已知特性信息提取包含于提取凹凸信息的凹凸部中的 成为强调对象的凸部。
[0109] 校正部3334进行用于提高强调对象的视觉辨认性的校正处理。详细情况在后面 叙述。此时，也可以在强调量设定部3335事先设定强调量并根据设定的强调量进行校正处 理。
[0110] 另外，从开关270、外部I/F部500经由控制部340输入强调处理的启动/关闭指 示信号。在指示信号是关闭的情况下，强调部333不进行强调处理而向后处理部334传送 从同时化部332输入的图像信号。在指示信号是开启的情况下进行强调处理。
[0111] 如果开始强调处理，则首先从提取凹凸信息中根据已知特性信息检测生物体表面 的槽。在此，已知特性信息是指生物体表面的槽的宽度、深度。一般情况下，生物体表面的 微小的槽的宽度是几千um以下（包含该值），深度是几百um以下。在此，从提取凹凸信息 中计算生物体表面上的槽的宽度和深度。
[0112] 图10示出1维的提取凹凸信息。摄像元件到生物体表面的距离假设以摄像元件 260 (摄像面）的位置为0向纵深方向取正的值。图11示出槽的宽度的计算方法。在此，从 提取凹凸信息中检测比基准面距离远且连续的离摄像面的距离相隔某个阈值xl以上（包 括该值）的点的端部（图11的A点和B点）。在此，距离Xl成为基准面。并且，计算与包 含于检测出的点的内部所对应的像素数量N。而且对于内部的点计算距离摄像元件的距离 xl~xN的平均值作为xave。在下式（3)中示出槽的宽度w的计算公式。在此，p表示摄像 元件260的每1个像素的宽度，K表示与距离摄像元件的距离xave--对应的光学倍率。
[0113] w = NXpXK......(3)
[0114] 图12示出槽的深度的计算方法。下式⑷中示出槽的深度d的计算公式。在此， 将xl~xN中的最大值作为xM，将xl和xN中的小的一方作为xmin。
[0115] d = xM-xminl......(4)
[0116] 对于基准面（距离摄像元件的距离为xl的面）用户也可以经由外部I/F部500 设定任意的值。在计算出的槽的宽度以及深度与已知特性信息一致的情况下，将对应的图 像信号的像素位置设定为关注像素。是否与已知特性信息一致的判定，在此例如将槽的宽 度是3000um以下（包括该值）且槽的深度是500um以下（包括该值）的情况下的像素设 定为关注像素。在此，作为阈值的槽的宽度、深度，用户也可以经由外部I/F部500设定。
[0117] 通过以上的处理，能够决定作为强调处理的对象的被摄体（狭义上是作为强调处 理的对象的关注像素）。接着，使被设定为关注像素的像素值与增益系数相乘。具体地说， 关注像素的B信号乘以1以上（包括该值）的增益系数以使B信号增加，R、G信号乘以1 以下（包括该值）的增益系数以使R、G信号减少。这样，生物体表面的槽（凹部）通过增 加蓝色色调，能够得到像散布了靛蓝胭脂红那样的图像。
[0118] 在这种情况下，也可以对关注像素一律进行强调处理。具体地说，可以考虑对所有 的关注像素进行使用了相同的增益系数的强调处理。但是，即使在作为强调处理的对象的 关注像素中，也可以变更强调处理的方法。例如，也可以根据槽的宽度、深度改变增益系数， 并进行使用了该增益系数的强调处理。具体地说，乘以增益系数使得槽的深度越浅则蓝色 色调越淡。由此，能够得到与进行了实际的色素散布的情况接近的图像。在图13(B)中示 出这种情况下的增益系数的设定例。或者，在得知纤细结构对发现病变等有用的情况下，也 可以越细即槽的宽度越窄则使强调量越多，在图13(A)中示出这种情况下的增益系数的设 定例。
[0119] 另外，强调处理以使蓝色色调增加的方式进行处理，但并不限定于此。例如也可以 如图14(B)所示根据槽的深度改变着色的色调（在此假定以实线部分和虚线部分作为不同 的色调）。这样，如图14(A)那样，与对所有的槽不依赖于其深度就着色同样的色调的强调 处理相比，因为能够视觉辨认槽的连续性，所以能够诊断更高精度的范围。
[0120] 另外，虽然作为强调处理乘以增益使得提高B信号而降低R 、G信号，但不限定于 此，也可以乘以增益使得B信号提高而R信号下降，且G信号不乘以增益。这样，因为也对 增加了蓝色色调的凹部留下B、G信号的信号值，所以凹部内的结构以青色显示。
[0121] 另外，强调处理的对象不限定于关注色素，也可以对图像整体进行处理。在这种情 况下，对于与关注像素对应的区域，进行使增益系数提高等提高视觉辨认性的处理，对于其 它的区域进行使增益系数降低的、变为1 (与原来的颜色相同）、或者转换成特定的颜色（例 如以成为强调对象的目标色的补色的方式提高强调对象的视觉辨认性）等处理。即，本实 施方式的强调处理不限于生成与使用了靛蓝胭脂红的情况相同的模拟图像，能够通过使应 该关注的对象的视觉辨认性提高的各种处理来实现。
[0122] 生物体表面的凹部被强调的图像信号被传送到后处理部334。后处理部334使用 预先保存于控制部340的灰度转换系数、颜色转换系数、轮廓强调系数对从强调部333传送 来的图像信号进行灰度转换处理、颜色处理、轮廓强调处理。后处理部334向显示部400传 送后处理后的图像信号。
[0123] 2. 4距离信息获取处理
[0124] 下面对距离信息获取信息进行说明。如图15所示，距离信息获取部350包含立体 匹配部351和视差/距离转换部352。在图像处理部330中预处理后的立体图像被输入到 立体匹配部351，使左图像作为基准图像，针对右图像在极线（epipolar line)上对处理对 象像素及其周边区域（规定的大小的块）进行块匹配，从而计算视差信息。计算出的视差 信息在视差/距离转换部352中被转换成距离信息。该转换包含摄像部200的光学倍率的 校正处理。被转换的距离信息狭义上作为由与立体图像相同大小的像素组成的距离图而被 输出到凹凸信息获取部320。
[0125] 关于上述的距离信息获取处理，因为作为立体匹配处理而广为人知，所以省略详 细的说明。
[0126] 但是，距离信息获取处理不限于立体匹配处理。使用图16详细说明变形例。图16 是距离信息获取部350的其它的结构例，距离信息获取部350包含亮度信号计算部353、差 分运算部354、2次微分运算部355、模糊参数运算部356、存储部357、LUT存储部358以及 透镜位置控制部359。此外，因为在这种情况下立体图像的获取不是必须的，所以使物镜、对 焦透镜、摄像元件各为1个进行说明。
[0127] 亮度信号运算部353根据控制部340的控制从图像处理部330所输出的图像信号 中像下式（5)所示那样求出亮度信号Y。
[0128] Y = O. 299XR+0. 587XG+0. 114 X B......(5)
[0129] 由亮度信号计算部353计算出的图像信号被传送到差分运算部354、2次微分运算 部355、存储部357。差分运算部354从计算模糊参数所需要的多个图像中计算亮度信号Y 的差分。2次微分运算部355计算图像信号中的亮度信号Y的2次微分，并计算从模糊不 同的多个亮度信号Y中所能得到的2次微分的平均值。模糊参数运算部356使差分运算部 354计算出的图像的亮度信号Y的差分除以2次微分运算部355计算出的2次微分的平均 值而计算模糊参数。
[0130] 存储部357存储第1张拍摄的图像中的亮度信号Y及其2次微分的结果。由此， 距离信息获取部350将对焦透镜配置于不同的位置，并能够在不同的时刻获取多个亮度信 号Y。LUT存储部358以查找表（LUT)的形式存储模糊参数与被摄体距离之间的关系。
[0131] 控制部340与亮度信号计算部353、差分运算部354、2次微分运算部355、模糊参 数运算部356以及透镜位置控制部359双方向连接，并对它们进行控制。
[0132] 下面对被摄体距离的计算方法进行说明。如果开始被摄体距离的计算，则透镜位 置控制部359按照控制部340的控制根据由外部I/F部500预先设定的摄影模式而使用公 知的对比度检测方法、相位差检测方法等计算最佳的对焦透镜位置。接着，透镜驱动部250 根据来自透镜位置控制部359的信号将对焦透镜240驱动到计算出的对焦透镜位置。然后， 在驱动到的对焦透镜位置，由摄像元件260获取被摄体的第1张的图像信号。获取到的图 像信号经由图像处理部330和亮度信号计算部353而被存储在存储部357。
[0133] 之后，由透镜驱动部250将对焦透镜240驱动到与获取到第1张的图像信号的对 焦透镜位置不同的第2对焦透镜位置，并由摄像元件260获取被摄体的第2张的图像信号。 这样，获取到的第2张的图像信号经由图像处理部330被输出到距离信息获取部350。
[0134] 如果完成第2张图像信号的获取，则进行模糊参数的计算。在距离信息获取部350 中，差分运算部354从存储部357读出第1张图像信号中的亮度信号Y，并计算第1张的图 像信号中的亮度信号Y与从亮度信号计算部353输出的第2张图像信号中的亮度信号Y之 间的差分。
[0135] 另外，2次微分运算部355计算从亮度信号运算部353输出的第2张图像信号中的 亮度信号Y的2次微分。之后，从存储部357读出第1张图像信号中的亮度信号Y，并计算 其2次微分。然后，计算所计算出的第1张和第2张的2次微分的平均值。
[0136] 之后，模糊参数运算部356使在差分运算部354运算出的差分除以在2次微分运 算部355运算出的2次微分的平均值而计算模糊参数。
[0137] 模糊参数相对于被摄体距离的倒数具有线性的关系。而且，被摄体距离与对焦透 镜位置的关系是一一对应。因此，模糊参数与对焦透镜位置的关系也为一一对应的关系。 模糊参数与对焦透镜位置的关系作为表被存储于LUT存储部358。与被摄体距离的值对应 的距离信息用对焦透镜的位置表示。因此，在模糊参数运算部356中，使用模糊参数和存储 于LUT存储部358中的表的信息，通过线性插值从模糊参数中求出相对于光学系统的被摄 体距离。这样，模糊参数计算部356计算与模糊参数对应的被摄体距离的值。被计算出的 被摄体距离被作为距离信息输出到凹凸信息获取部320。
[0138] 此外，关于距离信息获取处理也能够进行其它的变形实施，例如也可以通过使用 了红外光等的Time of Flight方式等求出距离信息。另外，即使在使用Time of Flight 的情况下，也能够进行不使用红外光而使用蓝色光等的变形实施。
[0139] 2. 5以软件构成的结构例
[0140] 另外，在本实施方式中，虽然构成图像处理部300的各部以硬件构成，但并不限于 此。例如，对于使用摄像装置预先获取的图像信号和距离信息，也可以构成为CPU进行各部 的处理，通过CPU执行程序而作为软件实现。或者，也可以以软件构成各部所进行的处理的 一部分。
[0141] 在摄像部和AD转换部分开且作为软件来实现除了 AD转换部的图像处理部300的 各部所进行的处理的情况下，能够将工作站或个人计算机等公知的计算机系统用作图像处 理装置。而且，能够预先准备用于实现图像处理部300的各部所进行的处理的程序（图像 处理程序），并且通过计算机系统的CPU执行该图像处理程序来实现。
[0142] 图17是示出本变形例中的计算机系统600的结构的系统结构图，图18是示出该 计算机系统600中的主体部610的结构的框图。如图17所示，计算机系统600具有主体部 610、用于根据来自主体部610的指示而在显示画面621中显示图像等信息的显示器620、用 于对该计算机系统600输入各种信息的键盘630、用于指定显示器620的显示画面621上的 任意位置的鼠标640。
[0143] 另外，该计算机系统600中的主体部610如图18所示具备：CPU 611、RAM 612、ROM 613、硬盘驱动器（HDD) 614、能放入⑶-ROM 660的⑶-ROM驱动器615、可拆装地连接USB存 储器670的USB端口 616、连接显示器620、键盘630以及鼠标640的I/O接口 617、和用于 与局域网或广域网（LAN/WAN) Nl连接的LAN接口 618。
[0144] 进而，在该计算机系统600中连接有用于与因特网等公共线路N3连接的调制解调 器650,并且，经由LAN接口 618和局域网或广域网Nl连接有作为其他计算机系统的个人计 算机（PC) 681、服务器682、打印机683等。
[0145] 然后，该计算机系统600参照在规定的记录装置中记录的图像处理程序（例如图 19~图21)来读出并执行用于实现后述处理顺序的图像处理程序，由此实现图像处理装 置。这里，关于规定的记录装置，除了⑶-ROM 660和USB存储器670以外，还包括如下装置 等记录可通过计算机系统600读取的图像处理程序的所有记录装置：包含MO盘、DVD盘、软 盘（FD)、光磁盘、IC卡等的"可移动用的物理装置"；计算机系统600内外具有的HDD 614、 RAM 612、ROM 613等"固定用的物理装置"；如经由调制解调器650连接的公共线路N3、连 接有其他计算机系统（PC) 681或服务器682的局域网或广域网Nl等那样，在发送程序时在 短期内存储程序的"通信装置"。即，图像处理程序以计算机可读取的方式记录在"可移动用 的物理装置"、"固定用的物理装置"、"通信装置"等记录装置中，计算机系统600通过从这种 记录装置读出图像处理程序并执行，实现图像处理装置。此外，不仅限于由计算机系统600 执行图像处理程序的情况，在其它计算机系统（PC) 681或服务器682执行图像处理程序的 情况或它们联动地执行图像处理程序这样的情况下，同样也可以应用本发明。
[0146] 图19示出本实施方式的处理的整体流程图。如果开始该处理，则首先输入摄像装 置的（相对于距离信息的）光学倍率和包含摄影在内的摄影条件等头信息（Sll)。接着， 输入表示从摄影装置的摄像面到被摄体的距离的距离信息（S12)。然后，如参照图20详 细说明的那样，从距离信息中提取生物体表面的提取凹凸信息（S13)。而且输入图像信号 (S14)。接着，进行与预处理块相同的处理（S15)、与同时化处理块相同的处理（S16)。接 着，如参照图21详细说明的那样，进行使生物体表面的微小的凹凸部的对比度提高的处理 (S17)。接着，进行与后处理块相同的处理（S18)，输出被强调处理的图像（S19)。然后，以 时间序列判定最终图像的处理是否结束（S20)，在判定为未结束的情况下返回到S12对下 一个图像信号重复进行上述那样的处理。另一方面，在判定为所有图像信号的处理结束的 情况下，结束该处理。
[0147] 图20示出提取处理的流程图。如果开始该处理，则从存储部360等获取已知特性 信息（S21)。所谓的已知特性信息狭义上是用于确定作为提取对象的凹凸部的维度特性的 信息。而且根据已获取的已知特性信息设定在提取处理中使用的提取处理参数（S22)。所 谓的提取处理参数是像上述那样在形态学处理中所使用的结构要素的大小、和在滤波处理 中所使用的滤波器特性。然后，进行使用了提取处理参数的提取处理（在此假定为形态学 处理）（S23)，并输出被提取出的提取凹凸信息（S24)。
[0148] 图21示出强调处理的流程图。首先使提取凹凸信息与图像信号的像素一一对应 (S31)。接着按照上式（3)检测槽的宽度w(S32)。接着按照上式（4)检测槽的深度d(S34)。 接着，判定根据已知特性信息检测出的槽是否是强调处理的对象（微小的槽）（S34)。在 "是"的情况下进入S35,在"否"的情况下进入S36。在S34中"是"的情况下，使强调处理 的对象像素与增益相乘（S35)以使蓝色色调增加。然后在S34中"否"的情况下或者S35的 处理之后，判定最终像素的处理是否已结束（S36)，在判定为未结束的情况下返回到S32对 下一个图像信号重复进行上述那样的处理。
[0149] 在以上的本实施方式中，根据生物体表面的提取凹凸信息和病变的已知特性信息 对生物体表面的微小的凹凸的对比度进行强调。这样，不进行色素散布的繁杂的作业就能 够高精度地强调微小的凹凸的对比度，能够获得视觉辨认性良好的图像。
[015 0] 此外，在以上的说明中强调了槽的蓝色色调，但用户也可以结合爱好指定强调处 理。例如，也可以进行"以亮度差进行强调"、"强调G信号成分"、"转换成背景色的补色的 颜色"等强调处理。另外，摄像方式以面顺序方式进行，但是也可以以原色拜耳、补色单板、 原色2板、原色3板等摄像方式进行。另外，光源采用了普通光观察，但是也可以采用以 NBI (Narrow Band Imaging:窄带摄像）等为代表的特殊光观察。
[0151] 在以上的本实施方式中，图像处理装置如图2和图8所示，包含：图像获取部310， 其通过摄像部200的拍摄而获取包含被摄体的像的摄像图像；距离信息获取部350,其获取 基于拍摄时的摄像部200到被摄体的距离的距离信息；凹凸信息获取部320,其从所获取的 距离信息中获取提取凹凸信息，该提取凹凸信息是提取了被摄体的凹凸部的信息；以及强 调部333,其将由提取凹凸信息所表示的凹凸部中的与由已知特性信息所确定的特性一致 的凹凸部作为强调对象进行强调处理，其中，已知特性信息是表示与被摄体的结构相关的 已知特性的信息。
[0152] 在此，所谓的距离信息是基于从摄像部200到被摄体的距离而获取的各种信息。 例如，在本实施方式中如上所述在立体光学系统中进行三角测量的情况下，将以连结产生 视差的2个透镜（图2的物镜230-U230-2)的面的任意的点为基准的距离作为距离信息 即可。另一方面，在第2实施方式等中使用后述的Time of Flight方式的情况下，例如获 取以摄像元件面的各像素位置为基准的距离作为距离信息。这些都是将距离测量的基准点 设定于摄像部200的例子，基准点也可以设定于摄像部200以外的任意的场所，例如包含摄 像部或被摄体的3维空间内的任意的场所，在使用了那种基准点的情况下的信息也包含于 本实施方式的距离信息中。
[0153] 从摄像部200到被摄体的距离例如可以考虑是从摄像部200到被摄体的纵深方向 的距离。作为一例，也可以使用在摄像部200的光轴方向上的距离，如图6(A)所示，在与光 轴垂直的方向上设定有视点的情况下，也可以是在该视点观察的距离（在图6 (A)的例子中 是以箭头所示的上下方向上的从摄像部200到被摄体的距离）。
[0154] 例如，距离信息获取部350也可以将以摄像部200的第1基准点为原点的第1坐 标系上的各对应点的坐标通过公知的坐标转换处理转换成以3维空间内的第2基准点为原 点的第2坐标系上的对应点的坐标，并根据该转换后的坐标测量距离。在这种情况下，从第 2坐标系上的第2基准点到各对应点的距离与第1坐标系上的第1基准点到各对应点的距 离二者一致，即成为"从摄像部到各对应点的距离"。
[0155] 另外，距离信息获取部350也可以通过在能够维持与将基准点设定于摄像部200 上的情况下所获取的距离图上的各像素间的距离值的大小关系同样的大小关系的位置上 设置有假定的基准点，而获取基于从摄像部200到对应点的距离的距离信息。例如，距离信 息获取部350也可以在从摄像部200到3个对应点的实际的距离是"3"、"4"、"5"的情况 下，维持各像素间的距离值的大小关系，获取这些距离一律一半的"1. 5"、"2"、"2. 5"。在这 种情况下，凹凸信息获取部320与在摄像部200上设定有基准点的情况相比，使用不同的参 数作为提取处理参数。这是因为在提取处理参数的决定中需要使用距离信息，所以在通过 改变距离测量的基准点而改变了距离信息的表达方法的情况下，提取处理参数的决定方法 也变化。例如，在本实施方式中如上所述，在通过形态学处理提取出提取凹凸信息的情况 下，调整提取处理中所使用的结构要素的大小（例如球的直径），而使用调整后的结构要素 实施凹凸部的提取处理。
[0156] 另外，所谓强调对象具体地说是在由提取凹凸信息所表示的凹凸部中的与由已知 特性信息所确定的特性一致的凹凸部对应的摄像图像中的被摄体。即，本实施方式的强调 处理狭义上是对摄像图像的强调处理，而不是对提取凹凸信息的情调处理。
[0157] 这样，能够进行使用了已知特性信息的强调处理。如上所述，在生物体图像中的早 期病变部的发现中有用的微小的凹凸部等在以往的强调处理（高频率成分的强调处理等） 中不能进行有效的强调处理。另外，即使在将生物体图像以外作为对象的情况下，也难以对 微小的凹凸部进行强调处理的情况不变。关于这一点，如果使用本实施方式的方法，因为能 够适当地设定摄像图像中的应该强调的像素（关注像素）或强调量，所以能够进行对作为 目的的凹凸部的强调处理。另外，如果如上所述制造再现了色素散布时的生物体内图像的 模拟图像，则因为不需要使用色素散布等使被摄体侧改变的方法，所以也具有可以不考虑 强调对象以外的被摄体的视觉辨认性降低、或者将生物体作为对象的情况下的侵入性的问 题等的优点。此外，提取凹凸信息在狭义上来讲具有距离图、或者与摄像图像对应的像素数 量（例如相同的像素数量），也可以是各像素值是对应凹凸的值的凹凸图像。所谓的对应 凹凸的值，例如可以考虑是凸部为正值、凹部为负值，且凸部的高度越高或者凹部的深度越 深则其绝对值就越大的值。但是，提取凹凸信息不限定于凹凸图像，也可以是其它形式的信 息。
[0158] 另外，强调部333如图9所示也可以包含：维度信息获取部3331，其获取表示作为 强调对象的被摄体的凹部的宽度和深度中的至少一方的维度信息作为已知特性信息；凹部 提取部3332,其将有关包含于提取凹凸信息的凹凸部中的与由维度信息所确定的特性一致 的凹部的信息作为提取凹部信息提取；以及校正部3334,其对由提取凹部信息所表示的凹 部进行校正颜色、亮度以及对比度中的至少1个的处理。
[0159] 在此，所谓的距离信息例如也可以是距离图，所谓的距离图例如是在将摄像部200 的光轴方向作为Z轴的情况下，将XY平面的各点（例如各像素）到被摄体的Z轴方向上的 距离（纵深/深度）作为该点的值的图。在这种情况下，所谓的凹部的宽度与在XY平面上 的凹部的2个端点之间的距离对应。另一方面，所谓的凹部的深度（以及后述的凸部的高 度）与该凹部的基准面和该凹部的Z轴方向上的距离摄像部200最远的点（如果是凸部则 是最近的点）之间的距离对应。但是，如使用上式（3)所说明的那样，在计算宽度w时可以 假定在进行基于像素间距或摄像倍率等的校正等之后再计算。
[0160] 这样，如上所述，能够将具有特定的宽度或深度或者其双方的凹部（槽）作为强调 对象进行强调处理。特定的宽度、深度的槽结构如果是将生物体内作为对象则可以假定在 早期病变部的发现中有用，如果是将工业部件作为对象则可以考虑在判定该部件的消耗程 度等时有用。因此，将它们作为对象进行强调处理的有用性高。此外，对对比度的校正处理 在后面的第3实施方式中叙述。
[0161] 另外，强调部333也可以如图9所示包含：维度信息获取部3331，其获取表示作为 强调对象的被摄体的凹部的宽度和深度中的至少一方的维度信息作为已知特性信息；强调 量设定部3335,其根据维度信息而设定强调处理的强调量；以及校正部3334,其针对摄像 图像根据提取凹凸信息和强调量进行校正颜色、亮度以及对比度中的至少1个的处理。
[0162] 在此，所谓的强调处理的强调量，狭义上也可以是上述的增益系数，但并不限定于 此。例如，在进行将应该提高视觉辨认性的对象转换为特定颜色、将其它区域转换为该特定 颜色的补色的颜色转换处理的情况下，进行该特定颜色等的设定的处理也包含于强调量的 设定处理中。
[0163] 这样，强调对象不限于特定的凹部，也能够进行对摄像图像（例如对摄像图像整 体）的强调处理。本实施方式的强调处理既然是以提高特定的凹部的视觉辨认性为目的， 有时候大胆地降低其它区域的视觉辨认性也有用。这种方法能够通过根据与由维度信息所 确定的特性的一致程度而改变强调量的方法等来实现。
[0164] 另外，强调量设定部3335也可以将针对包含于提取凹凸信息中的凹部的强调量 设定为凹部的宽度和深度与维度信息越一致使其越大。
[0165] 这样，因为越接近应该强调的特性能够将强调量变得越大，所以能够有效地提高 视觉辨认性。该处理具体地说能够通过将图13(A)所示的增益系数设定为强调量来实现。
[0166] 另外，强调量设定部3335也可以将针对包含于提取凹凸信息中的凹部的强调量 设定为：凹部的所述深度越浅，则该强调量越小。
[0167] 这样，能够根据凹部的深度变更强调量。该方法尤其在制作相当于由靛蓝胭脂红 进行药剂散布的情况的模拟图像时有用。靛蓝胭脂红公知堆积于特定的维度的槽，槽的深 度越浅，蓝色的状态越淡。因此，如图13(B)所示，通过深度越浅使强调量（关于该情况下 B信号成分的增益系数等）越小，能够在制作药剂散布的模拟图像时生成再现性更高的图 像。
[0168] 另外，图像处理装置也可以包含输入已知特性信息的输入部（例如对应图2的外 部I/F部500)，该已知特性信息是表示与被摄体的结构相关的已知特性的信息。
[0169] 这样，作为已知特性信息不仅能够使用事前存储的信息，例如还能够使用用户输 入的信息，更能够强调按照用户的意图的对象。
[0170] 另外，摄像部200也可以具有多个视点，图像获取部310也可以经由摄像部200获 取多个分别与多个视点对应的摄像图像，距离信息获取部350根据从所获取的多个摄像图 像所得到的视差信息而获取距离信息。
[0171] 这样，在图像处理装置中能够根据视差图像而获取距离信息。此外，如上所述，距 离信息的获取处理不限于立体匹配处理，也能够进行各种的变形实施。
[0172] 此外，本实施方式的图像处理装置等也可以通过程序实现其处理的一部分或者大 部分。在这种情况下，通过CPU等处理器执行程序而实现本实施方式的图像处理装置等。 具体地说，读出存储于非暂时性的信息存储装置中的程序，CPU等处理器执行读出的程序。 在此，信息存储装置（能够由计算机读取的装置）是存储程序或数据等的装置，该功能能够 通过光盘（DVD、⑶等）、HDD (硬盘驱动器）或存储器（卡片式存储器、ROM等）等来实现。 而且，CPU等处理器根据存储于信息存储装置中的程序（数据）而进行本实施方式的各种 处理。即，在信息存储装置中存储有用于使计算机（具有操作部、处理部、存储部以及输出 部的装置）发挥作为本实施方式的各部的功能的程序（用于使计算机执行各部的处理的程 序）。
[0173] 3.第2实施方式
[0174] 下面对第2实施方式进行说明。由于强调部333以外的处理与第1实施方式相同， 因而省略详细说明。
[0175] 在强调部333中检测凸部（假定凸型的早期病变）进行增加红色色调的强调处 理。凸部的检测与第1实施方式相同，将突出于基准面的部分检测为凸部。而且，根据已知 特性信息进行是否是强调对象的判定。在此，所谓的已知特性信息可以考虑是凸部的大小 是IOmm(包括该值）以下（因为可知IOmm以下（包括该值）的病变的遗漏率高，所以作为 强调对象）的信息。
[0176] 凸部的大小的计算方法首先与第1实施方式的检测槽的宽度w的方法相同，计算 凸部的1维方向的宽度。然后，如图22所示，将以2维观察时长边方向的宽度wl作为凸部 的大小。对作为强调对象的凸部进行强调处理以使其增加红色色调（乘以提高R、且降低 G、B的增益）。而且，也可以以大小越小强调量越增加的方式设定增益系数。在图23(A)中 示出这种情况下的凸部的大小与各信号之间的关系。由此，因为连遗漏的可能性高的那种 小的病变部都被强调所以具有防止遗漏的效果。
[0177] 但是，强调处理并不限于此，例如也可以使用图23(B)所示的增益系数。这是对过 小的凸部使强调量变小（降低增益系数）的处理。虽然小的凸部遗漏可能性高，但是对于 极端小的凸部也不能否定噪声的可能性，即使是早期病变，深刻度低而没有必要强调的可 能性也高。因此，在图23(B)中对这样小的病变的强调进行抑制。此外，用户也可以设定作 为强调对象的凸部的大小、强调量等。
[0178] 另外，本实施方式的强调处理不限于强调凸部的红色色调，也可以与第1实施方 式相同使用"以亮度差进行强调"、"强调G信号成分" 、以及"转换成背景色的补色的颜色" 等各种方法。
[0179] 在以上的本实施方式中，图像处理装置的情调部333如图9所示，包含：维度信息 获取部3331，其获取表示作为强调对象的被摄体的凸部的宽度和高度中的至少一方的维度 信息作为已知特性信息；凸部提取部3333,其将有关包含于提取凹凸信息中的凹凸部中的 与由维度信息所确定的特性一致的凸部的信息作为提取凸部信息提取；以及校正部3334， 其对由提取凸部信息所表示的凸部进行校正颜色、亮度以及对比度中的至少一个的处理。
[0180] 这样，如上所述，能够将具有特定的宽度或高度或者其双方的凸部作为强调对象 进行强调处理。凸部的具体例能够根据被摄体而考虑成各种，但是在将生物体内图像作为 对象的情况下可以假定为息肉等结构。
[0181] 另外，强调部333如图9所示，包含：维度信息获取部3331，其获取表示作为强调 对象的被摄体的凸部的宽度和高度中的至少一方的维度信息作为已知特性信息；强调量设 定部3335,其根据维度信息而设定强调处理的强调量；以及校正部3334,其对摄像图像根 据提取凹凸信息和强调量而进行校正颜色、亮度以及对比度中的至少1个的处理。
[0182] 这样，强调对象不限于特定的凸部，也能够进行对摄像图像（例如对摄像图像整 体）的强调处理。因为强调量的具体例和使用该方法的优点等与第1实施方式的凹部的情 况相同，所以省略详细的说明。
[0183] 另外，强调量设定部3335也可以将针对包含于提取凹凸信息中的凸部的强调量 设定为：凸部的宽度和深度与维度信息越一致，则该强调量越大。
[0184] 这样，因为能够适当地强调应该强调的对象，所以能够有效地提高视觉辨认性等。
[0185] 另外，强调量设定部3335也可以将针对包含于提取凹凸信息中的凸部的强调量 设定为：凸部的宽度越窄，则该强调量越大。
[0186] 这样，能够进行连宽度狭窄的凸部都被强调的强调处理。尤其是在观察作为生物 体内图像中的凸部的息肉等的情况下，因为息肉的颜色色彩和其他区域的颜色色调并不是 极端不同，所以对于小的息肉遗漏的可能性高。因此，通过对越是小的息肉越使强调量设定 得大，能够抑制息肉等的遗漏。此外，在这里因为假定获取摄像部200正对生物体壁面或者 与其接近的角度，所以在与摄像部的光轴正交的方向上以与息肉的大小对应的凸部的宽度 为基准进行判定。此外，筛选时也可以考虑摄像部200的光轴方向与管腔结构的壁面近于 平行的状况，但在这种状况下因为能够容易视觉辨认出息肉从生物体壁面某种程度隆起， 所以进行将凸部的高度方向为基准的强调量的改变处理的必要性不高。但是，不妨碍使用 与凸部的高度相关的信息来变更强调量。另外，小的息肉的确遗漏的可能性高，但是对于 极端小的凸部也可能是噪声。另外，因为即使是息肉等也可以假定为深刻度低，所以如图 23 (B)所示，也可以对于某种程度宽度狭窄的凸部使强调量变小。
[0187] 4.第3实施方式
[0188] 下面对第3实施方式进行说明。在本实施方式中，强调部333通过提高凹凸区域 的对比度而提高早期病变的视觉辨认性。因此，使用与凹部相关的信息和与凸部相关的信 息双方作为提取凹凸信息，例如使用图7(C)所示的信息。根据提取凹凸信息而将凹部和凸 部设定为关注区域。强调的方法是将凹凸信息信号加到图像信号的Y信号上。由此，能够 使凹部和凸部的对比度提高。
[0189] 另外，虽然在此将凹凸信息加到图像信号上，但并不限于此，也可以对凹凸信息使 用高通滤波器而提取出高频率成分，并将凹凸信息的高频率成分加到图像信号中。由此，能 够使凹凸部的境界对比度明显。
[0190] 以上对应用了本发明的3个实施方式1~3及其变形例进行了说明，但本发明不 直接限于各实施方式1~3及其变形例，在实施阶段，可以在不脱离发明主旨的范围内对构 成要素进行变形而具体化。另外，通过适当组合上述各实施方式1~3和变形例所公开的 多个构成要素，能形成各种发明。例如可以从各实施方式1~3及其变形例所记载的所有 构成要素中删除掉某些构成要素。进而，还可以适当组合不同实施方式和变形例中所说明 的构成要素。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用 语在说明书或附图的任意部位中，能够置换为与其不同的用语。这样，能够在不脱离发明主 旨的范围内实现各种变形和应用。
[0191] 标号说明
[0192] 10 :早期病变部；100 :光源部；110 :白色光源；130 ;光源光圈驱动部；140 :旋转 滤色器；150 :旋转驱动部；160 :聚光透镜；200 :摄像部；210 :光导纤维；220 :照明透镜； 230-U230-2 :物镜；240-U240-2 :对焦透镜；250 :透镜驱动部；260-U260-2 :摄像元件； 270 :开关；300 :控制装置；300图像处理部；310 :图像获取部；320 :凹凸信息获取部；321 : 已知特性信息获取部；323 :提取处理部；324 :提取参数运算部；325 :提取凹凸信息输出 部；330 :图像处理部；331 :预处理部；332 :同时化部；333 :强调部；334 :后处理部；340 :控 制部；350 :距离信息获取部；351 :立体匹配部；352 :视差/距离转换部；353 :亮度信号计 算部；354 :差分运算部；355 :2次微分运算部；356 :模糊参数运算部；357 :存储部；358 : LUT存储部；359 :透镜位置控制部；360 :存储部；400 :显示部；500 :外部I/F部；600 :计算 机系统；610 :主体部；615 :CD-ROM 驱动器；616 :USB 端口；617 :1/0 接口；618 :LAN 接口； 620 :显示器；621 :显示画面；630 :键盘；640 :鼠标；650 :调制解调器；670 :存储器；682 :月艮 务器；683 :打印机；704 :旋转电动机；3331 :维度信息获取部；3332 :凹部提取部；3333 :凸 部提取部；3334 :校正部；3335 :强调量设定部。
【主权项】
1. 一种图像处理装置，其特征在于，该图像处理装置包含： 图像获取部，其通过摄像部的拍摄而获取包含被摄体的像的摄像图像； 距离信息获取部，其获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信 息； 凹凸信息获取部，其从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹凸 信息是提取出了所述被摄体的凹凸部的信息；以及 强调部，其将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信息所确定 的特性一致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与所 述被摄体的结构相关的已知特性的信息。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述强调部包含： 维度信息获取部，其获取表示作为所述强调对象的所述被摄体的凹部的宽度和深度中 的至少一方的维度信息，作为所述已知特性信息； 凹部提取部，其将有关包含于所述提取凹凸信息中的所述凹凸部中的与由所述维度信 息所确定的特性一致的所述凹部的信息作为提取凹部信息来提取；以及 校正部，其对由所述提取凹部信息所表示的所述凹部进行校正颜色、亮度以及对比度 中的至少1个的处理。3. 根据权利要求1所述的图像处理装置，其特征在于， 所述强调部包含： 维度信息获取部，其获取表示作为所述强调对象的所述被摄体的凸部的宽度和高度中 的至少一方的维度信息，作为所述已知特性信息； 凸部提取部，其将有关包含于所述提取凹凸信息中的所述凹凸部中的与由所述维度信 息所确定的特性一致的所述凸部的信息作为提取凸部信息来提取；以及 校正部，其对由所述提取凸部信息所表示的所述凸部进行校正颜色、亮度以及对比度 中的至少1个的处理。4. 根据权利要求1所述的图像处理装置，其特征在于， 所述强调部包含： 维度信息获取部，其获取表示作为所述强调对象的所述被摄体的凹部的宽度和深度中 的至少一方的维度信息，作为所述已知特性信息； 强调量设定部，其根据所述维度信息设定所述强调处理的强调量；以及 校正部，其根据所述提取凹凸信息和所述强调量对所述摄像图像进行校正颜色、亮度 以及对比度中的至少1个的处理。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述强调量设定部将针对包含于所述提取凹凸信息中的所述凹部的所述强调量设定 为：所述凹部的所述宽度和所述深度与所述维度信息越一致，则该强调量越大。6. 根据权利要求4所述的图像处理装置，其特征在于， 所述强调量设定部将针对包含于所述提取凹凸信息中的所述凹部的所述强调量设定 为：所述凹部的所述深度越浅，则该强调量越小。7. 根据权利要求1所述的图像处理装置，其特征在于， 所述强调部包含： 维度信息获取部，其获取表示作为所述强调对象的所述被摄体的凸部的宽度和高度中 的至少一方的维度信息，作为所述已知特性信息； 强调量设定部，其根据所述维度信息设定所述强调处理的强调量；以及 校正部，其根据所述提取凹凸信息和所述强调量对所述摄像图像进行校正颜色、亮度 以及对比度中的至少1个的处理。8. 根据权利要求7所述的图像处理装置，其特征在于， 所述强调量设定部将针对包含于所述提取凹凸信息中的所述凸部的所述强调量设定 为：所述凸部的所述宽度和所述高度与所述维度信息越一致，则该强调量越大。9. 根据权利要求7所述的图像处理装置，其特征在于， 所述强调量设定部将针对包含于所述提取凹凸信息中的所述凸部的所述强调量设定 为：所述凸部的所述宽度越窄，则该强调量越大。10. 根据权利要求1所述的图像处理装置，其特征在于， 该图像处理装置包含输入所述已知特性信息的输入部。11. 根据权利要求1所述的图像处理装置，其特征在于， 所述摄像部具有多个视点， 所述图像获取部借助于所述摄像部获取多个分别与所述多个视点对应的所述摄像图 像， 所述距离信息获取部根据从所获取的多个所述摄像图像中获得的视差信息而获取所 述距离信息。12. -种程序，该程序使计算机执行如下步骤： 通过摄像部的拍摄而获取包含被摄体的像的摄像图像， 获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信息， 从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所 述被摄体的凹凸部的信息， 将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信息所确定的特性一 致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与所述被摄体 的结构相关的已知特性的信息。13. -种图像处理方法，其特征在于， 通过摄像部的拍摄而获取包含被摄体的像的摄像图像， 获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信息， 从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所 述被摄体的凹凸部的信息， 将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信息所确定的特性一 致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与所述被摄体 的结构相关的已知特性的信息。
【专利摘要】图像处理装置包括：图像获取部(310)，其通过摄像部(200)的拍摄而获取包含被摄体的像的摄像图像；距离信息获取部(350)，其获取基于所述拍摄时从摄像部(200)到被摄体的距离的距离信息；凹凸信息获取部(320)，其从所获取的距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了被摄体的凹凸部的信息；以及强调部(333)，其将由提取凹凸信息所表示的凹凸部中的与由已知特性信息所确定的特性一致的凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与被摄体的结构相关的已知特性的信息。
【IPC分类】G02B23/24, A61B1/00, G01B11/24, A61B1/04, G06T1/00, G01C3/06
【公开号】CN104883948
【申请号】CN201380067869
【发明人】森田惠仁
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2013年8月27日
【公告号】EP2939586A1, US20150257628, WO2014103425A1