图像处理装置、图像处理方法和程序的制作方法
图像处理装置、图像处理方法和程序的制作方法
【技术领域】
[0001] 本发明设及图像处理装置、图像处理方法和程序等。
【背景技术】
[0002] 在根据给定的时间间隔按时序持续对静态图像进行摄像的情况下、通过多个图像 网罗具有空间宽度的被摄体的情况下、或者对动态图像进行摄像后取得构成该动态图像的 各图像作为静态图像的情况下等，将会取得时间或空间上连续的非常大量的图像（W下也 记载为图像列）。在该种情况下，图像列中靠近（即时间或空间上靠近）的图像彼此是相似 图像的可能性较高，在掌握所摄像的内容时，不需要检查大量的全部图像。本来，图像张数 为数万张W上的情况也不稀奇，用户手动检查全部图像本身的负担很大。
[0003]因此，需要通过从图像列中删除一部分图像而精简为张数比原来的图像列的张数 少的图像列（W下将该处理记载为图像精简处理）。例如在专利文献1中公开了如下的图 像精简处理方法：通过提取图像列中的场景变化的交界的图像或代表图像列的图像，保留 容易掌握图像列的内容的图像。
[0004] 现有技术文献 [000引专利文献
[0006] 专利文献1;日本特开2009-5020号公报
[0007] 专利文献2;日本特开2007-257287号公报
【发明内容】
[000引发明要解决的课题
[0009] 例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看， 需要抑制由于删除图像而无法观察的区域的产生。特别是病变区域或异常区域该样的重要 区域不能包含在无法观察的区域中。
[0010] 但是，如专利文献1的方法那样，当仅保留场景变化的交界的图像、或基于是否容 易直观观察精简后的图像列的观点而进行图像精简时，可能由于删除图像而产生无法观察 的区域，并不理想。并且，由于无法观察的区域的产生程度依赖于图像的内容，所W，在现有 的图像精简处理的方法中，很难控制疾患的漏看等的程度。
[0011] 根据本发明的若干个方式，能够提供如下的图像处理装置、图像处理方法和程序 等：根据图像间的变形信息，进行抑制产生由于删除图像而无法观察的区域、且大区域最佳 化的图像精简处理。
[0012] 用于解决课题的手段
[0013] 本发明的一个方式设及一种图像处理装置，其中，该图像处理装置包括：图像列取 得部，其取得具有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的输入 图像列；W及处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~ 第N图像的一部分而生成精简图像列的图像精简处理，所述处理部选择所述输入图像列的 第S(s为满足0兰s兰化1的整数）图像作为假定精简图像，选择所述输入图像列的第t(t为满足0 ^t^s-1的整数）图像作为假定紧前精简图像，选择所述输入图像列的第u(u 为满足t<u<s的整数）图像作为判定对象图像，根据所述假定精简图像与所述判定对象图 像之间的变形信息W及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息 求出所述判定对象图像的删除评价值，根据第t+1~第S-1图像的所述删除评价值求出删 除了所述第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，s)，根据所述精简 区间评价值进行所述图像精简处理。
[0014] 在本发明的一个方式中，求出删除了第t+1~第S-1图像的情况下的评价值即精 简区间评价值G(t，s)，根据所求出的精简区间评价值进行图像精简处理。由此，在存在多个 精简图像列的候选的情况下，通过针对各候选使用与从输入图像列中删除的图像对应的精 简区间评价值，能够计算该候选的评价值，通过对它们进行比较，能够决定最佳的精简图像 列（即，进行大区域最佳化的图像精简处理）等。
[0015] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述精简区间评价值求 出所述第1~第N图像的各图像的累计评价值E(1)~E(脚，根据所述累计评价值进行所述 图像精简处理。
[0016] 由此，能够进行基于各图像的累计评价值的图像精简处理。
[0017] 并且，在本发明的一个方式中，也可W是，所述处理部将作为假想图像的第0图像 的所述累计评价值设为E(0) = 0,使用第w(w为满足0 ^W^V-1的整数）图像的所述累 计评价值E(w)W及删除了第W+1~第V-1图像的情况下的所述精简区间评价值G(w，V)，作 为E(v) =max(E(w)+G(w,V))求出第v(v为满足1 ^V^化1的整数）图像的所述累计评 价值。
[001引由此，能够使用与该图像相比在图像列中更靠前方的图像的累计评价值求出某个 图像的累计评价值等。
[0019] 并且，在本发明的一个方式中，也可W是，所述处理部选择满足下式（1)的第X图 像，作为所述第V图像的最佳紧前精简图像。
[0020] 由此，不仅能够求出处理对象的图像的累计评价值，还能够求出该图像的最佳紧 前精简图像等。
[0021] 并且，在本发明的一个方式中，也可W是，所述处理部求出作为所述假想图像的 第化1图像的所述累计评价值E(化1)，将所述第化1图像设为精简图像列决定处理中的最 初的处理对象图像，在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情 况下，进行将所述最佳紧前精简图像包含在所述精简图像列中的处理，并且，进行将所述最 佳紧前精简图像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处 理，在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精 简图像列决定处理。
[0022] 由此，通过从终点朝向始点追寻最佳紧前精简图像，能够决定精简图像列等。
[0023] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述第S图像与所述第 U图像之间的所述变形信息W及所述第t图像与所述第U图像之间的所述变形信息，计算所 述第S图像和所述第t图像覆盖所述第U图像的比例即所述第U图像的覆盖率，根据所述 覆盖率计算所述删除评价值，求出对与所述第t+1~第S-1图像有关的所述删除评价值进 行合计而得到的值，作为删除了所述第t+1~第S-1图像的情况下的所述精简区间评价值 G(t,S)。
[0024] 由此，能够根据覆盖率求出精简区间评价值等。
[0025] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述第S图像与所述第 U图像之间的所述变形信息W及所述第t图像与所述第U图像之间的所述变形信息判定可 否删除所述第U图像，在所述第t+1~第S-1图像中的至少一张所述构成图像被判定为不 可删除的情况下，设定第1值作为删除了所述第t+1~第S-1图像的情况下的所述精简区 间评价值G(t，s)。
[0026] 由此，在无法通过第t图像和第S图像充分覆盖其间的图像的情况下，作为精简区 间评价值，能够设定没有意义的值（狭义地讲为不可能选择第t图像作为第S图像的最佳 紧前精简图像的程度的值）等。
[0027] 并且，在本发明的一个方式中，也可W是，所述处理部在所述第t+1~第S-1图像 全部被判定为可W删除的情况下，根据所述第t+1~第S-1图像的图像张数求出删除了所 述第t+1~第S-1图像的情况下的所述精简区间评价值G(t，S)。
[002引由此，能够根据可W删除的图像的张数求出精简区间评价值等。
[0029] 并且，在本发明的一个方式中，也可W是，所述处理部在t=S-1~t= 0的范围 内W每次-1的方式更新t，并选择所述第t图像作为所述假定紧前精简图像，根据所述第t 图像与所述第U图像之间的所述变形信息W及所述第S图像与所述第U图像之间的所述变 形信息进行中止判定处理，针对通过所述中止判定处理判定为中止的t，设定第1值作为删 除了第X(x为满足0 ^X^t的整数）图像与所述第S图像之间的所述构成图像时的所述 精简区间评价值G(x，S)，结束将所述第S图像作为所述假定精简图像的处理。
[0030] 由此，通过中止假定紧前精简图像的更新处理，能够削减计算量等。
[0031] 并且，在本发明的一个方式中，也可W是，所述处理部设定负的无限大或根据所述 累计评价值决定的给定阔值W下的值，作为所述第1值。
[0032] 由此，能够具体设定上述第1值等。
[0033] 并且，在本发明的一个方式中，也可W是，所述处理部选择第0~第S-1图像中的 第S-a~第S-1图像（a为正整数）的图像作为所述假定紧前精简图像。
[0034] 由此，通过限定作为假定紧前精简图像而选择的图像的张数，能够削减计算量等。 [00巧]并且，在本发明的一个方式中，也可W是，所述处理部从所述输入图像列中检测场 景转换，在从所述输入图像列中检测到第i(i为整数）场景转换和所述第i场景转换之后 的第i+1场景转换的情况下，设定所述输入图像列的多个所述构成图像中的所述第i场景 转换的后方且所述第i+1场景转换的前方的所述构成图像作为部分图像列，对所设定的所 述部分图像列进行所述图像精简处理。
[0036] 由此，通过将根据场景转换而设定的部分图像列作为对象，能够削减计算量等。
[0037] 并且，本发明的另一个方式设及一种图像处理方法，其中，取得具有第1~第N(N 为2W上（包含该值）的整数）图像作为构成图像的输入图像列，选择所述输入图像列的 第S(S为满足0兰S兰化1的整数）图像作为假定精简图像，选择所述输入图像列的第t(t 为满足0 ^t^s-1的整数）图像作为假定紧前精简图像，选择所述输入图像列的第u(u 为满足t<u<s的整数）图像作为判定对象图像，根据所述假定精简图像与所述判定对象图 像之间的变形信息w及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息 求出所述判定对象图像的删除评价值，根据第t+1~第S-1图像的所述删除评价值求出删 除了所述第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，s)，根据所述精简 区间评价值进行删除所述输入图像列的所述第1~第N图像的一部分而生成精简图像列的 图像精简处理。
[0038] 并且，本发明的另一个方式设及一种使计算机作为上述各部发挥功能的程序。
【附图说明】
[0039] 图1是第1实施方式的图像处理装置的结构例。
[0040] 图2是使用覆盖率的处理的说明图。
[0041] 图3是使用覆盖率的处理的说明图。
[0042] 图4是说明第1实施方式的图像精简处理的流程图。
[0043]图5 (A)、图5炬）是图像精简处理的具体例。
[0044] 图6(A)、图6做是图像精简处理的具体例。
[0045]图7 (A)、图7炬）是图像精简处理的具体例。
[0046] 图8(A)、图8做是图像精简处理的具体例。
[0047] 图9 (A)~图9似是说明基准图像和判定对象图像的选择方法的图。
[0048] 图10(A)、图10炬）是说明使用多个基准图像的情况下的选择方法的图。
[004引图11 (A)、图11做是说明场景转换和部分图像列的关系的图。
[0050] 图12是动态规划法的说明图。
[0051] 图13是第2实施方式的图像处理装置的结构例。
[0052] 图14是说明针对非覆盖区域的基于构造要素的收缩处理的图。
[005引图15(A)~图15似是说明针对非覆盖区域的基于构造要素的收缩处理的详细情 况的图。
[0054] 图16是说明第2实施方式的图像精简处理的流程图。
[00巧]图17(A)、图17炬）是说明针对判定对象图像的基于构造要素的收缩处理的图。
[0056] 图18是覆盖区域和要覆盖区域的包含判定的例子。
[0057] 图19(A)、图19炬）是说明使用构造要素的其他处理的图。
[005引图20是说明使用覆盖率和构造要素双方的判定处理的例子。
[0059] 图21是图像处理装置的基本结构例。
【具体实施方式】
[0060] 下面，对本实施方式进行说明。另外，W下说明的本实施方式并不是不当地限定权 利要求书所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的 必须结构要件。
[0061] 1.本实施方式的方法
[0062]首先，对本实施方式的方法进行说明。在取得由时间或空间上连续的大量图像构 成的图像列的情况下，在用户使用该图像列进行某些处理（例如如果是内窥镜图像列，贝U 进行诊断等医疗行为）时，优选进行图像精简处理。该是因为，图像列中包含的图像的张数 非常多，用户观看全部图像后进行判断需要很大劳力。并且，在图像列所包含的图像中存在 彼此相似的图像的可能性很高，即使检查全部该种相似的图像，可取得的信息量也有限，与 劳力不相称。
[0063] 作为具体例，考虑使用胶囊内窥镜进行摄像而得到的图像列。胶囊内窥镜是内置 有小型照相机的胶囊形状的内窥镜，W给定的时间间隔（例如1秒2次等）对图像进行摄 像。胶囊内窥镜从内服到排出需要几个小时（根据情况而需要十几个小时） ，所从在1个 用户的1次检查中取得几万张摄像图像。并且，胶囊内窥镜在活体内移动时，由于受到该活 体的运动的影响等而停留在相同场所或向相反方向返回。因此，在大量图像中大量存在对 与其他图像相同的被摄体进行摄像、在病变发现等中有用性不高的图像。
[0064] 在现有的图像精简处理中，提取了场景变化的交界的图像、代表图像列的图像。但 是，在该种方法中，在删除图像时，没有特别考虑作为该删除对象的图像中被摄像的被摄体 和保留图像中被摄像的被摄体的关系。因此，可能导致精简前的图像列所包含的图像上被 摄像的被摄体在精简后的图像列所包含的任意图像上均未被摄像。并且，W何种程度产生 由于图像精简处理而未包含在图像列的任意图像中的被摄体该一程度依赖于作为处理对 象的图像列，所W，在现有方法中很难控制该程度。
[0065] 该种情况特别是在医疗领域中的图像精简处理中并不理想。在医疗领域中，从其 目的来看，必须极力抑制应该关注的区域（例如病变部）的漏看。因此，优选对活体内的尽 可能宽的范围进行摄像，在图像精简处理中，应该抑制由于删除给定的图像而产生无法观 察的被摄体范围。
[0066] 因此，本申请人提出了如下方法；选择基准图像（保留的图像、根据实施方式而成 为保留候选的图像）和判定对象图像（判定是否删除的对象图像），进行基于基准图像与判 定对象图像之间的变形信息的图像精简处理。
[0067] 作为使用变形信息的图像精简处理的一例，如图12所示，考虑通过对基准图像进 行变形而在判定对象图像上计算覆盖区域。该情况下，基准图像中被摄像的被摄体和判定 对象图像的覆盖区域上被摄像的被摄体对应。目P，判定对象图像中的覆盖区域外的范围 (W下表记为非覆盖区域）成为在删除了该判定对象图像的情况下、即使保留基准图像也 无法覆盖的区域。
[0068] 由此，作为一例，计算覆盖区域在判定对象图像中占据的比例等作为覆盖率，根据 计算出的覆盖率判定是否删除判定对象图像，从而对无法观察的被摄体范围的产生程度进 行控制。例如，如果在覆盖率为阔值W上时删除判定对象图像、在覆盖率小于阔值时不删除 判定对象图像，则能够根据阔值的设定而对无法覆盖的区域的产生程度进行控制。
[0069] 作为使用变形信息的图像精简处理的另一例，也可W根据针对非覆盖区域的基于 构造要素（对应于关注区域）的收缩处理的结果，判定可否删除判定对象图像。收缩处理是 图15(A)~图15巧）所示的处理。详细情况在后面叙述，但是，该情况下，即使删除了判定 对象图像，也能够保证在基准图像上拍摄到该判定对象图像上拍摄的构造要素的尺寸W上 的区域中的至少一部分。因此，在判定对象图像中对关注区域整体进行了摄像的情况下，与 该关注区域在判定对象图像上的位置无关，能够通过基准图像来观察其至少一部分，所W， 能够抑制关注区域的漏看可能性。
[0070] 通过进行使用变形信息的图像精简处理，能够使无法覆盖的区域成为一定W下， 或者能够抑制关注区域的漏看可能性，但是，需要额外考虑作为其结果而得到的精简图像 列的最佳化。该里，在考虑了使用精简图像列之后的处理（医生的诊断等）的情况下，精简 图像列中包含的精简图像的张数越少越好，如果是使用覆盖率的处理，则可W说覆盖率的 相乘值等越大、无法覆盖的区域越少，所W成为优选的精简图像列。目P，如果存在多个精简 图像列的候选，则应该将精简图像的张数更少、覆盖率的相乘值等更大的精简图像列作为 最终输出，但是，仅通过使用变形信息的处理无法实现该情况，需要使用某种最佳化方法。
[0071] 作为使用变形信息的图像精简处理中的未考虑最佳化的处理，例如，如图9(A)所 示，考虑如下方法；将由N张图像构成的输入图像列的第1个图像作为基准图像，将第2个 W后的图像依次作为判定对象图像，判定可否删除判定对象图像。该情况下，如果可W删除 第2个图像，则如图9炬）所示，进行将第3个图像作为新的判定对象图像的判定对象图像 的更新处理，捜索判定为不可删除的图像。然后，如图9(C)所示，如果可W删除第2~k-1 个图像、不可删除第k个图像，则即使删除第2~k-1个图像也能够通过第1个图像充分覆 盖。然后，将第1个图像中未完全覆盖的第k个图像作为保留在精简图像列中的图像而设 定为新的基准图像。
[007引在图9(A)~图9似的方法中，在将某个图像作为精简图像的情况下，通过使下一 个精简图像位于尽可能分开的位置，精简图像的张数减少。但是，在该方法中，在与第1个 图像的对比中只不过决定了第k个图像，没有考虑包含第k+1~N个图像的输入图像列整 体。假设在与第k+1~N个图像的被摄体进行对比的情况下，与第k个图像的被摄体相比， 如果第k-1个图像的被摄体更为相似，则通过强制将第k-1个图像作为精简图像，能够提高 此后的图像的覆盖程度，还能够减少作为其结果而得到的精简图像列的图像张数。
[0073] 并且，如图10(A)、图10做所示，设定第1、第2基准图像作为基准图像，通过根据 其双方的覆盖程度（覆盖率）进行图像精简处理，能够期待图像张数的削减效果的提高等。 但是，该情况下，仅将输入图像列的一部分作为对象来设定基准图像，在观察图像列整体时 无法保证选择最佳的基准图像，该点与图9(A)~图9(C)的情况相同。
[0074] 因此，本申请人提出了如下方法：根据删除了给定区间的图像的情况下的评价值 即精简区间评价值G，求出大区域最佳化的精简图像列。具体而言，在将具有第1~第N(N 为2W上（包含该值）的整数）图像作为构成图像的图像列作为输入的情况下，根据覆盖 率等求出设定第S(S为满足0兰S兰化1的整数）图像和第t(t为满足0兰t兰S-1的整 数）图像作为上述基准图像、设定第t+1~第S-1各图像作为判定对象图像的情况下的删 除评价值。然后，根据第t+1~第S-1图像的删除评价值，求出删除了第t+1~第S-1图像 的情况下的评价值即精简区间评价值G(t，S)，根据精简区间评价值进行图像精简处理。
[00巧]换言之，精简区间评价值G(t，S)是假定将第t图像和第S图像作为精简图像而保 留在精简图像列中的情况下的评价值。由此，例如，针对第0~第化1图像（如后所述，第 0图像和第化1图像为假想图像），通过求出(N+2)(化1)/2个G，能够进行考虑了输 入图像列整体的图像精简处理。但是，考虑计算量等，也可W针对一部分G跳过计算处理， 详细情况在后面叙述。
[0076] 并且，在根据计算出的G决定最佳的精简图像列时，当针对全部精简图像列循环 进行评价时，需要针对第1~第N图像分别考虑是否删除，所W，针对/个候选进行使用G 的评价，计算量庞大。由此，下面，使用动态规划法决定最佳的精简图像列。
[0077] 目P，如图21所示，本实施方式的图像处理装置包括；图像列取得部200,其取得具 有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的图像列；W及处理部 100,其进行删除图像列取得部200取得的图像列的第1~第N图像的一部分而生成精简图 像列的图像精简处理。而且，处理部100选择输入图像列的第s(s为满足0兰S兰化1的 整数）图像作为假定精简图像，选择输入图像列的第t(t为满足0 ^t^S-1的整数）图 像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s的整数）图像作为判定 对象图像，根据假定精简图像与判定对象图像之间的变形信息W及假定紧前精简图像与判 定对象图像之间的变形信息求出判定对象图像的删除评价值，根据第t+1~第S-1图像的 删除评价值求出删除了第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，S)， 根据精简区间评价值进行图像精简处理。
[0078] 下面，作为第1实施方式中使用变形信息的处理，说明进行基于覆盖率的处理的 方法。在第1实施方式中，根据该区间中包含的图像张数（即选择了该区间的情况下可W 删除的张数）和覆盖率计算精简区间评价值G。作为第2实施方式中使用变形信息的处理， 说明进行使用构造要素的收缩处理的方法。在第2实施方式中，根据该区间中包含的图像 张数（即选择了该区间的情况下可W删除的张数）计算精简区间评价值G。并且，作为变形 例，可W对第1实施方式和第2实施方式的方法进行组合，对该变形例进行说明。
[007引 2.第1实施方式
[0080] 在本实施方式中，对使用覆盖率的方法进行说明。具体而言，首先，对动态规划法 进行简单说明，叙述针对图像精简处理的应用方法。接着，对图像处理装置的系统结构例进 行说明，使用流程图对处理流程进行说明。然后，使用图5(A)~图8炬）对本实施方式的处 理的具体例进行说明，叙述考虑了计算量削减的变形例。
[0081] 2. 1动态规划法的简单说明
[0082] 动态规划法用于最佳路径的捜索和匹配等各种方法。例如，在图12中，在求出从 点A到点B的最佳路径的情况下能够利用该动态规划法。在图12的例子中，从点A到点B 向右方向、上方向或右上方向的任意方向移动，没有考虑返回。而且，在各节点间，如pi~ pl2等那样设定在该路线上移动的情况下的评价值（该里越大越好）。该情况下，从点A到 点B的最佳路径例如可W定义为，在追寻该路径的情况下通过的各支线的评价值的总和最 大。
[0083] 该里，针对从点A到点B的全部路线计算评价值的总和，如果将给出该最大值的路 线作为最佳路径，则能够解决图12的问题。在图12中，AB间较近，从各节点到下一个节点 的路径被限定为最多3种，所W，全部路线数较少，能够计算全部路线。但是，在大规模问题 (例如如果是本实施方式作为对象的图像精简，则节点数相当于图像张数，所W为数万级） 中，针对全部路径乘W评价值是不现实的。
[0084] 动态规划法能够W现实的计算量来解决该种问题。具体而言，不是直接求出B的 评价值，而是从接近A的节点起决定各节点的评价值（具体而言为评价值的候选中的最大 值）和该节点的前一个节点。然后，在决定下一个节点的评价值时，利用此前求出的各节点 的评价值。
[00财图12示出具体例。首先，到达点N1的路线仅考虑A-N1即可，所从成为N1的评价 值E(N1) =pl。同样，成为点N2的评价值E(N2) =p2。接着，在求出点N3的评价值的情 况下，不需要考虑从A到N3的全部路线，求出从N3的前一个节点起的路径。具体而言，作 为N3的前一个，考虑A、N1、N2该3个节点即可，求出E(A) =0、E(N1) =pl、E(N2) =p2。 良P，关于N3的评价值，求出E(A)+p5、E(Nl)+p3、E(N2)+p4中的最大值即可。
[0086] 在将点N3作为对象的阶段中，计算上的优点较少，但是，评价值计算的对象节点 与起点（该里为A)越远，则动态规划法的优点越大。例如，在求出A-N5的全部路线的情 况下，需要针对5个路线计算评价值的候选并进行比较，但是，如果能够进行E(N1)、E(N3)、 E(N4)的计算，则E(服）进行求出E(Nl)+p9、E(N4)+p7、E(N3)+p8该3个中的最大值的处理 即可。
[0087] 如果从A朝向B进行该处理，则在最后将点B作为对象时，能够通过求出 E(N8) +pl2、E(N9) +pl0、E(N10) +pll该3个中的最大值来决定E炬），与针对AB间的全部路 线直接求出评价值的情况相比，能够大幅削减计算量。
[0088] 该情况下，最佳路径W相反顺序从B起追寻前一个点即可。例如在求出E炬）时， 决定最佳点巧炬）为最大的点）作为N8~N10中的B的前一个点。如果假设该点为N8,现J 决定N8-B该样的路径作为最佳路径的一部分。然后，关于N8,应该是从N5~N7该3个点 中决定E(N8)为最大的最佳点作为其前一个点。如果假设该点为N5,则决定N5-N8-B该样 的路径作为最佳路径的一部分。反复进行该处理，前一个最佳点到达A后，从B起追寻前一 个最佳点而到达A的路线就是W相反顺序追寻最佳路径。
[0089] 在本实施方式的图像精简处理中应用动态规划法的情况下，将输入图像列的各图 像理解为路径的节点，从该输入图像列的起始图像到最后图像，考虑仅经由精简图像列中 保留的图像的路径。然后，将图像精简处理理解为捜索其中的最佳路径的问题即可。
[0090] 例如，关于由第1~第5图像构成的输入图像列，在保留全部图像的情况下，可W 考虑1-2-3-4-5该样的路径，在仅保留第2、第4图像的情况下，可W考虑2-4该样的路径。 即，该情况下，关于是否保留各图像，如果落入捜索25= 32个路径中的最佳路径的问题，贝U 能够通过动态规划法求出最佳的精简图像列。另外，当设路径的起点为第1图像、终点为第 5图像时，第1、第5图像必定保留在精简图像列中，不适于求出最佳解。由此，在本实施方 式中，关于包含N张图像的输入图像列，设定假想的第0图像和第化1图像，将第0图像作 为起点（图12中的点A)、第化1图像作为终点（图12中的点B)。
[0091] 此时，在求出各点的评价值（W下为累计评价值巧时，需要节点间的评价值（上 述的pi等），但是，在本实施方式中，将使用图像间的变形信息求出的精简区间评价值G作 为该值。目P，关于节点2与节点4之间的分支的评价值，使用假定为保留第2、第4图像并删 除第3图像的 情况下的精简区间评价值G化4)即可。
[0092] 2. 2系统结构例
[0093] 图1示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部 100、图像列取得部200、存储部300。
[0094] 处理部100通过对图像列取得部200取得的图像列删除该图像列中包含的多个 图像的一部分，进行图像精简处理。该处理部100的功能可W由各种处理器（CPU等）、 ASIC(口阵列等）等硬件、程序等实现。
[0095] 图像列取得部200取得作为图像精简处理对象的图像列。认为要取得的图像列是 按照时间序列排列的RGB3通道图像。或者，也可W是通过排列成横向一列的摄像设备拍摄 的空间上排列的图像列那样在空间上连续的图像列。另外，构成图像列的图像不限于RGBS通道图像，也可W使用Grayl通道图像等其他颜色空间。
[0096] 存储部300除了存储图像列取得部200取得的图像列W外，还作为处理部100等 的工作区域，其功能可W由RAM等存储器、皿D(硬盘驱动）等实现。
[0097] 并且，如图1所示，处理部100包括变形估计部1001、假定精简图像选择部1002、 假定紧前精简图像选择部1003、判定对象图像选择部1004、覆盖率计算部1005、精简区间 评价值计算部1006、假定累计评价值计算部1007、最佳紧前精简图像决定部1008、累计评 价值更新部1009、精简图像列决定部1010。另外，处理部100不限于图1的结构，能够进行 省略它们的一部分结构要素或追加其他结构要素等各种变形实施。并且，上述各部是为了 在将由处理部100执行的图像精简处理分割为多个子例程时对各子例程进行说明而设定 的，处理部100不是必须具有上述各部作为结构要件。
[0098] 变形估计部1001进行2个图像间的变形估计处理并取得变形信息。该里，变形信 息表示一个图像中被摄像的范围在另一个图像中被摄像为什么样的形状（范围），例如可 W是专利文献2所公开的变形参数等。在本实施方式中，变形估计部1001取得假定精简图 像选择部1002选择出的假定精简图像与判定对象图像选择部1004选择出的判定对象图像 之间的变形信息、W及假定紧前精简图像选择部1003与判定对象图像之间的变形信息，根 据取得的变形信息进行覆盖率的计算处理。
[0099] 但是，变形估计部1001不限于直接求出基准图像（该里为假定精简图像和假定紧 前精简图像）与判定对象图像之间的变形信息。例如，也可W在作为处理对象的图像列中 求出相邻图像间的变形信息，组合相邻图像间的变形信息来计算不相邻的图像间的变形信 息。该情况下，通过组合基准图像、判定对象图像及其间图像的相邻图像间的变形信息（狭 义地讲为全部图像）来求出基准图像与判定对象图像之间的变形信息。
[0100] 由此，能够减轻变形信息的计算处理的负荷。该是因为，虽然能够通过专利文献2 等所示的方法计算变形信息，但是，与一般情况下从头计算变形信息的处理相比，对多个变 形信息进行复合的处理的负荷非常轻。例如，如果变形信息为矩阵等，则根据2个图像信息 求出该矩阵的处理的负荷较大，但是，对已经求出的多个矩阵进行合成（由于仅取得例如 矩阵的积即可）非常容易。
[0101] 例如，在由图像列取得部200取得的图像列包含N张图像的情况下，认为从中选择 2张图像的组合为NX(N-l)/2,所W，当直接求出基准图像与判定对象图像之间的变形信 息时，可能要进行N2的数量级的次数的负荷较重的处理（从头计算变形信息的处理）。与 此相对，如果使用相邻图像间的变形信息，则负荷较重的处理为N-1次即可。
[0102] 假定精简图像选择部1002从图像列的起始图像的前一个假想配置的图像（第0 图像）到图像列的最后图像的后一个假想配置的图像（第N+1图像）按照时间序列选择图 像，将选择出的图像作为假定精简图像。该里，假定精简图像是作为上述累计评价值E的计 算对象的图像。
[0103] 假定紧前精简图像选择部1003选择假定紧前精简图像。该里，假定紧前精简图像 是作为假定精简图像的前一个精简图像的候选的图像。如果求出假定紧前精简图像的累计 评价值E，则根据该累计评价值W及假定紧前精简图像与假定精简图像之间的精简区间评 价值，能够求出假定精简图像的累计评价值的候选。
[0104]该里，在第k图像为假定精简图像的情况下，作为其前一个精简图像，考虑保留第 k-1图像的情况、删除第k-1图像但是保留第k-2图像的情况、删除第k-l、k-2图像但是保 留第k-3图像的情况、…、删除全部第1~第k-1图像的情况。目P，如果考虑全部情况，贝U 作为假定紧前精简图像，依次选择从假定精简图像的前一个图像到第0图像的全部图像即 可。
[0105] 另外，在本实施方式中，作为对象的输入图像列中包含的图像假设为，图像列中的 位置越近，则相似的可能性越高。目P，在假定精简图像和假定紧前精简图像较近时，与较远 的情况相比，其间的图像的覆盖率较高（判定为能够全部删除）的可能性较高。而且，如后 所述，在假定精简图像与假定紧前精简图像之间的图像中的至少一张图像不可删除、且此 时的覆盖率极低的情况下，也考虑不使假定紧前精简图像进一步远离假定精简图像而中止 处理的情况。由此，假定紧前精简图像选择部1003考虑处理的效率，选择假定精简图像的 前一张图像作为最初的假定紧前精简图像，依次将假定紧前精简图像分别更新为前一张图 像。
[0106] 判定对象图像选择部1004依次选择假定精简图像与假定紧前精简图像之间的图 像作为判定对象图像。该里，将假定精简图像的前一张图像作为最初的判定对象图像，在到 达假定紧前精简图像的后一张图像之前，依次将判定对象图像分别更新为前一张图像。
[0107] 覆盖率计算部1005根据假定精简图像与判定对象图像之间的第1变形信息W及 假定紧前精简图像与判定对象图像之间的第2变形信息，计算判定对象图像的覆盖率。图 2、图3示出覆盖率的计算处理的例子。在图3中，求出使用第1变形信息对假定精简图像进 行变形而投影到判定对象图像上的区域即第1覆盖区域。与此同时，求出使用第2变形信 息对假定紧前精简图像进行变形而投影到判定对象图像上的区域即第2覆盖区域。进而， 将第1覆盖区域和第2覆盖区域的和区域（第1覆盖区域和第2覆盖区域中的至少一方中 包含的区域）作为最终的覆盖区域。然后，将覆盖区域在判定对象图像中占据的比例（狭 义地讲为覆盖区域的面积相对于判定对象图像的面积的比例）作为覆盖率即可。
[010引另外，如果在全部判定对象图像中覆盖率为阔值klW上（包含该值），则转移到使 用覆盖率的精简区间评价值的计算处理。另一方面，在至少一张判定对象图像中覆盖率小 于kl的情况下，保留此时的假定精简图像和假定紧前精简图像，不适于删除其间的全部图 像。由此，关于精简区间评价值，不计算具体值而设定足够小的值（例如--)，W使得不 会选择该种精简图像列（不使该路径成为最佳）。并且，在覆盖率小于k2且kl〉k2的情况 下，在此时的假定精简图像和假定紧前精简图像中，其间图像的覆盖程度极低。该情况下， 即使将假定紧前精简图像更新为进一步远离假定精简图像的位置，认为能够适当覆盖其间 图像的可能性也较低。该情况下，不仅中止判定对象图像的更新处理，还中止假定紧前精简 图像的更新处理，转移到假定精简图像的更新处理。该处理的分支使用图4的流程图详细 叙述。
[0109]精简区间评价值计算部1006根据覆盖率W及假定紧前精简图像与假定精简图像 之间的图像张数，计算精简区间评价值。如上所述，该是基于如下观点：可W删除的图像张 数越多、并且覆盖率越高，则越适合作为精简图像列。具体而言，根据全部判定对象图像的 覆盖率的总和求出第1评价值，求出假定紧前精简图像与假定精简图像之间的图像张数作 为第2评价值。然后，对第1评价值和第2评价值进行加权相加，求出精简区间评价值即可。 例如，在覆盖率用0~1的值表现的情况下，作为精简区间评价值G，可w使用通过G=(第 1评价值）+ (第2评价值）X(图像列的总张数）求出的值。该情况下，由于图像列的总张 数该样的权重的作用较大，所W，能够更加重视图像的删除张数来决定最佳的精简图像列。 但是，精简区间评价值的计算方法不限于此。
[0110]假定累计评价值计算部1007计算假定精简图像的假定累计评价值（作为累计评 价值的候选的值）。具体而言，关于各假定紧前精简图像，将该假定紧前精简图像的累计评 价值W及假定精简图像与假定紧前精简图像之间求出的精简区间评价值之和作为假定累 计评价值即可。另外，由于设第0图像的累计评价值为0,所W，在假定紧前精简图像为第0 图像的情况下，假定累计评价值为精简区间评价值的值本身。
[0111] 最佳紧前精简图像决定部1008从由假定累计评价值计算部1007求出的一个W上 (包含该值）的假定累计评价值中，决定给出最佳评价值（狭义地讲为最大评价值）的假定 紧前精简图像作为最佳紧前精简图像。
[0112] 累计评价值更新部1009决定假定累计评价值中的最佳评价值（狭义地讲为最大 评价值）作为该假定精简图像中的累计评价值。
[011引精简图像列决定部1010在求出第化1图像的累计评价值E(化1)后，通过追寻最 佳紧前精简图像，设定精简图像列。具体而言，在将第化1图像作为最初的处理对象图像的 情况下，在处理对象图像的最佳紧前精简图像不是第0图像的情况下，将该最佳紧前精简 图像保留在精简图像列中，并且将该最佳紧前精简图像作为新的处理对象图像。另一方面， 在最佳紧前精简图像是第0图像的情况下，结束精简图像列决定处理。由此，从第N+1图像 到第0图像追寻最佳紧前精简图像，能够进行将作为该路径上的节点的图像作为精简图像 列的处理。
[0114] 2. 3处理的详细情况
[0115] 使用图4的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始 后，首先，进行变形估计处理（S101)。该处理例如是取得输入图像列中相邻的图像间的变形 信息的处理。
[0116] 接着，进行选择假定精简图像的处理（S102)。在首次进行S102的处理的情况下， 选择作为假想图像的第0图像作为假定精简图像。在此后再次进行S102的处理的情况下， 进行将假定精简图像更新为输入图像列中的后一个图像的处理。
[0117] 在选择了假定精简图像后，进行假定紧前精简图像的选择处理（S103)。该里，首先 选择假定精简图像的前一个图像作为假定紧前精简图像。然后，在不进行S102的假定精简 图像的更新处理而再次进行S103的处理的情况下（从S105或S107返回S103的情况下）， 进行将假定紧前精简图像更新为前一个图像的处理。
[0118] 在选择了假定精简图像和假定紧前精简图像后，依次选择其间的图像作为判定对 象图像（S104)。在选择了判定对象图像后，使用假定精简图像与判定对象图像之间的第1 变形信息W及假定紧前精简图像与判定对象图像之间的第2变形信息计算覆盖率（S105)。 利用S101的变形估计处理的结果求出第1、第2变形信息即可。
[0119] 根据覆盖率，如果可W删除判定对象图像（例如覆盖率为阔值klW上（包含该 值）），则返回S104,对判定对象图像进行更新。只要可W删除判定对象图像，则反复进行 S104和S105的处理，针对假定精简图像与假定紧前精简图像之间的全部图像进行处理。
[0120] 在可W删除假定精简图像与假定紧前精简图像之间的全部图像的情况下，转移到 S106,计算精简区间评价值，根据该精简区间评价值和假定紧前精简图像的累计评价值计 算假定精简图像的假定累计评价值（S107)。在S107的处理后，返回S102,进行假定紧前精 简图像的更新处理。
[0121] 另一方面，在假定精简图像与假定紧前精简图像之间的至少一张图像不可删除、 且未进行中止判定（例如k2兰覆盖率<1^1)的情况下，在此时的假定精简图像和假定紧前 精简图像的组合中，无法充分覆盖其间的图像。由此，将精简区间评价值设定为--等足够 小的值，不采用此时的假定精简图像和假定紧前精简图像的组合作为精简图像。但是，由于 覆盖率的值不会差到进行中止处理该样的判定的程度，所W，返回S103,进行假定紧前精简 图像的更新处理。该是因为，通常存在假定精简图像与假定紧前精简图像之间越宽、则不可 删除的可能性越高的倾向，但是，根据被摄体等，还考虑假定精简图像与假定紧前精简图像 之间越宽、其间的图像的覆盖程度反而越好的可能性。
[0122] 并且，在判定对象图像的覆盖率极低（例如覆盖率小于k2)的情况下，认为在此时 的假定精简图像和假定紧前精简图像的组合中，无法充分覆盖其间图像，并且，即使进行扩 宽假定精简图像和假定紧前精简图像的更新处理，覆盖率的改善可能性也非常低。由此，该 情况下，中止S103~S107的循环处理，转移到S108。此时，考虑S108W后的处理，也可W 进行如下处理；针对假定紧前精简图像的捜索区间中包含的图像、即S103中未选择为假定 紧前精简图像的图像，对精简区间评价值设定足够小的值。例如，假设选择第k-1图像~第 0图像作为假定紧前精简图像，但是，在第k-z图像处判定为中止的情况下，由于没有设定 选择了第k-z-1图像~第0图像作为假定紧前精简图像的情况下的精简区间评价值，所W， 设定--作为该些值即可。
[0123] 并且，反复进行S103的假定紧前精简图像的更新处理，在捜索了全部捜索区间的 情况下，也转移到S108。例如，该对应于选择假定精简图像的前一个图像~第0图像的全部 图像作为假定紧前精简图像而进行了处理的状态。并且，如果是为了削减计算量而将选择 为假定紧前精简图像的图像限定为a张的情况，则对应于选择从假定精简图像的前一个 图像起的a张图像作为假定紧前精简图像而进行了处理的状态。
[0124] 在转移到S108的阶段中，针对S102中选择出的假定精简图像，计算将1个或多个 假定紧前精简图像的各图像作为紧前的精简图像的情况下的累计评价值即假定累计评价 值。由此，决定给出该假定累计评价值中的最佳评价值（狭义地讲为最大评价值）的假定 紧前精简图像作为最佳紧前精简图像（S108)，将此时的评价值作为该假定精简图像的累计 评价值（S109)。
[01巧]通过适当反复循环进行S103~S109的处理，能够求出S102中选择出的假定精 简图像的累计评价值。由此，在S109之后，返回S102,对假定精简图像进行更新，反复进行 S103~S109的处理，针对第0~第化1全部图像求出累计评价值即可。
[0126]在计算出第化1图像的累计评价值后，不存在S102中选择的图像，所W，转移到S110的精简图像列决定处理。具体而言，从第化1图像开始，针对处理对象图像的最佳紧前 精简图像，依次选择追寻到第0图像为止的路径即可。在本实施方式的处理中，由该路径上 的图像构成的图像列（其中，将作为假想图像的第0图像和第N+1图像除外）成为精简图 像列。
[0127] 2. 4处理的具体例
[0128] 使用图5(A)~图8炬）对本实施方式的具体处理的例子进行说明。该里，W输入 了由第1~第6图像构成的图像列的情况为例。附图下部的0~7的数字表示输入图像列 的结构图像，其下方的数字表示该图像的累计评价值。并且，附图上部的格子的各交点上标 注的值表示位于该交点的右下方和左下方的2个图像间的精简区间评价值。并且，较粗的 直线表示从假定精简图像经由最佳紧前精简图像到达第0图像的路线。
[0129] 首先，如图5(A)所示，设第0图像的累计评价值E(0)为0。
[0130] 然后，如图5炬）所示，将第1图像作为假定精简图像，将此前的图像作为假定紧前 精简图像。该里，将第0图像作为假定紧前精简图像，求出第0图像与第1图像之间的精简 区间评价值G(0, 1)。该情况下，由于其间不存在图像，所W不选择判定对象图像。由于不会 选择第0图像W外的图像作为假定紧前精简图像，所W，E(1) =E(0)+G(0，1) =0,最佳紧 前精简图像为第0图像。
[0131]接着，如图6(A)所示，将假定精简图像更新为第2图像。然后，将第1图像作为假 定紧前精简图像，求出G(l，2)。进而，将第0图像作为假定紧前精简图像，求出0(0, 2)。在 求出G(0, 2)的情况下，选择第1图像作为判定对象图像。
[0132] 然后，作为假定累计评价值，求出E(0)+G化2)和E(l)+G(l，2)，将其中的最佳值 作为E(2)，并且，将给出该值的假定紧前精简图像作为最佳紧前精简图像。该情况下，E(2) =1093,最佳紧前精简图像为第0图像。
[0133]W后同样，在将第3图像作为假定精简图像的情况下，依次选择第2~第0图像作 为假定紧前精简图像。然后，在假定精简图像与假定紧前精简图像之间存在1个或多个图 像的情况下，通过依次选择该些图像作为判定对象图像并求出覆盖率，计算精简区间评价 值G。由于求出与选择为假定紧前精简图像的图像张数对应的数量的假定累计评价值（如 果为图6炬）的情况，则为3个），所W，将其中的最佳值作为累计评价值E(3)，将给出该值 的第0图像作为最佳紧前精简图像。
[0134] 图7(A)~图8(A)也是同样的。另外，在图7(A)中，在将假定紧前精简图像作为 第0图像的情况下，不可删除第1~第3图像中的任意一方（将任意一方作为判定对象图 像的情况下的覆盖率小于给定阔值），所W，G(0, 4)=--。并且，由于最佳紧前精简图像 不是第0图像，所W，在将最佳紧前精简图像作为对象的情况下，能够进一步考虑最佳紧前 精简图像。
[0135] 反复进行该处理，求出输入图像列的最后的图像的后方设定的假定图像的累计评 价值（在图8做中为E(7))。然后，由于第7图像的最佳紧前精简图像为第5图像、第5图 像的最佳紧前精简图像为第2图像、第2图像的最佳紧前精简图像为第0图像，所W，由此， 如图8炬）所示，求出从第0图像到第7图像的最佳路径作为0-2-5-7。鉴于第0、第7图像 为假想图像，所W，能够决定由第1~第6图像构成的输入图像列的最佳的精简图像列是由 第2图像和第5图像构成的图像列。
[0136] 2. 5变形例
[0137] 使用图4的流程图等说明的上述处理将作为图像精简处理的对象的图像列整体 设为输入图像列。但是，公知动态规划法的处理时间与处理区间长度（例如由路径长度决 定的值，如果是本实施方式，则由输入图像列中包含的图像张数决定）的平方成比例地增 加。目p，如本实施方式那样，在作为图像精简处理对象的图像列中包含的图像张数非常多的 情况下，认为即使使用动态规划法，可能也很难在现实的处理时间内求出最佳解。
[0138] 因此，为了缩短处理时间，可朗尋图像列分割为多个部分图像列，将各部分图像列 作为输入图像列来进行上述处理。该样，由于能够缩短上述处理区间长度，所W，整体能够 缩短处理时间。
[0139] 具体而言，例如，从图像列中检测场景转换，根据检测到的场景转换将图像列分割 为多个部分图像列即可。该里的场景转换能够通过各种方法求出，但是，例如在利用专利文 献2所记载的方法进行变形估计时，在能够准确记录的区域的面积（表示该区域的遮蔽图 像的像素数）为给定阔值W下的情况下，判定为变形估计失败，考虑将变形估计失败的相 邻图像间作为场景转换。
[0140] 该样，能够减少作为本实施方式的处理（特别是使用动态规划法的处理）的对象 的输入图像列中包含的图像张数，能够缩短处理时间。进而，通过在变形估计失败的图像间 设置部分图像列的边界，在处理中不需要使用该图像间的变形信息。即，由于能够将不准确 到判定为变形估计失败的程度的变形信息从处理中除外，所W，能够提高使用变形信息的 处理的精度（例如覆盖率的计算精度）。
[0141]例如，如图11 (A)、图11做所示，在图像列中检测到A1~A3该3个场景转换的情 况下，将该场景转换作为边界来设定B1~B4该4个部分图像列即可。
[0142] 另外，在根据场景转换而设定了多个部分图像列的情况下，不限于针对该多个部 分图像列一个一个依次进行处理的情况。在处理部100的结构适于并列处理（例如使用具 有多个核的CPU作为处理部100)的情况下、通过多个计算机构成本实施方式的图像处理装 置并利用各计算机进行分散处理的情况下等，也可W针对多个部分图像列并列进行上述图 像精简处理。该样，能够缩短图像精简处理所需要的时间等。
[0143] 在W上的本实施方式中，如图1(或图21)所示，图像处理装置包括：图像列取得 部200,其取得具有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的输 入图像列；W及处理部100,其进行删除图像列取得部200取得的输入图像列的第1~第N 图像的一部分而生成精简图像列的图像精简处理。而且，处理部100选择输入图像列的第 S(S为满足0兰S兰化1的整数）图像作为假定精简图像，选择输入图像列的第t(t为满足 0 ^t^S-1的整数）图像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s 的整数）图像作为判定对象图像。进而，处理部100根据假定精简图像与判定对象图像之 间的变形信息W及假定紧前精简图像与判定对象图像之间的变形信息求出判定对象图像 的删除评价值，根据第t+1~第S-1图像的删除评价值求出删除了第t+1~第S-1图像的 情况下的评价值即精简区间评价值G(t，S)，根据精简区间评价值进行图像精简处理。
[0144] 由此，能够进行基于精简区间评价值的图像精简处理。精简区间评价值G(t，S)是 将第t图像和第S图像保留在精简图像列中、删除全部第t+1~第S-1图像的情况下的评 价值。即，假设在精简图像列中保留第a图像、第b图像、第C图像该3个图像的情况下，能 够根据G(a，b)和G(b，c)求出该精简图像列的评价值（如果假设第0、第化1图像作为假 定图像，则一并使用G(0，a)、G(c，化1))。由此，如果求出全部第1~第N图像中的任意2 张图像间的精简区间评价值，则能够求出根据输入图像列生成的任意的精简图像列的评价 值，能够从多个精简图像列的候选中捜索最佳的精简图像列。另外，可W针对从第1~第N 图像（或包含假想图像在内的第0~第化1图像）中选择2张图像的全部组合求出精简区 间评价值G，但是，从计算量削减的观点出发，也可W针对一部分G跳过计算处理。此时，由 于根据图像间的变形信息求出精简区间评价值，所W，能够控制由于删除图像而无法观察 的区域的产生程度等。
[0145] 并且，处理部100也可W根据精简区间评价值求出第1~第N图像的各图像的累 计评价值E(1)~E(脚，根据累计评价值进行图像精简处理。
[0146] 由此，能够进行基于累计评价值的图像精简处理。本实施方式的累计评价值E化） 表示假定了保留第0图像和第k图像的情况下的评价值中的最佳评价值（另外，未考虑第 k+1~第化1图像）。在保留第0图像和第k图像的情况下，针对第1~第k-1图像分别存 在保留或删除该两种可能性，所W，2^种情况下的最佳评价值（或判定为最佳的评价值） 成为E化)。目P，通过求出E化)，能够针对保留第k图像的前提下的是否可W删除第1~ 第k-1图像，决定最佳组合。目P，如果作为假想图像的第化1图像求出E(化1)，则能够针对 是否可W删除第1~第N图像决定最佳组合，该无非是求出大区域最佳的精简图像列的处 理。但是，为了削减计算量，假设在本实施方式中使用动态规划法。该情况下，不是直接求 出E(化1)，而是从接近起点（第0图像）起依次求出累计评价值E，在求出给定图像的累计 评价值E(k)的情况下，使用此前的处理结果巧(1)~E化-1))。由此，在本实施方式的图像 精简处理中，通过求出第1~第N图像的各图像的累计评价值E(1)~E(脚，进行图像精简 处理。
[0147] 并且，处理部100也可W将作为假想图像的第0图像的累计评价值设为E(0) = 0， 使用第w(w为满足0 ^W^V-1的整数）图像的累计评价值E(w)W及删除了第W+1~第 V-1图像的情况下的精简区间评价值G(w，v)，求出第v(v为满足1 ^V^化1的整数）图 像的累计评价值，作为E(V) =max(E(W)+G(W，V))。
[014引 由此，能够使用动态规划法求出累计评价值E。该情况下，每当求出E(v)时，不考 虑是否删除第0~第V图像的全部的情况，仅计算V次的E+G并求出其最佳值（狭义地讲为 最大值）即可。即，在求出E(化1)时，虽然需要求出E(l)~E(N)，但是，与直接求出E(化1) 的情况相比，能够大幅削减计算量。
[0149] 并且，处理部100也可W选择满足下式（1)的第X图像作为第V图像的最佳紧前 精简图像。
[0150]
[015。 并且，处理部100也可W求出作为假想图像的第化1图像的累计评价值E(化1)，将 第化1图像设为精简图像列决定处理中的最初的处理对象图像。然后，处理部100在处理 对象图像的最佳紧前精简图像不是第0图像的情况下，进行将最佳紧前精简图像包含在精 简图像列中的处理，并且，进行将最佳紧前精简图像作为新的处理对象图像的更新处理，继 续进行精简图像列决定处理。另一方面，在处理对象图像的最佳紧前精简图像是第0图像 的情况下，结束精简图像列决定处理。
[0152]由此，在求出E(v)时，能够选择第V图像的最佳紧前精简图像，并且使用最佳紧前 精简图像进行精简图像列决定处理。在动态规划法中，从活用此前的处理结果的观点出发， 决定处理对象节点的紧前节点即可，在处理对象节点的处理时点不需要考虑从起点到该紧 前节点的路径。但是，只要针对各节点决定了紧前节点，则通过从终点起依次追溯紧前节 点，能够决定最佳路径。在本实施方式中，将该处理应用于图像列，具体而言，将假定紧前精 简图像中的假定精简图像的假定累计评价值最大的图像作为最佳紧前精简图像即可。精简 图像列决定处理成为在从第化1图像到第0图像的范围内追寻最佳紧前精简图像的处理。
[0153] 并且，处理部100也可W根据第S图像与第U图像之间的变形信息W及第t图像 与第U图像之间的变形信息，计算第S图像和第t图像覆盖第U图像的比例即第U图像的 覆盖率。然后，处理部100根据覆盖率计算删除评价值，求出对与第t+1~第S-1图像有关 的删除评价值进行合计而得到的值作为删除了第t+1~第S-1图像的情况下的精简区间评 价值G(t, S)。 [0154] 由此，能够根据覆盖率求出精简区间评价值。例如，如图2、图3所示，可W使用覆 盖区域求出覆盖率，也可W通过其他方法求出覆盖率。该情况下，由于在精简区间评价值的 计算中使用覆盖率，所W，能够期待根据该精简区间评价值决定的精简图像列成为覆盖率 较高（即抑制产生无法观察的区域）的图像列。
[0155] 并且，处理部100也可W根据第S图像与第U图像之间的变形信息W及第t图像 与第U图像之间的变形信息判定可否删除第U图像。然后，处理部100在第t+1~第S-1 图像中的至少一张构成图像被判定为不可删除的情况下，设定第1值作为删除了第t+1~ 第S-1图像的情况下的精简区间评价值G(t，S)。
[0156] 此时，处理部100也可W设定负的无限大或根据累计评价值决定的给定阔值W下 的值，作为第1值。
[0157]由此，在第t+1~第S-1图像中的至少一张结构图像被判定为不可删除的情况下、 即用第t图像和第S图像无法充分覆盖其间图像的情况下，能够设定给定值作为精简图像 列的评价值，而不使用可W删除的图像张数和覆盖率等观点。具体而言，作为精简图像列的 评价值，设定不可能选择第t图像作为第S图像的最佳紧前精简图像的值。该里，由于累计 评价值越大越好，所W，如果使用--作为上述第1值，则通过该第1值即精简区间评价值 计算出的假定累计评价值成为必定小于通过第1值W外的值即精简区间评价值（相当于可 W删除全部第t+1~第S-1图像的情况）计算出的假定累计评价值的值。
[0158] 但是，如果满足（不可删除的情况下的假定累计评价值中的最大值）<(可W删除 的情况下的假定累计评价值的最小值），则第1值也可W不是--。该情况下，鉴于假定累 计评价值由假定紧前精简图像的累计评价值和精简区间评价值决定，根据累计评价值来决 定第1值。例如，也可W与考虑作为累计评价值的值相比，将绝对值大到级别大幅不同的 程度的负值作为第1值。或者，也可W将比（作为假定精简图像的累计评价值处理的最小 值）-(假定紧前精简图像的累计评价值）更小的值作为第1值，该情况下，也满足不可能选 择第t图像作为第S图像的最佳紧前精简图像该样的要件。
[0159] 并且，处理部100也可W在判定为可W删除全部第t+1~第S-1图像的情况下，根 据第t+1~第S-1图像的图像张数求出删除了第t+1~第S-1图像的情况下的精简区间评 价值G(t，s)。
[0160] 由此，能够根据可化刚除的图像张数求出精简区间评价值。可化刚除的图像张数 越多，则精简图像列中包含的图像张数可W越少，所W，能够提高图像精简处理的效果。另 夕F，如上所述，也可W通过覆盖率的值和给定阔值化1)的比较处理来进行该里的是否可W 删除的判定。但是不限于此，也可W如第2实施方式中后述的那样根据使用构造要素的收 缩处理的结果进行判定，还可W如图20所示组合2个方法进行判定。
[0161] 并且，处理部100也可W在t=S-1~t= 0的范围内W每次-1的方式更新t，并 选择第t图像作为假定紧前精简图像，根据第t图像与第U图像之间的变形信息W及第S 图像与第U图像之间的变形信息进行中止判定处理。然后，针对通过中止判定处理判定为 中止的t，设定第1值作为删除了第X(X为满足0 ^X^t的整数）图像与第S图像之间的 构成图像时的精简区间评价值G(X，S)，结束将第S图像作为假定精简图像的处理。
[0162] 由此，能够进行中止判定。如上所述，本实施方式的图像列中包含的图像假设为， 图像列中的位置越近，则被摄体越相似。目P，在基于第t图像和第S图像的第t+1~第S-1 图像的覆盖程度非常低的情况下，即使对假定紧前精简图像进行更新，认为基于第t-1图 像和第S图像的第t~第S-1图像的覆盖程度也较低。该情况下，即使跳过将第0~第t-1 图像作为假定紧前精简图像的处理，产生问题的可能性也较低，通过该跳过处理，能够削减 计算量。此时，作为将第0~第t-1图像作为假定紧前精简图像的情况下的精简区间评价 值，设定上述第1值即可。
[0163] 并且，处理部100也可W选择第0~第S-1图像中的第S-a~第S-1图像（a为 正整数）的图像作为假定紧前精简图像。
[0164] 由此，由于能够缩小假定紧前精简图像的设定范围（捜索最佳紧前精简图像的范 围），所W能够削减计算量。在本实施方式的输入图像列中，存在当假定精简图像和假定紧 前精简图像过远时、能够覆盖其间图像的可能性降低的倾向。即，即使将假定紧前精简图像 设定在相距假定精简图像极远的位置，选择该假定紧前精简图像作为最佳紧前精简图像的 可能性也非常低，很难说针对该假定紧前精简图像的处理是有用的。由此，该里，也可W限 定假定紧前精简图像的设定范围。
[0165] 并且，处理部100也可W从输入图像列中检测场景转换，在从输入图像列中检测 到第i(i为整数）场景转换和第i场景转换之后的第i+1场景转换的情况下，设定输入图 像列的多个构成图像中的第i场景转换的后方且第i+1场景转换的前方的构成图像作为部 分图像列，对所设定的部分图像列进行图像精简处理。
[0166] 由此，能够将输入图像列分割为多个部分图像列，按照每个部分图像列进行处理。 由于动态规划法的处理时间与处理区间长度的平方成比例，所W，通过按照每个部分图像 列进行处理，能够缩短处理时间。并且，通过对多个部分图像列进行并列处理，也可W进一 步实现处理时间的缩短。
[0167] 另外，可W通过程序实现本实施方式的图像处理装置等的处理的一部分或大部 分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体 而言，读出非暂时的信息存储装置中存储的程序，并由CPU等处理器执行所读出的程序。该 里，信息存储装置（计算机可读取的装置）存储程序和数据等，其功能能够通过光盘值VD、 CD等）、皿D(硬盘驱动）、或存储器（卡型存储器、ROM等）等实现。而且，CPU等处理器根 据信息存储装置中存储的程序（数据）进行本实施方式的各种处理。即，在信息存储装置 中存储有用于使计算机（具有操作部、处理部、存储部、输出部的装置）作为本实施方式的 各部发挥功能的程序（用于使计算机执行各部的处理的程序）。
[0168] 并且，本实施方式的图像处理装置等也可W包括处理器和存储器。该里的处理 器例如可W是CPU(CentralProcessing化it;中央处理单元）。但是，处理器不限于CPU,可W使用GPU(GraphicsProcessingUnit;图形处理单元）或DSP(DigitalSi即al Processor;数字信号处理器）等各种处理器。并且，处理器也可W是基于ASIC的硬件电 路。并且，存储器存储计算机可读取的命令，通过由处理器执行该命令，实现本实施方式的 图像处理装置等的各部。该里的存储器可W是SRAM、DRAM等半导体存储器，也可W是寄存 器或硬盘等。并且，该里的命令可W是构成程序的命令组的命令，也可W是针对处理器的硬 件电路指示动作的命令。
[0169] 3.第2实施方式
[0170] 接着，对根据使用构造要素的收缩处理来判定关注区域的漏看可能性的方法进行 说明。
[0171] 3.1系统结构例。
[0172] 图13示出第2实施方式的图像处理装置的结构例。如图13所示，在与第1实施 方式的图像处理装置（图1)进行比较的情况下，构成为删除覆盖率计算部1005并追加关 注区域漏看判定部1011。关于除此W外的各部，除了精简区间评价值计算部1006中的精简 区间评价值G的计算方法W外，与第1实施方式相同，所W省略详细说明。
[0173] 在假定精简图像、假定紧前精简图像、判定对象图像的选择后，关注区域漏看判定 部1011在删除了该判定对象图像的情况下，进行与成为判定对象图像上被摄像的关注区 域未在假定精简图像和假定紧前精简图像中的某个图像中被摄像的状况（即，成为漏看关 注区域的状况）的可能性有关的判定处理。
[0174] 3. 2关注区域漏看可能性判定和精简区间评价值计算处理
[01巧]对具体的处理流程进行说明。关注区域漏看判定部1011根据关注区域（如果为 胶囊内窥镜，则为不希望漏看的病变部等）生成构造要素。该里，考虑关注区域的典型大小 等，设定不希望漏看的尺寸、形状的区域作为构造要素。例如，如果已知关注区域为病变部、 图像上比直径30像素的圆大的病变的深刻度较高而不应该漏看，则构造要素设定直径30 像素的圆。
[0176] 在选择了假定精简图像、假定紧前精简图像和判定对象图像后，使用变形估计部 1001中的变形估计处理的结果，取得假定精简图像与判定对象图像之间的第1变形信息W 及假定紧前精简图像与判定对象图像之间的第2变形信息。然后，与第1实施方式同样，利 用所取得的变形信息，将假定精简图像和假定紧前精简图像投影到判定对象图像上，求出 覆盖区域。
[0177] 在计算出覆盖区域后，关注区域漏看判定部1011判定关注区域的漏看可能性。具 体而言，针对判定对象图像中的覆盖区域W外的区域即非覆盖区域，如图14所示，进行使 用构造要素的收缩处理，判定是否存在残留区域。
[017引使用图15(A)~图15似对收缩处理的具体例进行说明。如图15(A)所示，非覆 盖区域必定是闭合区域，能够设定其边界。例如，在图15(A)中，设定作为外侧边界的B01 和作为内侧边界的B02。
[0179] 此时，基于构造要素的收缩处理成为如下处理：在将该构造要素的基准点设定在 非覆盖区域的边界上的情况下，删除非覆盖区域和构造要素的重复区域。例如，在设定圆形 状的区域作为构造要素并将其基准点设为圆的中屯、的情况下，进行描绘在非覆盖区域的边 界上具有中屯、的圆、将该圆和非覆盖区域重合的部分从非覆盖区域中除外的处理。具体而 言，如图15(A)所示，描绘W非覆盖区域的外侧边界B01上的点为中屯、的圆，将与非覆盖区 域重复的重复区域（该里为斜线所示的半圆形状的区域）除外。
[0180] 如果考虑离散地进行处理，则由于外侧边界B01由多个点构成，所W，针对该多个 点的各点进行上述处理即可。作为一例，如图15(A)所示，W边界上的一点为起点描绘在给 定方向上依次将边界B01上的点作为中屯、的圆，将该圆和非覆盖区域的重复区域从非覆盖 区域中除外即可。
[0181] 在非覆盖区域的边界的一部分与判定对象图像的边界一致的情况下等，还考虑非 覆盖区域的边界为一个的情况，此时，对该一个边界进行上述处理即可。并且，如图15(A) 所示，在考虑B01和B02该两个边界作为非覆盖区域的边界的情况下，分别对其进行上述处 理。具体而言，如图15做所示，在内侧边界B02中，也描绘在B02上具有中屯、的圆，进行将 该圆和非覆盖区域的重复区域除外的处理，对构成B02的各点反复进行该处理即可。
[0182] 通过进行该种收缩处理，非覆盖区域的面积减小。例如，在着眼于图15(A)的非覆 盖区域的左部的情况下，通过图15(A)所示的B01的收缩处理和图15炬）所示的B02的收 缩处理，完全删除非覆盖区域，不会存在残留区域。另一方面，在着眼于非覆盖区域的右下 部分的情况下，如图15 (C)所示，产生在B01的收缩处理和B02的收缩处理中均不是除外对 象而残存的残留区域RE。由此，针对该里的非覆盖区域整体进行基于构造要素的收缩处理 的结果如图15值）所示，产生残留区域RE。
[0183] 该里，考虑将半径r的圆作为构造要素的情况下的收缩处理所具有的意义。可W 认为作为闭合区域的非覆盖区域是位于边界（可W如B01和B02那样是不同的边界，也可 W是一个边界）内侧的区域。通过对该边界进行上述收缩处理，非覆盖区域所包含的点中 的、从上述边界上的点起位于距离rW内（包含该值）的点成为删除对象。目P，在考虑不作 为删除对象的残留区域中包含的点的情况下，从该点到边界上的任意点的距离大于r。由 此，在描绘W残留区域上的任意点为中屯、的半径r的圆的情况下，该圆的圆周不与任何边 界交叉。换言之，用半径r的圆表现的关注区域表示通过将残留区域中的点作为其中屯、而 完全收敛于非覆盖区域中的状况。另外，在使用圆W外的形状（四边形等）作为构造要素 的情况下，基本想法相同。
[0184]目P，如图15巧）的右下所示，存在残留区域的情况是指与构造要素对应的区域包 含在非覆盖区域中的情况，在该种位置存在病变部等关注区域的情况下，当删除判定对象 图像时，即使保留基准图像，也可能无法观察关注区域。相反，如图15 (巧的左上所示，不存 在残留区域的情况是指关注区域中的至少一部分包含在覆盖区域中的情况，即使删除判定 对象图像，关注区域中的至少一部分也能够保留在基准图像中。如上所述，在关注区域漏看 判定部1011中，对非覆盖区域进行基于构造要素的收缩处理，根据是否存在残留区域来判 定可否删除判定对象图像。
[0185] 本实施方式的精简区间评价值计算部1006根据上述可否删除判定的结果来计算 精简区间评价值。具体而言，在判定为可W删除假定精简图像与假定紧前精简图像之间的 全部图像的情况下，将可W删除的图像的张数（精简区间中包含的图像张数）作为精简区 间评价值。另一方面，在假定精简图像与假定紧前精简图像之间的 至少一张图像被判定为 不可删除的情况下，设定--等足够小的值作为精简区间评价值。
[0186] 精简区间评价值的计算后的处理与第1实施方式相同。
[0187] 3. 3处理的详细情况
[018引使用图16的流程图对第2实施方式的图像精简处理的流程进行说明。该处理的S201~S204与图4的S101~S104相同。然后，在S204中选择了判定对象图像后，如使用 图15(A)~图15(巧说明的那样判定关注区域的漏看可能性。在可W删除（不存在残留区 域）的情况下返回S204。然后，在不可删除（存在残留区域）的情况下，设定足够小的值作 为精简区间评价值，返回S203,进行假定紧前精简图像的更新处理。
[0189] 在不存在S204中要选择的图像（具体而言，可W删除全部判定对象图像）的 情况下，计算假定精简图像与假定紧前精简图像之间的图像的张数作为精简区间评价值 (S206)。此后的S207~S210的处理与图4的S107~S210的处理相同，所W省略详细说 明。
[0190] 3. 4变形例
[0191] 另外，基于构造要素的收缩处理的对象不限于非覆盖区域。例如，如图17(A)所 示，也可W将判定对象图像作为对象来进行基于构造要素的收缩处理。该情况下，通过设定 为关注区域未完全收敛于通过收缩处理削减的区域内（典型情况下设定关注区域的2倍的 尺寸的要素作为构造要素），如图17炬）所示，残存区域成为要求被基准图像覆盖的要覆盖 区域。目P，该情况下，根据要覆盖区域整体是否被假定精简图像和假定紧前精简图像中的至 少一方覆盖来进行可否删除判定即可，具体而言，如图18所示，通过变形信息对假定精简 图像和假定紧前精简图像进行变形并求出覆盖区域，进行使用覆盖区域和要覆盖区域的包 含判定即可。在要覆盖区域包含在覆盖图像中的情况下，可W删除判定对象图像，如果存在 不包含的部分，则不可删除判定对象图像。
[0192] 并且，使用构造要素的可否删除判定处理不限于使用收缩处理，只要是判定非覆 盖区域中是否包含构造要素的处理即可。例如，如图19(A)或图19炬）所示，也可W是如下 的简易方法；根据从覆盖区域的边界上的点（pi~p6等）到判定对象图像的边界的距离 化1~k6等）、或从判定对象图像的边界上的点到覆盖区域的边界的距离，求出与非覆盖 区域的最大直径相当的值，进行所求出的值和构造要素（该情况下为与关注区域相同的尺 寸）的最小直径的比较处理。另外，图19(A)示出判定对象图像为四边形的例子，图19做 示出判定对象图像为圆形状的例子。
[0193] 并且，也可W组合第1实施方式中说明的覆盖率计算处理和第2实施方式中说明 的关注区域漏看可能性判定处理。例如，在与图4的S105或图16的S205相当的部分，在 进行覆盖率计算处理和关注区域漏看可能性判定处理双方之后，进行图20所示的分支处 理即可。
[0194] 具体而言，在覆盖率和关注区域双方的判定中判定为可W删除的情况下，返回 S104,对判定对象图像进行更新，在可W删除全部图像的情况下，转移到S106,使用覆盖率 和删除图像张数计算精简区间评价值G。另一方面，在覆盖率和关注区域中的至少一个判定 中判定为不可删除的情况下，设定足够小的值作为精简区间评价值。并且，在基于覆盖率的 判定中进行中止的情况下，也可W与第1实施方式同样中止处理。
[0195] 由此，能够提高可否删除判定对象图像的判定精度，能够求出更加适当的精简图 像列。
[0196]W上对应用本发明的2个实施方式1~2及其变形例进行了说明，但是，本发明不 限于各实施方式1~2及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结 构要素进行变形而具体化。并且，通过适当组合上述各实施方式1~2和变形例所公开的 多个结构要素，能够形成各种发明。例如，可W从各实施方式1~2和变形例所记载的全部 结构要素中删除若干个结构要素。进而，可W适当组合不同实施方式和变形例中说明的结 构要素。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在 说明书或附图的任意部位中，能够置换为与其不同的用语。该样，能够在不脱离发明主旨的 范围内进行各种变形和应用。
[0197] 标号说明
[0198]E;累计评价值；G;精简区间评价值；100 ;处理部；200 ;图像列取得部；300 ;存 储部；1001 ;变形估计部；1002 ;假定精简图像选择部；1003 ;假定紧前精简图像选择部； 1004 ;判定对象图像选择部；1005 ;覆盖率计算部；1006 ;精简区间评价值计算部；1007 ;假 定累计评价值计算部；1008 ;最佳紧前精简图像决定部；1009 ;累计评价值更新部；1010 ; 精简图像列决定部；1011 ;关注区域漏看判定部。
【主权项】
1. 一种图像处理装置，其特征在于，该图像处理装置包括： 图像列取得部，其取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构 成图像的输入图像列；以及 处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~第N图像 的一部分而生成精简图像列的图像精简处理， 所述处理部选择所述输入图像列的第s (s为满足O f s f N+1的整数）图像作为假定 精简图像， 选择所述输入图像列的第t(t为满足O f t f s-1的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-1图像的所述删除评价值，求出删除了所述第t+Ι~第s-1图像的 情况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值进行所述图像精简处理。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述处理部根据所述精简区间评价值求出所述第1~第N图像的各图像的累计评价值 E(I)~E(N)，根据所述累计评价值进行所述图像精简处理。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述处理部将作为假想图像的第O图像的所述累计评价值设为E(O) = 0， 使用第w(w为满足0 f w f v-1的整数）图像的所述累计评价值E(W)以及删除了第 w+1~第v-1图像的情况下的所述精简区间评价值G (w, V)，作为E (V) = max (E (w) +G (w, V)) 而求出第V (v为满足I S V S N+1的整数）图像的所述累计评价值E (V)。4. 根据权利要求3所述的图像处理装置，其特征在于， 所述处理部选择满足的第X图像作为所述第V图像的最佳紧前精简图像。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述处理部求出作为所述假想图像的第N+1图像的所述累计评价值E (N+1)， 将所述第N+1图像设为精简图像列决定处理中的最初的处理对象图像， 在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情况下，进行将所 述最佳紧前精简图像包含到所述精简图像列中的处理，并且，进行将所述最佳紧前精简图 像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处理， 在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精 简图像列决定处理。6. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像 与所述第U图像之间的所述变形信息，计算所述第S图像和所述第t图像覆盖所述第U图 像的比例即所述第U图像的覆盖率， 根据所述覆盖率计算所述删除评价值， 求出对与所述第t+Ι~第S-I图像有关的所述删除评价值进行合计而得到的值，作为 删除了所述第t+Ι~第s-1图像的情况下的所述精简区间评价值G(t，s)。7. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像 与所述第u图像之间的所述变形信息判定可否删除所述第u图像， 在所述第t+Ι~第s-Ι图像中的至少一张所述构成图像被判定为不可删除的情况下， 设定第1值作为删除了所述第t+Ι~第s-Ι图像的情况下的所述精简区间评价值G(t，s)。8. 根据权利要求7所述的图像处理装置，其特征在于， 所述处理部在所述第t+Ι~第s-Ι图像全部被判定为可以删除的情况下，根据所述第 t+Ι~第s-Ι图像的图像张数，求出删除了所述第t+Ι~第s-Ι图像的情况下的所述精简区 间评价值G(t，s)。9. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部在t = s-Ι~t = O的范围内以每次-1的方式更新t，并选择所述第t图 像作为所述假定紧前精简图像， 根据所述第t图像与所述第u图像之间的所述变形信息以及所述第s图像与所述第u 图像之间的所述变形信息进行中止判定处理， 针对通过所述中止判定处理判定为中止的t，设定第1值作为删除了第x(x为满足 〇 S X S t的整数）图像与所述第s图像之间的所述构成图像时的所述精简区间评价值 G(x，s)， 结束将所述第s图像作为所述假定精简图像的处理。10. 根据权利要求7所述的图像处理装置，其特征在于， 所述处理部设定负的无限大或根据所述累计评价值决定的给定阈值以下的值，作为所 述第1值。11. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部选择第0~第s-Ι图像中的第S-α~第s-Ι图像（α为正整数）的图像 作为所述假定紧前精简图像。12. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部从所述输入图像列中检测场景转换， 在从所述输入图像列中检测到第i (i为整数）场景转换和所述第i场景转换之后的第 i+Ι场景转换的情况下， 设定所述输入图像列的多个所述构成图像中的所述第i场景转换的后方且所述第i+1 场景转换的前方的所述构成图像作为部分图像列， 对所设定的所述部分图像列进行所述图像精简处理。13. -种图像处理方法，其特征在于， 取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构成图像的输入图像 列， 选择所述输入图像列的第S (S为满足O g S g N+1的整数）图像作为假定精简图像， 选择所述输入图像列的第t(t为满足O f t f s-1的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-1图像的所述删除评价值，求出删除了所述第t+Ι~第s-1图像的 情况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值，进行删除所述输入图像列的所述第1~第N图像的一部分 而生成精简图像列的图像精简处理。14. 一种程序，其特征在于，该程序使计算机作为如下部分发挥功能： 图像列取得部，其取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构 成图像的输入图像列；以及 处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~第N图像 的一部分而生成精简图像列的图像精简处理， 所述处理部选择所述输入图像列的第s (s为满足O f s f N+1的整数）图像作为假定 精简图像， 选择所述输入图像列的第t(t为满足O f t 5 s-Ι的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-Ι图像的所述删除评价值求出删除了所述第t+Ι~第s-Ι图像的情 况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值进行所述图像精简处理。
【专利摘要】图像处理装置包括取得具有第1～第N图像的输入图像列的图像列取得部(200)、以及删除第1～第N图像的一部分而进行图像精简处理的处理部(100)，处理部(100)选择第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择第u(u为满足t<u<s的整数)图像作为判定对象图像，根据假定精简图像与判定对象图像之间以及假定紧前精简图像与判定对象图像之间的变形信息，求出精简区间评价值G(t,s)而进行图像精简处理。
【IPC分类】A61B1/04, A61B1/00, G06T1/00
【公开号】CN104885118
【申请号】CN201380068133
【发明人】矢口阳一, 朝户吕仁
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2013年12月20日
【公告号】EP2940652A1, US20150228056, WO2014103903A1
【技术领域】
[0001] 本发明设及图像处理装置、图像处理方法和程序等。
【背景技术】
[0002] 在根据给定的时间间隔按时序持续对静态图像进行摄像的情况下、通过多个图像 网罗具有空间宽度的被摄体的情况下、或者对动态图像进行摄像后取得构成该动态图像的 各图像作为静态图像的情况下等，将会取得时间或空间上连续的非常大量的图像（W下也 记载为图像列）。在该种情况下，图像列中靠近（即时间或空间上靠近）的图像彼此是相似 图像的可能性较高，在掌握所摄像的内容时，不需要检查大量的全部图像。本来，图像张数 为数万张W上的情况也不稀奇，用户手动检查全部图像本身的负担很大。
[0003]因此，需要通过从图像列中删除一部分图像而精简为张数比原来的图像列的张数 少的图像列（W下将该处理记载为图像精简处理）。例如在专利文献1中公开了如下的图 像精简处理方法：通过提取图像列中的场景变化的交界的图像或代表图像列的图像，保留 容易掌握图像列的内容的图像。
[0004] 现有技术文献 [000引专利文献
[0006] 专利文献1;日本特开2009-5020号公报
[0007] 专利文献2;日本特开2007-257287号公报
【发明内容】
[000引发明要解决的课题
[0009] 例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看， 需要抑制由于删除图像而无法观察的区域的产生。特别是病变区域或异常区域该样的重要 区域不能包含在无法观察的区域中。
[0010] 但是，如专利文献1的方法那样，当仅保留场景变化的交界的图像、或基于是否容 易直观观察精简后的图像列的观点而进行图像精简时，可能由于删除图像而产生无法观察 的区域，并不理想。并且，由于无法观察的区域的产生程度依赖于图像的内容，所W，在现有 的图像精简处理的方法中，很难控制疾患的漏看等的程度。
[0011] 根据本发明的若干个方式，能够提供如下的图像处理装置、图像处理方法和程序 等：根据图像间的变形信息，进行抑制产生由于删除图像而无法观察的区域、且大区域最佳 化的图像精简处理。
[0012] 用于解决课题的手段
[0013] 本发明的一个方式设及一种图像处理装置，其中，该图像处理装置包括：图像列取 得部，其取得具有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的输入 图像列；W及处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~ 第N图像的一部分而生成精简图像列的图像精简处理，所述处理部选择所述输入图像列的 第S(s为满足0兰s兰化1的整数）图像作为假定精简图像，选择所述输入图像列的第t(t为满足0 ^t^s-1的整数）图像作为假定紧前精简图像，选择所述输入图像列的第u(u 为满足t<u<s的整数）图像作为判定对象图像，根据所述假定精简图像与所述判定对象图 像之间的变形信息W及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息 求出所述判定对象图像的删除评价值，根据第t+1~第S-1图像的所述删除评价值求出删 除了所述第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，s)，根据所述精简 区间评价值进行所述图像精简处理。
[0014] 在本发明的一个方式中，求出删除了第t+1~第S-1图像的情况下的评价值即精 简区间评价值G(t，s)，根据所求出的精简区间评价值进行图像精简处理。由此，在存在多个 精简图像列的候选的情况下，通过针对各候选使用与从输入图像列中删除的图像对应的精 简区间评价值，能够计算该候选的评价值，通过对它们进行比较，能够决定最佳的精简图像 列（即，进行大区域最佳化的图像精简处理）等。
[0015] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述精简区间评价值求 出所述第1~第N图像的各图像的累计评价值E(1)~E(脚，根据所述累计评价值进行所述 图像精简处理。
[0016] 由此，能够进行基于各图像的累计评价值的图像精简处理。
[0017] 并且，在本发明的一个方式中，也可W是，所述处理部将作为假想图像的第0图像 的所述累计评价值设为E(0) = 0,使用第w(w为满足0 ^W^V-1的整数）图像的所述累 计评价值E(w)W及删除了第W+1~第V-1图像的情况下的所述精简区间评价值G(w，V)，作 为E(v) =max(E(w)+G(w,V))求出第v(v为满足1 ^V^化1的整数）图像的所述累计评 价值。
[001引由此，能够使用与该图像相比在图像列中更靠前方的图像的累计评价值求出某个 图像的累计评价值等。
[0019] 并且，在本发明的一个方式中，也可W是，所述处理部选择满足下式（1)的第X图 像，作为所述第V图像的最佳紧前精简图像。
[0020] 由此，不仅能够求出处理对象的图像的累计评价值，还能够求出该图像的最佳紧 前精简图像等。
[0021] 并且，在本发明的一个方式中，也可W是，所述处理部求出作为所述假想图像的 第化1图像的所述累计评价值E(化1)，将所述第化1图像设为精简图像列决定处理中的最 初的处理对象图像，在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情 况下，进行将所述最佳紧前精简图像包含在所述精简图像列中的处理，并且，进行将所述最 佳紧前精简图像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处 理，在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精 简图像列决定处理。
[0022] 由此，通过从终点朝向始点追寻最佳紧前精简图像，能够决定精简图像列等。
[0023] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述第S图像与所述第 U图像之间的所述变形信息W及所述第t图像与所述第U图像之间的所述变形信息，计算所 述第S图像和所述第t图像覆盖所述第U图像的比例即所述第U图像的覆盖率，根据所述 覆盖率计算所述删除评价值，求出对与所述第t+1~第S-1图像有关的所述删除评价值进 行合计而得到的值，作为删除了所述第t+1~第S-1图像的情况下的所述精简区间评价值 G(t,S)。
[0024] 由此，能够根据覆盖率求出精简区间评价值等。
[0025] 并且，在本发明的一个方式中，也可W是，所述处理部根据所述第S图像与所述第 U图像之间的所述变形信息W及所述第t图像与所述第U图像之间的所述变形信息判定可 否删除所述第U图像，在所述第t+1~第S-1图像中的至少一张所述构成图像被判定为不 可删除的情况下，设定第1值作为删除了所述第t+1~第S-1图像的情况下的所述精简区 间评价值G(t，s)。
[0026] 由此，在无法通过第t图像和第S图像充分覆盖其间的图像的情况下，作为精简区 间评价值，能够设定没有意义的值（狭义地讲为不可能选择第t图像作为第S图像的最佳 紧前精简图像的程度的值）等。
[0027] 并且，在本发明的一个方式中，也可W是，所述处理部在所述第t+1~第S-1图像 全部被判定为可W删除的情况下，根据所述第t+1~第S-1图像的图像张数求出删除了所 述第t+1~第S-1图像的情况下的所述精简区间评价值G(t，S)。
[002引由此，能够根据可W删除的图像的张数求出精简区间评价值等。
[0029] 并且，在本发明的一个方式中，也可W是，所述处理部在t=S-1~t= 0的范围 内W每次-1的方式更新t，并选择所述第t图像作为所述假定紧前精简图像，根据所述第t 图像与所述第U图像之间的所述变形信息W及所述第S图像与所述第U图像之间的所述变 形信息进行中止判定处理，针对通过所述中止判定处理判定为中止的t，设定第1值作为删 除了第X(x为满足0 ^X^t的整数）图像与所述第S图像之间的所述构成图像时的所述 精简区间评价值G(x，S)，结束将所述第S图像作为所述假定精简图像的处理。
[0030] 由此，通过中止假定紧前精简图像的更新处理，能够削减计算量等。
[0031] 并且，在本发明的一个方式中，也可W是，所述处理部设定负的无限大或根据所述 累计评价值决定的给定阔值W下的值，作为所述第1值。
[0032] 由此，能够具体设定上述第1值等。
[0033] 并且，在本发明的一个方式中，也可W是，所述处理部选择第0~第S-1图像中的 第S-a~第S-1图像（a为正整数）的图像作为所述假定紧前精简图像。
[0034] 由此，通过限定作为假定紧前精简图像而选择的图像的张数，能够削减计算量等。 [00巧]并且，在本发明的一个方式中，也可W是，所述处理部从所述输入图像列中检测场 景转换，在从所述输入图像列中检测到第i(i为整数）场景转换和所述第i场景转换之后 的第i+1场景转换的情况下，设定所述输入图像列的多个所述构成图像中的所述第i场景 转换的后方且所述第i+1场景转换的前方的所述构成图像作为部分图像列，对所设定的所 述部分图像列进行所述图像精简处理。
[0036] 由此，通过将根据场景转换而设定的部分图像列作为对象，能够削减计算量等。
[0037] 并且，本发明的另一个方式设及一种图像处理方法，其中，取得具有第1~第N(N 为2W上（包含该值）的整数）图像作为构成图像的输入图像列，选择所述输入图像列的 第S(S为满足0兰S兰化1的整数）图像作为假定精简图像，选择所述输入图像列的第t(t 为满足0 ^t^s-1的整数）图像作为假定紧前精简图像，选择所述输入图像列的第u(u 为满足t<u<s的整数）图像作为判定对象图像，根据所述假定精简图像与所述判定对象图 像之间的变形信息w及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息 求出所述判定对象图像的删除评价值，根据第t+1~第S-1图像的所述删除评价值求出删 除了所述第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，s)，根据所述精简 区间评价值进行删除所述输入图像列的所述第1~第N图像的一部分而生成精简图像列的 图像精简处理。
[0038] 并且，本发明的另一个方式设及一种使计算机作为上述各部发挥功能的程序。
【附图说明】
[0039] 图1是第1实施方式的图像处理装置的结构例。
[0040] 图2是使用覆盖率的处理的说明图。
[0041] 图3是使用覆盖率的处理的说明图。
[0042] 图4是说明第1实施方式的图像精简处理的流程图。
[0043]图5 (A)、图5炬）是图像精简处理的具体例。
[0044] 图6(A)、图6做是图像精简处理的具体例。
[0045]图7 (A)、图7炬）是图像精简处理的具体例。
[0046] 图8(A)、图8做是图像精简处理的具体例。
[0047] 图9 (A)~图9似是说明基准图像和判定对象图像的选择方法的图。
[0048] 图10(A)、图10炬）是说明使用多个基准图像的情况下的选择方法的图。
[004引图11 (A)、图11做是说明场景转换和部分图像列的关系的图。
[0050] 图12是动态规划法的说明图。
[0051] 图13是第2实施方式的图像处理装置的结构例。
[0052] 图14是说明针对非覆盖区域的基于构造要素的收缩处理的图。
[005引图15(A)~图15似是说明针对非覆盖区域的基于构造要素的收缩处理的详细情 况的图。
[0054] 图16是说明第2实施方式的图像精简处理的流程图。
[00巧]图17(A)、图17炬）是说明针对判定对象图像的基于构造要素的收缩处理的图。
[0056] 图18是覆盖区域和要覆盖区域的包含判定的例子。
[0057] 图19(A)、图19炬）是说明使用构造要素的其他处理的图。
[005引图20是说明使用覆盖率和构造要素双方的判定处理的例子。
[0059] 图21是图像处理装置的基本结构例。
【具体实施方式】
[0060] 下面，对本实施方式进行说明。另外，W下说明的本实施方式并不是不当地限定权 利要求书所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的 必须结构要件。
[0061] 1.本实施方式的方法
[0062]首先，对本实施方式的方法进行说明。在取得由时间或空间上连续的大量图像构 成的图像列的情况下，在用户使用该图像列进行某些处理（例如如果是内窥镜图像列，贝U 进行诊断等医疗行为）时，优选进行图像精简处理。该是因为，图像列中包含的图像的张数 非常多，用户观看全部图像后进行判断需要很大劳力。并且，在图像列所包含的图像中存在 彼此相似的图像的可能性很高，即使检查全部该种相似的图像，可取得的信息量也有限，与 劳力不相称。
[0063] 作为具体例，考虑使用胶囊内窥镜进行摄像而得到的图像列。胶囊内窥镜是内置 有小型照相机的胶囊形状的内窥镜，W给定的时间间隔（例如1秒2次等）对图像进行摄 像。胶囊内窥镜从内服到排出需要几个小时（根据情况而需要十几个小时） ，所从在1个 用户的1次检查中取得几万张摄像图像。并且，胶囊内窥镜在活体内移动时，由于受到该活 体的运动的影响等而停留在相同场所或向相反方向返回。因此，在大量图像中大量存在对 与其他图像相同的被摄体进行摄像、在病变发现等中有用性不高的图像。
[0064] 在现有的图像精简处理中，提取了场景变化的交界的图像、代表图像列的图像。但 是，在该种方法中，在删除图像时，没有特别考虑作为该删除对象的图像中被摄像的被摄体 和保留图像中被摄像的被摄体的关系。因此，可能导致精简前的图像列所包含的图像上被 摄像的被摄体在精简后的图像列所包含的任意图像上均未被摄像。并且，W何种程度产生 由于图像精简处理而未包含在图像列的任意图像中的被摄体该一程度依赖于作为处理对 象的图像列，所W，在现有方法中很难控制该程度。
[0065] 该种情况特别是在医疗领域中的图像精简处理中并不理想。在医疗领域中，从其 目的来看，必须极力抑制应该关注的区域（例如病变部）的漏看。因此，优选对活体内的尽 可能宽的范围进行摄像，在图像精简处理中，应该抑制由于删除给定的图像而产生无法观 察的被摄体范围。
[0066] 因此，本申请人提出了如下方法；选择基准图像（保留的图像、根据实施方式而成 为保留候选的图像）和判定对象图像（判定是否删除的对象图像），进行基于基准图像与判 定对象图像之间的变形信息的图像精简处理。
[0067] 作为使用变形信息的图像精简处理的一例，如图12所示，考虑通过对基准图像进 行变形而在判定对象图像上计算覆盖区域。该情况下，基准图像中被摄像的被摄体和判定 对象图像的覆盖区域上被摄像的被摄体对应。目P，判定对象图像中的覆盖区域外的范围 (W下表记为非覆盖区域）成为在删除了该判定对象图像的情况下、即使保留基准图像也 无法覆盖的区域。
[0068] 由此，作为一例，计算覆盖区域在判定对象图像中占据的比例等作为覆盖率，根据 计算出的覆盖率判定是否删除判定对象图像，从而对无法观察的被摄体范围的产生程度进 行控制。例如，如果在覆盖率为阔值W上时删除判定对象图像、在覆盖率小于阔值时不删除 判定对象图像，则能够根据阔值的设定而对无法覆盖的区域的产生程度进行控制。
[0069] 作为使用变形信息的图像精简处理的另一例，也可W根据针对非覆盖区域的基于 构造要素（对应于关注区域）的收缩处理的结果，判定可否删除判定对象图像。收缩处理是 图15(A)~图15巧）所示的处理。详细情况在后面叙述，但是，该情况下，即使删除了判定 对象图像，也能够保证在基准图像上拍摄到该判定对象图像上拍摄的构造要素的尺寸W上 的区域中的至少一部分。因此，在判定对象图像中对关注区域整体进行了摄像的情况下，与 该关注区域在判定对象图像上的位置无关，能够通过基准图像来观察其至少一部分，所W， 能够抑制关注区域的漏看可能性。
[0070] 通过进行使用变形信息的图像精简处理，能够使无法覆盖的区域成为一定W下， 或者能够抑制关注区域的漏看可能性，但是，需要额外考虑作为其结果而得到的精简图像 列的最佳化。该里，在考虑了使用精简图像列之后的处理（医生的诊断等）的情况下，精简 图像列中包含的精简图像的张数越少越好，如果是使用覆盖率的处理，则可W说覆盖率的 相乘值等越大、无法覆盖的区域越少，所W成为优选的精简图像列。目P，如果存在多个精简 图像列的候选，则应该将精简图像的张数更少、覆盖率的相乘值等更大的精简图像列作为 最终输出，但是，仅通过使用变形信息的处理无法实现该情况，需要使用某种最佳化方法。
[0071] 作为使用变形信息的图像精简处理中的未考虑最佳化的处理，例如，如图9(A)所 示，考虑如下方法；将由N张图像构成的输入图像列的第1个图像作为基准图像，将第2个 W后的图像依次作为判定对象图像，判定可否删除判定对象图像。该情况下，如果可W删除 第2个图像，则如图9炬）所示，进行将第3个图像作为新的判定对象图像的判定对象图像 的更新处理，捜索判定为不可删除的图像。然后，如图9(C)所示，如果可W删除第2~k-1 个图像、不可删除第k个图像，则即使删除第2~k-1个图像也能够通过第1个图像充分覆 盖。然后，将第1个图像中未完全覆盖的第k个图像作为保留在精简图像列中的图像而设 定为新的基准图像。
[007引在图9(A)~图9似的方法中，在将某个图像作为精简图像的情况下，通过使下一 个精简图像位于尽可能分开的位置，精简图像的张数减少。但是，在该方法中，在与第1个 图像的对比中只不过决定了第k个图像，没有考虑包含第k+1~N个图像的输入图像列整 体。假设在与第k+1~N个图像的被摄体进行对比的情况下，与第k个图像的被摄体相比， 如果第k-1个图像的被摄体更为相似，则通过强制将第k-1个图像作为精简图像，能够提高 此后的图像的覆盖程度，还能够减少作为其结果而得到的精简图像列的图像张数。
[0073] 并且，如图10(A)、图10做所示，设定第1、第2基准图像作为基准图像，通过根据 其双方的覆盖程度（覆盖率）进行图像精简处理，能够期待图像张数的削减效果的提高等。 但是，该情况下，仅将输入图像列的一部分作为对象来设定基准图像，在观察图像列整体时 无法保证选择最佳的基准图像，该点与图9(A)~图9(C)的情况相同。
[0074] 因此，本申请人提出了如下方法：根据删除了给定区间的图像的情况下的评价值 即精简区间评价值G，求出大区域最佳化的精简图像列。具体而言，在将具有第1~第N(N 为2W上（包含该值）的整数）图像作为构成图像的图像列作为输入的情况下，根据覆盖 率等求出设定第S(S为满足0兰S兰化1的整数）图像和第t(t为满足0兰t兰S-1的整 数）图像作为上述基准图像、设定第t+1~第S-1各图像作为判定对象图像的情况下的删 除评价值。然后，根据第t+1~第S-1图像的删除评价值，求出删除了第t+1~第S-1图像 的情况下的评价值即精简区间评价值G(t，S)，根据精简区间评价值进行图像精简处理。
[00巧]换言之，精简区间评价值G(t，S)是假定将第t图像和第S图像作为精简图像而保 留在精简图像列中的情况下的评价值。由此，例如，针对第0~第化1图像（如后所述，第 0图像和第化1图像为假想图像），通过求出(N+2)(化1)/2个G，能够进行考虑了输 入图像列整体的图像精简处理。但是，考虑计算量等，也可W针对一部分G跳过计算处理， 详细情况在后面叙述。
[0076] 并且，在根据计算出的G决定最佳的精简图像列时，当针对全部精简图像列循环 进行评价时，需要针对第1~第N图像分别考虑是否删除，所W，针对/个候选进行使用G 的评价，计算量庞大。由此，下面，使用动态规划法决定最佳的精简图像列。
[0077] 目P，如图21所示，本实施方式的图像处理装置包括；图像列取得部200,其取得具 有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的图像列；W及处理部 100,其进行删除图像列取得部200取得的图像列的第1~第N图像的一部分而生成精简图 像列的图像精简处理。而且，处理部100选择输入图像列的第s(s为满足0兰S兰化1的 整数）图像作为假定精简图像，选择输入图像列的第t(t为满足0 ^t^S-1的整数）图 像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s的整数）图像作为判定 对象图像，根据假定精简图像与判定对象图像之间的变形信息W及假定紧前精简图像与判 定对象图像之间的变形信息求出判定对象图像的删除评价值，根据第t+1~第S-1图像的 删除评价值求出删除了第t+1~第S-1图像的情况下的评价值即精简区间评价值G(t，S)， 根据精简区间评价值进行图像精简处理。
[0078] 下面，作为第1实施方式中使用变形信息的处理，说明进行基于覆盖率的处理的 方法。在第1实施方式中，根据该区间中包含的图像张数（即选择了该区间的情况下可W 删除的张数）和覆盖率计算精简区间评价值G。作为第2实施方式中使用变形信息的处理， 说明进行使用构造要素的收缩处理的方法。在第2实施方式中，根据该区间中包含的图像 张数（即选择了该区间的情况下可W删除的张数）计算精简区间评价值G。并且，作为变形 例，可W对第1实施方式和第2实施方式的方法进行组合，对该变形例进行说明。
[007引 2.第1实施方式
[0080] 在本实施方式中，对使用覆盖率的方法进行说明。具体而言，首先，对动态规划法 进行简单说明，叙述针对图像精简处理的应用方法。接着，对图像处理装置的系统结构例进 行说明，使用流程图对处理流程进行说明。然后，使用图5(A)~图8炬）对本实施方式的处 理的具体例进行说明，叙述考虑了计算量削减的变形例。
[0081] 2. 1动态规划法的简单说明
[0082] 动态规划法用于最佳路径的捜索和匹配等各种方法。例如，在图12中，在求出从 点A到点B的最佳路径的情况下能够利用该动态规划法。在图12的例子中，从点A到点B 向右方向、上方向或右上方向的任意方向移动，没有考虑返回。而且，在各节点间，如pi~ pl2等那样设定在该路线上移动的情况下的评价值（该里越大越好）。该情况下，从点A到 点B的最佳路径例如可W定义为，在追寻该路径的情况下通过的各支线的评价值的总和最 大。
[0083] 该里，针对从点A到点B的全部路线计算评价值的总和，如果将给出该最大值的路 线作为最佳路径，则能够解决图12的问题。在图12中，AB间较近，从各节点到下一个节点 的路径被限定为最多3种，所W，全部路线数较少，能够计算全部路线。但是，在大规模问题 (例如如果是本实施方式作为对象的图像精简，则节点数相当于图像张数，所W为数万级） 中，针对全部路径乘W评价值是不现实的。
[0084] 动态规划法能够W现实的计算量来解决该种问题。具体而言，不是直接求出B的 评价值，而是从接近A的节点起决定各节点的评价值（具体而言为评价值的候选中的最大 值）和该节点的前一个节点。然后，在决定下一个节点的评价值时，利用此前求出的各节点 的评价值。
[00财图12示出具体例。首先，到达点N1的路线仅考虑A-N1即可，所从成为N1的评价 值E(N1) =pl。同样，成为点N2的评价值E(N2) =p2。接着，在求出点N3的评价值的情 况下，不需要考虑从A到N3的全部路线，求出从N3的前一个节点起的路径。具体而言，作 为N3的前一个，考虑A、N1、N2该3个节点即可，求出E(A) =0、E(N1) =pl、E(N2) =p2。 良P，关于N3的评价值，求出E(A)+p5、E(Nl)+p3、E(N2)+p4中的最大值即可。
[0086] 在将点N3作为对象的阶段中，计算上的优点较少，但是，评价值计算的对象节点 与起点（该里为A)越远，则动态规划法的优点越大。例如，在求出A-N5的全部路线的情 况下，需要针对5个路线计算评价值的候选并进行比较，但是，如果能够进行E(N1)、E(N3)、 E(N4)的计算，则E(服）进行求出E(Nl)+p9、E(N4)+p7、E(N3)+p8该3个中的最大值的处理 即可。
[0087] 如果从A朝向B进行该处理，则在最后将点B作为对象时，能够通过求出 E(N8) +pl2、E(N9) +pl0、E(N10) +pll该3个中的最大值来决定E炬），与针对AB间的全部路 线直接求出评价值的情况相比，能够大幅削减计算量。
[0088] 该情况下，最佳路径W相反顺序从B起追寻前一个点即可。例如在求出E炬）时， 决定最佳点巧炬）为最大的点）作为N8~N10中的B的前一个点。如果假设该点为N8,现J 决定N8-B该样的路径作为最佳路径的一部分。然后，关于N8,应该是从N5~N7该3个点 中决定E(N8)为最大的最佳点作为其前一个点。如果假设该点为N5,则决定N5-N8-B该样 的路径作为最佳路径的一部分。反复进行该处理，前一个最佳点到达A后，从B起追寻前一 个最佳点而到达A的路线就是W相反顺序追寻最佳路径。
[0089] 在本实施方式的图像精简处理中应用动态规划法的情况下，将输入图像列的各图 像理解为路径的节点，从该输入图像列的起始图像到最后图像，考虑仅经由精简图像列中 保留的图像的路径。然后，将图像精简处理理解为捜索其中的最佳路径的问题即可。
[0090] 例如，关于由第1~第5图像构成的输入图像列，在保留全部图像的情况下，可W 考虑1-2-3-4-5该样的路径，在仅保留第2、第4图像的情况下，可W考虑2-4该样的路径。 即，该情况下，关于是否保留各图像，如果落入捜索25= 32个路径中的最佳路径的问题，贝U 能够通过动态规划法求出最佳的精简图像列。另外，当设路径的起点为第1图像、终点为第 5图像时，第1、第5图像必定保留在精简图像列中，不适于求出最佳解。由此，在本实施方 式中，关于包含N张图像的输入图像列，设定假想的第0图像和第化1图像，将第0图像作 为起点（图12中的点A)、第化1图像作为终点（图12中的点B)。
[0091] 此时，在求出各点的评价值（W下为累计评价值巧时，需要节点间的评价值（上 述的pi等），但是，在本实施方式中，将使用图像间的变形信息求出的精简区间评价值G作 为该值。目P，关于节点2与节点4之间的分支的评价值，使用假定为保留第2、第4图像并删 除第3图像的 情况下的精简区间评价值G化4)即可。
[0092] 2. 2系统结构例
[0093] 图1示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部 100、图像列取得部200、存储部300。
[0094] 处理部100通过对图像列取得部200取得的图像列删除该图像列中包含的多个 图像的一部分，进行图像精简处理。该处理部100的功能可W由各种处理器（CPU等）、 ASIC(口阵列等）等硬件、程序等实现。
[0095] 图像列取得部200取得作为图像精简处理对象的图像列。认为要取得的图像列是 按照时间序列排列的RGB3通道图像。或者，也可W是通过排列成横向一列的摄像设备拍摄 的空间上排列的图像列那样在空间上连续的图像列。另外，构成图像列的图像不限于RGBS通道图像，也可W使用Grayl通道图像等其他颜色空间。
[0096] 存储部300除了存储图像列取得部200取得的图像列W外，还作为处理部100等 的工作区域，其功能可W由RAM等存储器、皿D(硬盘驱动）等实现。
[0097] 并且，如图1所示，处理部100包括变形估计部1001、假定精简图像选择部1002、 假定紧前精简图像选择部1003、判定对象图像选择部1004、覆盖率计算部1005、精简区间 评价值计算部1006、假定累计评价值计算部1007、最佳紧前精简图像决定部1008、累计评 价值更新部1009、精简图像列决定部1010。另外，处理部100不限于图1的结构，能够进行 省略它们的一部分结构要素或追加其他结构要素等各种变形实施。并且，上述各部是为了 在将由处理部100执行的图像精简处理分割为多个子例程时对各子例程进行说明而设定 的，处理部100不是必须具有上述各部作为结构要件。
[0098] 变形估计部1001进行2个图像间的变形估计处理并取得变形信息。该里，变形信 息表示一个图像中被摄像的范围在另一个图像中被摄像为什么样的形状（范围），例如可 W是专利文献2所公开的变形参数等。在本实施方式中，变形估计部1001取得假定精简图 像选择部1002选择出的假定精简图像与判定对象图像选择部1004选择出的判定对象图像 之间的变形信息、W及假定紧前精简图像选择部1003与判定对象图像之间的变形信息，根 据取得的变形信息进行覆盖率的计算处理。
[0099] 但是，变形估计部1001不限于直接求出基准图像（该里为假定精简图像和假定紧 前精简图像）与判定对象图像之间的变形信息。例如，也可W在作为处理对象的图像列中 求出相邻图像间的变形信息，组合相邻图像间的变形信息来计算不相邻的图像间的变形信 息。该情况下，通过组合基准图像、判定对象图像及其间图像的相邻图像间的变形信息（狭 义地讲为全部图像）来求出基准图像与判定对象图像之间的变形信息。
[0100] 由此，能够减轻变形信息的计算处理的负荷。该是因为，虽然能够通过专利文献2 等所示的方法计算变形信息，但是，与一般情况下从头计算变形信息的处理相比，对多个变 形信息进行复合的处理的负荷非常轻。例如，如果变形信息为矩阵等，则根据2个图像信息 求出该矩阵的处理的负荷较大，但是，对已经求出的多个矩阵进行合成（由于仅取得例如 矩阵的积即可）非常容易。
[0101] 例如，在由图像列取得部200取得的图像列包含N张图像的情况下，认为从中选择 2张图像的组合为NX(N-l)/2,所W，当直接求出基准图像与判定对象图像之间的变形信 息时，可能要进行N2的数量级的次数的负荷较重的处理（从头计算变形信息的处理）。与 此相对，如果使用相邻图像间的变形信息，则负荷较重的处理为N-1次即可。
[0102] 假定精简图像选择部1002从图像列的起始图像的前一个假想配置的图像（第0 图像）到图像列的最后图像的后一个假想配置的图像（第N+1图像）按照时间序列选择图 像，将选择出的图像作为假定精简图像。该里，假定精简图像是作为上述累计评价值E的计 算对象的图像。
[0103] 假定紧前精简图像选择部1003选择假定紧前精简图像。该里，假定紧前精简图像 是作为假定精简图像的前一个精简图像的候选的图像。如果求出假定紧前精简图像的累计 评价值E，则根据该累计评价值W及假定紧前精简图像与假定精简图像之间的精简区间评 价值，能够求出假定精简图像的累计评价值的候选。
[0104]该里，在第k图像为假定精简图像的情况下，作为其前一个精简图像，考虑保留第 k-1图像的情况、删除第k-1图像但是保留第k-2图像的情况、删除第k-l、k-2图像但是保 留第k-3图像的情况、…、删除全部第1~第k-1图像的情况。目P，如果考虑全部情况，贝U 作为假定紧前精简图像，依次选择从假定精简图像的前一个图像到第0图像的全部图像即 可。
[0105] 另外，在本实施方式中，作为对象的输入图像列中包含的图像假设为，图像列中的 位置越近，则相似的可能性越高。目P，在假定精简图像和假定紧前精简图像较近时，与较远 的情况相比，其间的图像的覆盖率较高（判定为能够全部删除）的可能性较高。而且，如后 所述，在假定精简图像与假定紧前精简图像之间的图像中的至少一张图像不可删除、且此 时的覆盖率极低的情况下，也考虑不使假定紧前精简图像进一步远离假定精简图像而中止 处理的情况。由此，假定紧前精简图像选择部1003考虑处理的效率，选择假定精简图像的 前一张图像作为最初的假定紧前精简图像，依次将假定紧前精简图像分别更新为前一张图 像。
[0106] 判定对象图像选择部1004依次选择假定精简图像与假定紧前精简图像之间的图 像作为判定对象图像。该里，将假定精简图像的前一张图像作为最初的判定对象图像，在到 达假定紧前精简图像的后一张图像之前，依次将判定对象图像分别更新为前一张图像。
[0107] 覆盖率计算部1005根据假定精简图像与判定对象图像之间的第1变形信息W及 假定紧前精简图像与判定对象图像之间的第2变形信息，计算判定对象图像的覆盖率。图 2、图3示出覆盖率的计算处理的例子。在图3中，求出使用第1变形信息对假定精简图像进 行变形而投影到判定对象图像上的区域即第1覆盖区域。与此同时，求出使用第2变形信 息对假定紧前精简图像进行变形而投影到判定对象图像上的区域即第2覆盖区域。进而， 将第1覆盖区域和第2覆盖区域的和区域（第1覆盖区域和第2覆盖区域中的至少一方中 包含的区域）作为最终的覆盖区域。然后，将覆盖区域在判定对象图像中占据的比例（狭 义地讲为覆盖区域的面积相对于判定对象图像的面积的比例）作为覆盖率即可。
[010引另外，如果在全部判定对象图像中覆盖率为阔值klW上（包含该值），则转移到使 用覆盖率的精简区间评价值的计算处理。另一方面，在至少一张判定对象图像中覆盖率小 于kl的情况下，保留此时的假定精简图像和假定紧前精简图像，不适于删除其间的全部图 像。由此，关于精简区间评价值，不计算具体值而设定足够小的值（例如--)，W使得不 会选择该种精简图像列（不使该路径成为最佳）。并且，在覆盖率小于k2且kl〉k2的情况 下，在此时的假定精简图像和假定紧前精简图像中，其间图像的覆盖程度极低。该情况下， 即使将假定紧前精简图像更新为进一步远离假定精简图像的位置，认为能够适当覆盖其间 图像的可能性也较低。该情况下，不仅中止判定对象图像的更新处理，还中止假定紧前精简 图像的更新处理，转移到假定精简图像的更新处理。该处理的分支使用图4的流程图详细 叙述。
[0109]精简区间评价值计算部1006根据覆盖率W及假定紧前精简图像与假定精简图像 之间的图像张数，计算精简区间评价值。如上所述，该是基于如下观点：可W删除的图像张 数越多、并且覆盖率越高，则越适合作为精简图像列。具体而言，根据全部判定对象图像的 覆盖率的总和求出第1评价值，求出假定紧前精简图像与假定精简图像之间的图像张数作 为第2评价值。然后，对第1评价值和第2评价值进行加权相加，求出精简区间评价值即可。 例如，在覆盖率用0~1的值表现的情况下，作为精简区间评价值G，可w使用通过G=(第 1评价值）+ (第2评价值）X(图像列的总张数）求出的值。该情况下，由于图像列的总张 数该样的权重的作用较大，所W，能够更加重视图像的删除张数来决定最佳的精简图像列。 但是，精简区间评价值的计算方法不限于此。
[0110]假定累计评价值计算部1007计算假定精简图像的假定累计评价值（作为累计评 价值的候选的值）。具体而言，关于各假定紧前精简图像，将该假定紧前精简图像的累计评 价值W及假定精简图像与假定紧前精简图像之间求出的精简区间评价值之和作为假定累 计评价值即可。另外，由于设第0图像的累计评价值为0,所W，在假定紧前精简图像为第0 图像的情况下，假定累计评价值为精简区间评价值的值本身。
[0111] 最佳紧前精简图像决定部1008从由假定累计评价值计算部1007求出的一个W上 (包含该值）的假定累计评价值中，决定给出最佳评价值（狭义地讲为最大评价值）的假定 紧前精简图像作为最佳紧前精简图像。
[0112] 累计评价值更新部1009决定假定累计评价值中的最佳评价值（狭义地讲为最大 评价值）作为该假定精简图像中的累计评价值。
[011引精简图像列决定部1010在求出第化1图像的累计评价值E(化1)后，通过追寻最 佳紧前精简图像，设定精简图像列。具体而言，在将第化1图像作为最初的处理对象图像的 情况下，在处理对象图像的最佳紧前精简图像不是第0图像的情况下，将该最佳紧前精简 图像保留在精简图像列中，并且将该最佳紧前精简图像作为新的处理对象图像。另一方面， 在最佳紧前精简图像是第0图像的情况下，结束精简图像列决定处理。由此，从第N+1图像 到第0图像追寻最佳紧前精简图像，能够进行将作为该路径上的节点的图像作为精简图像 列的处理。
[0114] 2. 3处理的详细情况
[0115] 使用图4的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始 后，首先，进行变形估计处理（S101)。该处理例如是取得输入图像列中相邻的图像间的变形 信息的处理。
[0116] 接着，进行选择假定精简图像的处理（S102)。在首次进行S102的处理的情况下， 选择作为假想图像的第0图像作为假定精简图像。在此后再次进行S102的处理的情况下， 进行将假定精简图像更新为输入图像列中的后一个图像的处理。
[0117] 在选择了假定精简图像后，进行假定紧前精简图像的选择处理（S103)。该里，首先 选择假定精简图像的前一个图像作为假定紧前精简图像。然后，在不进行S102的假定精简 图像的更新处理而再次进行S103的处理的情况下（从S105或S107返回S103的情况下）， 进行将假定紧前精简图像更新为前一个图像的处理。
[0118] 在选择了假定精简图像和假定紧前精简图像后，依次选择其间的图像作为判定对 象图像（S104)。在选择了判定对象图像后，使用假定精简图像与判定对象图像之间的第1 变形信息W及假定紧前精简图像与判定对象图像之间的第2变形信息计算覆盖率（S105)。 利用S101的变形估计处理的结果求出第1、第2变形信息即可。
[0119] 根据覆盖率，如果可W删除判定对象图像（例如覆盖率为阔值klW上（包含该 值）），则返回S104,对判定对象图像进行更新。只要可W删除判定对象图像，则反复进行 S104和S105的处理，针对假定精简图像与假定紧前精简图像之间的全部图像进行处理。
[0120] 在可W删除假定精简图像与假定紧前精简图像之间的全部图像的情况下，转移到 S106,计算精简区间评价值，根据该精简区间评价值和假定紧前精简图像的累计评价值计 算假定精简图像的假定累计评价值（S107)。在S107的处理后，返回S102,进行假定紧前精 简图像的更新处理。
[0121] 另一方面，在假定精简图像与假定紧前精简图像之间的至少一张图像不可删除、 且未进行中止判定（例如k2兰覆盖率<1^1)的情况下，在此时的假定精简图像和假定紧前 精简图像的组合中，无法充分覆盖其间的图像。由此，将精简区间评价值设定为--等足够 小的值，不采用此时的假定精简图像和假定紧前精简图像的组合作为精简图像。但是，由于 覆盖率的值不会差到进行中止处理该样的判定的程度，所W，返回S103,进行假定紧前精简 图像的更新处理。该是因为，通常存在假定精简图像与假定紧前精简图像之间越宽、则不可 删除的可能性越高的倾向，但是，根据被摄体等，还考虑假定精简图像与假定紧前精简图像 之间越宽、其间的图像的覆盖程度反而越好的可能性。
[0122] 并且，在判定对象图像的覆盖率极低（例如覆盖率小于k2)的情况下，认为在此时 的假定精简图像和假定紧前精简图像的组合中，无法充分覆盖其间图像，并且，即使进行扩 宽假定精简图像和假定紧前精简图像的更新处理，覆盖率的改善可能性也非常低。由此，该 情况下，中止S103~S107的循环处理，转移到S108。此时，考虑S108W后的处理，也可W 进行如下处理；针对假定紧前精简图像的捜索区间中包含的图像、即S103中未选择为假定 紧前精简图像的图像，对精简区间评价值设定足够小的值。例如，假设选择第k-1图像~第 0图像作为假定紧前精简图像，但是，在第k-z图像处判定为中止的情况下，由于没有设定 选择了第k-z-1图像~第0图像作为假定紧前精简图像的情况下的精简区间评价值，所W， 设定--作为该些值即可。
[0123] 并且，反复进行S103的假定紧前精简图像的更新处理，在捜索了全部捜索区间的 情况下，也转移到S108。例如，该对应于选择假定精简图像的前一个图像~第0图像的全部 图像作为假定紧前精简图像而进行了处理的状态。并且，如果是为了削减计算量而将选择 为假定紧前精简图像的图像限定为a张的情况，则对应于选择从假定精简图像的前一个 图像起的a张图像作为假定紧前精简图像而进行了处理的状态。
[0124] 在转移到S108的阶段中，针对S102中选择出的假定精简图像，计算将1个或多个 假定紧前精简图像的各图像作为紧前的精简图像的情况下的累计评价值即假定累计评价 值。由此，决定给出该假定累计评价值中的最佳评价值（狭义地讲为最大评价值）的假定 紧前精简图像作为最佳紧前精简图像（S108)，将此时的评价值作为该假定精简图像的累计 评价值（S109)。
[01巧]通过适当反复循环进行S103~S109的处理，能够求出S102中选择出的假定精 简图像的累计评价值。由此，在S109之后，返回S102,对假定精简图像进行更新，反复进行 S103~S109的处理，针对第0~第化1全部图像求出累计评价值即可。
[0126]在计算出第化1图像的累计评价值后，不存在S102中选择的图像，所W，转移到S110的精简图像列决定处理。具体而言，从第化1图像开始，针对处理对象图像的最佳紧前 精简图像，依次选择追寻到第0图像为止的路径即可。在本实施方式的处理中，由该路径上 的图像构成的图像列（其中，将作为假想图像的第0图像和第N+1图像除外）成为精简图 像列。
[0127] 2. 4处理的具体例
[0128] 使用图5(A)~图8炬）对本实施方式的具体处理的例子进行说明。该里，W输入 了由第1~第6图像构成的图像列的情况为例。附图下部的0~7的数字表示输入图像列 的结构图像，其下方的数字表示该图像的累计评价值。并且，附图上部的格子的各交点上标 注的值表示位于该交点的右下方和左下方的2个图像间的精简区间评价值。并且，较粗的 直线表示从假定精简图像经由最佳紧前精简图像到达第0图像的路线。
[0129] 首先，如图5(A)所示，设第0图像的累计评价值E(0)为0。
[0130] 然后，如图5炬）所示，将第1图像作为假定精简图像，将此前的图像作为假定紧前 精简图像。该里，将第0图像作为假定紧前精简图像，求出第0图像与第1图像之间的精简 区间评价值G(0, 1)。该情况下，由于其间不存在图像，所W不选择判定对象图像。由于不会 选择第0图像W外的图像作为假定紧前精简图像，所W，E(1) =E(0)+G(0，1) =0,最佳紧 前精简图像为第0图像。
[0131]接着，如图6(A)所示，将假定精简图像更新为第2图像。然后，将第1图像作为假 定紧前精简图像，求出G(l，2)。进而，将第0图像作为假定紧前精简图像，求出0(0, 2)。在 求出G(0, 2)的情况下，选择第1图像作为判定对象图像。
[0132] 然后，作为假定累计评价值，求出E(0)+G化2)和E(l)+G(l，2)，将其中的最佳值 作为E(2)，并且，将给出该值的假定紧前精简图像作为最佳紧前精简图像。该情况下，E(2) =1093,最佳紧前精简图像为第0图像。
[0133]W后同样，在将第3图像作为假定精简图像的情况下，依次选择第2~第0图像作 为假定紧前精简图像。然后，在假定精简图像与假定紧前精简图像之间存在1个或多个图 像的情况下，通过依次选择该些图像作为判定对象图像并求出覆盖率，计算精简区间评价 值G。由于求出与选择为假定紧前精简图像的图像张数对应的数量的假定累计评价值（如 果为图6炬）的情况，则为3个），所W，将其中的最佳值作为累计评价值E(3)，将给出该值 的第0图像作为最佳紧前精简图像。
[0134] 图7(A)~图8(A)也是同样的。另外，在图7(A)中，在将假定紧前精简图像作为 第0图像的情况下，不可删除第1~第3图像中的任意一方（将任意一方作为判定对象图 像的情况下的覆盖率小于给定阔值），所W，G(0, 4)=--。并且，由于最佳紧前精简图像 不是第0图像，所W，在将最佳紧前精简图像作为对象的情况下，能够进一步考虑最佳紧前 精简图像。
[0135] 反复进行该处理，求出输入图像列的最后的图像的后方设定的假定图像的累计评 价值（在图8做中为E(7))。然后，由于第7图像的最佳紧前精简图像为第5图像、第5图 像的最佳紧前精简图像为第2图像、第2图像的最佳紧前精简图像为第0图像，所W，由此， 如图8炬）所示，求出从第0图像到第7图像的最佳路径作为0-2-5-7。鉴于第0、第7图像 为假想图像，所W，能够决定由第1~第6图像构成的输入图像列的最佳的精简图像列是由 第2图像和第5图像构成的图像列。
[0136] 2. 5变形例
[0137] 使用图4的流程图等说明的上述处理将作为图像精简处理的对象的图像列整体 设为输入图像列。但是，公知动态规划法的处理时间与处理区间长度（例如由路径长度决 定的值，如果是本实施方式，则由输入图像列中包含的图像张数决定）的平方成比例地增 加。目p，如本实施方式那样，在作为图像精简处理对象的图像列中包含的图像张数非常多的 情况下，认为即使使用动态规划法，可能也很难在现实的处理时间内求出最佳解。
[0138] 因此，为了缩短处理时间，可朗尋图像列分割为多个部分图像列，将各部分图像列 作为输入图像列来进行上述处理。该样，由于能够缩短上述处理区间长度，所W，整体能够 缩短处理时间。
[0139] 具体而言，例如，从图像列中检测场景转换，根据检测到的场景转换将图像列分割 为多个部分图像列即可。该里的场景转换能够通过各种方法求出，但是，例如在利用专利文 献2所记载的方法进行变形估计时，在能够准确记录的区域的面积（表示该区域的遮蔽图 像的像素数）为给定阔值W下的情况下，判定为变形估计失败，考虑将变形估计失败的相 邻图像间作为场景转换。
[0140] 该样，能够减少作为本实施方式的处理（特别是使用动态规划法的处理）的对象 的输入图像列中包含的图像张数，能够缩短处理时间。进而，通过在变形估计失败的图像间 设置部分图像列的边界，在处理中不需要使用该图像间的变形信息。即，由于能够将不准确 到判定为变形估计失败的程度的变形信息从处理中除外，所W，能够提高使用变形信息的 处理的精度（例如覆盖率的计算精度）。
[0141]例如，如图11 (A)、图11做所示，在图像列中检测到A1~A3该3个场景转换的情 况下，将该场景转换作为边界来设定B1~B4该4个部分图像列即可。
[0142] 另外，在根据场景转换而设定了多个部分图像列的情况下，不限于针对该多个部 分图像列一个一个依次进行处理的情况。在处理部100的结构适于并列处理（例如使用具 有多个核的CPU作为处理部100)的情况下、通过多个计算机构成本实施方式的图像处理装 置并利用各计算机进行分散处理的情况下等，也可W针对多个部分图像列并列进行上述图 像精简处理。该样，能够缩短图像精简处理所需要的时间等。
[0143] 在W上的本实施方式中，如图1(或图21)所示，图像处理装置包括：图像列取得 部200,其取得具有第1~第N(N为2W上（包含该值）的整数）图像作为构成图像的输 入图像列；W及处理部100,其进行删除图像列取得部200取得的输入图像列的第1~第N 图像的一部分而生成精简图像列的图像精简处理。而且，处理部100选择输入图像列的第 S(S为满足0兰S兰化1的整数）图像作为假定精简图像，选择输入图像列的第t(t为满足 0 ^t^S-1的整数）图像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s 的整数）图像作为判定对象图像。进而，处理部100根据假定精简图像与判定对象图像之 间的变形信息W及假定紧前精简图像与判定对象图像之间的变形信息求出判定对象图像 的删除评价值，根据第t+1~第S-1图像的删除评价值求出删除了第t+1~第S-1图像的 情况下的评价值即精简区间评价值G(t，S)，根据精简区间评价值进行图像精简处理。
[0144] 由此，能够进行基于精简区间评价值的图像精简处理。精简区间评价值G(t，S)是 将第t图像和第S图像保留在精简图像列中、删除全部第t+1~第S-1图像的情况下的评 价值。即，假设在精简图像列中保留第a图像、第b图像、第C图像该3个图像的情况下，能 够根据G(a，b)和G(b，c)求出该精简图像列的评价值（如果假设第0、第化1图像作为假 定图像，则一并使用G(0，a)、G(c，化1))。由此，如果求出全部第1~第N图像中的任意2 张图像间的精简区间评价值，则能够求出根据输入图像列生成的任意的精简图像列的评价 值，能够从多个精简图像列的候选中捜索最佳的精简图像列。另外，可W针对从第1~第N 图像（或包含假想图像在内的第0~第化1图像）中选择2张图像的全部组合求出精简区 间评价值G，但是，从计算量削减的观点出发，也可W针对一部分G跳过计算处理。此时，由 于根据图像间的变形信息求出精简区间评价值，所W，能够控制由于删除图像而无法观察 的区域的产生程度等。
[0145] 并且，处理部100也可W根据精简区间评价值求出第1~第N图像的各图像的累 计评价值E(1)~E(脚，根据累计评价值进行图像精简处理。
[0146] 由此，能够进行基于累计评价值的图像精简处理。本实施方式的累计评价值E化） 表示假定了保留第0图像和第k图像的情况下的评价值中的最佳评价值（另外，未考虑第 k+1~第化1图像）。在保留第0图像和第k图像的情况下，针对第1~第k-1图像分别存 在保留或删除该两种可能性，所W，2^种情况下的最佳评价值（或判定为最佳的评价值） 成为E化)。目P，通过求出E化)，能够针对保留第k图像的前提下的是否可W删除第1~ 第k-1图像，决定最佳组合。目P，如果作为假想图像的第化1图像求出E(化1)，则能够针对 是否可W删除第1~第N图像决定最佳组合，该无非是求出大区域最佳的精简图像列的处 理。但是，为了削减计算量，假设在本实施方式中使用动态规划法。该情况下，不是直接求 出E(化1)，而是从接近起点（第0图像）起依次求出累计评价值E，在求出给定图像的累计 评价值E(k)的情况下，使用此前的处理结果巧(1)~E化-1))。由此，在本实施方式的图像 精简处理中，通过求出第1~第N图像的各图像的累计评价值E(1)~E(脚，进行图像精简 处理。
[0147] 并且，处理部100也可W将作为假想图像的第0图像的累计评价值设为E(0) = 0， 使用第w(w为满足0 ^W^V-1的整数）图像的累计评价值E(w)W及删除了第W+1~第 V-1图像的情况下的精简区间评价值G(w，v)，求出第v(v为满足1 ^V^化1的整数）图 像的累计评价值，作为E(V) =max(E(W)+G(W，V))。
[014引 由此，能够使用动态规划法求出累计评价值E。该情况下，每当求出E(v)时，不考 虑是否删除第0~第V图像的全部的情况，仅计算V次的E+G并求出其最佳值（狭义地讲为 最大值）即可。即，在求出E(化1)时，虽然需要求出E(l)~E(N)，但是，与直接求出E(化1) 的情况相比，能够大幅削减计算量。
[0149] 并且，处理部100也可W选择满足下式（1)的第X图像作为第V图像的最佳紧前 精简图像。
[0150]
[015。 并且，处理部100也可W求出作为假想图像的第化1图像的累计评价值E(化1)，将 第化1图像设为精简图像列决定处理中的最初的处理对象图像。然后，处理部100在处理 对象图像的最佳紧前精简图像不是第0图像的情况下，进行将最佳紧前精简图像包含在精 简图像列中的处理，并且，进行将最佳紧前精简图像作为新的处理对象图像的更新处理，继 续进行精简图像列决定处理。另一方面，在处理对象图像的最佳紧前精简图像是第0图像 的情况下，结束精简图像列决定处理。
[0152]由此，在求出E(v)时，能够选择第V图像的最佳紧前精简图像，并且使用最佳紧前 精简图像进行精简图像列决定处理。在动态规划法中，从活用此前的处理结果的观点出发， 决定处理对象节点的紧前节点即可，在处理对象节点的处理时点不需要考虑从起点到该紧 前节点的路径。但是，只要针对各节点决定了紧前节点，则通过从终点起依次追溯紧前节 点，能够决定最佳路径。在本实施方式中，将该处理应用于图像列，具体而言，将假定紧前精 简图像中的假定精简图像的假定累计评价值最大的图像作为最佳紧前精简图像即可。精简 图像列决定处理成为在从第化1图像到第0图像的范围内追寻最佳紧前精简图像的处理。
[0153] 并且，处理部100也可W根据第S图像与第U图像之间的变形信息W及第t图像 与第U图像之间的变形信息，计算第S图像和第t图像覆盖第U图像的比例即第U图像的 覆盖率。然后，处理部100根据覆盖率计算删除评价值，求出对与第t+1~第S-1图像有关 的删除评价值进行合计而得到的值作为删除了第t+1~第S-1图像的情况下的精简区间评 价值G(t, S)。 [0154] 由此，能够根据覆盖率求出精简区间评价值。例如，如图2、图3所示，可W使用覆 盖区域求出覆盖率，也可W通过其他方法求出覆盖率。该情况下，由于在精简区间评价值的 计算中使用覆盖率，所W，能够期待根据该精简区间评价值决定的精简图像列成为覆盖率 较高（即抑制产生无法观察的区域）的图像列。
[0155] 并且，处理部100也可W根据第S图像与第U图像之间的变形信息W及第t图像 与第U图像之间的变形信息判定可否删除第U图像。然后，处理部100在第t+1~第S-1 图像中的至少一张构成图像被判定为不可删除的情况下，设定第1值作为删除了第t+1~ 第S-1图像的情况下的精简区间评价值G(t，S)。
[0156] 此时，处理部100也可W设定负的无限大或根据累计评价值决定的给定阔值W下 的值，作为第1值。
[0157]由此，在第t+1~第S-1图像中的至少一张结构图像被判定为不可删除的情况下、 即用第t图像和第S图像无法充分覆盖其间图像的情况下，能够设定给定值作为精简图像 列的评价值，而不使用可W删除的图像张数和覆盖率等观点。具体而言，作为精简图像列的 评价值，设定不可能选择第t图像作为第S图像的最佳紧前精简图像的值。该里，由于累计 评价值越大越好，所W，如果使用--作为上述第1值，则通过该第1值即精简区间评价值 计算出的假定累计评价值成为必定小于通过第1值W外的值即精简区间评价值（相当于可 W删除全部第t+1~第S-1图像的情况）计算出的假定累计评价值的值。
[0158] 但是，如果满足（不可删除的情况下的假定累计评价值中的最大值）<(可W删除 的情况下的假定累计评价值的最小值），则第1值也可W不是--。该情况下，鉴于假定累 计评价值由假定紧前精简图像的累计评价值和精简区间评价值决定，根据累计评价值来决 定第1值。例如，也可W与考虑作为累计评价值的值相比，将绝对值大到级别大幅不同的 程度的负值作为第1值。或者，也可W将比（作为假定精简图像的累计评价值处理的最小 值）-(假定紧前精简图像的累计评价值）更小的值作为第1值，该情况下，也满足不可能选 择第t图像作为第S图像的最佳紧前精简图像该样的要件。
[0159] 并且，处理部100也可W在判定为可W删除全部第t+1~第S-1图像的情况下，根 据第t+1~第S-1图像的图像张数求出删除了第t+1~第S-1图像的情况下的精简区间评 价值G(t，s)。
[0160] 由此，能够根据可化刚除的图像张数求出精简区间评价值。可化刚除的图像张数 越多，则精简图像列中包含的图像张数可W越少，所W，能够提高图像精简处理的效果。另 夕F，如上所述，也可W通过覆盖率的值和给定阔值化1)的比较处理来进行该里的是否可W 删除的判定。但是不限于此，也可W如第2实施方式中后述的那样根据使用构造要素的收 缩处理的结果进行判定，还可W如图20所示组合2个方法进行判定。
[0161] 并且，处理部100也可W在t=S-1~t= 0的范围内W每次-1的方式更新t，并 选择第t图像作为假定紧前精简图像，根据第t图像与第U图像之间的变形信息W及第S 图像与第U图像之间的变形信息进行中止判定处理。然后，针对通过中止判定处理判定为 中止的t，设定第1值作为删除了第X(X为满足0 ^X^t的整数）图像与第S图像之间的 构成图像时的精简区间评价值G(X，S)，结束将第S图像作为假定精简图像的处理。
[0162] 由此，能够进行中止判定。如上所述，本实施方式的图像列中包含的图像假设为， 图像列中的位置越近，则被摄体越相似。目P，在基于第t图像和第S图像的第t+1~第S-1 图像的覆盖程度非常低的情况下，即使对假定紧前精简图像进行更新，认为基于第t-1图 像和第S图像的第t~第S-1图像的覆盖程度也较低。该情况下，即使跳过将第0~第t-1 图像作为假定紧前精简图像的处理，产生问题的可能性也较低，通过该跳过处理，能够削减 计算量。此时，作为将第0~第t-1图像作为假定紧前精简图像的情况下的精简区间评价 值，设定上述第1值即可。
[0163] 并且，处理部100也可W选择第0~第S-1图像中的第S-a~第S-1图像（a为 正整数）的图像作为假定紧前精简图像。
[0164] 由此，由于能够缩小假定紧前精简图像的设定范围（捜索最佳紧前精简图像的范 围），所W能够削减计算量。在本实施方式的输入图像列中，存在当假定精简图像和假定紧 前精简图像过远时、能够覆盖其间图像的可能性降低的倾向。即，即使将假定紧前精简图像 设定在相距假定精简图像极远的位置，选择该假定紧前精简图像作为最佳紧前精简图像的 可能性也非常低，很难说针对该假定紧前精简图像的处理是有用的。由此，该里，也可W限 定假定紧前精简图像的设定范围。
[0165] 并且，处理部100也可W从输入图像列中检测场景转换，在从输入图像列中检测 到第i(i为整数）场景转换和第i场景转换之后的第i+1场景转换的情况下，设定输入图 像列的多个构成图像中的第i场景转换的后方且第i+1场景转换的前方的构成图像作为部 分图像列，对所设定的部分图像列进行图像精简处理。
[0166] 由此，能够将输入图像列分割为多个部分图像列，按照每个部分图像列进行处理。 由于动态规划法的处理时间与处理区间长度的平方成比例，所W，通过按照每个部分图像 列进行处理，能够缩短处理时间。并且，通过对多个部分图像列进行并列处理，也可W进一 步实现处理时间的缩短。
[0167] 另外，可W通过程序实现本实施方式的图像处理装置等的处理的一部分或大部 分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体 而言，读出非暂时的信息存储装置中存储的程序，并由CPU等处理器执行所读出的程序。该 里，信息存储装置（计算机可读取的装置）存储程序和数据等，其功能能够通过光盘值VD、 CD等）、皿D(硬盘驱动）、或存储器（卡型存储器、ROM等）等实现。而且，CPU等处理器根 据信息存储装置中存储的程序（数据）进行本实施方式的各种处理。即，在信息存储装置 中存储有用于使计算机（具有操作部、处理部、存储部、输出部的装置）作为本实施方式的 各部发挥功能的程序（用于使计算机执行各部的处理的程序）。
[0168] 并且，本实施方式的图像处理装置等也可W包括处理器和存储器。该里的处理 器例如可W是CPU(CentralProcessing化it;中央处理单元）。但是，处理器不限于CPU,可W使用GPU(GraphicsProcessingUnit;图形处理单元）或DSP(DigitalSi即al Processor;数字信号处理器）等各种处理器。并且，处理器也可W是基于ASIC的硬件电 路。并且，存储器存储计算机可读取的命令，通过由处理器执行该命令，实现本实施方式的 图像处理装置等的各部。该里的存储器可W是SRAM、DRAM等半导体存储器，也可W是寄存 器或硬盘等。并且，该里的命令可W是构成程序的命令组的命令，也可W是针对处理器的硬 件电路指示动作的命令。
[0169] 3.第2实施方式
[0170] 接着，对根据使用构造要素的收缩处理来判定关注区域的漏看可能性的方法进行 说明。
[0171] 3.1系统结构例。
[0172] 图13示出第2实施方式的图像处理装置的结构例。如图13所示，在与第1实施 方式的图像处理装置（图1)进行比较的情况下，构成为删除覆盖率计算部1005并追加关 注区域漏看判定部1011。关于除此W外的各部，除了精简区间评价值计算部1006中的精简 区间评价值G的计算方法W外，与第1实施方式相同，所W省略详细说明。
[0173] 在假定精简图像、假定紧前精简图像、判定对象图像的选择后，关注区域漏看判定 部1011在删除了该判定对象图像的情况下，进行与成为判定对象图像上被摄像的关注区 域未在假定精简图像和假定紧前精简图像中的某个图像中被摄像的状况（即，成为漏看关 注区域的状况）的可能性有关的判定处理。
[0174] 3. 2关注区域漏看可能性判定和精简区间评价值计算处理
[01巧]对具体的处理流程进行说明。关注区域漏看判定部1011根据关注区域（如果为 胶囊内窥镜，则为不希望漏看的病变部等）生成构造要素。该里，考虑关注区域的典型大小 等，设定不希望漏看的尺寸、形状的区域作为构造要素。例如，如果已知关注区域为病变部、 图像上比直径30像素的圆大的病变的深刻度较高而不应该漏看，则构造要素设定直径30 像素的圆。
[0176] 在选择了假定精简图像、假定紧前精简图像和判定对象图像后，使用变形估计部 1001中的变形估计处理的结果，取得假定精简图像与判定对象图像之间的第1变形信息W 及假定紧前精简图像与判定对象图像之间的第2变形信息。然后，与第1实施方式同样，利 用所取得的变形信息，将假定精简图像和假定紧前精简图像投影到判定对象图像上，求出 覆盖区域。
[0177] 在计算出覆盖区域后，关注区域漏看判定部1011判定关注区域的漏看可能性。具 体而言，针对判定对象图像中的覆盖区域W外的区域即非覆盖区域，如图14所示，进行使 用构造要素的收缩处理，判定是否存在残留区域。
[017引使用图15(A)~图15似对收缩处理的具体例进行说明。如图15(A)所示，非覆 盖区域必定是闭合区域，能够设定其边界。例如，在图15(A)中，设定作为外侧边界的B01 和作为内侧边界的B02。
[0179] 此时，基于构造要素的收缩处理成为如下处理：在将该构造要素的基准点设定在 非覆盖区域的边界上的情况下，删除非覆盖区域和构造要素的重复区域。例如，在设定圆形 状的区域作为构造要素并将其基准点设为圆的中屯、的情况下，进行描绘在非覆盖区域的边 界上具有中屯、的圆、将该圆和非覆盖区域重合的部分从非覆盖区域中除外的处理。具体而 言，如图15(A)所示，描绘W非覆盖区域的外侧边界B01上的点为中屯、的圆，将与非覆盖区 域重复的重复区域（该里为斜线所示的半圆形状的区域）除外。
[0180] 如果考虑离散地进行处理，则由于外侧边界B01由多个点构成，所W，针对该多个 点的各点进行上述处理即可。作为一例，如图15(A)所示，W边界上的一点为起点描绘在给 定方向上依次将边界B01上的点作为中屯、的圆，将该圆和非覆盖区域的重复区域从非覆盖 区域中除外即可。
[0181] 在非覆盖区域的边界的一部分与判定对象图像的边界一致的情况下等，还考虑非 覆盖区域的边界为一个的情况，此时，对该一个边界进行上述处理即可。并且，如图15(A) 所示，在考虑B01和B02该两个边界作为非覆盖区域的边界的情况下，分别对其进行上述处 理。具体而言，如图15做所示，在内侧边界B02中，也描绘在B02上具有中屯、的圆，进行将 该圆和非覆盖区域的重复区域除外的处理，对构成B02的各点反复进行该处理即可。
[0182] 通过进行该种收缩处理，非覆盖区域的面积减小。例如，在着眼于图15(A)的非覆 盖区域的左部的情况下，通过图15(A)所示的B01的收缩处理和图15炬）所示的B02的收 缩处理，完全删除非覆盖区域，不会存在残留区域。另一方面，在着眼于非覆盖区域的右下 部分的情况下，如图15 (C)所示，产生在B01的收缩处理和B02的收缩处理中均不是除外对 象而残存的残留区域RE。由此，针对该里的非覆盖区域整体进行基于构造要素的收缩处理 的结果如图15值）所示，产生残留区域RE。
[0183] 该里，考虑将半径r的圆作为构造要素的情况下的收缩处理所具有的意义。可W 认为作为闭合区域的非覆盖区域是位于边界（可W如B01和B02那样是不同的边界，也可 W是一个边界）内侧的区域。通过对该边界进行上述收缩处理，非覆盖区域所包含的点中 的、从上述边界上的点起位于距离rW内（包含该值）的点成为删除对象。目P，在考虑不作 为删除对象的残留区域中包含的点的情况下，从该点到边界上的任意点的距离大于r。由 此，在描绘W残留区域上的任意点为中屯、的半径r的圆的情况下，该圆的圆周不与任何边 界交叉。换言之，用半径r的圆表现的关注区域表示通过将残留区域中的点作为其中屯、而 完全收敛于非覆盖区域中的状况。另外，在使用圆W外的形状（四边形等）作为构造要素 的情况下，基本想法相同。
[0184]目P，如图15巧）的右下所示，存在残留区域的情况是指与构造要素对应的区域包 含在非覆盖区域中的情况，在该种位置存在病变部等关注区域的情况下，当删除判定对象 图像时，即使保留基准图像，也可能无法观察关注区域。相反，如图15 (巧的左上所示，不存 在残留区域的情况是指关注区域中的至少一部分包含在覆盖区域中的情况，即使删除判定 对象图像，关注区域中的至少一部分也能够保留在基准图像中。如上所述，在关注区域漏看 判定部1011中，对非覆盖区域进行基于构造要素的收缩处理，根据是否存在残留区域来判 定可否删除判定对象图像。
[0185] 本实施方式的精简区间评价值计算部1006根据上述可否删除判定的结果来计算 精简区间评价值。具体而言，在判定为可W删除假定精简图像与假定紧前精简图像之间的 全部图像的情况下，将可W删除的图像的张数（精简区间中包含的图像张数）作为精简区 间评价值。另一方面，在假定精简图像与假定紧前精简图像之间的 至少一张图像被判定为 不可删除的情况下，设定--等足够小的值作为精简区间评价值。
[0186] 精简区间评价值的计算后的处理与第1实施方式相同。
[0187] 3. 3处理的详细情况
[018引使用图16的流程图对第2实施方式的图像精简处理的流程进行说明。该处理的S201~S204与图4的S101~S104相同。然后，在S204中选择了判定对象图像后，如使用 图15(A)~图15(巧说明的那样判定关注区域的漏看可能性。在可W删除（不存在残留区 域）的情况下返回S204。然后，在不可删除（存在残留区域）的情况下，设定足够小的值作 为精简区间评价值，返回S203,进行假定紧前精简图像的更新处理。
[0189] 在不存在S204中要选择的图像（具体而言，可W删除全部判定对象图像）的 情况下，计算假定精简图像与假定紧前精简图像之间的图像的张数作为精简区间评价值 (S206)。此后的S207~S210的处理与图4的S107~S210的处理相同，所W省略详细说 明。
[0190] 3. 4变形例
[0191] 另外，基于构造要素的收缩处理的对象不限于非覆盖区域。例如，如图17(A)所 示，也可W将判定对象图像作为对象来进行基于构造要素的收缩处理。该情况下，通过设定 为关注区域未完全收敛于通过收缩处理削减的区域内（典型情况下设定关注区域的2倍的 尺寸的要素作为构造要素），如图17炬）所示，残存区域成为要求被基准图像覆盖的要覆盖 区域。目P，该情况下，根据要覆盖区域整体是否被假定精简图像和假定紧前精简图像中的至 少一方覆盖来进行可否删除判定即可，具体而言，如图18所示，通过变形信息对假定精简 图像和假定紧前精简图像进行变形并求出覆盖区域，进行使用覆盖区域和要覆盖区域的包 含判定即可。在要覆盖区域包含在覆盖图像中的情况下，可W删除判定对象图像，如果存在 不包含的部分，则不可删除判定对象图像。
[0192] 并且，使用构造要素的可否删除判定处理不限于使用收缩处理，只要是判定非覆 盖区域中是否包含构造要素的处理即可。例如，如图19(A)或图19炬）所示，也可W是如下 的简易方法；根据从覆盖区域的边界上的点（pi~p6等）到判定对象图像的边界的距离 化1~k6等）、或从判定对象图像的边界上的点到覆盖区域的边界的距离，求出与非覆盖 区域的最大直径相当的值，进行所求出的值和构造要素（该情况下为与关注区域相同的尺 寸）的最小直径的比较处理。另外，图19(A)示出判定对象图像为四边形的例子，图19做 示出判定对象图像为圆形状的例子。
[0193] 并且，也可W组合第1实施方式中说明的覆盖率计算处理和第2实施方式中说明 的关注区域漏看可能性判定处理。例如，在与图4的S105或图16的S205相当的部分，在 进行覆盖率计算处理和关注区域漏看可能性判定处理双方之后，进行图20所示的分支处 理即可。
[0194] 具体而言，在覆盖率和关注区域双方的判定中判定为可W删除的情况下，返回 S104,对判定对象图像进行更新，在可W删除全部图像的情况下，转移到S106,使用覆盖率 和删除图像张数计算精简区间评价值G。另一方面，在覆盖率和关注区域中的至少一个判定 中判定为不可删除的情况下，设定足够小的值作为精简区间评价值。并且，在基于覆盖率的 判定中进行中止的情况下，也可W与第1实施方式同样中止处理。
[0195] 由此，能够提高可否删除判定对象图像的判定精度，能够求出更加适当的精简图 像列。
[0196]W上对应用本发明的2个实施方式1~2及其变形例进行了说明，但是，本发明不 限于各实施方式1~2及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结 构要素进行变形而具体化。并且，通过适当组合上述各实施方式1~2和变形例所公开的 多个结构要素，能够形成各种发明。例如，可W从各实施方式1~2和变形例所记载的全部 结构要素中删除若干个结构要素。进而，可W适当组合不同实施方式和变形例中说明的结 构要素。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在 说明书或附图的任意部位中，能够置换为与其不同的用语。该样，能够在不脱离发明主旨的 范围内进行各种变形和应用。
[0197] 标号说明
[0198]E;累计评价值；G;精简区间评价值；100 ;处理部；200 ;图像列取得部；300 ;存 储部；1001 ;变形估计部；1002 ;假定精简图像选择部；1003 ;假定紧前精简图像选择部； 1004 ;判定对象图像选择部；1005 ;覆盖率计算部；1006 ;精简区间评价值计算部；1007 ;假 定累计评价值计算部；1008 ;最佳紧前精简图像决定部；1009 ;累计评价值更新部；1010 ; 精简图像列决定部；1011 ;关注区域漏看判定部。
【主权项】
1. 一种图像处理装置，其特征在于，该图像处理装置包括： 图像列取得部，其取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构 成图像的输入图像列；以及 处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~第N图像 的一部分而生成精简图像列的图像精简处理， 所述处理部选择所述输入图像列的第s (s为满足O f s f N+1的整数）图像作为假定 精简图像， 选择所述输入图像列的第t(t为满足O f t f s-1的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-1图像的所述删除评价值，求出删除了所述第t+Ι~第s-1图像的 情况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值进行所述图像精简处理。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述处理部根据所述精简区间评价值求出所述第1~第N图像的各图像的累计评价值 E(I)~E(N)，根据所述累计评价值进行所述图像精简处理。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述处理部将作为假想图像的第O图像的所述累计评价值设为E(O) = 0， 使用第w(w为满足0 f w f v-1的整数）图像的所述累计评价值E(W)以及删除了第 w+1~第v-1图像的情况下的所述精简区间评价值G (w, V)，作为E (V) = max (E (w) +G (w, V)) 而求出第V (v为满足I S V S N+1的整数）图像的所述累计评价值E (V)。4. 根据权利要求3所述的图像处理装置，其特征在于， 所述处理部选择满足的第X图像作为所述第V图像的最佳紧前精简图像。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述处理部求出作为所述假想图像的第N+1图像的所述累计评价值E (N+1)， 将所述第N+1图像设为精简图像列决定处理中的最初的处理对象图像， 在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情况下，进行将所 述最佳紧前精简图像包含到所述精简图像列中的处理，并且，进行将所述最佳紧前精简图 像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处理， 在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精 简图像列决定处理。6. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像 与所述第U图像之间的所述变形信息，计算所述第S图像和所述第t图像覆盖所述第U图 像的比例即所述第U图像的覆盖率， 根据所述覆盖率计算所述删除评价值， 求出对与所述第t+Ι~第S-I图像有关的所述删除评价值进行合计而得到的值，作为 删除了所述第t+Ι~第s-1图像的情况下的所述精简区间评价值G(t，s)。7. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像 与所述第u图像之间的所述变形信息判定可否删除所述第u图像， 在所述第t+Ι~第s-Ι图像中的至少一张所述构成图像被判定为不可删除的情况下， 设定第1值作为删除了所述第t+Ι~第s-Ι图像的情况下的所述精简区间评价值G(t，s)。8. 根据权利要求7所述的图像处理装置，其特征在于， 所述处理部在所述第t+Ι~第s-Ι图像全部被判定为可以删除的情况下，根据所述第 t+Ι~第s-Ι图像的图像张数，求出删除了所述第t+Ι~第s-Ι图像的情况下的所述精简区 间评价值G(t，s)。9. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部在t = s-Ι~t = O的范围内以每次-1的方式更新t，并选择所述第t图 像作为所述假定紧前精简图像， 根据所述第t图像与所述第u图像之间的所述变形信息以及所述第s图像与所述第u 图像之间的所述变形信息进行中止判定处理， 针对通过所述中止判定处理判定为中止的t，设定第1值作为删除了第x(x为满足 〇 S X S t的整数）图像与所述第s图像之间的所述构成图像时的所述精简区间评价值 G(x，s)， 结束将所述第s图像作为所述假定精简图像的处理。10. 根据权利要求7所述的图像处理装置，其特征在于， 所述处理部设定负的无限大或根据所述累计评价值决定的给定阈值以下的值，作为所 述第1值。11. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部选择第0~第s-Ι图像中的第S-α~第s-Ι图像（α为正整数）的图像 作为所述假定紧前精简图像。12. 根据权利要求1~5中的任意一项所述的图像处理装置，其特征在于， 所述处理部从所述输入图像列中检测场景转换， 在从所述输入图像列中检测到第i (i为整数）场景转换和所述第i场景转换之后的第 i+Ι场景转换的情况下， 设定所述输入图像列的多个所述构成图像中的所述第i场景转换的后方且所述第i+1 场景转换的前方的所述构成图像作为部分图像列， 对所设定的所述部分图像列进行所述图像精简处理。13. -种图像处理方法，其特征在于， 取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构成图像的输入图像 列， 选择所述输入图像列的第S (S为满足O g S g N+1的整数）图像作为假定精简图像， 选择所述输入图像列的第t(t为满足O f t f s-1的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-1图像的所述删除评价值，求出删除了所述第t+Ι~第s-1图像的 情况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值，进行删除所述输入图像列的所述第1~第N图像的一部分 而生成精简图像列的图像精简处理。14. 一种程序，其特征在于，该程序使计算机作为如下部分发挥功能： 图像列取得部，其取得具有第1~第N(N为2以上（包含该值）的整数）图像作为构 成图像的输入图像列；以及 处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1~第N图像 的一部分而生成精简图像列的图像精简处理， 所述处理部选择所述输入图像列的第s (s为满足O f s f N+1的整数）图像作为假定 精简图像， 选择所述输入图像列的第t(t为满足O f t 5 s-Ι的整数）图像作为假定紧前精简图 像， 选择所述输入图像列的第u (u为满足t〈u〈s的整数）图像作为判定对象图像， 根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简 图像与所述判定对象图像之间的所述变形信息求出所述判定对象图像的删除评价值， 根据第t+Ι~第s-Ι图像的所述删除评价值求出删除了所述第t+Ι~第s-Ι图像的情 况下的评价值即精简区间评价值G(t，s)， 根据所述精简区间评价值进行所述图像精简处理。
【专利摘要】图像处理装置包括取得具有第1～第N图像的输入图像列的图像列取得部(200)、以及删除第1～第N图像的一部分而进行图像精简处理的处理部(100)，处理部(100)选择第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择第u(u为满足t<u<s的整数)图像作为判定对象图像，根据假定精简图像与判定对象图像之间以及假定紧前精简图像与判定对象图像之间的变形信息，求出精简区间评价值G(t,s)而进行图像精简处理。
【IPC分类】A61B1/04, A61B1/00, G06T1/00
【公开号】CN104885118
【申请号】CN201380068133
【发明人】矢口阳一, 朝户吕仁
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2013年12月20日
【公告号】EP2940652A1, US20150228056, WO2014103903A1
最新回复(0)