用于显示图像流的系统和方法
用于显示图像流的系统和方法
【技术领域】
[0001] 本发明设及一种用于显示和/或回放图像流的方法和系统，更具体地，本发明设 及一种用于有效显示例如由胶囊内窥镜生成的图像流的多个图像的方法和系统。
【背景技术】
[0002] 图像流可W由一系列的静止图像聚集而成并向用户显示。图像可从各种来源中创 建或收集，例如，使用基文影像公司的商业化的PillCam⑩SB2或ES02可吞咽胶囊产品。例 如，专利号为5, 604, 531和/或7, 009, 634归属Iddan等人的美国专利，委托给本申请的共 同受让人并通过引用方式合并于此，其介绍了一种体内成像系统，其中在一个实施例中包 括可吞咽或者可吸收的胶囊。成像系统在胶囊通过内腔的同时，捕获内腔例如胃肠道（GI) 的图像并将其传输至外部记录装置。胶囊可W不同的进展速度沿着内腔部分前进，W非一 致的速度移动，取决于肠的蠕动运动该速度可W更快或更慢。可收集大量图像用于观察，并 且例如按顺序组合。可W从原始图像流中选择图像用于显示，并可W向用户显示原始图像 流的子集。对整套所捕获的图像进行回放花费的时间可W相对较长，例如可花费若干小时。
[0003]回放的医生可希望查看图像的缩减集，其包括重要的或临床感兴趣的图像，并且 其没有忽略任何相关的临床信息。缩减或缩短的影片可包括具有临床重要性的图像，比 如被选择在胃肠道内预定位置的图像，W及具有病理学或崎形的图像。例如，申请号为 10/949, 220归属化vidson等人的美国专利申请，委托给本申请的共同受让人并通过引用 方式合并于此，在一个实施例中介绍了一种例如通过选择遵循预定标准的图像来编辑图像 流的方法。
[0004] 为了缩短回放时间，原始图像流可被分割成两个或多个图像流的子集，可W同时 或基本上同时显示图像流子集。专利号为7, 505, 062归属于化vidson等人的美国专利，委 托给本申请的共同受让人并通过引用方式合并于此，介绍了一种显示来自贯穿多个连续时 间段的原始图像流的图像的方法，其中，在每个时间段中显示来自原始图像流的一套连续 图像，由此提高了可回放的原始图像流的速率，而不减少图像显示时间。后置处理可被用于 融合同时或基本上同时示出的图像。例如，在委托给本发明的共同受让人并通过引用方式 合并于此的专利号为7, 474, 327的美国专利中描述的实施例中可发现融合图像的实例。
[0005] 与回放单个图像流比较，同时显示多个图像流的子集可产生对于用户在回放时更 具挑战性的影片。例如，当同时查看多个图像流的子集时，图像被典型地W更快的总速率显 示，并且用户需要对存在于多个被同时显示的图像中的可能病理解剖更加集中、专屯、和警 觉。
【发明内容】
[0006] 一种用于显示由体内成像胶囊捕获的图像流的系统和方法可包括生成合并图像， 所述合并图像包括映射图像部分和生成部分。映射图像部分可包括边界像素，该边界像素 表示合并图像的映射部分和生成部分之间的边界。生成部分可包括与边界像素和内部像素 邻近的像素。
[0007] 可进行生成部分的像素的距离变换，而且对于每个像素，可计算像素离最近的边 界像素的距离。可计算生成部分中像素的补偿值。计算生成部分中与边界像素邻近的像素 Pa的补偿值，例如，是通过计算PA的色值和至少一个相邻像素的平均值、中值、广义平均值 或加权平均数之间的差实现的。相邻像素可选自与Pa邻近的边界像素。
[0008] 在一些实施例中，可基于已被指定补偿值的至少一个相邻像素的补偿值，计算生 成部分中内部像素的补偿值。例如，计算生成部分中内部像素的补偿值，可通过计算被指定 补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘W衰减系数实现。
[0009] 对于生成部分中的每个像素，可将被计算的像素补偿值加到像素色值上，从而获 得新的像素色值。可W显示合并图像，其包括映射图像部分和具有新的像素色值的生成部 分。
[0010] 所述方法可包括从体内成像胶囊中接收用于并行显示的一组原始图像；和选择用 于显示所述图像组的模板。所述模板可包括至少一个映射图像部分和一个生成部分。原始 图像可被映射到被选择模板中的映射图像部分上。可生成或合成对于合并图像预定区域 (例如，根据被选择的模板）的填充，从而产生合并图像的生成部分。通过将补了从映射图 像部分复制到生成部分，可生成填充。
[0011] 例如基于计算的距离可W对生成部分中的像素分类，并根据分类的顺序可计算内 部像素的补偿值。映射图像部分的边界像素可包括作为对应生成部分的邻近像素的像素。
[0012] 本发明的实施例可包括一种用于显示合并图像的系统，所述合并图像可包括至少 一个映射图像部分和一个生成部分。映射图像部分可包括边界像素，并且生成部分可包括 与所述边界像素和内部像素邻近的像素。所述系统可包括处理器W计算例如生成部分的像 素，像素至最近边界像素的距离值。处理器可计算与边界像素邻近的生成部分的像素的补 偿值。基于已指定补偿值的至少一个相邻像素的补偿值，可计算生成部分中的内部像素的 补偿值。对于生成部分中的每个像素，可将计算的像素补偿值加到像素的色值上，W获得新 的像素色值。所述系统可包括存储单元，用于存储距离值、补偿值和新的像素色值；和显示 器，用于显示合并图像，所述合并图像包括映射图像部分和具有新的像素色值的生成部分。
[0013] 在一些实施例中，存储单元可存储来自体内成像胶囊的一组原始图像，用于并行 显示。处理器可选择用于显示所述图像组的模板，所述模板可包括至少一个映射图像部分 和一个生成部分。处理器可将原始图像映射到所述选择模板中的映射图像部分，从而产生 映射图像部分。处理器可生成合并图像的预定区域的填充，从而产生生成部分。例如，处理 器可通过将补了从映射图像部分复制到生成部分而生成填充。
[0014] 在一些实施例中，处理器可基于计算的距离值在生成部分中分类像素，并根据分 类的顺序计算内部像素的补偿值。
[0015] 本发明的实施例包括一种变形视频流的多个图像W适应符合人类视野的方法。可 使用失真最小化技术，W基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角和 类楠圆形。可将变形的图像显示为视频流。模板图案可包括映射图像部分和合成部分。通 过将映射图像部分的区域复制到合成部分，并使映射图像部分和合成部分之间的边缘平滑 化，可计算合成部分的值。
【附图说明】
[0016]从下面结合附图的详细说明中，将对本发明进行更全面的理解和领会，其中：
[0017] 图1示出了根据本发明一个实施例的体内成像系统的示意图；
[0018] 图2描绘了根据本发明一个实施例的体内图像流的典型图形用户界面显示；
[0019] 图3A-3C描绘了根据本发明一个实施例的典型双重图像显示；
[0020] 图3D描绘了根据本发明一个实施例的典型双重图像模板；
[0021] 图4描绘了根据本发明一个实施例的典型S重图像显示；
[0022] 图5描绘了根据本发明一个实施例的典型四重图像显示；
[0023] 图6为描绘根据本发明一个实施例的用于显示合成图像的方法的流程图；
[0024] 图7A为描绘根据本发明一个实施例的用于生成合成图像的预定空部的方法的流 程图；
[0025] 图7B为描绘根据本发明一个实施例用于对合成图像中生成部分的边缘平滑化的 方法的流程图；
[0026] 图7C为如图5所示合成的四重图像的左上部显示的放大图。
【具体实施方式】
[0027]在下面的描述中，将对本发明的各个方面进行描述。为了说明的目的，提出了特定 的配置和细节，为的是提供对本发明的全面理解。然而，对本领域技术人员而言也显而易见 的是，不具有此处给出的特定细节时，可W实施本发明。而且，为了不使本发明不清楚，可W 省略或简化熟知的特点。
[0028]根据本发明的一个实施例的系统和方法使得用户可在不增加对编辑的图像流的 总体查看时间的情况下，用更长的时间周期查看图像流的图像。可选地，根据一个实施例的 系统和方法可被用于增加用户可回放图像流的速率，而不牺牲可在流中描绘的细节。在特 定实施例中，从横贯胃肠道的可吞咽或者可消化胶囊中收集图像。图像可被组合成图像流 或影片。在一些实施例中，可W产生原始图像流或完整的图像流，其包括在成像过程中所捕 获或接收的所有图像（例如，整套的帖）。来自图像流的多个图像可被同时或基本上同时显 示在屏幕或监视器上。
[0029]在其它实施例中，减小或编辑的图像流可包括图像的选择（例如，捕获的帖的子 集），其根据一个或多个预定标准选择。在一些实施例中，可从原始图像流中省略图像，例 如，原始图像流可包括比通过可吞咽胶囊捕获的图像数量更少的图像。例如，过饱和的，污 染的，包括肠道内含物或浑浊的图像，和/或与相邻图像非常类似的图像，可从由成像胶囊 捕获的整套图像中移除，而且原始图像流可包括由成像胶囊捕获的图像的子集，在该些情 况下，减小的图像流可包括根据预定标准选自原始图像流的减小的图像子集。
[0030]本发明的实施例可包括物品，比如计算机或处理器可读非临时性存储介质，比如 例如存储器，硬盘驱动器或USB闪存装置编码、包括或存储指令，例如，计算机可执行指令， 当由处理器或控制器执行时，其导致处理器或控制器实施此处公开的方法。
[0031] 参考图1，其示出根据本发明一个实施例的体内成像系统的示意图。在一个示例 实施例中，系统包括胶囊40,其具有一个或多个成像器46用于捕获图像，一个或多个照明 源42用于照明身体内腔，和传输器41用于向接收装置传输图像和可能的其他信息。体内 成像装置可与专利号为5, 604, 531和/或7, 009, 634归属Iddan等人的美国专利，和/或 申请号为11/603, 123归属Gilad的美国专利申请相一致，但在可选实施例中可W为体内成 像装置的其他类别。通过成像系统捕获的图像可W为包括例如圆形、正方形、矩形、八角形、 六角形等任何合适的形状。典型地，位于患者体外的一个或多个位置的是图像接收器12,包 括天线或天线阵列（未示出）；图像接收器存储单元16 ;数据处理器14 ;数据处理器存储单 元19 及图像监视器18,用于显示，除了别的W外，由胶囊40记录的图像。典型地，数据 处理器存储单元19包括图像数据库21。处理器14和/或其他处理器，或图像显示发生器 24,可W被配置为执行由本文中描述的方法，例如，被连接到存储到当由处理器执行时使得 处理器执行此方法的存储单元或存储器的指令或软件。
[0032] 典型地，数据处理器14、数据处理器存储单元19和监视器18为个人电脑或工作站 的部件，其包括标准组件，比如处理器14、存储器、硬盘驱动器和比如鼠标和键盘的输入输 出装置，尽管替换配置是可能的。数据处理器14可包括任何标准的数据处理器，比如微处 理器，多重处理器、加速板，或任何其它串联或并联高性能数据处理器。数据处理器14作为 其功能性的部分，典型地充当控制器的作用，控制图像（例如，其图像，在各种窗口中的图 像位置，图像显示的计时或持续时间等）的显示。图像监视器18典型地为常规的视频显示 器，但是另外也可W是任何能够提供图像或其它数据的其它装置。图像监视器18典型地W 静止和移动图片的形式呈现图像数据，并可另外呈现其它信息。在一 个典型实施例中，在窗 口内显示各种类型的信息。窗口可W是例如显示器或监视器上的部分或区域（可能勾画轮 廓或形成边界），其它窗口可被使用。多个监视器可被用于显示图像和其它数据，例如，图像 监视器也可W包括在图像接收器12中。数据处理器14或其它处理器可实施如此处描述的 方法。例如，图像显示发生器24或其它模块可W是由数据处理器14执行的软件，或可W是 例如执行软件或由专口电路控制的处理器14或另一个处理器。
[0033] 在运行时，成像器46捕获图像并将表示图像的数据发送至传输器41，其使用例如 电磁无线电波传输图像至图像接收器12。图像接收器12将图像数据传递至图像接收器存 储单元16。在数据收集的特定时间周期后，存储在存储单元16中的图像数据可被发送至 数据处理器14或数据处理器存储单元19。例如，图像接收器12或图像接收器存储单元16 可W从患者的身体上取下，并经由标准数据链接，例如串联、并联、USB，或已知结构的无线 接口被连接到包括数据处理器14和数据处理器存储单元19的个人电脑或工作站。然后图 像数据从图像接收器存储单元16被传递至数据处理器存储单元19内的图像数据库21。典 型地，图像流作为一系列图像被存储在图像数据库21中，其可W各种已知方式实现。数据 处理器14可W分析数据并将分析的数据提供至图像监视器18,其中用户查看图像数据。数 据处理器14与基本操作软件，比如操作系统和装置驱动器结合，操作软件，控制数据处理 器14的运行。典型地，软件控制数据处理器14包括WC++语言书写的编码，并可使用各种 开发平台，比如Microsoft的.NET平台实现，但是可W各种已知的方法实现。
[0034] 数据处理器14可包括或执行图形软件和/或硬件。数据处理器14可基于多个预 定标准对每个帖分配一个或多个分数、等级或测量。当在此使用时，"分数"可W是总分数或 等级，其中（在一个实施例中），分数越高，帖越可能被包括在影片中，并且（在另一个实施 例中），分数可与特定性质，例如质量分数、病理分数、类似分数，或表示帖所具有的质量的 量或可能性的另一个分数或测量相联系。数据处理器14可选择具有用于显示的最佳范围 内的分数的帖和/或移除具有次佳范围内的分数的帖。分数可代表，例如，（常规或加权） 平均帖值或与多个预定标准相联系的分项分数。选择的帖的子集可W作为编辑（缩减的） 影片或图像流而被按顺序放映。
[0035] 在原始流和/或缩减流中的图像可根据捕获的时序时间而被顺序排序（且因此流 可具有顺序），或可W根据不同标准（比如图像之间的相似度、色彩水平、照明水平、图像中 的物体与体内装置的估计距离、图像的疑似病理分类等）而被排列。
[0036] 数据处理器14可包括，或可操作地连接至图像显示发生器24。图像显示发生器 24可被用于从多个图像中生成用于显示的单个合并图像。例如，图像显示发生器24可例 如，从图像数据库21中接收多个原始图像帖，例如图像流，并生成包括多个图像帖的合并 图像。
[0037] 如此处所用的原始图像帖指的是单个图像帖，其通过成像器，例如体内成像装置 而被捕获。在一些实施例中，原始图像帖可经过特定的图像预处理操作，比如图像强度的定 屯、、标准化，统一图像的形状和尺寸等。
[0038] 如此处所用的合并图像为由多个比如由胶囊40捕获的原始图像组成的单个图 像。合并图像中的每个图像可在不同时间下被捕获。合并图像典型地具有预定形状或轮廓 (例如由模板限定）。使用圆形或类楠圆形，模板图案的预定形状或轮廓被设计为更好地适 应人类视野。模板图案的形成，使得在原始图像中捕获的所有视觉数据被运输或显示到用 户，且没有（大量或显著的）视觉数据丢失或移除。由于人类的视野是圆形的，如果合并图 像为矩形，可能难W查看位于合并图像角落中的细节。
[0039] 构成合并图像的每个原始图像可被映射至合并图像中的预定区域。原始图像的形 状或轮廓典型地不同于原始图像所映射至的合并图像中的区域的形状或轮廓。
[0040] 用户可选择被显示为单个合并图像的原始图像的数量。基于将被同时显示的选择 的图像的数量（例如1、2、3、4,16)，可生成单个的合并图像。图像显示发生器24可映射所 选择数量的原始图像至合并图像中的预定区域，并可生成用于显示为图像流的合并图像。
[0041] 在一些实施例中，图像显示发生器24可确定被显示的合并图像的性质，例如，屏 幕上的位置和尺寸，从多个原始图像中生成的合并图像的形状和/或轮廓，自动生成和施 加至图像容量的图像W填充模板的预定区域，和/或生成映射图像之间的边界。如果用户 选择例如，四个图像W同时显示，则图像显示发生器24可确定、产生或（例如从存储模板的 清单中）选择模板（其可包括合并图像的轮廓或外形和尺寸），从流中选择四个原始图像， 并根据合并图像模板的四个预定区域映射四个原始图像，从而生成单个合并图像。该过程 的实施可用于整个图像流，例如用于初始捕获图像流中的所有图像，或用于其部分（例如 用于编辑的图像流）。
[0042] 收集和存储的图像数据（例如原始图像流）可被无限期地存储、传递至其它位置、 操作或分析。健康专家可W，例如使用图像用W分析胃肠道的病理状态或崎形，并且，另外 系统可提供关于该些病理位置的信息。使用一种系统，其中数据处理器存储单元19首先收 集数据，然后将数据传递至数据处理器14,图像数据不是被实时查看，其它配置容许实时查 看，例如在作为图像接收器12的部分的显示器或监视器上查看图像。
[0043]由胶囊40记录和传输的图像数据可W是数字颜色图像数据，尽管在替代实施例 中，可W使用其它图像形式。在一个典型实施例中，根据已知方法，图像数据的每帖包括320 行，每行320像素，每个像素包括颜色和亮度的字节。例如，在每个像素中，颜色可由四个子 像素的拼接呈现，每个子像素对应于原色，比如红、绿或藍（其中一个原色可被呈现两次）。 总的像素亮度可由一个字节（即0-255)亮度值记录。图像可W例如按顺序被存储在数据 处理器存储单元19中。存储的数据含有一个或多个像素性质，包括颜色和亮度。可W使用 其它图像形式。
[0044] 数据处理器存储单元19可存储一系列由胶囊40记录的图像。胶囊40记录的图 像，例如当其移动通过患者的胃肠道时，可W被连续组合，W形成作为图像流的一系列可显 示的图像。当查看图像流时，用户被典型地在监视器18上呈现一个或多个窗口；在替代实 施例中，不需使用多个窗口，且只有图像流可被显示。在提供多个窗口的一个实施例中，例 如，图像窗口可提供图像流，或者只是该图像的部分。另一个窗口可包括可W改变图像显示 的按钮或其它控制；例如，停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制。该样的 控制可W通过例如指示设备，比如鼠标或轨迹球启动。典型地，图像流可W被冻结，W便查 看一帖，加速或反转；可跳过部分；或者任何其它查看图像的方法都可用于图像流。
[0045] 在一个实施例中，原始图像流，例如由体内成像胶囊捕获的图像流可根据不同的 选择标准被编辑或缩减。例如在归属化vidson等人，委托给本申请的共同受让人并通过引 用方式合并于此的公开号为2006/0074275的美国专利申请[0032]段中公开的选择标准的 实例，包括基于数字的标准，基于质量的标准，基于注释的标准，色彩差异标准，和/或与预 先存在的图像，比如描绘崎形的图像的类同物。所编辑或缩减的图像流可包括与原始图像 流相比缩减数量的图像。在一些实施例中，查看者为了节省时间可查看缩减流，例如取代查 看原始图像流。
[0046] 当查看体内图像流时，例如根据当捕获图像时体内装置的估计速度，或根据流中 连续图像之间的相似性，图像的显示速率可变化。例如，在专利号为6, 709, 387的美国专利 中公开的实施例中，图像处理器与至少两个图像帖关联，从而确定其相似性范围，并且用W 生成与所述相似性关联的帖显示速率，其中当所述帖一般不同时，所述帖显示速率较慢，且 当所述帖一般类似时显示速率较快。
[0047] 图像流可通过在单个窗口中显示合并图像而呈现给查看者，使得整个图像流中或 编辑的图像流中的一组连续或邻近的（例如，按时间相互贴近，或W捕获时间）帖可W被基 本上同时显示。根据一个实施例，在每个时段中（例如一个或多个图像将被显示在窗口中 的周期），在图像流中连续的多个图像被显示为单个合并图像。时段的持续时间对于所有时 段可W-致，或者变化。
[0048] 在一个典型实施例中，为了改进对病理的可见性，并产生人类视野的更适合或舒 服的查看，图像显示发生器24可映射或弯曲原始图像（至预定成形的区域），W生成合并图 像的更平滑轮廓。例如使用本领域已知的共形映射技术（保留局部角度的转换，也称共形 转换，角度保留转换，或双全纯映射），可W实施该种映射。映射图像部分的模板设计可W典 型地为对称的，例如，每个图像可W与其它含有合并图像的原始图像类似或相等的形状和 尺寸被显示。例如，图像可被反转并呈现为镜像，图像可具有其取向或被修改，或图像可被 另外处理，W增加对称性。在一个实例中，原始图像可W是圆形，并且合并图像可具有圆形 的矩形形状。
[0049] 在一些实施例中，用于产生合并图像的模板可包括预定空部，该空部未通过失真 最小化技术（例如共形映射算法）而被填充。在一个实例中，原始图像可w是圆形，并且 在合并图像中的映射区域的形状可W是正方形或者类似于具有圆角的矩形。当将已知的 失真最小化技术应用于正方形区域时，失真最小化技术可在角上生成图像部分的较大的放 大。因此，本发明的实施例使用具有圆形角的映射模板，而未通过失真最小化技术被填充的 空部（例如在合并图像的中间，和连接映射图像的角处，如图3D所示），可通过其它方法填 充。在一些实施例中，图像显示发生器24可生成对于合并图像的预定空部的填充。当显示 图像时，模板可限定一组图像将怎样被放置和/或图像将怎样被成形或修改。
[0050]当多个图像被同时显示时，图像流的查看时间可被缩减。例如，如果图像流从合并 图像中生成，每个合并图像均包括同时显示的两个或多个原始图像，并且在每个连续时段 中，连续的合并图像被显示（例如，具有在不同时段中显示的非重复的原始图像，使得每个 图像只在一个时段中显示），然后，图像流的总体查看时间可被缩减至初始时间的一半，或 每个时段的持续时间可W较长，从而使查看者有更多时间在显示器上检查图像，或两者都 可发生。例如，如果原始图像流可W每秒20帖被显示，则在每个时段中同时显示的两个图 像可W每秒10帖被显示。因此，每秒相同数量的总体帖被显示，但是，用户可查看多达两倍 的信息，并且每帖被显示长度为两倍。
[0051] 图像流的总体显示时间和每个图像出现在显示器上的持续时间之间存在权衡。例 如，总体查看时间可与原始图像流的总体查看时间相同，但是每帖被显示至用户更长的时 间周期。在另一个实例中，如果用户W-个速率舒适地查看单个显示图像，增加第二图像将 容许用户增大总体查看速率而不减少每帖被显示的时间。在替代实施例中，当图像流被作 为单个图像流显示时和当其作为合并图像流而被显示时的显示速率之间的关系可W不同； 例如，所得的合并图像流可W与原始图像流相同的速率被显示。因此，显示方法可W不仅减 少图像流的总体查看时间，而且增加屏幕上一些或所有图像的显示时间的持续时间。
[0052] 在一个典型实施例中，用户可在每个时段查看单个图像和每个时段查看多个图像 之间 切换模式，例如，使用比如按键的控制或者使用指示设备（例如鼠标或触摸板）选择的 屏幕上的按钮。用户可W类似于控制单个图像显示的方式，例如通过使用屏幕上控制来控 制多个图像显示。
[0053] 现在参考图2,其描绘了根据本发明的一个实施例的体内图像流的典型的图形用 户接口显示。显示器300包括各种用户接口选择和典型的合并图像流窗口 340。显示器300 可显示在例如图像监视器18上。合并图像流窗口 340可包括被合并到单个窗口中的多个 原始图像。合并的图像可包括多个图像部分（或区域），例如部分341、342、343、344。每个 图像部分或区域可对应于不同的原始图像，例如原始捕获图像流中的不同图像。原始图像 可被弯曲或映射到图像部分341-344中，并可被融合在一起（例如在图像部分341-344之 间具有平滑边缘，或不具有平滑的边界）。
[0054] 颜色条362可被显示在显示器300上，并且可表示图像或流中合并图像的平均颜 色。时间间隔可被表示在分隔的时间轴上，或在颜色条362上，并且可表示当前显示在窗 口 340中的图像的捕获时间。一组控制器314可改变图像流在合并图像窗口 340中的显 示。控制器314可包括例如停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制，用于 冻结、加速、或倒转窗口 340中的图像流。查看速度条312可由用户调节，例如，滑触头可表 示每秒钟显示帖（例如合并帖或单个帖）的数量。时间指示器310可提供流逝的或与目前 所示图像，编辑图像流和/或原始未编辑图像流的总长度相关的绝对时间表示。目前所示 图像流逝的绝对时间可W例如为在第一次启动成像装置（例如图1的胶囊40)或图像接收 器（例如图1的图像接收器12)开始接收来自成像装置的传输的时刻和捕获或接收当前被 显示图像的时刻之间流逝的时间量。
[00巧]使用控制器316,用户可W使用输入装置（例如鼠标、触摸板或图1的其它输入装 置24)，捕获并存储一个或多个当前显示的图像作为缩略图像（例如从作为窗口 340中的合 并图像出现的多个图像中）。
[0056] 缩略图像354、356可W参照在颜色条（或时间条）362上的适合的有关帖捕获时 间而被显示。相关注释或概要355、357可包括对于每个缩略图像的图像捕获时间，W及与 当前缩略图像相关的概要信息。
[0057] 胶囊定位窗口 350可包括在患者胃肠道内的成像装置的当前位置和/或取向，并 且可显示胃肠道的不同片段为不同颜色。在捕获当前显示图像（或多个图像时），突出的片 段可表示成像装置的位置。进度条或图表352可表示由成像装置经过的整个路径长度，并 可提供在当前显示图像被捕获的时间下经过的路径的百分数的估计或计算。
[0058] 控制器322可容许查看者在例如未编辑图像流的人工查看模式和用户可只查看 来自根据预定标准编辑的流的图像子集的自动编辑查看模式之间选择。视图布局控制器 323容许查看者在单个窗口（在窗口 340中显示一个图像）中查看图像流，或查看包括两个 图像（双重）、四个图像（四重）或拼接视图布局中的较大数量图像（例如9、16)的合并图 像之间选择。显示预览控制器321可向查看者显示来自原始流的所选图像，例如选为感兴 趣的或具有临床价值（QV)的，其余的图像（CQV)或只是具有疑似出血迹象的图像（SBI)。
[0059] 图像调节控制器324可容许用户改变显示图像的性质（例如强度、颜色等），同时 变焦控制器325能够增加或降低在窗口340中的显示图像的尺寸。使用控制器326,用户可 选择哪些显示部分被示出（例如缩略、定位、进度条等）。
[0060] 现在参考图3A-3C，其描绘了根据本发明的实施例的典型合并双重图像显示窗口 280、281、282。在图3A中，合并图像280包括两个图像部分（或区域）210和211，其分别 对应于来自原始捕获图像流的两个原始连续图像201、202。原始图像201、202为圆形，分 离的，同时在合并图像280中，原始图像被再次成形为图像部分210、211的所选形状（或模 板）。重要的是注意到图像部分（或区域）210、211不包括部分（或区域）230、231、250和 251。
[0061] 在一个实施例中，为了再次成形原始（例如圆形）图像为所选模板轮廓，失真 最小化映射技术，例如共形映射技术或"平均值坐标"技术（例如由MichaelS.Floater 著的"平均值坐标"，http://cs.brown.edu/courses/cs224/papers/mean-value.p壯） 可被应用。共形映射转换在区域中一点处相交的任意的曲线对，使得映射图像曲线W 相同的角相交。对于图像的共形映射存在已知的解决方案，例如，TorbinA.Driscoll 的Schwarz-C虹istoffel工具箱（SC工具箱）版本2. 3为用于WMATLAB版本6. 0或 随后（在ht1:p://www.math.udel.edu/ ~化iscoll/software/SC/ 中工具箱可用）的 Schwarz-化ristoffel共形映射的交互计算和形象化的M文件的汇编。
[0062] 可使用失真最小化映射的其它方法。例如，"尽可能刚性"（ASA巧技术为变形 技术，其混合给定的二或=维形状内部而非其边界。从随着其从其来源变化至目标结构， 局部体积发生最小失真的意义上讲变形是刚性的。"尽可能刚性"技术的一个实施例在Alexar、Cohen-〇;r和Levin的文章"尽可能刚性成形插值"，或T.Igarashi、T.Moscovich和 J.F.化曲es的文章"尽可能刚性成形操作"中被公开。另一种技术，称作"尽可能相似"技 术，在例如LeviZ.和GotsmanC.的由IE邸形象化和计算机制图学报，于2012年发表的 "D-Snake;通过尽可能相似模板变形的图像登记"中被描述。其它技术也有可能，例如，全 纯映射和准共形映射。
[0063] 失真最小化映射可W大量计算，因此在一些实施例中，失真最小化映射的计算可 W在体内图像显示给查看者之前离线实施一次。计算的映射可W随后用于从患者汇集的图 像流，并且映射可W在图像处理时被应用。失真最小化映射转换可W例如从规范的圆形至 所选的模板轮廓，例如矩形、六角形或任何其它形状而被运算。该初始运算可被一次完成， 且结果可被应用于由每个使用的胶囊捕获的图像。运算可W应用于每个捕获帖。在一些实 施例中也可使用在线计算。
[0064] 可W产生对图像的区域或部分填充的需求，因为如果原始图像形状被转变成不同 的形状（例如，在如图5所示的四重合并图像的情况下，圆形图像可W转化成具有角的形 状），共形映射在转换图像的角处可生成原始图像的大的放大率。因此，圆形角（而不是直 角）可用于图像部分模板中，并且作为圆形角的结果生成的合并图像的空部或部分可被填 充或生成。
[0065] 失真最小化映射算法可被用于转换原始图像至不同形状的图像，例如，原始图像 201可被转换成对应的映射图像部分210，且原始图像211转换为对应的映射图像部分202。 在一些实施例中，在原始图像201被映射至图像部分210后，合并图像模板的余下的预定 空区或部分230和250可被自动填充或生成。类似地，原始图像202可被映射到图像部分 211，而模板的余下的预定空部231和251可被自动填充或生成。
[0066] 填充物可W例如为用于填充或复制图像或监视器显示的一部分的包含物。生成对 部分或区域230、250的填充，或填充区域的实施可例如通过将附近的补了或部分从映射图 像部分210复制成有待生成或填充的部分或区域，并且对所产生的边缘平滑化。该方法的 优势是附近补了的局部质地是类似的，并且运动方向是连续的。在产生于合并图像的图像 流中，由于补了总是从原始图像中的相同地点复制，在生成部分或区域的面积中的视频流 是连续的，由于帖之间的过渡局部等同于部分被复制的地点中的过渡。该容许在视频中独 立合成序列帖，而不检查W前和/或后续的帖，由于帖的序列保持一致和流畅。
[0067] 在一个实施例中，可选择补了，例如使得补了的尺寸和形状与需要被填充或生成 的部分或区域的尺寸和形状相同。在其它实施例中，可选择补了，使得补了的尺寸和/或形 状不同于需要被生成或填充的区域或部分的尺寸和形状，并且补了可W相应地缩放，调整 尺寸和/或再次成形，W适应生成的部分或区域。
[0068] 在合并图像（其被显示为图像流的部分）中合成（或生成）区域或部分可需要快 速处理，例如为的是保持图像流的帖显示速率，并且用于保留处理资源用于另外的任务。用 于平滑合并图像中填充（或生成）部分边缘的方法在此处的图7B中描述。
[0069] 一旦部分230、250和231、251被填充或生成，可生成（映射）图像部分210、211之 间的边界。使用若干方法可进一步处理边界。在一个实施例中，边界可被混合、平滑或融合， 且两个图像部分210、211可被归并成具有不明显边界的单个合并图像，例如如区域220所 示。在另一个实施例中，边界可保持明显，例如如图3B所示，且分隔线218可加到合并图像 上，W突出两个图像部分212、213之间的分离。在又一个实施例中，不需添加分隔线，且两 个图像部分可简单地互相靠近放置，例如，如边缘222所示，其示出了图3C中图像部分214 和图像部分215之间的边界。边缘222可限定或是区域或图像部分214的边界，且边界可 由像素构成。
[0070] 现在参考图3D，其描绘了根据本发明的实施例的典型双重合并图像模板。模板 260包括映射图像部分270、271，其目的为映射所选的两个原始图像，用于双重合并图像的 显示。部分261和262为预定的空部，其目的为使用如此处所述的填充方法被生成或填充。 部分261和262对应于图像部分270,而部分262和263对应于图像部分271。线条273表 示图像部分270和图像部分271之间的分离。
[0071] 现在参考图4,其描绘了根据本发明的实施例的典型=重合并图像显示。合并图像 400包括=个图像部分441、442和443,其分别对应于来自捕获图像流的=个原始图像。原 始图像可W例如是圆形并且分离的（例如类似于图3A中的图像201和202)，而在合并图像 400中，原始图像再次成形至图像部分441、442和443的所选形状（或模板）。原始图像也 可W任何其它形状，例如正方形、矩形等成形。
[0072] 类似于上面图3A的描述，为了映射或再次成形原始（例如圆形）图像401、402、 403至图像部分441、442和443的所选模板形状，可应用失真最小化技术。在将原始图像 映射至图像部分441、442和443的新的形状或轮廓之后，部分410-415可保持空白。部分 410-415可W例如如参考图3A的部分230、231、250和251描述的生成或填充。
[0073] -旦部分410-415被填充或生成，使用若干方法，可W生成图像部分441、442和 443之间的边界。在一个实施例中，边界可W是平滑或融合的，并且=个图像部分441、442 和443可W合并成具有不明显边界的单个合并图像，例如如区域420、422和424所示。在另 一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，W突出=个图像部分441、 442和443之间的分离。在又一个实施例中，不需要添加分隔线，且S个图像部分可简单地 互相邻近放置，例如类似于边缘2 22,其表示或为图3C中的图像部分214和图像部分215之 间的边界。
[0074] 现在参考图5,其描绘了根据本发明的实施例的典型四重图像显示。例如由于对 人类视野的更好利用，合并图像500的圆形轮廓可改进查看图像流的过程。所得到的合并 图像例如与原始图像轮廓，比如圆形或矩形比较，可W更便于查看。合并图像500包括四个 图像部分541、542、543和544,其分别对应于来自捕获图像流的四个原始图像。图像部分 541-544通过轴550和轴551表示，其将合并图像500分成四个子部分，对应于用于生成每 个部分的原始图像。原始图像的成形与图像部分541、542、543和544的预定形状不同。图 像在合并图像500上的位置可由一模板限定，该模板确定映射图像在哪出现，其何时被应 用至模板。
[00巧]在该实例中，例如使用共形映射技术，原始图像被映射至图像部分541-544。重要 的是注意到图像部分541-544不包括内部部分或区域501-504,其目的为在共形映射过程 后保持为空白。原因是如果使用相同的共形映射技术W便同样将原始图像映射至该些部 分，映射过程可在角区域（由内部部分501-504表示）处生成大的放大率，并且可在原始图 像中捕获的目标之间产生成比例的失真视图。
[0076] 内部部分501-504可通过例如如关于图3A所描述的填充技术生成或填充。邻近 映射图像部分之间（例如在映射图像部分541和542或541和544之间）的边界可被平滑 化（例如如图5所示），由线条分离，或者可保持为不具有明显分隔的接触图像。
[0077] -旦内部部分501-504被生成或填充，使用一个或多个若干方法可生成映射图像 部分541-544之间的边界。在一个实施例中，边界可被平滑化或融合，并且四个映射图像部 分541-544可归并成具有不明显边界的单个合并图像，例如如连接区域520-523中所示。 在另一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，W突出映射图像部分 541-544之间的分离。在又一个实施例中，不需添加分隔线，且四个映射部分可简单地相互 邻近放置，例如类似于边缘222,其表示图3C中映射图像部分214和映射图像部分215之间 的边界。可使用其他方法。
[0078] 现在参考图6,其为描绘用于显示根据本发明的实施例的合并图像的方法的流程 图。在操作600中，可接收多个原始图像（例如从内存，或从体内成像胶囊中）用于同时显 示，例如，W相同时间或基本上同时，在相同屏幕或展示器上显示。可选择多个原始图像，用 于同时显示为合并图像，选择来自在体内，例如通过可吞咽成像胶囊捕获的图像流。在一个 实施例中，多个图像可W是时间排序的连续图像，随着其穿过胃肠道时由成像胶囊捕获。例 如从存储单元（例如存储器19)或图像数据库（例如图像数据库21)中可接收原始图像。 在用于同时显示的多个图像中的图像数量可W被预定或自动确定（例如通过处理器14或 显示发生器24)，或可W作为输入从用户（其可选择，例如双重、S重或四重合并图像显示） 接收。
[0079] 在将同时显示在合并图像中的图像数量被确定之后，可W在操作610中选择或创 建用于显示的模板，例如自动通过处理器（比如处理器14或显示发生器24)，或基于来自用 户的输入。所选模板可选自存储在存储单元（例如存储器19)中的一组预定模板，所述存 储单元被可操作地连接至处理器。在一个实施例中，若干预定结构可用，例如对于每个作为 合并图像同时显示在屏幕上的图像数量，可预定一个或多个模板。在其它实施例中，模板可 被快速设计，例如根据用户输入，比如希望的原始图像的数量，从而合并和期望的合并图像 的轮廓。
[0080] 多个原始图像可被映射或应用至所选的模板，或映射或应用至模板中的区域，在 操作620中，W产生合并图像。所产生的合并图像将多个原始图像结合到具有预定轮廓的 单个图像中。每个原始图像可被映射到或应用到所选模板的一部分或区域。例如根据图像 性质，例如按时间顺序的捕获时间，图像可被映射至合并图像部分在一个实施例中，来自具 有最早捕获时间或捕获时间戳的多个原始图像的图像，可W在双重视野（例如至图3A的 双重合并图像中的映射图像部分210)中被映射或应用至模板左侧。例如基于在图像（例 如具有最高病理分数的图像或来自用于同时显示的多个图像，最有可能包括病理现象的图 像）中捕获的病理可能性，可选择其它映射配置。
[0081] 在一些实施例中，将原始图像映射到所选模板的预定区域可通过保角映射技术实 施。由于保角映射在原始图像中保持曲线的局域角，变换图像结果保持在原始图像中捕获 的目标的形状（例如，在体内组织中）。保角映射保持在原始图像中目标的角度和形状，但 不必要保持其尺寸。映射原始图像可W根据各种失真最小化映射技术实施，例如"尽可能刚 性"变形技术、"尽可能相同"失真技术，或本领域已知的其他变形或失真技术。
[0082] 在一些实施例中，所选模板可包括合并图像的预定区域，在映射原始图像之后其 保持是空的。由于映射算法的内在性能，该些区域不被映射，其可引起在合并图像的特定区 域中放大的角。因此，可使用填充算法，W便W对观察专家有用的方式（操作630)填充该 些区域。被填充区域可W生成，使得当呈献给用户时，可保持图像流的自然流动。可W使用 不同方法填充合并图像的预定空区；一个该样的方法被呈现在图7A和7B中。
[0083] 在使用填充算法填充预定区域之后，显示发生器24可生成图像部分之间的边界 (操作640)。边界可选自不同的边界类型。所选的边界类型可W预定，例如设置在处理器 (例如处理器14,或显示发生器24)或存储单元（例如存储器19)中，或可由用户根据个人 偏好经由用户接口进行人工选择。一种边界类型可包括分隔线，其可被加到合并图像上，W 突出每个图像部分并限定每个原始图像所映射的区域。另一个选择可包括保持不具有明确 边界，例如没有额外分隔线的合并图像。
[0084] 在另一个实施例中，合并图像的图像部分之间的边界可被混合，融合或平滑化，W 便创建从一个图像部分至另一个的不明显过渡。例如，平滑化操作可包括图像混合或交叉 化图像合并技术。一个典型方法被描述在P'erez等人所著的"化isson图像编辑"中，其 公开了无缝图像混合算法，其使用离散化isson方程确定最终图像。
[0085] 在确定边界后，典型地作为体内胃肠道成像步骤的图像流的一部分，最终合并图 像可被显示至用户（操作650)。图像可被显示在例如外部监视器或屏幕上（例如监视器 18)，其可被可操作地连接至工作站或计算机，其包括例如数据处理器14、显示发生器24和 存储器19。
[0086] 现在参考图7A，其为描绘在根据本发明实施例的用于合并图像中生成或填充预定 空部或区域的方法的流程图。在操作700中，处理单元（例如显示发生器24)可接收具有 原始图像没有被映射的至少一个预定空部的合并图像。例如，在完成图6的操作620之后 可接收合并图像。
[0087] 预定空部的轮廓或边界可被获得或确定，例如存储在存储单元19中，具有相同轮 廓、形状或边界的图像部分或补了可从合并图像的附近映射图像区域复制（操作702)。例 如在图5中，使用选自映射图像部分544的图像补了 505,填充预定空部501。所注意的是， 图像补了 505和部分501具有相同尺寸并具有相同轮廓，因此，将图像补了 505复制到部分 501中不需要对复制补了的额外处理。图像补了可选自对应映射图像部分中的固定位置，因 此对于每个合并图像，图像补了（其被复制到空部中）的位置或坐标事先已知。例如，合并 图像模板的预定空部的尺寸和轮廓被典型地预先确定（例如，该信息可与合并图像模板一 起存储）。相应地，选自映射图像部分的图像补了的位置、尺寸和轮廓也被预先确定。在补 了 505被复制到预定空部501中后，预定空部501成为"生成部分"（或生成区域或填充部 分）501。
[0088] 在如图5所示的示例中，图像补了505可选自映射图像部分，使得，例如图像补了 505的右下角P邻近（或接触）图像部分544和预定空部501之间的边界，且图像补了505 的转角相对于预定空部501为零。在其它实施例中，可选择图像补了相对于预定空部的不 同转角，并可从对应的图像部分中选择图像补了的不同坐标位置。当图像补了选自每个合 并图像中的相同区域（例如相同位置、尺寸和形状）时，产生的生成部分总是从映射图像部 分中的相同坐标获得，并在合并图像流中产生的视频图像流变得平滑和流畅。
[0089] 在一些实施例中，所选的补了或区域不必与预定空部相同（例如在尺寸和/或形 状上）。典型地，所选补了可在形状和尺寸上类似，然而不必相同。例如，可选择比预定空 部更大的补了，并调整尺寸（和/或再次成形）W适应预定空部。类似地，所选补了可小于 预定空部，并可被调整尺寸（和/或再次成形）W适应区域。所注意的是，如果所选补了太 大，则由于所选补了中捕获的目标运动的增大（连续图像之间），与映射图像部分中捕获的 目标运动或流动相比，调整尺寸可引起连续合并图像之间的视频流的显著速度差异。
[0090] 在操作704中，通过放置或安插复制的补了或部分到合并图像中的填充或生成部 分中而产生的边缘或边界可被平滑、融合或混合，例如如图7B所述。当补了被复制到生成、 合成或填充部分时，可W各种方法实施对所创建边缘的平滑化。例如，一种方法在由Zeev Farbman、GilHoffer、YaronLipman、DanielCohen-Or和DaniLischinski戶/f著，发表在 "即时图像克隆的坐标"，ACM制图学报28 (3) (Proc.ACMSIGGRAPH2009)，2009年8月的文 章"即时图像克隆的坐标"中被发现。文章介绍了基于坐标的方法，其中在复制区域的每个 内部像素处的插值的给定是通过沿边界的值的加权组合。方法是基于平均值坐标（MVC)。 该些坐标可W计算很昂贵，由于在边界内的每个像素值取决于所有边界像素。
[0091] 现在参考图7B，其为描绘用于对根据本发明的实施例的合并图像中填充、合成或 生成部分的边缘平滑化的方法的流程图。一个补偿值可生成并分配给合成或生成部分中的 每个像素，为的是产生映射图像部分和生成或合成部分之间的平滑边缘。像素补偿值可存 储在存储单元19中。例如，可使用下面的一组操作（可使用其它操作）。
[0092] 在第一个阶段，在操作750中，可计算与边界像素相邻的生成部分的像素的补偿 值。边界像素可W是包括合成或生成部分和对应图像部分之间的边界的像素中的像素。在 一个实施例中，边界像素可W是合成或生成部分的像素，其为对应的映射图像部分的邻近 像素。在另一个实施例中，边界像素可W是映射图像部分的像素，其为对应的合成或生成部 分（但是不包含在合成部分内）的邻近像素。
[0093] 在下面的实施例中，边界像素被定义为邻近生成或合成部分的映射图像部分的像 素。邻近边界像素设置的生成部分中的像素Pa的补偿值，可通过寻找至少一个相邻边界像 素的色值（其可包括多个颜色元素，比如红色、绿色、和藍色值，或单个元素，即强度值）和 像素Pa的色值（例如R、G、B色值或强度值）之间的差来计算。相邻像素可选自映射图像 部分的区域，靠近生成部分501 (例如包含在对应图像部分544内的区域，其与边界509邻 近，其表示映射图像部分544和生成部分501之间的边界）。
[0 094] 像素的色值可W本领域已知的各种形式表示，例如使用RGB、YUV或TCrCb色空间。 可使用其它色空间或颜色表示法。在一些实施例中，不是所有颜色元素被用于计算像素的 补偿值，例如如果像素色值WRGB色空间表示的话，只有红色元素可W使用。
[0095] 在一个实施例中，可选择多于一个的相邻像素用于计算与边界像素邻近的像素Pa 的补偿值。例如，与图7中的边界像素邻近的像素Pi的补偿值可被计算为多个相邻边界像 素（其在映射部分544中）的平均值，即S个相邻边界像素P4、Ps和Pe;
[009引（方程1)()(0 = ^(('(尸4) + 叫尸'）+ 叫巧)），
[0097] 其中，0化）表示像素Pi的补偿值，且c(Pi)表示像素Pi的色值。
[0098] 在填充或生成部分的像素上可实施距离转换操作（操作752)。距离转换可包括标 注或分配具有距离（例如在像素中测量）的生成部分的每个像素至合成或生成部分的边界 或至最近的边界像素。像素的距离值可被存储在存储单元19中。例如，图7C为图5所示 的填充、合成或生成部分501W及其对应图像部分544的放大视图（图5A和7C中的对应 元素的数字被重复）。填充或生成部分501的像素边界沿着边界线509设置，P4、Pg和Pe为 典型的生成部分501的边界像素，而Pi、P2、P3和Pg为典型的邻近边界像素的像素。如此处 使用的第一像素的相邻像素，可包括邻近、对角或接触第一像素的像素。例如，像素Pi(其为 邻近边界像素P4和Pe的生成部分501中的像素）与最近相邻边界像素？4(或Pe，其两者被 包含在映射图像部分544中）之间的距离是一个像素。因此，在距离转换操作中，像素Pi被 分配距离值1。类似地，像素P2、P3和Pg的距离值被分配距离值1。例如在存储单元19中， 距离值存储在填充或生成部分的每个像素中。
[0099] 在操作754中，在填充、合成或生成部分501中的像素可根据其与填充或生成部分 的边界的计算距离被存储（使用距离转换操作的结果）。可W只实施一次分类，并用于每个 合并图像，使得设置在模板的特定坐标中的每个像素接收固定的或永久的分类值，例如对 应其从边界的计算距离。根据像素的分类值，可在每个像素上实施下一步操作。例如，如操 作756中所说明的计算内部像素的补偿值，可根据被分类的顺序实施。在生成部分中每个 像素的分类值例如可被存储在例如存储器19中。分类可W是从像素离边界线509的最小 距离至最大距离。
[0100] 在补偿值计算的第二阶段中，在操作756中，生成部分501内部的像素（其可被称 作生成部分的"内部像素"，并包括除了与边界像素直接邻近的像素之外的生成部分的所有 像素，例如，在距离转换中接收值"1"的像素）可W例如根据在操作754中计算的分类顺序 被扫描或分析。每个内部像素的补偿值可基于例如已经被分配补偿值的至少一个相邻像素 的补偿值来计算。内部像素的补偿值可被存储在存储单元19中。
[0101] 计算内部像素补偿值的顺序可W通过启动从靠近边界像素（与边界距离为最小 的像素，例如，距离小于两个像素）的内部像素的计算，并且逐渐增大与边界像素的距离。 内部像素的补偿值可基于已经被分配补偿值的一个或多个相邻像素而被计算。计算可包括 运算已经被分配补偿值的所选相邻像素的补偿值的平均值、平均数、加权平均数或广义平 均值，乘W衰减系数（例如0.9或0.95)。例如，与边界509具有两个像素距离的内部像素 P,的补偿值可由下式计算：
[0102] (方程。
[0103] 其中〇(Pi)表示像素Pi的补偿值，并且D为衰减系数。由于Ps和P2为邻近边界像 素的像素，其补偿值可在第一阶段中计算，例如如操作750中所述。因此，该些像素已具有 分配给它们的补偿值，并可计算具有与边界线509有两个像素距离的内部像素的补偿值。 其它像素可用于计算补偿值，例如，只使用单个的相邻像素（例如，只有Pe，只有P2,或只有 P3)，或可使用=个或多个相邻像素。
[0104] 衰减系数的目的是具有在生成部分中的内部像素的补偿值，其与边界相对较远地 设置，会聚至0,为了产生生成部分中的颜色逐渐转变至复制补了的原始颜色。从邻近边界 像素的生成部分的像素至其距离与边界最远的像素的颜色转变，可成为逐步的，且该可产 生平滑化或混合效果。因此，可根据分类顺序，例如从邻近边界像素的像素至远离边界的内 部像素，实施平滑化操作。
[0105] 在操作758中，在生成部分中的每个像素的色值（例如RGB色值或强度值）可被加 到相对应的像素补偿值上，从而生成新的像素色值，且新的像素色值可被分配至像素。每个 像素的新的像素色值可被存储在例如存储器19中。因此，生成部分中的像素色值可逐步与 邻近边界的图像部分的颜色混合，W获得图像部分和生成部分之间的平滑的或混合边缘。
[0106] 由于生成（或填充，或合成）部分可W为合并图像模板中的固定的预定区域，上述 的操作752和754可W只实施一次，并用于任何图像流的所有的合并图像帖。
[0107] 本发明实施例的一个优势为计算速度。对于每个像素，最多八个值（如果使用所 有周围的相邻像素）可被平均，并且实际上具有分配补偿值的相邻像素的数量可明显更少 (例如=个或四个相邻像素）。另外整个平均序列可W被离线确定。
[010引另外可使用其它混合或平滑化方法或替代所述方法，例如，交叉化、离散化isson方程等。可使用其它组操作。特定实施例的特点可与此处所示的其它实施例一起使用。 [0109] 本发明的系统和方法可容许W有效方式并W较短时间查看图像流。本领域技术人 员可理解的是，本发明不被上文所特别示意或描述的内容限制。而本发明的范围由权利要 求限定。
【主权项】
1. 一种用于合成合并图像中的部分的方法，所述合并图像包括映射图像部分和生成部 分，所述映射图像部分包括边界像素，且所述生成部分包括邻近所述边界像素和内部像素 的像素，所述方法包括： 进行所述生成部分的像素的距离变换，从而为每个像素计算所述像素离最近的边界像 素的距离； 计算邻近所述边界像素的在所述生成部分中像素的补偿值； 基于已指定补偿值的至少一个相邻像素的补偿值计算在所述生成部分中内部像素的 补偿值； 对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值 上，以获得新的像素色值。2. 如权利要求1所述的方法包括： 从体内成像胶囊中接收用于并行显示的一组原始图像；和 选择用于显示所述图像组的模板，所述模板包括至少一个映射图像部分和一个生成部 分。3. 如权利要求2所述的方法包括： 将所述原始图像映射到所选择的模板中的所述映射图像部分上。4. 如权利要求3所述的方法包括： 生成对于所述合并图像的预定区域的填充，从而产生所述合并图像的所述生成部分。5. 如权利要求4所述的方法，其中，通过将补丁从所述映射图像部分复制到所述生成 部分以实现所述生成。6. 如权利要求1所述的方法，包括显示所述合并图像，所述合并图像包括所述映射图 像部分和具有新的像素色值的所述生成部分。7. 如权利要求1所述的方法，包括基于被计算的距离在所述生成部分中分类像素，并 根据被分类的顺序计算内部像素的所述补偿值。8. 如权利要求1所述的方法，其中，所述映射图像部分的所述边界像素包括作为所述 对应生成部分的邻近像素的像素。9. 如权利要求1所述的方法，其中，计算所述生成部分中邻近边界像素的像素Pa的补 偿值，是通过计算色值和至少一个相邻像素的平均值、中值、广义平均值或加权平均数 之间的差，所述相邻像素选自邻近Pa的所述边界像素。10. 如权利要求1所述的方法，其中，计算所述生成部分中的内部像素的补偿值，是通 过计算被指定补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘以 衰减系数。11. 一种用于显示合并图像的系统，所述合并图像包括映射图像部分和生成部分，所述 映射图像部分包括边界像素，所述生成部分包括邻近所述边界像素和内部像素的像素，所 述系统包括： 处理器，用于为所述生成部分的每个像素计算所述像素至所述最近的边界像素的距离 值； 计算邻近所述边界像素的所述生成部分的所述像素的补偿值； 基于已被指定补偿值的至少一个相邻像素的补偿值，计算在所述生成部分中的内部像 素的补偿值； 对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值 上，以获得新的像素色值； 存储单元，用于存储所述距离值、所述补偿值和所述新的像素色值； 和 显示器，用于显示所述合并图像，所述合并图像包括所述映射图像部分和具有所述新 的像素色值的所述生成部分。12. 如权利要求11所述的系统，其中，所述存储单元用于存储来自体内成像胶囊的一 组原始图像，用于并行显示。13. 如权利要求12所述的系统，其中，所述处理器用于选择显示所述图像组的模板，所 述模板包括至少一个映射图像部分和一个生成部分。14. 如权利要求12所述的系统，其中，所述处理器用于将所述原始图像映射到所选择 的模板中的映射图像部分，从而产生所述映射图像部分。15. 如权利要求12所述的系统，其中，所述处理器用于生成所述合并图像的预定区域 的填充，从而产生所述生成部分。16. 如权利要求15所述的系统，其中，所述处理器用于通过将补丁从所述映射图像部 分复制到所述生成部分以生成填充。17. 如权利要求11所述的系统，其中，所述处理器用于基于被计算的距离值在所述生 成部分中分类像素，并根据分类的顺序计算内部像素的所述补偿值。18. -种变形视频流的多个图像以适应人类视野的方法，所述方法包括： 使用失真最小化技术以基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角 和类椭圆形；和 将所变形的图像显示为视频流。19. 如权利要求18所述的方法，其中，所述模板图案包括映射图像部分和合成部分。20. 如权利要求19所述的方法，其中，所述映射图像部分和所述合成部分之间的边界 通过以下步骤计算： 进行所述合成部分的像素的距离变换，从而为每个像素计算所述像素离所述最近边界 像素的距离； 计算邻近边界像素的所述合成部分中的像素的补偿值，所述边界像素位于所述映射图 像部分和所述合成部分的相邻像素中； 基于已指定补偿值的至少一个相邻像素的所述补偿值，计算在所述合成部分中的内部 像素的补偿值； 对于所述合成部分中的每个像素，将被计算的所述像素的补偿值加到所述像素的色值 上，从而获得新的像素色值。
【专利摘要】一种显示通过体内成像胶囊捕获的图像流的系统和方法，可包括显示合并图像的图像流，所述合并图像从多个原始图像中生成。为了生成合并图像，可将多个原始图像映射到选定模板，所述模板至少包括映射图像部分和生成图像部分。所述生成图像部分可通过复制来自映射图像部分的补丁而被填充，且生成部分和映射图像部分之间的边缘可变平滑并被混合。通过计算生成部分中的像素补偿值而进行平滑化，并且对于生成部分中的每个像素，将所计算的像素补偿值加到像素色值上。
【IPC分类】G06T5/00
【公开号】CN104885120
【申请号】CN201380069007
【发明人】艾迪·埃克, 海加·克鲁普尼克
【申请人】基文影像公司
【公开日】2015年9月2日
【申请日】2013年12月30日
【公告号】EP2939210A1, US20150334276, WO2014102798A1
【技术领域】
[0001] 本发明设及一种用于显示和/或回放图像流的方法和系统，更具体地，本发明设 及一种用于有效显示例如由胶囊内窥镜生成的图像流的多个图像的方法和系统。
【背景技术】
[0002] 图像流可W由一系列的静止图像聚集而成并向用户显示。图像可从各种来源中创 建或收集，例如，使用基文影像公司的商业化的PillCam⑩SB2或ES02可吞咽胶囊产品。例 如，专利号为5, 604, 531和/或7, 009, 634归属Iddan等人的美国专利，委托给本申请的共 同受让人并通过引用方式合并于此，其介绍了一种体内成像系统，其中在一个实施例中包 括可吞咽或者可吸收的胶囊。成像系统在胶囊通过内腔的同时，捕获内腔例如胃肠道（GI) 的图像并将其传输至外部记录装置。胶囊可W不同的进展速度沿着内腔部分前进，W非一 致的速度移动，取决于肠的蠕动运动该速度可W更快或更慢。可收集大量图像用于观察，并 且例如按顺序组合。可W从原始图像流中选择图像用于显示，并可W向用户显示原始图像 流的子集。对整套所捕获的图像进行回放花费的时间可W相对较长，例如可花费若干小时。
[0003]回放的医生可希望查看图像的缩减集，其包括重要的或临床感兴趣的图像，并且 其没有忽略任何相关的临床信息。缩减或缩短的影片可包括具有临床重要性的图像，比 如被选择在胃肠道内预定位置的图像，W及具有病理学或崎形的图像。例如，申请号为 10/949, 220归属化vidson等人的美国专利申请，委托给本申请的共同受让人并通过引用 方式合并于此，在一个实施例中介绍了一种例如通过选择遵循预定标准的图像来编辑图像 流的方法。
[0004] 为了缩短回放时间，原始图像流可被分割成两个或多个图像流的子集，可W同时 或基本上同时显示图像流子集。专利号为7, 505, 062归属于化vidson等人的美国专利，委 托给本申请的共同受让人并通过引用方式合并于此，介绍了一种显示来自贯穿多个连续时 间段的原始图像流的图像的方法，其中，在每个时间段中显示来自原始图像流的一套连续 图像，由此提高了可回放的原始图像流的速率，而不减少图像显示时间。后置处理可被用于 融合同时或基本上同时示出的图像。例如，在委托给本发明的共同受让人并通过引用方式 合并于此的专利号为7, 474, 327的美国专利中描述的实施例中可发现融合图像的实例。
[0005] 与回放单个图像流比较，同时显示多个图像流的子集可产生对于用户在回放时更 具挑战性的影片。例如，当同时查看多个图像流的子集时，图像被典型地W更快的总速率显 示，并且用户需要对存在于多个被同时显示的图像中的可能病理解剖更加集中、专屯、和警 觉。
【发明内容】
[0006] 一种用于显示由体内成像胶囊捕获的图像流的系统和方法可包括生成合并图像， 所述合并图像包括映射图像部分和生成部分。映射图像部分可包括边界像素，该边界像素 表示合并图像的映射部分和生成部分之间的边界。生成部分可包括与边界像素和内部像素 邻近的像素。
[0007] 可进行生成部分的像素的距离变换，而且对于每个像素，可计算像素离最近的边 界像素的距离。可计算生成部分中像素的补偿值。计算生成部分中与边界像素邻近的像素 Pa的补偿值，例如，是通过计算PA的色值和至少一个相邻像素的平均值、中值、广义平均值 或加权平均数之间的差实现的。相邻像素可选自与Pa邻近的边界像素。
[0008] 在一些实施例中，可基于已被指定补偿值的至少一个相邻像素的补偿值，计算生 成部分中内部像素的补偿值。例如，计算生成部分中内部像素的补偿值，可通过计算被指定 补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘W衰减系数实现。
[0009] 对于生成部分中的每个像素，可将被计算的像素补偿值加到像素色值上，从而获 得新的像素色值。可W显示合并图像，其包括映射图像部分和具有新的像素色值的生成部 分。
[0010] 所述方法可包括从体内成像胶囊中接收用于并行显示的一组原始图像；和选择用 于显示所述图像组的模板。所述模板可包括至少一个映射图像部分和一个生成部分。原始 图像可被映射到被选择模板中的映射图像部分上。可生成或合成对于合并图像预定区域 (例如，根据被选择的模板）的填充，从而产生合并图像的生成部分。通过将补了从映射图 像部分复制到生成部分，可生成填充。
[0011] 例如基于计算的距离可W对生成部分中的像素分类，并根据分类的顺序可计算内 部像素的补偿值。映射图像部分的边界像素可包括作为对应生成部分的邻近像素的像素。
[0012] 本发明的实施例可包括一种用于显示合并图像的系统，所述合并图像可包括至少 一个映射图像部分和一个生成部分。映射图像部分可包括边界像素，并且生成部分可包括 与所述边界像素和内部像素邻近的像素。所述系统可包括处理器W计算例如生成部分的像 素，像素至最近边界像素的距离值。处理器可计算与边界像素邻近的生成部分的像素的补 偿值。基于已指定补偿值的至少一个相邻像素的补偿值，可计算生成部分中的内部像素的 补偿值。对于生成部分中的每个像素，可将计算的像素补偿值加到像素的色值上，W获得新 的像素色值。所述系统可包括存储单元，用于存储距离值、补偿值和新的像素色值；和显示 器，用于显示合并图像，所述合并图像包括映射图像部分和具有新的像素色值的生成部分。
[0013] 在一些实施例中，存储单元可存储来自体内成像胶囊的一组原始图像，用于并行 显示。处理器可选择用于显示所述图像组的模板，所述模板可包括至少一个映射图像部分 和一个生成部分。处理器可将原始图像映射到所述选择模板中的映射图像部分，从而产生 映射图像部分。处理器可生成合并图像的预定区域的填充，从而产生生成部分。例如，处理 器可通过将补了从映射图像部分复制到生成部分而生成填充。
[0014] 在一些实施例中，处理器可基于计算的距离值在生成部分中分类像素，并根据分 类的顺序计算内部像素的补偿值。
[0015] 本发明的实施例包括一种变形视频流的多个图像W适应符合人类视野的方法。可 使用失真最小化技术，W基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角和 类楠圆形。可将变形的图像显示为视频流。模板图案可包括映射图像部分和合成部分。通 过将映射图像部分的区域复制到合成部分，并使映射图像部分和合成部分之间的边缘平滑 化，可计算合成部分的值。
【附图说明】
[0016]从下面结合附图的详细说明中，将对本发明进行更全面的理解和领会，其中：
[0017] 图1示出了根据本发明一个实施例的体内成像系统的示意图；
[0018] 图2描绘了根据本发明一个实施例的体内图像流的典型图形用户界面显示；
[0019] 图3A-3C描绘了根据本发明一个实施例的典型双重图像显示；
[0020] 图3D描绘了根据本发明一个实施例的典型双重图像模板；
[0021] 图4描绘了根据本发明一个实施例的典型S重图像显示；
[0022] 图5描绘了根据本发明一个实施例的典型四重图像显示；
[0023] 图6为描绘根据本发明一个实施例的用于显示合成图像的方法的流程图；
[0024] 图7A为描绘根据本发明一个实施例的用于生成合成图像的预定空部的方法的流 程图；
[0025] 图7B为描绘根据本发明一个实施例用于对合成图像中生成部分的边缘平滑化的 方法的流程图；
[0026] 图7C为如图5所示合成的四重图像的左上部显示的放大图。
【具体实施方式】
[0027]在下面的描述中，将对本发明的各个方面进行描述。为了说明的目的，提出了特定 的配置和细节，为的是提供对本发明的全面理解。然而，对本领域技术人员而言也显而易见 的是，不具有此处给出的特定细节时，可W实施本发明。而且，为了不使本发明不清楚，可W 省略或简化熟知的特点。
[0028]根据本发明的一个实施例的系统和方法使得用户可在不增加对编辑的图像流的 总体查看时间的情况下，用更长的时间周期查看图像流的图像。可选地，根据一个实施例的 系统和方法可被用于增加用户可回放图像流的速率，而不牺牲可在流中描绘的细节。在特 定实施例中，从横贯胃肠道的可吞咽或者可消化胶囊中收集图像。图像可被组合成图像流 或影片。在一些实施例中，可W产生原始图像流或完整的图像流，其包括在成像过程中所捕 获或接收的所有图像（例如，整套的帖）。来自图像流的多个图像可被同时或基本上同时显 示在屏幕或监视器上。
[0029]在其它实施例中，减小或编辑的图像流可包括图像的选择（例如，捕获的帖的子 集），其根据一个或多个预定标准选择。在一些实施例中，可从原始图像流中省略图像，例 如，原始图像流可包括比通过可吞咽胶囊捕获的图像数量更少的图像。例如，过饱和的，污 染的，包括肠道内含物或浑浊的图像，和/或与相邻图像非常类似的图像，可从由成像胶囊 捕获的整套图像中移除，而且原始图像流可包括由成像胶囊捕获的图像的子集，在该些情 况下，减小的图像流可包括根据预定标准选自原始图像流的减小的图像子集。
[0030]本发明的实施例可包括物品，比如计算机或处理器可读非临时性存储介质，比如 例如存储器，硬盘驱动器或USB闪存装置编码、包括或存储指令，例如，计算机可执行指令， 当由处理器或控制器执行时，其导致处理器或控制器实施此处公开的方法。
[0031] 参考图1，其示出根据本发明一个实施例的体内成像系统的示意图。在一个示例 实施例中，系统包括胶囊40,其具有一个或多个成像器46用于捕获图像，一个或多个照明 源42用于照明身体内腔，和传输器41用于向接收装置传输图像和可能的其他信息。体内 成像装置可与专利号为5, 604, 531和/或7, 009, 634归属Iddan等人的美国专利，和/或 申请号为11/603, 123归属Gilad的美国专利申请相一致，但在可选实施例中可W为体内成 像装置的其他类别。通过成像系统捕获的图像可W为包括例如圆形、正方形、矩形、八角形、 六角形等任何合适的形状。典型地，位于患者体外的一个或多个位置的是图像接收器12,包 括天线或天线阵列（未示出）；图像接收器存储单元16 ;数据处理器14 ;数据处理器存储单 元19 及图像监视器18,用于显示，除了别的W外，由胶囊40记录的图像。典型地，数据 处理器存储单元19包括图像数据库21。处理器14和/或其他处理器，或图像显示发生器 24,可W被配置为执行由本文中描述的方法，例如，被连接到存储到当由处理器执行时使得 处理器执行此方法的存储单元或存储器的指令或软件。
[0032] 典型地，数据处理器14、数据处理器存储单元19和监视器18为个人电脑或工作站 的部件，其包括标准组件，比如处理器14、存储器、硬盘驱动器和比如鼠标和键盘的输入输 出装置，尽管替换配置是可能的。数据处理器14可包括任何标准的数据处理器，比如微处 理器，多重处理器、加速板，或任何其它串联或并联高性能数据处理器。数据处理器14作为 其功能性的部分，典型地充当控制器的作用，控制图像（例如，其图像，在各种窗口中的图 像位置，图像显示的计时或持续时间等）的显示。图像监视器18典型地为常规的视频显示 器，但是另外也可W是任何能够提供图像或其它数据的其它装置。图像监视器18典型地W 静止和移动图片的形式呈现图像数据，并可另外呈现其它信息。在一 个典型实施例中，在窗 口内显示各种类型的信息。窗口可W是例如显示器或监视器上的部分或区域（可能勾画轮 廓或形成边界），其它窗口可被使用。多个监视器可被用于显示图像和其它数据，例如，图像 监视器也可W包括在图像接收器12中。数据处理器14或其它处理器可实施如此处描述的 方法。例如，图像显示发生器24或其它模块可W是由数据处理器14执行的软件，或可W是 例如执行软件或由专口电路控制的处理器14或另一个处理器。
[0033] 在运行时，成像器46捕获图像并将表示图像的数据发送至传输器41，其使用例如 电磁无线电波传输图像至图像接收器12。图像接收器12将图像数据传递至图像接收器存 储单元16。在数据收集的特定时间周期后，存储在存储单元16中的图像数据可被发送至 数据处理器14或数据处理器存储单元19。例如，图像接收器12或图像接收器存储单元16 可W从患者的身体上取下，并经由标准数据链接，例如串联、并联、USB，或已知结构的无线 接口被连接到包括数据处理器14和数据处理器存储单元19的个人电脑或工作站。然后图 像数据从图像接收器存储单元16被传递至数据处理器存储单元19内的图像数据库21。典 型地，图像流作为一系列图像被存储在图像数据库21中，其可W各种已知方式实现。数据 处理器14可W分析数据并将分析的数据提供至图像监视器18,其中用户查看图像数据。数 据处理器14与基本操作软件，比如操作系统和装置驱动器结合，操作软件，控制数据处理 器14的运行。典型地，软件控制数据处理器14包括WC++语言书写的编码，并可使用各种 开发平台，比如Microsoft的.NET平台实现，但是可W各种已知的方法实现。
[0034] 数据处理器14可包括或执行图形软件和/或硬件。数据处理器14可基于多个预 定标准对每个帖分配一个或多个分数、等级或测量。当在此使用时，"分数"可W是总分数或 等级，其中（在一个实施例中），分数越高，帖越可能被包括在影片中，并且（在另一个实施 例中），分数可与特定性质，例如质量分数、病理分数、类似分数，或表示帖所具有的质量的 量或可能性的另一个分数或测量相联系。数据处理器14可选择具有用于显示的最佳范围 内的分数的帖和/或移除具有次佳范围内的分数的帖。分数可代表，例如，（常规或加权） 平均帖值或与多个预定标准相联系的分项分数。选择的帖的子集可W作为编辑（缩减的） 影片或图像流而被按顺序放映。
[0035] 在原始流和/或缩减流中的图像可根据捕获的时序时间而被顺序排序（且因此流 可具有顺序），或可W根据不同标准（比如图像之间的相似度、色彩水平、照明水平、图像中 的物体与体内装置的估计距离、图像的疑似病理分类等）而被排列。
[0036] 数据处理器14可包括，或可操作地连接至图像显示发生器24。图像显示发生器 24可被用于从多个图像中生成用于显示的单个合并图像。例如，图像显示发生器24可例 如，从图像数据库21中接收多个原始图像帖，例如图像流，并生成包括多个图像帖的合并 图像。
[0037] 如此处所用的原始图像帖指的是单个图像帖，其通过成像器，例如体内成像装置 而被捕获。在一些实施例中，原始图像帖可经过特定的图像预处理操作，比如图像强度的定 屯、、标准化，统一图像的形状和尺寸等。
[0038] 如此处所用的合并图像为由多个比如由胶囊40捕获的原始图像组成的单个图 像。合并图像中的每个图像可在不同时间下被捕获。合并图像典型地具有预定形状或轮廓 (例如由模板限定）。使用圆形或类楠圆形，模板图案的预定形状或轮廓被设计为更好地适 应人类视野。模板图案的形成，使得在原始图像中捕获的所有视觉数据被运输或显示到用 户，且没有（大量或显著的）视觉数据丢失或移除。由于人类的视野是圆形的，如果合并图 像为矩形，可能难W查看位于合并图像角落中的细节。
[0039] 构成合并图像的每个原始图像可被映射至合并图像中的预定区域。原始图像的形 状或轮廓典型地不同于原始图像所映射至的合并图像中的区域的形状或轮廓。
[0040] 用户可选择被显示为单个合并图像的原始图像的数量。基于将被同时显示的选择 的图像的数量（例如1、2、3、4,16)，可生成单个的合并图像。图像显示发生器24可映射所 选择数量的原始图像至合并图像中的预定区域，并可生成用于显示为图像流的合并图像。
[0041] 在一些实施例中，图像显示发生器24可确定被显示的合并图像的性质，例如，屏 幕上的位置和尺寸，从多个原始图像中生成的合并图像的形状和/或轮廓，自动生成和施 加至图像容量的图像W填充模板的预定区域，和/或生成映射图像之间的边界。如果用户 选择例如，四个图像W同时显示，则图像显示发生器24可确定、产生或（例如从存储模板的 清单中）选择模板（其可包括合并图像的轮廓或外形和尺寸），从流中选择四个原始图像， 并根据合并图像模板的四个预定区域映射四个原始图像，从而生成单个合并图像。该过程 的实施可用于整个图像流，例如用于初始捕获图像流中的所有图像，或用于其部分（例如 用于编辑的图像流）。
[0042] 收集和存储的图像数据（例如原始图像流）可被无限期地存储、传递至其它位置、 操作或分析。健康专家可W，例如使用图像用W分析胃肠道的病理状态或崎形，并且，另外 系统可提供关于该些病理位置的信息。使用一种系统，其中数据处理器存储单元19首先收 集数据，然后将数据传递至数据处理器14,图像数据不是被实时查看，其它配置容许实时查 看，例如在作为图像接收器12的部分的显示器或监视器上查看图像。
[0043]由胶囊40记录和传输的图像数据可W是数字颜色图像数据，尽管在替代实施例 中，可W使用其它图像形式。在一个典型实施例中，根据已知方法，图像数据的每帖包括320 行，每行320像素，每个像素包括颜色和亮度的字节。例如，在每个像素中，颜色可由四个子 像素的拼接呈现，每个子像素对应于原色，比如红、绿或藍（其中一个原色可被呈现两次）。 总的像素亮度可由一个字节（即0-255)亮度值记录。图像可W例如按顺序被存储在数据 处理器存储单元19中。存储的数据含有一个或多个像素性质，包括颜色和亮度。可W使用 其它图像形式。
[0044] 数据处理器存储单元19可存储一系列由胶囊40记录的图像。胶囊40记录的图 像，例如当其移动通过患者的胃肠道时，可W被连续组合，W形成作为图像流的一系列可显 示的图像。当查看图像流时，用户被典型地在监视器18上呈现一个或多个窗口；在替代实 施例中，不需使用多个窗口，且只有图像流可被显示。在提供多个窗口的一个实施例中，例 如，图像窗口可提供图像流，或者只是该图像的部分。另一个窗口可包括可W改变图像显示 的按钮或其它控制；例如，停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制。该样的 控制可W通过例如指示设备，比如鼠标或轨迹球启动。典型地，图像流可W被冻结，W便查 看一帖，加速或反转；可跳过部分；或者任何其它查看图像的方法都可用于图像流。
[0045] 在一个实施例中，原始图像流，例如由体内成像胶囊捕获的图像流可根据不同的 选择标准被编辑或缩减。例如在归属化vidson等人，委托给本申请的共同受让人并通过引 用方式合并于此的公开号为2006/0074275的美国专利申请[0032]段中公开的选择标准的 实例，包括基于数字的标准，基于质量的标准，基于注释的标准，色彩差异标准，和/或与预 先存在的图像，比如描绘崎形的图像的类同物。所编辑或缩减的图像流可包括与原始图像 流相比缩减数量的图像。在一些实施例中，查看者为了节省时间可查看缩减流，例如取代查 看原始图像流。
[0046] 当查看体内图像流时，例如根据当捕获图像时体内装置的估计速度，或根据流中 连续图像之间的相似性，图像的显示速率可变化。例如，在专利号为6, 709, 387的美国专利 中公开的实施例中，图像处理器与至少两个图像帖关联，从而确定其相似性范围，并且用W 生成与所述相似性关联的帖显示速率，其中当所述帖一般不同时，所述帖显示速率较慢，且 当所述帖一般类似时显示速率较快。
[0047] 图像流可通过在单个窗口中显示合并图像而呈现给查看者，使得整个图像流中或 编辑的图像流中的一组连续或邻近的（例如，按时间相互贴近，或W捕获时间）帖可W被基 本上同时显示。根据一个实施例，在每个时段中（例如一个或多个图像将被显示在窗口中 的周期），在图像流中连续的多个图像被显示为单个合并图像。时段的持续时间对于所有时 段可W-致，或者变化。
[0048] 在一个典型实施例中，为了改进对病理的可见性，并产生人类视野的更适合或舒 服的查看，图像显示发生器24可映射或弯曲原始图像（至预定成形的区域），W生成合并图 像的更平滑轮廓。例如使用本领域已知的共形映射技术（保留局部角度的转换，也称共形 转换，角度保留转换，或双全纯映射），可W实施该种映射。映射图像部分的模板设计可W典 型地为对称的，例如，每个图像可W与其它含有合并图像的原始图像类似或相等的形状和 尺寸被显示。例如，图像可被反转并呈现为镜像，图像可具有其取向或被修改，或图像可被 另外处理，W增加对称性。在一个实例中，原始图像可W是圆形，并且合并图像可具有圆形 的矩形形状。
[0049] 在一些实施例中，用于产生合并图像的模板可包括预定空部，该空部未通过失真 最小化技术（例如共形映射算法）而被填充。在一个实例中，原始图像可w是圆形，并且 在合并图像中的映射区域的形状可W是正方形或者类似于具有圆角的矩形。当将已知的 失真最小化技术应用于正方形区域时，失真最小化技术可在角上生成图像部分的较大的放 大。因此，本发明的实施例使用具有圆形角的映射模板，而未通过失真最小化技术被填充的 空部（例如在合并图像的中间，和连接映射图像的角处，如图3D所示），可通过其它方法填 充。在一些实施例中，图像显示发生器24可生成对于合并图像的预定空部的填充。当显示 图像时，模板可限定一组图像将怎样被放置和/或图像将怎样被成形或修改。
[0050]当多个图像被同时显示时，图像流的查看时间可被缩减。例如，如果图像流从合并 图像中生成，每个合并图像均包括同时显示的两个或多个原始图像，并且在每个连续时段 中，连续的合并图像被显示（例如，具有在不同时段中显示的非重复的原始图像，使得每个 图像只在一个时段中显示），然后，图像流的总体查看时间可被缩减至初始时间的一半，或 每个时段的持续时间可W较长，从而使查看者有更多时间在显示器上检查图像，或两者都 可发生。例如，如果原始图像流可W每秒20帖被显示，则在每个时段中同时显示的两个图 像可W每秒10帖被显示。因此，每秒相同数量的总体帖被显示，但是，用户可查看多达两倍 的信息，并且每帖被显示长度为两倍。
[0051] 图像流的总体显示时间和每个图像出现在显示器上的持续时间之间存在权衡。例 如，总体查看时间可与原始图像流的总体查看时间相同，但是每帖被显示至用户更长的时 间周期。在另一个实例中，如果用户W-个速率舒适地查看单个显示图像，增加第二图像将 容许用户增大总体查看速率而不减少每帖被显示的时间。在替代实施例中，当图像流被作 为单个图像流显示时和当其作为合并图像流而被显示时的显示速率之间的关系可W不同； 例如，所得的合并图像流可W与原始图像流相同的速率被显示。因此，显示方法可W不仅减 少图像流的总体查看时间，而且增加屏幕上一些或所有图像的显示时间的持续时间。
[0052] 在一个典型实施例中，用户可在每个时段查看单个图像和每个时段查看多个图像 之间 切换模式，例如，使用比如按键的控制或者使用指示设备（例如鼠标或触摸板）选择的 屏幕上的按钮。用户可W类似于控制单个图像显示的方式，例如通过使用屏幕上控制来控 制多个图像显示。
[0053] 现在参考图2,其描绘了根据本发明的一个实施例的体内图像流的典型的图形用 户接口显示。显示器300包括各种用户接口选择和典型的合并图像流窗口 340。显示器300 可显示在例如图像监视器18上。合并图像流窗口 340可包括被合并到单个窗口中的多个 原始图像。合并的图像可包括多个图像部分（或区域），例如部分341、342、343、344。每个 图像部分或区域可对应于不同的原始图像，例如原始捕获图像流中的不同图像。原始图像 可被弯曲或映射到图像部分341-344中，并可被融合在一起（例如在图像部分341-344之 间具有平滑边缘，或不具有平滑的边界）。
[0054] 颜色条362可被显示在显示器300上，并且可表示图像或流中合并图像的平均颜 色。时间间隔可被表示在分隔的时间轴上，或在颜色条362上，并且可表示当前显示在窗 口 340中的图像的捕获时间。一组控制器314可改变图像流在合并图像窗口 340中的显 示。控制器314可包括例如停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制，用于 冻结、加速、或倒转窗口 340中的图像流。查看速度条312可由用户调节，例如，滑触头可表 示每秒钟显示帖（例如合并帖或单个帖）的数量。时间指示器310可提供流逝的或与目前 所示图像，编辑图像流和/或原始未编辑图像流的总长度相关的绝对时间表示。目前所示 图像流逝的绝对时间可W例如为在第一次启动成像装置（例如图1的胶囊40)或图像接收 器（例如图1的图像接收器12)开始接收来自成像装置的传输的时刻和捕获或接收当前被 显示图像的时刻之间流逝的时间量。
[00巧]使用控制器316,用户可W使用输入装置（例如鼠标、触摸板或图1的其它输入装 置24)，捕获并存储一个或多个当前显示的图像作为缩略图像（例如从作为窗口 340中的合 并图像出现的多个图像中）。
[0056] 缩略图像354、356可W参照在颜色条（或时间条）362上的适合的有关帖捕获时 间而被显示。相关注释或概要355、357可包括对于每个缩略图像的图像捕获时间，W及与 当前缩略图像相关的概要信息。
[0057] 胶囊定位窗口 350可包括在患者胃肠道内的成像装置的当前位置和/或取向，并 且可显示胃肠道的不同片段为不同颜色。在捕获当前显示图像（或多个图像时），突出的片 段可表示成像装置的位置。进度条或图表352可表示由成像装置经过的整个路径长度，并 可提供在当前显示图像被捕获的时间下经过的路径的百分数的估计或计算。
[0058] 控制器322可容许查看者在例如未编辑图像流的人工查看模式和用户可只查看 来自根据预定标准编辑的流的图像子集的自动编辑查看模式之间选择。视图布局控制器 323容许查看者在单个窗口（在窗口 340中显示一个图像）中查看图像流，或查看包括两个 图像（双重）、四个图像（四重）或拼接视图布局中的较大数量图像（例如9、16)的合并图 像之间选择。显示预览控制器321可向查看者显示来自原始流的所选图像，例如选为感兴 趣的或具有临床价值（QV)的，其余的图像（CQV)或只是具有疑似出血迹象的图像（SBI)。
[0059] 图像调节控制器324可容许用户改变显示图像的性质（例如强度、颜色等），同时 变焦控制器325能够增加或降低在窗口340中的显示图像的尺寸。使用控制器326,用户可 选择哪些显示部分被示出（例如缩略、定位、进度条等）。
[0060] 现在参考图3A-3C，其描绘了根据本发明的实施例的典型合并双重图像显示窗口 280、281、282。在图3A中，合并图像280包括两个图像部分（或区域）210和211，其分别 对应于来自原始捕获图像流的两个原始连续图像201、202。原始图像201、202为圆形，分 离的，同时在合并图像280中，原始图像被再次成形为图像部分210、211的所选形状（或模 板）。重要的是注意到图像部分（或区域）210、211不包括部分（或区域）230、231、250和 251。
[0061] 在一个实施例中，为了再次成形原始（例如圆形）图像为所选模板轮廓，失真 最小化映射技术，例如共形映射技术或"平均值坐标"技术（例如由MichaelS.Floater 著的"平均值坐标"，http://cs.brown.edu/courses/cs224/papers/mean-value.p壯） 可被应用。共形映射转换在区域中一点处相交的任意的曲线对，使得映射图像曲线W 相同的角相交。对于图像的共形映射存在已知的解决方案，例如，TorbinA.Driscoll 的Schwarz-C虹istoffel工具箱（SC工具箱）版本2. 3为用于WMATLAB版本6. 0或 随后（在ht1:p://www.math.udel.edu/ ~化iscoll/software/SC/ 中工具箱可用）的 Schwarz-化ristoffel共形映射的交互计算和形象化的M文件的汇编。
[0062] 可使用失真最小化映射的其它方法。例如，"尽可能刚性"（ASA巧技术为变形 技术，其混合给定的二或=维形状内部而非其边界。从随着其从其来源变化至目标结构， 局部体积发生最小失真的意义上讲变形是刚性的。"尽可能刚性"技术的一个实施例在Alexar、Cohen-〇;r和Levin的文章"尽可能刚性成形插值"，或T.Igarashi、T.Moscovich和 J.F.化曲es的文章"尽可能刚性成形操作"中被公开。另一种技术，称作"尽可能相似"技 术，在例如LeviZ.和GotsmanC.的由IE邸形象化和计算机制图学报，于2012年发表的 "D-Snake;通过尽可能相似模板变形的图像登记"中被描述。其它技术也有可能，例如，全 纯映射和准共形映射。
[0063] 失真最小化映射可W大量计算，因此在一些实施例中，失真最小化映射的计算可 W在体内图像显示给查看者之前离线实施一次。计算的映射可W随后用于从患者汇集的图 像流，并且映射可W在图像处理时被应用。失真最小化映射转换可W例如从规范的圆形至 所选的模板轮廓，例如矩形、六角形或任何其它形状而被运算。该初始运算可被一次完成， 且结果可被应用于由每个使用的胶囊捕获的图像。运算可W应用于每个捕获帖。在一些实 施例中也可使用在线计算。
[0064] 可W产生对图像的区域或部分填充的需求，因为如果原始图像形状被转变成不同 的形状（例如，在如图5所示的四重合并图像的情况下，圆形图像可W转化成具有角的形 状），共形映射在转换图像的角处可生成原始图像的大的放大率。因此，圆形角（而不是直 角）可用于图像部分模板中，并且作为圆形角的结果生成的合并图像的空部或部分可被填 充或生成。
[0065] 失真最小化映射算法可被用于转换原始图像至不同形状的图像，例如，原始图像 201可被转换成对应的映射图像部分210，且原始图像211转换为对应的映射图像部分202。 在一些实施例中，在原始图像201被映射至图像部分210后，合并图像模板的余下的预定 空区或部分230和250可被自动填充或生成。类似地，原始图像202可被映射到图像部分 211，而模板的余下的预定空部231和251可被自动填充或生成。
[0066] 填充物可W例如为用于填充或复制图像或监视器显示的一部分的包含物。生成对 部分或区域230、250的填充，或填充区域的实施可例如通过将附近的补了或部分从映射图 像部分210复制成有待生成或填充的部分或区域，并且对所产生的边缘平滑化。该方法的 优势是附近补了的局部质地是类似的，并且运动方向是连续的。在产生于合并图像的图像 流中，由于补了总是从原始图像中的相同地点复制，在生成部分或区域的面积中的视频流 是连续的，由于帖之间的过渡局部等同于部分被复制的地点中的过渡。该容许在视频中独 立合成序列帖，而不检查W前和/或后续的帖，由于帖的序列保持一致和流畅。
[0067] 在一个实施例中，可选择补了，例如使得补了的尺寸和形状与需要被填充或生成 的部分或区域的尺寸和形状相同。在其它实施例中，可选择补了，使得补了的尺寸和/或形 状不同于需要被生成或填充的区域或部分的尺寸和形状，并且补了可W相应地缩放，调整 尺寸和/或再次成形，W适应生成的部分或区域。
[0068] 在合并图像（其被显示为图像流的部分）中合成（或生成）区域或部分可需要快 速处理，例如为的是保持图像流的帖显示速率，并且用于保留处理资源用于另外的任务。用 于平滑合并图像中填充（或生成）部分边缘的方法在此处的图7B中描述。
[0069] 一旦部分230、250和231、251被填充或生成，可生成（映射）图像部分210、211之 间的边界。使用若干方法可进一步处理边界。在一个实施例中，边界可被混合、平滑或融合， 且两个图像部分210、211可被归并成具有不明显边界的单个合并图像，例如如区域220所 示。在另一个实施例中，边界可保持明显，例如如图3B所示，且分隔线218可加到合并图像 上，W突出两个图像部分212、213之间的分离。在又一个实施例中，不需添加分隔线，且两 个图像部分可简单地互相靠近放置，例如，如边缘222所示，其示出了图3C中图像部分214 和图像部分215之间的边界。边缘222可限定或是区域或图像部分214的边界，且边界可 由像素构成。
[0070] 现在参考图3D，其描绘了根据本发明的实施例的典型双重合并图像模板。模板 260包括映射图像部分270、271，其目的为映射所选的两个原始图像，用于双重合并图像的 显示。部分261和262为预定的空部，其目的为使用如此处所述的填充方法被生成或填充。 部分261和262对应于图像部分270,而部分262和263对应于图像部分271。线条273表 示图像部分270和图像部分271之间的分离。
[0071] 现在参考图4,其描绘了根据本发明的实施例的典型=重合并图像显示。合并图像 400包括=个图像部分441、442和443,其分别对应于来自捕获图像流的=个原始图像。原 始图像可W例如是圆形并且分离的（例如类似于图3A中的图像201和202)，而在合并图像 400中，原始图像再次成形至图像部分441、442和443的所选形状（或模板）。原始图像也 可W任何其它形状，例如正方形、矩形等成形。
[0072] 类似于上面图3A的描述，为了映射或再次成形原始（例如圆形）图像401、402、 403至图像部分441、442和443的所选模板形状，可应用失真最小化技术。在将原始图像 映射至图像部分441、442和443的新的形状或轮廓之后，部分410-415可保持空白。部分 410-415可W例如如参考图3A的部分230、231、250和251描述的生成或填充。
[0073] -旦部分410-415被填充或生成，使用若干方法，可W生成图像部分441、442和 443之间的边界。在一个实施例中，边界可W是平滑或融合的，并且=个图像部分441、442 和443可W合并成具有不明显边界的单个合并图像，例如如区域420、422和424所示。在另 一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，W突出=个图像部分441、 442和443之间的分离。在又一个实施例中，不需要添加分隔线，且S个图像部分可简单地 互相邻近放置，例如类似于边缘2 22,其表示或为图3C中的图像部分214和图像部分215之 间的边界。
[0074] 现在参考图5,其描绘了根据本发明的实施例的典型四重图像显示。例如由于对 人类视野的更好利用，合并图像500的圆形轮廓可改进查看图像流的过程。所得到的合并 图像例如与原始图像轮廓，比如圆形或矩形比较，可W更便于查看。合并图像500包括四个 图像部分541、542、543和544,其分别对应于来自捕获图像流的四个原始图像。图像部分 541-544通过轴550和轴551表示，其将合并图像500分成四个子部分，对应于用于生成每 个部分的原始图像。原始图像的成形与图像部分541、542、543和544的预定形状不同。图 像在合并图像500上的位置可由一模板限定，该模板确定映射图像在哪出现，其何时被应 用至模板。
[00巧]在该实例中，例如使用共形映射技术，原始图像被映射至图像部分541-544。重要 的是注意到图像部分541-544不包括内部部分或区域501-504,其目的为在共形映射过程 后保持为空白。原因是如果使用相同的共形映射技术W便同样将原始图像映射至该些部 分，映射过程可在角区域（由内部部分501-504表示）处生成大的放大率，并且可在原始图 像中捕获的目标之间产生成比例的失真视图。
[0076] 内部部分501-504可通过例如如关于图3A所描述的填充技术生成或填充。邻近 映射图像部分之间（例如在映射图像部分541和542或541和544之间）的边界可被平滑 化（例如如图5所示），由线条分离，或者可保持为不具有明显分隔的接触图像。
[0077] -旦内部部分501-504被生成或填充，使用一个或多个若干方法可生成映射图像 部分541-544之间的边界。在一个实施例中，边界可被平滑化或融合，并且四个映射图像部 分541-544可归并成具有不明显边界的单个合并图像，例如如连接区域520-523中所示。 在另一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，W突出映射图像部分 541-544之间的分离。在又一个实施例中，不需添加分隔线，且四个映射部分可简单地相互 邻近放置，例如类似于边缘222,其表示图3C中映射图像部分214和映射图像部分215之间 的边界。可使用其他方法。
[0078] 现在参考图6,其为描绘用于显示根据本发明的实施例的合并图像的方法的流程 图。在操作600中，可接收多个原始图像（例如从内存，或从体内成像胶囊中）用于同时显 示，例如，W相同时间或基本上同时，在相同屏幕或展示器上显示。可选择多个原始图像，用 于同时显示为合并图像，选择来自在体内，例如通过可吞咽成像胶囊捕获的图像流。在一个 实施例中，多个图像可W是时间排序的连续图像，随着其穿过胃肠道时由成像胶囊捕获。例 如从存储单元（例如存储器19)或图像数据库（例如图像数据库21)中可接收原始图像。 在用于同时显示的多个图像中的图像数量可W被预定或自动确定（例如通过处理器14或 显示发生器24)，或可W作为输入从用户（其可选择，例如双重、S重或四重合并图像显示） 接收。
[0079] 在将同时显示在合并图像中的图像数量被确定之后，可W在操作610中选择或创 建用于显示的模板，例如自动通过处理器（比如处理器14或显示发生器24)，或基于来自用 户的输入。所选模板可选自存储在存储单元（例如存储器19)中的一组预定模板，所述存 储单元被可操作地连接至处理器。在一个实施例中，若干预定结构可用，例如对于每个作为 合并图像同时显示在屏幕上的图像数量，可预定一个或多个模板。在其它实施例中，模板可 被快速设计，例如根据用户输入，比如希望的原始图像的数量，从而合并和期望的合并图像 的轮廓。
[0080] 多个原始图像可被映射或应用至所选的模板，或映射或应用至模板中的区域，在 操作620中，W产生合并图像。所产生的合并图像将多个原始图像结合到具有预定轮廓的 单个图像中。每个原始图像可被映射到或应用到所选模板的一部分或区域。例如根据图像 性质，例如按时间顺序的捕获时间，图像可被映射至合并图像部分在一个实施例中，来自具 有最早捕获时间或捕获时间戳的多个原始图像的图像，可W在双重视野（例如至图3A的 双重合并图像中的映射图像部分210)中被映射或应用至模板左侧。例如基于在图像（例 如具有最高病理分数的图像或来自用于同时显示的多个图像，最有可能包括病理现象的图 像）中捕获的病理可能性，可选择其它映射配置。
[0081] 在一些实施例中，将原始图像映射到所选模板的预定区域可通过保角映射技术实 施。由于保角映射在原始图像中保持曲线的局域角，变换图像结果保持在原始图像中捕获 的目标的形状（例如，在体内组织中）。保角映射保持在原始图像中目标的角度和形状，但 不必要保持其尺寸。映射原始图像可W根据各种失真最小化映射技术实施，例如"尽可能刚 性"变形技术、"尽可能相同"失真技术，或本领域已知的其他变形或失真技术。
[0082] 在一些实施例中，所选模板可包括合并图像的预定区域，在映射原始图像之后其 保持是空的。由于映射算法的内在性能，该些区域不被映射，其可引起在合并图像的特定区 域中放大的角。因此，可使用填充算法，W便W对观察专家有用的方式（操作630)填充该 些区域。被填充区域可W生成，使得当呈献给用户时，可保持图像流的自然流动。可W使用 不同方法填充合并图像的预定空区；一个该样的方法被呈现在图7A和7B中。
[0083] 在使用填充算法填充预定区域之后，显示发生器24可生成图像部分之间的边界 (操作640)。边界可选自不同的边界类型。所选的边界类型可W预定，例如设置在处理器 (例如处理器14,或显示发生器24)或存储单元（例如存储器19)中，或可由用户根据个人 偏好经由用户接口进行人工选择。一种边界类型可包括分隔线，其可被加到合并图像上，W 突出每个图像部分并限定每个原始图像所映射的区域。另一个选择可包括保持不具有明确 边界，例如没有额外分隔线的合并图像。
[0084] 在另一个实施例中，合并图像的图像部分之间的边界可被混合，融合或平滑化，W 便创建从一个图像部分至另一个的不明显过渡。例如，平滑化操作可包括图像混合或交叉 化图像合并技术。一个典型方法被描述在P'erez等人所著的"化isson图像编辑"中，其 公开了无缝图像混合算法，其使用离散化isson方程确定最终图像。
[0085] 在确定边界后，典型地作为体内胃肠道成像步骤的图像流的一部分，最终合并图 像可被显示至用户（操作650)。图像可被显示在例如外部监视器或屏幕上（例如监视器 18)，其可被可操作地连接至工作站或计算机，其包括例如数据处理器14、显示发生器24和 存储器19。
[0086] 现在参考图7A，其为描绘在根据本发明实施例的用于合并图像中生成或填充预定 空部或区域的方法的流程图。在操作700中，处理单元（例如显示发生器24)可接收具有 原始图像没有被映射的至少一个预定空部的合并图像。例如，在完成图6的操作620之后 可接收合并图像。
[0087] 预定空部的轮廓或边界可被获得或确定，例如存储在存储单元19中，具有相同轮 廓、形状或边界的图像部分或补了可从合并图像的附近映射图像区域复制（操作702)。例 如在图5中，使用选自映射图像部分544的图像补了 505,填充预定空部501。所注意的是， 图像补了 505和部分501具有相同尺寸并具有相同轮廓，因此，将图像补了 505复制到部分 501中不需要对复制补了的额外处理。图像补了可选自对应映射图像部分中的固定位置，因 此对于每个合并图像，图像补了（其被复制到空部中）的位置或坐标事先已知。例如，合并 图像模板的预定空部的尺寸和轮廓被典型地预先确定（例如，该信息可与合并图像模板一 起存储）。相应地，选自映射图像部分的图像补了的位置、尺寸和轮廓也被预先确定。在补 了 505被复制到预定空部501中后，预定空部501成为"生成部分"（或生成区域或填充部 分）501。
[0088] 在如图5所示的示例中，图像补了505可选自映射图像部分，使得，例如图像补了 505的右下角P邻近（或接触）图像部分544和预定空部501之间的边界，且图像补了505 的转角相对于预定空部501为零。在其它实施例中，可选择图像补了相对于预定空部的不 同转角，并可从对应的图像部分中选择图像补了的不同坐标位置。当图像补了选自每个合 并图像中的相同区域（例如相同位置、尺寸和形状）时，产生的生成部分总是从映射图像部 分中的相同坐标获得，并在合并图像流中产生的视频图像流变得平滑和流畅。
[0089] 在一些实施例中，所选的补了或区域不必与预定空部相同（例如在尺寸和/或形 状上）。典型地，所选补了可在形状和尺寸上类似，然而不必相同。例如，可选择比预定空 部更大的补了，并调整尺寸（和/或再次成形）W适应预定空部。类似地，所选补了可小于 预定空部，并可被调整尺寸（和/或再次成形）W适应区域。所注意的是，如果所选补了太 大，则由于所选补了中捕获的目标运动的增大（连续图像之间），与映射图像部分中捕获的 目标运动或流动相比，调整尺寸可引起连续合并图像之间的视频流的显著速度差异。
[0090] 在操作704中，通过放置或安插复制的补了或部分到合并图像中的填充或生成部 分中而产生的边缘或边界可被平滑、融合或混合，例如如图7B所述。当补了被复制到生成、 合成或填充部分时，可W各种方法实施对所创建边缘的平滑化。例如，一种方法在由Zeev Farbman、GilHoffer、YaronLipman、DanielCohen-Or和DaniLischinski戶/f著，发表在 "即时图像克隆的坐标"，ACM制图学报28 (3) (Proc.ACMSIGGRAPH2009)，2009年8月的文 章"即时图像克隆的坐标"中被发现。文章介绍了基于坐标的方法，其中在复制区域的每个 内部像素处的插值的给定是通过沿边界的值的加权组合。方法是基于平均值坐标（MVC)。 该些坐标可W计算很昂贵，由于在边界内的每个像素值取决于所有边界像素。
[0091] 现在参考图7B，其为描绘用于对根据本发明的实施例的合并图像中填充、合成或 生成部分的边缘平滑化的方法的流程图。一个补偿值可生成并分配给合成或生成部分中的 每个像素，为的是产生映射图像部分和生成或合成部分之间的平滑边缘。像素补偿值可存 储在存储单元19中。例如，可使用下面的一组操作（可使用其它操作）。
[0092] 在第一个阶段，在操作750中，可计算与边界像素相邻的生成部分的像素的补偿 值。边界像素可W是包括合成或生成部分和对应图像部分之间的边界的像素中的像素。在 一个实施例中，边界像素可W是合成或生成部分的像素，其为对应的映射图像部分的邻近 像素。在另一个实施例中，边界像素可W是映射图像部分的像素，其为对应的合成或生成部 分（但是不包含在合成部分内）的邻近像素。
[0093] 在下面的实施例中，边界像素被定义为邻近生成或合成部分的映射图像部分的像 素。邻近边界像素设置的生成部分中的像素Pa的补偿值，可通过寻找至少一个相邻边界像 素的色值（其可包括多个颜色元素，比如红色、绿色、和藍色值，或单个元素，即强度值）和 像素Pa的色值（例如R、G、B色值或强度值）之间的差来计算。相邻像素可选自映射图像 部分的区域，靠近生成部分501 (例如包含在对应图像部分544内的区域，其与边界509邻 近，其表示映射图像部分544和生成部分501之间的边界）。
[0 094] 像素的色值可W本领域已知的各种形式表示，例如使用RGB、YUV或TCrCb色空间。 可使用其它色空间或颜色表示法。在一些实施例中，不是所有颜色元素被用于计算像素的 补偿值，例如如果像素色值WRGB色空间表示的话，只有红色元素可W使用。
[0095] 在一个实施例中，可选择多于一个的相邻像素用于计算与边界像素邻近的像素Pa 的补偿值。例如，与图7中的边界像素邻近的像素Pi的补偿值可被计算为多个相邻边界像 素（其在映射部分544中）的平均值，即S个相邻边界像素P4、Ps和Pe;
[009引（方程1)()(0 = ^(('(尸4) + 叫尸'）+ 叫巧)），
[0097] 其中，0化）表示像素Pi的补偿值，且c(Pi)表示像素Pi的色值。
[0098] 在填充或生成部分的像素上可实施距离转换操作（操作752)。距离转换可包括标 注或分配具有距离（例如在像素中测量）的生成部分的每个像素至合成或生成部分的边界 或至最近的边界像素。像素的距离值可被存储在存储单元19中。例如，图7C为图5所示 的填充、合成或生成部分501W及其对应图像部分544的放大视图（图5A和7C中的对应 元素的数字被重复）。填充或生成部分501的像素边界沿着边界线509设置，P4、Pg和Pe为 典型的生成部分501的边界像素，而Pi、P2、P3和Pg为典型的邻近边界像素的像素。如此处 使用的第一像素的相邻像素，可包括邻近、对角或接触第一像素的像素。例如，像素Pi(其为 邻近边界像素P4和Pe的生成部分501中的像素）与最近相邻边界像素？4(或Pe，其两者被 包含在映射图像部分544中）之间的距离是一个像素。因此，在距离转换操作中，像素Pi被 分配距离值1。类似地，像素P2、P3和Pg的距离值被分配距离值1。例如在存储单元19中， 距离值存储在填充或生成部分的每个像素中。
[0099] 在操作754中，在填充、合成或生成部分501中的像素可根据其与填充或生成部分 的边界的计算距离被存储（使用距离转换操作的结果）。可W只实施一次分类，并用于每个 合并图像，使得设置在模板的特定坐标中的每个像素接收固定的或永久的分类值，例如对 应其从边界的计算距离。根据像素的分类值，可在每个像素上实施下一步操作。例如，如操 作756中所说明的计算内部像素的补偿值，可根据被分类的顺序实施。在生成部分中每个 像素的分类值例如可被存储在例如存储器19中。分类可W是从像素离边界线509的最小 距离至最大距离。
[0100] 在补偿值计算的第二阶段中，在操作756中，生成部分501内部的像素（其可被称 作生成部分的"内部像素"，并包括除了与边界像素直接邻近的像素之外的生成部分的所有 像素，例如，在距离转换中接收值"1"的像素）可W例如根据在操作754中计算的分类顺序 被扫描或分析。每个内部像素的补偿值可基于例如已经被分配补偿值的至少一个相邻像素 的补偿值来计算。内部像素的补偿值可被存储在存储单元19中。
[0101] 计算内部像素补偿值的顺序可W通过启动从靠近边界像素（与边界距离为最小 的像素，例如，距离小于两个像素）的内部像素的计算，并且逐渐增大与边界像素的距离。 内部像素的补偿值可基于已经被分配补偿值的一个或多个相邻像素而被计算。计算可包括 运算已经被分配补偿值的所选相邻像素的补偿值的平均值、平均数、加权平均数或广义平 均值，乘W衰减系数（例如0.9或0.95)。例如，与边界509具有两个像素距离的内部像素 P,的补偿值可由下式计算：
[0102] (方程。
[0103] 其中〇(Pi)表示像素Pi的补偿值，并且D为衰减系数。由于Ps和P2为邻近边界像 素的像素，其补偿值可在第一阶段中计算，例如如操作750中所述。因此，该些像素已具有 分配给它们的补偿值，并可计算具有与边界线509有两个像素距离的内部像素的补偿值。 其它像素可用于计算补偿值，例如，只使用单个的相邻像素（例如，只有Pe，只有P2,或只有 P3)，或可使用=个或多个相邻像素。
[0104] 衰减系数的目的是具有在生成部分中的内部像素的补偿值，其与边界相对较远地 设置，会聚至0,为了产生生成部分中的颜色逐渐转变至复制补了的原始颜色。从邻近边界 像素的生成部分的像素至其距离与边界最远的像素的颜色转变，可成为逐步的，且该可产 生平滑化或混合效果。因此，可根据分类顺序，例如从邻近边界像素的像素至远离边界的内 部像素，实施平滑化操作。
[0105] 在操作758中，在生成部分中的每个像素的色值（例如RGB色值或强度值）可被加 到相对应的像素补偿值上，从而生成新的像素色值，且新的像素色值可被分配至像素。每个 像素的新的像素色值可被存储在例如存储器19中。因此，生成部分中的像素色值可逐步与 邻近边界的图像部分的颜色混合，W获得图像部分和生成部分之间的平滑的或混合边缘。
[0106] 由于生成（或填充，或合成）部分可W为合并图像模板中的固定的预定区域，上述 的操作752和754可W只实施一次，并用于任何图像流的所有的合并图像帖。
[0107] 本发明实施例的一个优势为计算速度。对于每个像素，最多八个值（如果使用所 有周围的相邻像素）可被平均，并且实际上具有分配补偿值的相邻像素的数量可明显更少 (例如=个或四个相邻像素）。另外整个平均序列可W被离线确定。
[010引另外可使用其它混合或平滑化方法或替代所述方法，例如，交叉化、离散化isson方程等。可使用其它组操作。特定实施例的特点可与此处所示的其它实施例一起使用。 [0109] 本发明的系统和方法可容许W有效方式并W较短时间查看图像流。本领域技术人 员可理解的是，本发明不被上文所特别示意或描述的内容限制。而本发明的范围由权利要 求限定。
【主权项】
1. 一种用于合成合并图像中的部分的方法，所述合并图像包括映射图像部分和生成部 分，所述映射图像部分包括边界像素，且所述生成部分包括邻近所述边界像素和内部像素 的像素，所述方法包括： 进行所述生成部分的像素的距离变换，从而为每个像素计算所述像素离最近的边界像 素的距离； 计算邻近所述边界像素的在所述生成部分中像素的补偿值； 基于已指定补偿值的至少一个相邻像素的补偿值计算在所述生成部分中内部像素的 补偿值； 对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值 上，以获得新的像素色值。2. 如权利要求1所述的方法包括： 从体内成像胶囊中接收用于并行显示的一组原始图像；和 选择用于显示所述图像组的模板，所述模板包括至少一个映射图像部分和一个生成部 分。3. 如权利要求2所述的方法包括： 将所述原始图像映射到所选择的模板中的所述映射图像部分上。4. 如权利要求3所述的方法包括： 生成对于所述合并图像的预定区域的填充，从而产生所述合并图像的所述生成部分。5. 如权利要求4所述的方法，其中，通过将补丁从所述映射图像部分复制到所述生成 部分以实现所述生成。6. 如权利要求1所述的方法，包括显示所述合并图像，所述合并图像包括所述映射图 像部分和具有新的像素色值的所述生成部分。7. 如权利要求1所述的方法，包括基于被计算的距离在所述生成部分中分类像素，并 根据被分类的顺序计算内部像素的所述补偿值。8. 如权利要求1所述的方法，其中，所述映射图像部分的所述边界像素包括作为所述 对应生成部分的邻近像素的像素。9. 如权利要求1所述的方法，其中，计算所述生成部分中邻近边界像素的像素Pa的补 偿值，是通过计算色值和至少一个相邻像素的平均值、中值、广义平均值或加权平均数 之间的差，所述相邻像素选自邻近Pa的所述边界像素。10. 如权利要求1所述的方法，其中，计算所述生成部分中的内部像素的补偿值，是通 过计算被指定补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘以 衰减系数。11. 一种用于显示合并图像的系统，所述合并图像包括映射图像部分和生成部分，所述 映射图像部分包括边界像素，所述生成部分包括邻近所述边界像素和内部像素的像素，所 述系统包括： 处理器，用于为所述生成部分的每个像素计算所述像素至所述最近的边界像素的距离 值； 计算邻近所述边界像素的所述生成部分的所述像素的补偿值； 基于已被指定补偿值的至少一个相邻像素的补偿值，计算在所述生成部分中的内部像 素的补偿值； 对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值 上，以获得新的像素色值； 存储单元，用于存储所述距离值、所述补偿值和所述新的像素色值； 和 显示器，用于显示所述合并图像，所述合并图像包括所述映射图像部分和具有所述新 的像素色值的所述生成部分。12. 如权利要求11所述的系统，其中，所述存储单元用于存储来自体内成像胶囊的一 组原始图像，用于并行显示。13. 如权利要求12所述的系统，其中，所述处理器用于选择显示所述图像组的模板，所 述模板包括至少一个映射图像部分和一个生成部分。14. 如权利要求12所述的系统，其中，所述处理器用于将所述原始图像映射到所选择 的模板中的映射图像部分，从而产生所述映射图像部分。15. 如权利要求12所述的系统，其中，所述处理器用于生成所述合并图像的预定区域 的填充，从而产生所述生成部分。16. 如权利要求15所述的系统，其中，所述处理器用于通过将补丁从所述映射图像部 分复制到所述生成部分以生成填充。17. 如权利要求11所述的系统，其中，所述处理器用于基于被计算的距离值在所述生 成部分中分类像素，并根据分类的顺序计算内部像素的所述补偿值。18. -种变形视频流的多个图像以适应人类视野的方法，所述方法包括： 使用失真最小化技术以基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角 和类椭圆形；和 将所变形的图像显示为视频流。19. 如权利要求18所述的方法，其中，所述模板图案包括映射图像部分和合成部分。20. 如权利要求19所述的方法，其中，所述映射图像部分和所述合成部分之间的边界 通过以下步骤计算： 进行所述合成部分的像素的距离变换，从而为每个像素计算所述像素离所述最近边界 像素的距离； 计算邻近边界像素的所述合成部分中的像素的补偿值，所述边界像素位于所述映射图 像部分和所述合成部分的相邻像素中； 基于已指定补偿值的至少一个相邻像素的所述补偿值，计算在所述合成部分中的内部 像素的补偿值； 对于所述合成部分中的每个像素，将被计算的所述像素的补偿值加到所述像素的色值 上，从而获得新的像素色值。
【专利摘要】一种显示通过体内成像胶囊捕获的图像流的系统和方法，可包括显示合并图像的图像流，所述合并图像从多个原始图像中生成。为了生成合并图像，可将多个原始图像映射到选定模板，所述模板至少包括映射图像部分和生成图像部分。所述生成图像部分可通过复制来自映射图像部分的补丁而被填充，且生成部分和映射图像部分之间的边缘可变平滑并被混合。通过计算生成部分中的像素补偿值而进行平滑化，并且对于生成部分中的每个像素，将所计算的像素补偿值加到像素色值上。
【IPC分类】G06T5/00
【公开号】CN104885120
【申请号】CN201380069007
【发明人】艾迪·埃克, 海加·克鲁普尼克
【申请人】基文影像公司
【公开日】2015年9月2日
【申请日】2013年12月30日
【公告号】EP2939210A1, US20150334276, WO2014102798A1
最新回复(0)