傅立叶重叠关联成像系统、设备和方法
傅立叶重叠关联成像系统、设备和方法
【专利说明】傅立叶重叠关联成像系统、设备和方法
[0001] 相关申请的交叉引用
[0002] 这是一个非临时申请，其要求2012年10月30日提交的名称为"Breaking theSpatialProductBarrierviaNon-InterferometrieAperture-Sythesizing Microscopy(NAM) "的申请号为61/720, 258的美国临时专利申请和2013年7月17日提交 的名称为"FourierPtychographicMicroscopy"的申请号为61/847, 472的美国临时专利 申请的优先权。出于全部目的，这些临时申请据此通过引用以其整体并入本文。
[0003] 发明背景
[0004] 本公开内容的实施方式总体上涉及宽视场、高分辨率数字成像技术。更具 体地，某些实施方式涉及用于宽视场、高分辨率成像的傅立叶重叠关联成像（Fourier ptychographicimaging，FPI)设备、系统和方法。
[0005] 常规成像平台（例如显微镜）的吞吐量通常受到其光学系统限定的空间带宽积的 限制。空间带宽积指的是光学系统可从光学信号中提取的自由度的数量（例如，可分辨的 像素数量），如LohmannA.W.、DorschR.G.、MendlovicD.、ZalevskyZ?和FerreiraC?在 J.Opt.Soc.Am.A13 的第 470-473 页（1996)的"Space-bandwidthproductofoptical signalsandsystems"中讨论的，其据此通过引用以其整体并入本文D不管常规显微镜的 物镜放大因数或的数值孔径（NA)，常规显微镜通常都以千万像素量级的空间带宽积进行操 作。例如，具有20倍0. 40NA的物镜的常规显微镜具有0. 8mm的分辨率和1. 1mm的视场直 径，其对应于约7百万像素的空间带宽积。先前尝试增加常规显微镜的空间带宽积已经被 其物镜的比例相关的几何像差挫败，其导致图像分辨率和视场之间的折衷。增加常规成像 平台的空间带宽积可由以下因素限制：1)其光学系统的比例相关的几何像差，2)中继光学 器件的固定的机械长度和固定物镜等焦面长度的限制，和/或3)千兆像素数字记录设备的 可用性。
[0006] 使用干涉合成孔径技术增加空间带宽积的一些尝试在以下进行描述，Di，J.等人 的"Highresolutiondigitalholographicmicroscopywithawidefieldofview basedonasyntheticaperturetechniqueanduseoflinearCCDscanning，''Appl. 0pt.47，第 5654-5659 页（2008) ;Hillman，T.R.、Gutzler，T.、Alexandrov，S.A?和 Sampson,D.D.的 "High-resolution，wide-fieldobjectreconstructionwith syntheticapertureFourierholographicopticalmicroscopy，"Opt.Express17，第 7873-7892 页（2009) ;Granero，L.、Mic6V.、Zalevsky，Z?和Garcia，J?的"Synthetic aperturesuperresolvedmicroscopyindigitallenslessFourierholographyby timeandangularmultiplexingoftheobjectinformation， "Appl.Opt.49，第 845-857 页（2010) ;Kim，M等人的"High-speedsyntheticaperturemicroscopyfor livecellimaging，"0pt.Lett.36，第 148-150 页（2011) ;Turpin，T.、Gesell，L.、 Lapides,J.和Price，C.的"Theoryofthesyntheticaperturemicroscope，'' 第 230-240 页；Schwarz，C.J.、Kuznetsova，Y.和Brueck，S.的"Imaginginterferometric microscopy，"Opticsletters28，第 1424-1426 页（2003) ;Feng，P.、Wen，X?和 Lu,R.的 ''Long-working-distancesyntheticapertureFresneloff-axisdigital holography，"OpticsExpress17，第 5473-5480 页（2009) ;Mico，V.、Zalevsky，Z.、 Garcla-Martlnez,P.和Garcia，J.的"Syntheticaperturesuperresolutionwith multipleoff-axisholograms，"J0SAA23，第 3162-3170 页（2006) ;Yuan，C.、Zhai，H. 和Liu，H.的"Angularmultiplexinginpulseddigitalholographyforaperture synthesis，"0pticsLetters33，第 2356-2358 页（2008) ;Mico，V.、Zalevsky，Z. 和Garcia，J.的"Syntheticaperturemicroscopyusingoff-axisillumination andpolarizationcoding，"OpticsCommunications,第 276、209_217 页(2007)； Alexandrov,S.和Sampson，D.的"Spatialinformationtransmissionbeyonda system'sdiffractionlimitusingopticalspectralencodingofthespatial frequency,^JournalofOpticsA:PureandAppliedOptics10,025304(2008)； Tippie，A.E.、Kumar，A.和Fienup，J.R.的"High-resolutionsynthetic-aperture digitalholographywithdigitalphaseandpupilcorrection，''Opt.Express19，第 12027-12038 页（2011) ;Gutzler，T.、Hillman，T.R.、Alexandrov，S.A?和Sampson，D.D?的 ^Coherentaperture-synthesis,wide-field,high-resolutionholographicmicroscopy ofbiologicaltissue，"0pt.Lett. 35，第 1136-1138 页（2010);以及Alexandrov，S. A.，Hillman，T.R.、Gutzler，T.和Sampson，D.D.的"SyntheticapertureFourier holographicopticalmicroscopy, ^Phil.Trans.R.Soc.Lond.A339，第 521-553 页 (1992)，它们据此通过引用以其整体并入本文。这些尝试中的大多数尝试使用设置，其使用 干涉全息（诸如离轴（off-line)全息和相移全息）方法记录强度和相位信息两者。所记 录的数据然后以确定的方式在傅里叶域中合成。
[0007] 这些以前使用干涉合成孔径技术以增加空间带宽积的尝试有局限性。例如，通常 在这些技术中使用的干涉全息记录需要高相干光源。同样地，重构的图像趋向于遭受各 种相干噪声源，诸如斑点噪声、固定图案噪声（由尘埃颗粒的衍射和在光束路径中的其它 光学缺陷诱导的），和不同的光学界面之间的多重干涉。因此，图像质量比不上常规显微 镜的图像质量。另一方面，离轴全息方法的使用牺牲了图像传感器的有用的空间带宽积 (即，总的像素数），如可在Schnars，U?和Jliptner，W.P.O的在MeasurementScienceand Technology， 13,R85(2002)的"Digitalrecordingandnumericalreconstructionof holograms，"中找到，其据此通过引用以其整体并入本文。另一个限制是干涉成像可遭受不 同测量之间不可控的相位波动。因此，可能需要样本位置的先验和准确的知识，用于在图像 恢复处理中设置参考点（也称为相位参照）。另一个限制是，先前报道的尝试需要机械扫 描，无论是用于转动样本或用于改变照射角度。因此，这些系统都需要精确的光学对准、在 亚微米级的机械控制、和相关联的维护。关于空间带宽积，这些系统与常规显微镜相比，没 有在样本的扫描和图像拼接（stitch)上呈现优势。另一个限制是，前面的干涉合成孔径技 术难以在没有实质性的修改的情况下并入大多数现有显微镜的平台。此外，在这些平台上 彩色成像能力还没有被证实。彩色成像能力已被证明在病理学和组织学应用中是关键的。
[0008] 在显微术中，对于生物医学应用（诸如数字病理学、血液学、植物解剖学、免疫组 织化学和神经解剖学）非常期望大的空间带宽积。生物医学和神经科学中对用于分析的大 量组织学幻灯片的数字成像的强烈需求，促使精密的机械扫描显微镜系统和无透镜显微术 设立的发展。通常，这些系统使用具有高精确度和准确的组件的复杂机械装置来增加它们 的空间带宽积以控制致动、光学对准和运动跟踪。这些复杂的组件可能是制造昂贵并难于 使用的。
[0009] 先前的无透镜显微术方法（诸如数字同轴（in-line)全息和接触成像显微 术）也存在一定的弊端。例如，常规的数字同轴全息无法对连续的样本很好地工作并 且接触成像显微术需要样本靠近传感器。数字同轴全息设备的实例可在以下内容中找 到，Denis,L.、Lorenz,D.、Thiebaut,E.Fournier,C.和Trede,D.的"Inlinehologram reconstructionwithsparsityconstraints, "Opt.Lett. 34，第 3475 - 3477 页 (2009) ;Xu，W.、Jericho,M.、Meinertzhagen，I?和Kreuzer，H?的"Digitalin-line holographyforbiologicalapplications, "Proc.NatlAcad.Sci.USA98,第 11301-11305 页（2001);以及Greenbaum,A.等人的"Increasedspace-bandwidthproduct inpixelsuper-resolvedlensfreeon-chipmicroscopy, "Sci.Rep.3,第 1717 页 (2013)，它们据此通过引用以其整体并入本文。接触成像显微术的实例可在以下内容 中找到，Zheng,G.、Lee,S.A.、Antebi，Y.、ElowitzM.B?和Yang,C?的"TheePetri dish,anon-chipcellimagingplatformbasedonsubpixelperspectivesweeping microscopy(SPSM)，"Proc.NatlAcad.Sci.USA108，第 16889 - 16894 页（2011);以 及Zheng,G. ,Lee,S.A. >Yang,S. &Yang,C.的 "Sub-pixelresolvingoptofluidic microscopeforon-chipcellimaging,"LabChip10,第 3125 - 3129 页（2010)，它们据 此通过应用以其整体并入本文。
[0010] 发明简述
[0011] 本公开内容的实施方式提供了用于如在应用（诸如，例如数字病理学、血液学、半 导体晶片的检查、以及X射线和电子成像）中使用的宽视场、高分辨率成像的傅立叶重叠关 联成像（FPI)方法、设备和系统。FPI设备的实例是傅立叶重叠关联显微镜（FPM)，其也可 称为使用非干涉孔径合成的显微术（NAM)。
[0012] 在一些实施方式中，FPI系统包括可变照射器、光学元件、辐射检测器以及处理器。 可变照射器在不同的采样时间从多个N个不同的入射角度照射样本。光学元件过滤从样本 发出的光。辐射检测器捕获多个经变化照射的（透视的）低分辨率的强度图像。处理器迭 代地将在傅立叶空间中重叠区域的经变化照射的、低分辨率的图像拼接在一起以恢复宽视 场、高分辨率的图像。在某些实施方式中，FPI设备还可校正像差并数字重聚焦复杂的高分 辨率图像，其可数字地延长FPI系统的聚焦深度（超出其光学元件的物理限制）。
[0013] 一个实施方式提供了傅立叶重叠关联成像设备，其包括用于从多个入射角度提供 对样本的照射的可变照射器、用于过滤来自样本的照射的光学元件和用于基于由光学元件 过滤的光获取样本的多个经变化照射的、低分辨率的强度图像的检测器。傅立叶重叠关联 成像设备还包括用于通过用经变化照射的、低分辨率的强度图像迭代地更新傅立叶空间中 的重叠区域来以计算方式重构样本的高分辨率图像的处理器。在一种情况下，可变照射器 是光元件（例如，发光二极管）的二维矩阵，每个光元件从多个入射角度中的一个提供照 射。
[0014] 另一个实施方式提供傅立叶重叠关联成像方法。该方法示出使用可变照射器从多 个入射角度进行成像的样本，以及使用光学元件过滤从样本发出（例如，散射的）的光。该 方法还使用检测器捕获样本的多个经变化照射的、低分辨率的强度图像。此外，该方法通过 迭代地更新在傅立叶空间中经变化照射的、低分辨率的强度图像的重叠区域来以计算方式 重构样本的高分辨率图像。在一种情况下，该方法初始化傅立叶空间中的当前高分辨率图 像，过滤在傅立叶空间中过滤的当前高分辨率图像的重叠区域，以产生多个入射角度的中 的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像的强度，并用具有测 量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况下，过滤步骤、替换步 骤和更新步骤可针对多个入射角度执行。在另一种情况下，该方法将每个经变化照射的、低 分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块（tile)图像，通过迭代 更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复关于每一 分块的高分辨率图像，并结合分块的高分辨率图像以产生样本的高分辨率图像。
[0015] 另一个实施方式提供了傅立叶重叠关联成像方法，其接收样本的多个经变化照射 的、低分辨率的强度图像，并通过迭代更新傅立叶空间中的经变化照射的、低分辨率的强度 图像的重叠区域来以计算方式重构样本的高分辨率图像。在一种情况下，该方法将每个经 变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块图像，通 过迭代更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复每 个分块的高分辨率图像，并结合分块的高分辨率图像。在另一种情况下，该方法初始化傅立 叶空间中的当前高分辨率图像，过滤在傅立叶空间中的当前高分辨率图像的重叠区域，以 产生多个入射角度中的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像 的强度，并用具有测量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况 下，过滤步骤、替换步骤和更新步骤可针对多个入射角度执行。
[0016] 某些实施方式提供用于X射线成像的FPI系统和设备，以及使用用于X射线成像 的FPI系统和设备的方法。一个实施方式提供了傅立叶重叠关联X射线成像设备，其包括 用于捕获样本的多个经变化照射的、低分辨率的强度X射线图像的组件。傅立叶重叠关联 X射线成像设备还包括处理器，其用于通过用经变化照射的、低分辨率的强度X射线图像迭 代地更新傅立叶空间中的重叠区域来以计算方式和重构样本的高分辨率X射线图像。在一 种情况下，该组件包括X射线光学元件和X射线辐射检测器，它们可与样本严格地一起移 动。X射线光学元件在样本和X射线辐射检测器之间。基于由X射线光学元件投射的X射 线辐射，X射线辐射检测器捕获样本的多个低分辨率的强度图像。在这种情况下，傅立叶重 叠关联X射线成像设备还可包括用于移动该组件以从多个入射角度将来自固定的X射线辐 射源的X射线辐射引导到样本的机械装置。
[0017] 另一个实施方式提供傅立叶重叠关联X射线成像方法。这种方法基于多个入射角 度获得样本的多个经变化照射的、低分辨率的强度X射线图像，并通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域，以计算方式重构样本 的高分辨率X射线图像。在一种情况下，该方法还包括移动包括X射线光学元件和X射线 辐射检测器的组件，以从多个入射角度提供X射线辐射到样本。在这种情况下，该方法还包 括使用X射线光学元件过滤从样本发出的X射线辐射，并基于由X射线光学元件投射的X 射线辐射，用X射线辐射检测器捕获多个经变化照射的、低分辨率的强度X射线图像。
[0018] 附图简述
[0019] 图1A是根据本发明的实施方式的FPI系统的组件的示意图。
[0020] 图1B是图1A的FPI设备的一些组件的侧视图示意图。
[0021] 图2A是根据本发明的实施方式的FPI设备的示意图，FPI设备包括以100个光元 件的二维（10X10)矩阵形式的可变照射器。
[0022] 图2B是根据本发明的实施方式的具有以模块化形式的组件的FPI系统的照片。
[0023] 图2C是图2B的FPI设备的可变照射器的光元件中的一个的照片。
[0024] 图3是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0025] 图4A是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0026] 图4B是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0027] 图5A根据本发明的实施方式包括FPI方法的测量过程（中）和恢复过程（右手 侦D的示意性表示。
[0028]图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B⑶和 5B(9)是由图 5A中 引入的FPI方法获得的九个低分辨率测量结果。
[0029]图 5B(12)是在与图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)的低分辨率测量结果相关联的傅立叶空间中更新的区域。
[0030] 图5B(10)和5B(11)是来源于图5B(12)的更新的恢复的高分辨率强度和相位图 像。
[0031] 图6A是根据本发明的实施方式的由FPI系统执行的FPI方法的流程图。
[0032] 图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。
[0033] 图6C和6D是根据本发明的实施方式的具有以LED矩阵形式的光元件的FPI设备 的组件的示意图。
[0034] 图6E是参照图6A和6B所描述的FPI方法的步骤的图示。
[0035] 图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。
[0036] 图7A(1)、7A⑵、7A(3)、7A(4)和7A(5)是来源于执行图6A和6B的FPI方法的图 像。
[0037] 图7B(1)、7B⑵、7B(3)、7B(4)、7B(5)和7B(6)是来源于执行图6A和6B的具有不 同的N个入射角（N= 5、64和137)的FPI方法的图像。
[0038] 图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。
[0039] 图8B是根据本发明的实施方式的来源于执行FPI方法的图像，其中FPI方法利用 了使用图像混合的分块成像。
[0040] 图9A是根据本发明的实施方式的使用数字波前校正的FPI方法。
[0041] 图9B是根据本发明的实施方式的实现使用数字波前校正的FPI方法的FPI设备 的示意图。
[0042] 图10A是根据本发明的实施方式的来自FPI系统10的数值模拟的图像，其中FPI 系统10出于比较使用利用和不利用数字重聚焦的FPI方法。
[0043] 图10B(1)-(16)根据本发明的实施方式示出来自使用图2B中所示的FPI设备 100(a)执行带数字重聚焦的FPI方法的实验结果。
[0044] 图10B(1)是根据实施方式执行利用数字重聚焦的FPI方法的FPI设备的实验设 置的示意图。
[0045] 图10B(2)-(16)是根据图10B(1)中的实验设置来自执行利用数字重聚焦的FPI 方法的实验结果的图像。
[0046] 图10C(1)_(7)包括来自相对于图10B(1)_10B(16)中描述的实验的更详细的结 果。
[0047] 图10D(1)_(3)是根据本发明的实施方式的来自出于比较执行利用和不利用数字 重聚焦的FPI方法的实 验结果的图像。
[0048]图 10E(1)、10E⑵、10E(3)、10E⑷、10E(5)、10E(6)、10E(7)和 10E(8)根据本发明 的实施方式，提供了来自使用FPI系统执行利用数字重聚焦的用于校正在血液涂片和病理 切片中的色差FPI方法的示例性结果。
[0049]图 10F(1)、10F⑵、10F(3)、10F⑷、10F(5)、10F(6)和 10F(7)根据本发明的实施 方式包括来自使用FPI系统执行利用数字自动对焦的FPI方法的实验结果。
[0050] 图11A(1)是用于对比的照片，其针对常规显微镜的2X物镜和20X物镜两者示出 病理切片的视场。
[0051] 图11A(2)和11A(3)示出关于在常规显微镜中的2X物镜的数值孔径的图像。
[0052] 图11A⑷和11A(5)是示出关于在常规显微镜中的20X物镜的数值孔径的图像。
[0053] 图11A(6)和图11A(7)是根据本发明的实施方式示出FPI系统的视场和相对应的 最大NA的彩色图像。
[0054] 图11B(1)_(21)是根据本发明的实施方式来源于使用彩色成像FPI系统的图像。
[0055] 图 11C(1)、11C(2)、11C(3)、11C(4)、11C(5)和 11C(6)是根据本发明的实施方式示 出在彩色成像FPI系统和不同的物镜之间的图像质量的对比的图像。
[0056] 图11D(1)-(10)是根据本发明的实施方式的、使用FPI方法，用彩色成像FPI系统 10的病理切片和血液涂片两者的相位和彩色图像。
[0057] 图12是根据实施方式可存在于FPI系统10中的子系统的框图。
[0058] 发明详述
[0059] 本发明的实施方式将在以下参照附图进行描述。虽然本文可相对于用可见光辐射 的照射描述FPI系统、设备和方法的实施方式，但是这些FPI系统、设备和方法也可使用其 它形式的福射，诸如，例如，声波、Terahertz波、微波和X射线。
[0060] 一些实施方式包括FPI系统，其包括可变照射器、光学元件、辐射检测器、以及处 理器。可变照射器依次用平面波在多个N个不同的入射角度照亮正被成像的样本。光学元 件过滤从样本发出的光。例如，该光学元件可以是物镜，其根据它的数值孔径接受从样本发 出的光。在一些情况下，该光学元件可以是低数值孔径的物镜，其提供相应窄的接收角度和 增加的景深。辐射检测器检测由光学元件过滤的光，并捕获对应于N个不同入射角度的多 个N个低分辨率强度图像。处理器迭代地将在傅立叶空间中重叠的低分辨率强度图像拼接 在一起以恢复样本的宽视场、高分辨率的图像。在某些实施方式中，FPI设备还可数字重聚 焦复杂高分辨率图像以适应在其光学元件中的散焦和像差，其可数字地延长FPI系统的聚 焦深度（超出其光学元件的物理限制）。
[0061] 在某些方面，由FPI系统执行的FPI方法包括测量过程、恢复过程和可选的显示过 程。在测量过程期间，样本被相继从多个N个入射角度照射，并获得对应的低分辨率强度图 像。在恢复过程期间，基于低分辨率强度测量结果，恢复一个或更多个高分辨率、宽视场图 像。在可选的显示过程期间，将恢复的图像和其它输出提供给显示器上的FPI系统的用户。
[0062]I、FPI系统和设备介绍
[0063] 虽然本文关于可见光辐射（照射）描述了FPI设备和系统的实施方式，但是其它 形式的辐射（例如，X射线）可在某些情况下使用。
[0064] 图1A是根据本发明的实施方式的FPI系统10的组件的示意图。该FPI系统10 包括FPI设备100和与FPI设备100电子通信的计算设备200。在某些实施方式中，诸如 在图1A中说明的一个实施方式中，将样本20提供给FPI设备100用于成像。该FPI设备 100包括用于将可变照射提供给样本20的可变照射器110、用于过滤从样本20发出的照射 的光学元件130、和用于检测接收的照射强度的辐射检测器140。计算设备200包括处理器 210 (例如，微处理器）、计算机可读介质（CRM) 220和显示器230。
[0065] 在测量过程中，可变照射器110提供从多个N个入射角度（（0A0/)，1 = 1到 N)到样本20的照射。可由提供给FPI设备100的样本20改变（例如，阻塞、降低强度、修 改波长/相位、修改偏振等）来自可变照射器110的照射。该光学元件可从可变照射器接 收光（例如，如从样本20发出的）并能过滤其接收的光。例如，光学元件130可以以物镜 的形式，其接受在其接受角度范围内的光以作为滤光器。在一些情况下，光学元件130可以 是具有低数值孔径（例如，约 0.08的NA)的物镜以提供相应的窄的接收角度并允许增加景 深。辐射检测器140可从光学元件130接收经滤波的光，并可记录在N个采样时间（ti=ia N)的辐射检测器140的强度分布以捕获样本区域的多个N个低分辨率二维强度图像。
[0066] 在图1A中，处理器210与辐射检测器140进行电子通信，以接收带有对应于样本 区域的N个低分辨率强度图像的图像数据的信号，样本区域的强度图像可包括样本20的至 少一部分的图像。在恢复过程中，处理器210可迭代将在傅立叶空间中的低分辨率强度图 像"拼接"在一起以恢复宽视场、高分辨率的图像。在某些实施方式中，处理器210还可数 字重聚焦高分辨率图像，以适应样本的任何散焦和/或在其光学元件130中的色差。这种 能力可数字扩展FPI系统10的聚焦深度（超出光学元件130的物理限制）。
[0067] 处理器210与CRM220 (例如，存储器）电子通信，以便能够发送带图像数据的信 号以便存储到CRM220并从其检索图像数据。处理器210被示出与显示器230电子通信， 以便能够发送图像数据和指令，以显示样本区域的宽视场、高分辨率图像和其它输出例如 到FPI系统10的用户。如虚线所示，可变照射器110可以可选地与处理器210进行电子通 信中以发送用于控制可变照射器110的指令。如本文所用的，FPI系统10的组件之间的电 子通信可以以有线或无线形式。
[0068] 图1B是图1A的FPI设备100的一些组件的侧视图示意图。在图1B中，FPI设备 1〇〇包括具有照射器表面111的可变照射器110、光学元件130、和具有传感表面142的辐射 检测器140。虽然在距离光学元件130 -定距离处示出了辐射检测器140,但是辐射检测器 140可以可选地位于光学元件130。
[0069] 在某些实施方式中，FPI设备包括焦点对准平面122和采样平面124。焦点对准 平面122可指的是相应的FPI设备的光学元件的焦平面。该FPI设备包括在焦点对准平面 122的x轴和y轴，和正交于焦点对准平面122的z轴。焦点对准平面被限定在z= 0的 x-y平面。采样平面124可指的是FPI设备可在其上以计算方式重构高分辨率宽视场图像 的平面。该FPI设备在焦点对准平面122捕获低分辨率图像。通常，采样平面124平行于 焦点对准平面122。在一些实施方式中，采样平面124可与焦点对准平面122-致。在自动 聚焦的实施方式中，FPI系统10可执行可确定样本20位置的FPI方法，以在样本20定位 采样平面124,以便在样本20聚焦高分辨率宽视场的图像。
[0070] 在图1B中，FPI设备100包括在z= 0的焦点对准平面122和在z=zQ的采样平 面。FPI设备100包括在焦点对准平面122中的x轴和y轴（未示出）和正交于焦点对准 平面122的z轴。FPI设备100还包括可变照射器110和采样平面124之间的距离d。在 图示的实例中，样本20已经定位在样本表面126用于成像。在其它实施方式中，样本20可 在其它位置用于成像目的。
[0071] 在图1B中，在测量过程中在特定的采样时间ti示出FPI设备100。在采样时间 ti，可变照射器110在与在采样平面124的（0 0/)的入射角度相关联的波矢量kxi、kyi 提供入射照射。由于图示是在x-z平面的侧视图，故只示出了入射角度0/的1分量。
[0072] 在图1B中，光学元件130接收和过滤从样本20发出的光。在辐射检测器140的感 测表面142接收由光学元件130过滤的光。辐射检测器140感测经过滤的光的强度分布， 并捕获样本区域的低分辨率强度图像。虽然在采样时间h示出FPI设备100,但是该FPI 设备100可在多个N个采样时间（ti= 1_)期间运行以捕获与N个入射角度（（0/，0/)，1 =1到N)相关联的N个低分辨率二维强度图像。
[0073] 可变照射器可指的是相继提供从多个N个不同的入射角度（（0A0/)，1 = 1到 N)的入射辐射的设备。N的适当值的范围可从2至1000。在大多数实施方式中，可变照射 器包括在特定采样时间提供照射的一个或更多个辐射源的光元件。在大多数情况下，每个 光元件近似为从单一入射角度提供到样本20的平面波照射。例如，在图2A中参考点P的 入射角度9xi可以是在法线和在点P和照射的光元件112之间的直线之间的角度，该角度 基于在可变照射器和采样平面124之间的距离d。
[0074] 尽管一个辐射源或多个辐射源通常是相干辐射源，但是也可使用非相干辐射源并 可应用可计算的校正。在使用可见光辐射的实施方式中，每个辐射源是可见光源。可见光 源的一些实例包括LCD像素和LED显示器的像素。在使用其它形式的辐射的实施方式中， 可使用其它辐射源。例如，在使用X射线辐射的实施方式中，辐射源可包括X射线管和金属 靶。作为另一实例，在使用微波辐射的实施方式中，辐射源可包括真空管。作为另一实例， 在使用声辐射的实施方式中，辐射源可以是声致动器。作为另一实例，在使用Terahertz辐 射的实施方式中，辐射源可以是Gunn二极管。本领域的一个技术人员将预期其它辐射源。
[0075] 在许多实施方式中，由可变照射器在不同的入射角度（（0 0/)，i= 1到N)提 供的辐射的性质（例如，波长、频率、相位、振幅、极性等）是近似均匀的。在其它实施方式 中，性质可在不同的入射角度变化，例如，通过在测量过程中提供n个不同的波长^，… ，入n。在一个实施方式中，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长 入i、A2和A3的RGB照射。在使用Terahertz辐射的实施方式中，由可变照射器110提供 的辐射的频率可在〇. 3至3THz的范围内。在使微波辐射的实施方式中，由可变照射器提供 的辐射的频率可在100MHz至300GHz的范围内。在使X射线辐射的实施方式中，由可变照 射器提供的辐射的波长可在0.Olnm至10nm的范围内。在使用声辐射的实施方式中，由可 变照射器提供的辐射的频率可在10Hz至100MHz的范围内。
[0076] 在一些实施方式中，可变照射器包括在不同空间位置的多个N个固定的光元件 (例如，在图2A中所示的可变照射器110(a))。这些N个固定的光元件在N个采样时间相继 照射以提供从多个N个入射角度（（0/，0yi)，i= 1到N)的照射。在其它实施方式中，可变 照射器包括移动的光元件（例如，在图3中的可变照射器110(b))。该移动的光元件相对于 可保持固定的光学元件和辐射检测器移动。在这些实施方式中，移动的光元件可使用机械 装置（诸如扫描机械装置）移动到多个N个不同的空间位置。基于在固定部件和N个不同 空间位置的光元件之间的这种相对运动，光元件可提供从多个N个入射角度（（0 /，0/)，i =1到N)的照射。在其它实施方式中，可变照射器包括固定的光元件（例如，在图4A中的 可变照射器110(c))，并且FPI设备的其它组件移动到N个不同的空间位置。基于在固定光 元件和FPI设备的到N个不同空间位置的其它组件之间的这种相对运动，光元件可提供从 多个N个入射角度（（0丄0/)，i= 1到N)的照射。
[0077] 在具有包括多个N个固定的光元件的可变照射器的实施方式中，光元件可以一维 列阵、二维列阵、六边形列阵、或其它能够提供来自多个入射角度的照射的合适布置的形式 进行布置。固定的光元件矩阵的一些实例是LCD或LED矩阵。光元件被设计具有适当的间 距，并被设计以按需要提供多个入射角度的照射。在一些实施方式中，可变照射器可以以二 维矩阵形式，该二维矩阵具有诸如例如l〇X10、32X32、100X100、50X10、20X60等的尺 寸。如作为图示实例，图2A是根据本发明的实施方式的FPI设备100(a)的示意图，其包括 以1〇〇个固定光元件112的二维（10X10)矩阵形式的可变照射器110(a)。
[0078] 在具有包括移动的光元件的可变照射器的实施方式中，该移动的光元件可移动到 多个N个位置。这些N个位置的空间地点可以以一维列阵、二维矩阵、六边形列阵、或能够提 供来自多个入射角度的照射的其它合适布置的形式。矩阵维数的一些实例可以是10X10、 32X32、100X100、50X10、20X60 等。
[0079] 可变照射器在多个入射角度（（0 /，0/)，i= 1到N)提供到样本20的辐射入射。 在一个实施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有由在以物镜 形式的光学元件的数值孔径所限定的接受角的10%和90%之间的范围中的值。在一个实 施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有在由以物镜形式的光 学元件的数值孔径所限定的接受角的33%和66%之间的范围中的值。在一个实施方式中， 在多个入射角度中的两个相邻的入射角度之间的差值具有小于由以物镜形式的光学元件 的数值孔径所限定的接受角的76%的值。在一个实施方式中，在多个入射角度中的相邻的 入射角度之间的差值为由以物镜形式的光学元件的数值孔径所限定的接受角度的约1/3。 在一个实施方式中，由最大入射角和最小入射角度之间的差值限定的入射角的范围可约等 于与最终全视场高分辨率图像的空间分辨率相一致的有效数值孔径。
[0080] 可变照射器的光元件按照由照射指令定义的顺序照射。在一个实施方式中，照射 指令决定照射以光元件的二维矩阵形式的光元件的顺序。在本实施方式中，照射指令可首 先定义中心光元件。然后，照射指令可指示首先照射中心光元件（例如，LED)，然后将按逆 时针照射围绕中心光元件的8个光元件，然后将按逆时针照射围绕之前光元件的16个光元 件等等，直到已经从多个N个入射角度（（0/，0/)，1 = 1到N)照射N个光元件。在另一 个实施方式中，照射指令决定照射以光元件的二维矩阵形式的光元件的另一顺序。在本实 施方式中，可变照明指令可限定在最接近样本的矩阵中的光元件。然后，照射指令可指示照 射最接近样本的光元件，且然后照射下一个最接近样本的光元件，且然后照射下一个最接 近所述样本的光元件等等，直到已经从多个N个入射角（（0/，0/)，1 = 1到N)照射N个 光元件。
[0081]在某些实施方式中，FPI设备可成像被提供给FPI设备用于成像的样本20的至少 一部分。在某些情况下，样本20可包括一个或更多个对象。每个对象可以是生物或无机实 体。生物实体的实例包括全细胞、细胞成分、微生物（诸如细菌或病毒）、细胞成分（诸如蛋 白质、薄的组织切片）等。在一些情况下，可将样本20提供给在诸如液体的介质中的FPI 设备。在大多数情况下，样本20是固定的样本。将样本20提供给在能够从可变照射器接 收照射的位置的FPI设备，并使得由光学元件接收从样本20发出的光。
[0082]在某些实施方式中，FPI系统10可包括用于样本20的具有用于接收样本20的样 本表面126的容器。样本表面126可以是FPI设备100的组件的一部分（诸如例如，可变 照射器110的表面）。可替换地，样本表面126可以是来自FPI设备100和/或FPI系统 10的单独的组件。例如，样本表面126可以是切片或盘子的表面。该容器和样本表面126 可不包括在其它实施方式中。
[0083]在某些实施方式中，由FPI设备捕获的全视场低分辨率图像中的一个或多个全视 场低分辨率图像可划分成一个或多个低分辨率分块图像。在这些情况下，处理器可独立地 以计算方式重构用于每个分块的高分辨率图像，且然后结合该分块图像以产生全视场高分 辨率图像。分块图像的独立处理的能力允许并行计算。在这些实施方式中，每个分块可由 二维区域来表示。该FPI系统10使用假定平面波照射在每个分块的区域的FPI方法。在 直线空间坐标中，每个分块可表示为矩形区域（例如，正方形区域）。在极空间坐标中，每个 分块可以是圆形区域或椭圆形区域。在直线空间坐标中，全视场低分辨率图像可划分成分 块的二维矩阵。在一些实施方式中，当以辐射传感器的像素数量表示时，分块的二维方阵的 尺寸可以是二的幂，诸如，例如，256X256矩阵、64X64矩阵等。在大多数情况下，在矩阵中 的分块将具有大致相同的尺寸。
[0084] 该FPI设备还包括用作低通滤波器的光学元件。例如，光学元件可以是物镜，其基 于其数值孔径（NA)只接受在入射角度的范围内的光。在许多实施方式中，光学元件是以 低NA物镜的形式，以提供窄的接受角和高的景深。在一个实施方式中，光学元件是低NA的 物镜，其具有约〇. 08的低NA。在另一个实施方式中，光学元件是低NA的物镜，其具有在约 0. 01和约0. 1之间的范围内的低NA。在特定示出的实例的实施方式中，光学元件是带有约 0. 08的NA的2X物镜。
[0085]在使用X射线辐射的实施方式中，可需要X射线光学元件，诸如，例如，掠入射反射 镜或晶带面。在使用声辐射的实施方式中，可能需要特定的光学元件，诸如，例如，声透镜。 在使用Terahertz福射的实施方式中，可能需要特定的光学元件，诸如，例如，Teflon透镜。 在使用微波辐射的实施方式中，可能需要特定的光学元件，诸如，例如，微波透镜天线。
[0086]在某些实施方式中，FPI设备具有与其光学元件的固有景深相关联的聚焦的初始 深度。当采样平面在光学元件的聚焦的初始深度内时，提供给实施方式的FPI设备的样本 可认为焦点对准。相反地，当采样平面124位于焦点的初始深度之外时，样本可认为焦点没 对准。使用带有实施方式的数字重聚焦的FPI方法，FPI设备的聚焦深度可延伸超出其光 学元件的固有景深的限制。
[0087]辐射检测器可指的是可感知在该辐射检测器上的辐射入射强度并可基于入射辐 射的强度图案记录空间图像的设备。辐射检测器可在带包括至少多个N个采样时间& = N的持续时间的测量过程中记录图像。对于使用可见光辐射的FPI设备，例如，辐射检测器 140可以以电荷耦合设备（CCD)、CMOS成像传感器、雪崩光电二极管（APD)阵列、光电二极 管（PD)阵列、或光电倍增管（PMT)阵列的形式。对于使用THz辐射的FPI设备，例如，辐射 检测器可以是成像辐射热测量计。对于使用微波辐射的FPI设备，例如，辐射检测器可以是 天线。对于使用X射线辐射的FPI设备，例如，辐射检测器可以是X射线灵敏CCD。对于使 用声辐射的FPI设备，例如，辐射检测器可以是压电转换器阵列。这些检测器和其它的辐射 检测器是可商购的。在某些彩色成像实施方式中，辐射检测器可以是颜色检测器（例如RGB 检测器）。在其它彩色成像实施方式中，辐射检测器不需要是颜色检测器。在某些实施方式 中，辐射检测器可以是单色检测器。
[0088] 采样时间可指辐射检测器可捕获低分辨率图像的时间。在许多实施方式中，每个 采样时间h以及相关联的捕获的低分辨率强度图像对应于特定的入射角度（0 0 /)。辐 射检测器可捕获任何合适的数量叭例如，10、20、30、50、100、1000、10000，等）个低分辨率 强度图像。辐射检测器可具有采样速率或可以具有辐射检测器以其对数据进行采样的不同 的采样速率。在一些情况下，可在恒定速率下采样。在其它情况下，可在可变的速率下采样。 采样速率的一些合适的实例的范围从〇. 1帧每秒到1000帧每秒。
[0089] 辐射检测器可具有离散的辐射检测元件（例如，像素）。辐射检测元件可以具有 任何合适的尺寸（例如，1-10微米）和任何适合的形状（例如，圆形、矩形、正方形等）。例 如，CMOS或C⑶元件可以是1-10微米，且APD或PMT光检测元件可以大到l-4mm。在一个 实施方式中，辐射检测元件是具有5. 5um的尺寸的正方形像素。
[0090] 辐射检测器可决定关于捕获的低分辨率图像的强度图像数据。例如，图像数据可 包括强度分布。图像数据也可包括捕获光的采样时间，或关于强度图像的其它信息。
[0091] 傅立叶空间可指的是由FPI创建的空间图像的二维傅里叶变换驻留其中的作为 坐标的空间的由波矢量匕和ky衡量的数学空间。傅立叶空间还可指由辐射传感器收集的 空间图像的二维傅里叶变换驻留其中的由波矢量匕和ky衡量的数学空间。
[0092]由辐射检测器捕获的低分辨率图像中的每个低分辨率图像与傅立叶空间中的区 域相关联。在傅立叶空间中的该区域可由光学元件的近似光学传递函数且还由入射角度来 限定。如果光学元件是物镜，则例如，在傅立叶空间中的低分辨率图像可以是由物镜的近似 光学传递函数限定的圆形区域，作为具有NA*!^半径的圆形光瞳，其中h等于2Jr/X(真空 中的波数）。在这个实例中，该区域以与对应的入射角度 相关联的波矢量（kxi，kyi)为中心。 在该实例中，多个N个低分辨率图像与以在傅立叶空间中的多个N个入射角度为中心的多 个N个区域相关联。
[0093] 在傅立叶空间中，重叠面积相邻区域可以共享在其上它们对相同的傅立叶域数据 进行采样的重叠的区域。在傅立叶空间中的相邻区域之间的重叠面积可基于相应的入射角 度的值确定。在大多数实施方式中，设计N个入射角使得在傅立叶空间中的相邻区域由一 定量的重叠面积重叠。例如，可设计N个入射角的值以生成一定量的重叠面积，用于在恢复 过程中更快收敛到高分辨率的解。在一个实施方式中，相邻区域之间的重叠面积可具有区 域之一的面积的2%到99. 5%的范围内的面积。在另一个实施方式中，相邻区域之间的重 叠面积可具有区域之一的面积的65%到75%的范围内的面积。在另一个实施方式中，相邻 区域之间的重叠面积可具有区域之一的面积的约65%的面积。
[0094] 图1A的FPI系统10还包括计算设备200,其包括处理器210 (例如，微处理器）、 CRM220(例如，存储器）和显示器230。图像显示器230和CRM220通信地耦合到处理器 210。在其它实施方式中，计算设备200可以是与FPI系统10分尚的设备。该计算设备200 可以以各种形式，诸如，例如，智能电话、笔记本计算机、台式计算机、平板计算机等。本领域 的一个技术人员将预期各种形式的计算设备。
[0095] 处理器210 (例如，微处理器）可执行存储在CRM220的指令以执行FPI系统10 的一个或更多个功能。例如，处理器210可执行指令以执行FPI方法的恢复过程的一个或 更多个步骤。作为另一个实例，处理器210可执行用于照射可变照射器的光元件的照射指 令。作为另一个实例，处理器210可执行存储在CRM220上的指令以执行FPI系统的一个 或更多个其它功能10,诸如，例如，1)解译来自多个低分辨率图像的图像数据，2)从图像数 据产生高分辨率图像，以及3)在显示器230上显示来自FPI方法的一个或更多个图像或其 它输出。
[0096]CRM(例如，存储器）220可存储用于执行FPI系统10的功能中的一些功能的指令。 指令是可由处理器210或FPI系统10的其它处理组件执行的。CRM220也可存储低分辨率 图像和高分辨率的图像以及由FPI系统10产生的其它数据。
[0097] FPI系统10还包括与处理器210电子通信的显示器230以接收数据（例如，图像 数据），并提供输出数据（例如，图像）到FPI系统10的操作者。图像显示器230可以是彩 色显示器或黑白显示器。此外，该显示器230可以是二维显示器或三维显示器。在一个实 施方式中，显示器230可能够显示多个视图。
[0098]FPI系统10或FPI设备100可进行修改、添加或省略，而不脱离本公开内容的范 围。此外，FPI系统10或FPI设备100的组件可根据特定需要集成或分离。例如，计算设 备200或其组件可集成到FPI设备100。在一些实施方式中，处理器210或其它适当的处理 器可以是FPI设备100的一部分。在某些情况下，处理器210可集成到辐射检测器140,使 得辐射检测器140执行处理器210的功能。作为另一实例，在某些情况下可从FPI系统10 省略CRM220和/或显示器230。
[0099]II.FPI设备配置
[0100] 在某些实施方式中，FPI设备（例如，图2A的FPI设备100(a)和图3的FPI设备 100(b))可配置用于使用特定类型的辐射。例如，图2A的FPI设备100(a)可特别适合使用 可见光、Terahertz、和/或微波福射。作为另一实例，图4A的FPI设备100(c)可特别适合 使用X射线辐射。
[0101] 图2A是根据本发明的实施方式的FPI设备100(a)的组件的侧视图示意图。FPI 设备100 (a)包括可变照射器110 (a)，其包括多个N个以二维矩阵格式布置的固定的光元 件。在图示的实例中，第i个光元件112提供从入射角度（0/，0/)的照射。虽然图2A示 出了具有10X10矩阵的光元件112的可变照射器110(a)，但是在其它实施例方案中可使用 其它尺寸。此外，虽然图2A示出了等间距的光元件112,但是在其它实施方式中可使用其它 间距。可变照射器110 (a)还包括X'轴、y'轴（未示出）和z'轴。如图所示，固定的光元 件112沿X'方向和y'方向延伸。
[0102] FPI设备100 (a)还包括光学元件130 (a)(例如，物镜）和具有感测表面142的辐 射检测器140(a)。虽然在距离光学元件130(a)的一定距离处示出了辐射检测器140,但是 辐射检测器140可以可选地位于光学元件130(a)。FPI设备100(a)还包括在z= 0的焦 点对准平面122和在z=Z(l的采样平面124。FPI设备100 (a)包括在焦点对准平面122中 的x轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (a)还包括在 可变照射器110 (a)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样 本表面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
[0103] 在图2A中，在测量过程中，在特定的采样时间&示出FPI设备100(a)。在采样 时间第i个光元件110在与（0 0yi)的入射角度相关联的波矢量k^kyi提供入射照 射。光学元件130(a)接收和过滤从样本20发出的光。在辐射检测器140(a)的感测表面 142接收由光学元件130(a)过滤的光。辐射检测器140(a)感测经过滤的光的强度分布， 并捕获低分辨率强度图像。虽然在单一采样时间h示出FPI设备100(a)，但是该FPI设备 100(a)可在与N个入射角度（0丄0/)(1 = 1到N)相关联的多个N个采样时间ti=iaN 运行，以捕获N个低分辨率二维强度图像。
[0104] 在某些实施方式中，FPI系统10的组件可以以模块化相识放置与常规显微镜或其 它常规成像设备的组件进行通信以将常规设备转变成FPI系统10。图2B是根据本发明的 实施方式的带模块化形式组件的FPI系统10的照片。FPI系统10包括FPI设备100(a)。 在顶部照片中，FPI设备100(a)包括已放置与Olympus?BX41显微镜组件进行通信的模 块化组件，以将常规显微镜的这些组件转变为FPI系统10。作为这种模块化方面的实例，FPI设备100(a)包括可编程的二维LED矩阵，其已放置在样本台下面用于照射。可编程二 维LED矩阵包括多个光元件112。图2C是图2B的FPI设备100(a)的可变照射器110(a) 的光元件112中的一个的照片。该光元件112是LED，其可提供红色、绿色和蓝色照射。作 为图示的实例的模块化方面的另一实例，图2B中的FPI设备110(a)包括以CCD照相机形 式的辐射检测器140 (a)。在图2B中，FPI设备100 (a)还包括以2X、0. 08的NA物镜的形式 的带有〇丨>'丨1^1丨^8乂41显微镜的光学元件130(&)。2乂物镜的视场数是26.5。在采样平 面的FPI设备100(a)的视场直径是13. 25mm。处理器210可以与可变照射器110(a)进行 电子通信和/或通过导线201到辐射检测器140 (a)。
[0105] 在图2B中，已将样本20提供给在切片202上的FPI设备100(a)。使用来自光元 件112的红色照射、绿色照射和蓝色照射，在这种情况下，可变照射器110(a)的LED、FPI设 备100的辐射检测器可以在测量过程期间获得红色低分辨率强度图像、绿色低分辨率强度 图像和蓝色低分辨率强度图像。计算设备200可通过迭代地结合在傅立叶空间中的低分辨 率测量结果，以计算方式重构样本区域的高分辨率和宽视场的彩色图像。在一种情况下，处 理器210可以计算方式重构高分辨率和宽视场的红色、绿色和蓝色图像，且然后结合图像 以产生彩色图像。
[0106]FPI设备110 (a)不要求用于经变化照射的扫描机械装置。其它实施方式可包括扫 描机械装置。例如，图3中的FPI设备110(b)具有机械装置150,其可以是扫描机械装置。 作为另一实例，图4A中的FPI设备110(c)具有机械装置160,其可以是扫描机械装置。
[0107] 图3是根据本发明的实施方式的FPI设备100(b)的组件的侧视图示意图。FPI设 备100 (b)包括可变照射器110 (b)，其包括沿X'方向（沿X'轴的方向）和沿y'方向（沿 y'轴的方向）移动（例如，扫描的）到多个N个位置的光元件112。可变照射器110(b)还 包括X'轴、y'轴和Z'轴。在图示中，光元件112已经从沿X'方向的法向入射位置（0/ = 〇, 0/=〇)移动到在（0xi=-h，0 /=0)提供照射的位置。使用机械装置150(例如，光 栅扫描器）移动光元件112。
[0108]FPI设备100(b)还包括光学元件130(b)和具有感测表面142的辐射检测器 140(b)。虽然在距离光学元件130(b)的一定距离处示出了辐射检测器140(b)，但是辐射 检测器140 (b)可任选地位于光学元件130 (b)。FPI设备100 (b)还包括在z= 0的焦点对 准平面122和在z=Z(l的采样平面124。FPI设备100 (b)包括在焦点对准平面122中的x 轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (b)还包括在可变 照射器110(b)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样本表 面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
[0109] 在图3中，在测量过程中在采样时间ti示出光元件112提供照射。光学元件130(b) 过滤其接收的光。在辐射检测器140 (b)的感测表面142接收由光学元件130 (b)过滤的光。 辐射检测器140(b)感测经过滤的光的强度分布，并捕获样本区域的低分辨率强度图像。虽 然在单一采样时间h示出FPI设备100(b)，但是该FPI设备100(b)可在与N个入射角度 (9/，9/)(i= 1到N)相关联的多个N个采样时间ti=iaN运行以捕获N个低分辨率二维 强度图像。在实施方式中，其中在图3中示出的FPI设备100(b)使用X射线辐射，光元件 112包括X射线源。
[0110] 图4A是根据本发明的实施方式的FPI设备100(c)的组件的侧视图示意图。FPI 设备100(c)包括具有固定光元件112的可变照射器110(c)、光学元件130(c)、具有感测表 面142的辐射检测器140 (c)、和机械装置160 (例如，扫描机械装置）。在图示的实例中，已 经将样本20提供到FPI设备100 (c)用于成像。
[0111] 在图4A中，机械装置160移动组件170,其包括光学元件130(c)、辐射检测器 140 (b)和相对于固定光元件112的样本20,以从多个N个入射角度提供照射。机械装置 160可平移和/或旋转组件170。例如，组件170可安装在测角器上，满足将允许组件作为 整体相对于光元件112旋转。可变照射器110(c)还包括X'轴、y'轴和z'轴。
[0112] 虽然在距离光学元件130(c)的一定距离处示出了辐射检测器140(c)，但是辐射 检测器140 (c)可任选地位于光学元件130 (c)。FPI设备100 (c)还包括在z= 0的焦点对 准平面122和在z=Z(l的采样平面124。FPI设备100 (c)包括在焦点对准平面122中的x 轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (c)还包括在可变 照射器110(c)和采样平面124之间的距离d。
[0113] 在图4A中，在测量过程中在采样时间&示出光元件112提供照射。光学元件 130(c)接收和过滤从样本20发出的光。在辐射检测器140(c)的感测表面142接收由光学 元件130(c)过滤的光。辐射检测器140(c)感测经过滤的光的强度分布，并捕获区域的低 分辨率强度图像。虽然在单一采样时间h示出FPI设备100(c)，但是该FPI设备100(c) 可在与N个入射角度（0/，0/)(1 = 1到N)相关联的多个N个采样时间ti= iaN运行以 捕获N个低分辨率二维强度图像。
[0114] 图4B是根据本发明的实施方式的FPI设备100(d)的组件的侧视图示意图。FPI 设备100(d)包括具有通过转动它来移动的光元件112的可变照射器110(d)、光学元件 130(b)和具有传感表面142的辐射检测器140(b)。尽管未示出，也可包括机械装置以旋转 光元件112。在图示的实例中，已经将样本20提供到FPI设备100(d)用于成像。在一些情 况下，光元件112可以是激光器。
[0115] 在图4B中，通过旋转它来移动光元件112,其在（0/，0/)提供照射。在图4B中， 在测量过程中在采样时间h示出光元件112提供照射。光学元件130(d)接收和过滤从样 本20发出的光。在辐射检测器140(b)的感测表面142接收由光学元件130(b)过滤的光。 辐射检测器140(b)感测经过滤的光的强度分布，并捕获该区域的低分辨率强度图像。虽 然在单一采样时间h示出FPI设备100(d)，但是该FPI设备100(d)可在与N个入射角度 (9/，9/)(i= 1到N)相关联的多个N个采样时间ti=iaN运行以捕获N个低分辨率二维 强度图像。
[0116]III?示例性的FPI方法
[0117] 在实施方式中，FPI方法包括测量过程、恢复过程和可选的显示过程。在测量过程 中，使用可变照射器从多个入射角度照射样本，光学元件过滤从样本发出的光，且辐射检测 器基于经过滤的光捕获多个低分辨率强度图像。在恢复过程中，通过傅立叶逆变换获得的 每个低分辨率图像的强度和在傅立叶空间中的高分辨率重构的滤波被低分辨率强度测量 替换，并迭代更新在傅立叶空间中的高分辨率重构的相应区域。在恢复过程中，基于多个N 个低分辨率强度图像，可以计算方式重构样本的高分辨率图像。在可选的显示过程中，将图 像和其它输出提供给显示器220。
[0118] 图5A根据本发明的实施方式包括FPI方法的测量过程（中）和恢复过程（右手 侦D的示意性表示。在测量过程期间，从不同的入射角度照射样本，并获得对应于这些入射 角度的低分辨率强度图像。由在图5A的中间部分中的图像的布置来表示多个低分辨率强 度图像的获得。在恢复过程期间，基于来自测量过程的低分辨率强度测量结果来恢复一个 或更多个高分辨率、宽视场图像。由在图5A的右手边上的两个图像来表示恢复过程，其中 基于低分辨率强度测量结果来恢复高分辨率强度图像数据和相位图像数据两者。图5B(1)、 5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)是由图 5A中引入的FPI方法获 得137个测量结果的九个低分辨率测量结果。在图5B(12)中示出了在傅立叶空间中与低 分辨率图像相关联的对应的区域。在恢复过程期间，这些区域在傅立叶空间中更新以重构 全F0V高分辨率复杂图像。在图5A的右手边示出且在图5B(10)和5B(11)中也示出了恢 复的高分辨率强度图像和相位图像。
[0119] 在某些实施方式中，FPI方法可在两个工作域之间交替：空间（x-y)域和傅立叶 (kx-ky) ±或，其中k表示波数。
[0120] 在某些实施方式中，FPI方法可使用斜入射的概念，其提供了由带波矢量〇〇,k/) 的倾斜平面波照射的样本20 (例如，薄的样本）相当于在傅立叶域中通过（kx，ky)移位图像 频谱的中心。根据斜入射，在傅里叶域中的低分辨率图像从法向入射偏移（kx，ky)，其对应 于由可变照射器施加的入射角度。
[0121] 在某些实施方式中，FPI方法可提供，在傅立叶空间中的光学元件的滤波函数（即 相干光学传递函数）是具有嫩乂1^半径的圆形光瞳，其中1^=2 31/^是在真空中的波数。 即，FPI方法可在由光学元件的这种过滤函数定义的傅立叶空间圆形区域中更新。在这些 实施方式中，FPI方法使用该过滤函数以省略此区域外的图像数据。
[0122] 在某些实施方式中，样本20可放置在z=Z(l的采样平面124,其中光学元件的焦 点对准平面122位于z= 0的位置。换句话说，所捕获的图像不是在样本轮廓本身的样本 图像；它是由在光学元件的焦点对准平面的-zo距离传播的样本轮廓。在这些实施方式中， FPI方法可通过zQ距离返回到采样平面124来数字地重聚焦传播图像数据的样本20,而无 需在z方向机械地移动样本。这些传播步骤可通过乘以在傅立叶空间中的相位因子来执 行。这些步骤可扩展FPI系统10的焦点的成像深度，并校正光学元件的色差。
[0123] 图6A是根据本发明的实施方式的由FPI系统10执行的FPI方法的流程图。该 FPI方法包括测量过程（步骤1100、1200和1300)、恢复过程（步骤1400和1500)以及可 选的显示过程（步骤1600)。在图示的FPI方法的示例及其相关联的描述中，下标"h"指的 是高分辨率，下标"1"指的是低分辨率，下标"f"指的是焦点对准位置，下标"m"指的是测 量的，且下标"s"指的是采样的。
[0124] 在步骤1100,可变照射器在N个采样时间提供从多个N个入射角（（0丄0/)，i =1...N)到样本区域的照射。在大多数情况下，恢复过程假设了平面波照射。可变照射器 可根据定义照射角度顺序的照射指令提供照射。在x方向和y方向的波矢量可表示为kxi 和kyi。在某些情况下，可变照射器可在不同的采样时间提供不同波长的照射。例如，针对 彩色成像实施方式，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长Ap入2 和A3的RGB照射。
[0125] 在步骤1200,光学元件（例如，低NA显微镜物镜）过滤其接收的光。例如，光学元 件可过滤从样本20发出的光。光学元件可以是物镜，其根据其数值孔径（NA)通过接受在 入射角度的范围内的光来过滤光。在一些情况下，该光学元件可以是常规显微镜的低NA物 镜（例如，2X、0.08NA物镜）。
[0126] 在步骤1300,辐射检测器接收来自光学元件的经过滤的光的投影，并捕获在N个 采样时间hiaN的每个的快照强度分布测量结果以获得多个N个低分辨率强度图像。由 辐射检测器采样的每个低分辨率强度图像与傅立叶空间中的区域相关联。在许多实施方式 中，在步骤1100,可变照射器提供从一定入射角度的照射以生成傅立叶空间中邻近区域之 间的重叠面积。在一个实施方式中，可变照射器提供照射，以提供区域之一的面积的2%到 99. 5%的临近区域之间的重叠面积。在另一个实施方式中，可变照射器提供照射，以提供区 域之一的面积的65%到75%的临近区域之间的重叠面积。在一个实施方式中，可变照射器 提供照射，以提供区域之一的面积的约65%的临近区域之间的重叠面积。
[0127] 在步骤1400和1500中，可根据在步骤1300捕获的多个N个低分辨率强度分布测 量结果ihG^，ky0 (由它们的照射波矢量k^kyi索引，，其中i= 1，2, . . . .N)以计算方式 重构样本区域的高分辨率图像。
[0128] 在步骤1400中，高分辨率图像：在空间域中初始化，且将傅立叶变换应用 到初始值，以获得初始化的傅立叶变换的图像。初始化的高分辨率的解可以是初始猜测。 该初始猜测可基于样本位于离焦点对准平面z=Z(l的假设来决定。在一些情况下，可将初 始猜测确定为随机复矩阵（对于强度和相位两者）。在其它情况下，可将初始猜测确定为具 有随机相位的低分辨率强度测量结果的内插。初始猜测的实例是4 = 〇以及从样本区域的 任何低分辨率图像内插的Ih。初始猜测的另一个实例是恒定值。初始猜测的傅立叶变换可 以是在傅里叶域中的广谱。
[0129] 在步骤1500,通过使用FPI系统10的处理器210迭代组合在傅立叶空间中的低分 辨率强度测量结果以计算方式重构该样本区域的高分辨率图像。
[0130] 在可选步骤1600,显示器230可接收图像数据（诸如高分辨率图像数据）到 和/或来自处理器210的其它数据，并在显示器230上显示数据。
[0131] 图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。在该图示 的实例中，步骤1500包括步骤1510、步骤1530、步骤1550、步骤1560、步骤1570、步骤1580、 以及步骤1590。步骤1500可任选地包括步骤1520和1540。如果样本20焦点没对准的量 为，则可执行任选的步骤1520和1540。
[0132] 在步骤1510,处理器210执行在傅里叶域中的高分辨率图像#%的低通过滤以 针对带波矢量（kAk^的特定平面波入射角度（0^，eyi)产生低分辨率图像高分 辨率图像的傅立叶变换是且针对特定的平面波的入射角度的低分辨率图像的傅立叶变 换是]^。在傅里叶域中，FPI方法从高分辨率图像的频谱过滤低通区域。在用以物 镜形式的光学元件的情况下，该区域是具有NA*、的半径圆形孔径，其中k^等于2Jr/X(在 真空中的波数）（由物镜的相干传递函数给定）。在傅立叶 空间中，该区域的位置对应于入 射角度。对于具有波矢量（k^kyi)的倾斜平面波入射，该区域以^的傅立叶域中的位 置（-G-k/)为中心。
[0133] 在可选步骤1520,使用处理器210,低分辨率图像在傅立叶域中传播到 在光学元件130的z = 0的焦点对准平面122,以决定在焦点对准位置的低分辨率图像： 。在一个实施方式中，可通过乘以在傅里叶域中的相位因子傅立叶变换低分辨率图 像和傅立叶逆变换以获得^V~来执行步骤1520。在另一个实施方式中，可通过卷 积低分辨率图像与用于散焦的点扩散函数的数学上等效操作来执行步骤1520。在另 一个实施方式中，步骤1520可作为步骤1510的可选的子步骤来执行，即在执行傅立叶逆变 换之前将.乘以在傅里叶域中的相位因子来执行以产生。如果样本20位于光学元 件的焦点对准平面（z= 〇)，则不需要包括可选的步骤1520。
[0134] 在步骤1530,使用处理器210,在焦点对准平面#，_的低分辨率图像的计算振 幅分量#被由FPI设备的辐射检测器测得的低分辨率强度测量结果^的平方根替代。 这形成了更新的低分辨率目标^^"。
[0135] 在可选步骤1540,使用处理器210,更新的低分辨率图像可反向传播到 采样平面（z=。以确定如果样本位于光学元件的焦点对准平面，即，其中Z(l = 〇,则不需要包括可选的步骤1540。在一个实施方式中，可通过采取更新的低分辨率图像 的傅立叶变换和在傅立叶空间中乘以相位因子的来执行步骤1540,且然后对其傅 立叶逆变换。在另一个实施方式中，可通过卷积用散焦的点扩散函数的更新的低分辨率图 像^#"来执行步骤1540。在另一个实施方式中，在对更新的目标图像执行傅立叶变化 后通过乘以相位因子，步骤1540可以被执行为步骤1550的子步骤。
[0136] 在步骤1550,使用处理器210,傅立叶变换应用于传播到采样平面的更新的目标 图像：且在对应于入射波矢量的傅立叶空间中的高分辨率解的相 应区域中更新该数据。
[0137] 在步骤1560,处理器210确定针对所有的入射角度是否已经完成步骤1510到 1560。如果针对所有的入射角度未完成步骤1510到1560,则针对下一个入射角度重复步骤 1510 到 1560。
[0138] 在大多数实施方式中，针对每个入射角迭代更新的傅立叶空间中的相邻区域彼此 重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多个 采样。入射角度决定重叠面积的面积。在一个实施方式中，相邻区域之间的重叠面积可具 有相邻区域之一的面积的2%到99. 5%之间的面积。在另一个实施方式中，相邻区域之间 的重叠面积可具有相邻区域之一的面积的65%到75%之间的面积。在另一个实施方式中， 相邻区域之间的重叠面积可具有相邻区域之一的面积的约65%的面积。在某些实施方式 中，每个重叠面积具有相同的面积。
[0139] 在步骤1570,处理器210决定高分辨率解是否已收敛（步骤1570)。例如，处理器 210可确定高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一 次迭代或初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于特定 值，则解可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1510 到1570。在一个实施方式中，重复一次步骤1510到1560。在其它实施方式中，重复两次或 两次以上步骤1510到1560。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解 到空间域以恢复高分辨率图像。如果处理器210确定解在步骤1570已收敛，则过程 可进行到可选的步骤1600。
[0140] 图6E是参照图6A和6B所描述的FPI方法的步骤的图示。在图6E中的左手边图 像包括在高分辨率解的傅立叶空间中的具有圆形的低通滤波器形状的两个区域22 (a)和 22 (b)(由2X物镜0. 08NA的光学传递函数来限定）。区域22 (a)基于与在第一入射角度 (0 x= 0 ; 0 y= 0,i= 1)的法向平面波入射相关联的圆形低通滤波器形状。区域22 (b)基 于与第N个平面波入射角度（0X=-21° ;0y=22°;i=N)相关联的圆形低通滤波器 形状。为了执行在各入射角度的低通滤波，在傅里叶域中的圆形区域之外的数据被省略，其 导致低分辨率图像。基于斜平面波入射角度（0 x= -21° ; 0 y= 22° )来源于滤波的低 分辨率图像在图6E的顶部右手边示出。来源于在的斜平面波入射角（0 x= -21° ; 0y = 22° )的滤波的低分辨率图像在底部右手边示出。在x方向和y方向的入射角度的波矢量 分别表示为kxi和kyi。在该图示中，基于近似于具有半径NA*kQ的圆形光瞳函数由2X物镜 0.08NA的光学传递函数来定义区域22(a)和22(b)的尺寸，其中&等于2Jr/A(在真空中 的波数）。
[0141] 在图6E中，根据图6B的步骤1550,FPI方法更新对应于法向入射（0 x= 0，0y =〇)的高分辨率重构的区域22(a)内的数据。用具有更新的强度测量结果（IJk^ky1)， 其中kxi= 〇，kyi= 0)的低分辨率图像数据更新区域。在图6E中，根据图6B的步骤1550， FPI方法还更新对应于第n个入射角度（0 x= -21° ; 0 y= 22°;i=N)的高分辨率重构 区域22(b)内的数据。用具有更新的强度测量结果（Ils(kxN，kyN))的低分辨率图像数据更新 区域。
[0142] 图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。在这种情况下， 样本20在焦点对准平面。该示意图包括图示1605、1606和1607。图示1605包括源于步骤 1400的初始傅立叶频谱和内插强度的典型图像。图示1606代表步骤1500的迭代部分，其 中在此情况下包括1510、1530、1550。图示1606包括N个迭代。区域22(d)、22(e)和22(f) 中的每个是在高分辨率解的傅立叶空间中的圆形低通滤波器的形状。基于近似于具有半径 NA*kQ的圆形光瞳函数由2X物镜0. 08NA的光学传递函数定义区域22 (a)和22 (b)的尺寸， 其中kQ等于2jt/A(在真空中的波数）。在第一次迭代（(i= 1)，9 x= 〇 ; 9 y= 〇)，在 步骤1550更新区域22 (d)。在第（N-1)次迭代（(i=N-l)，0 x= -22 ; 0 y= 19)，在步骤 1550更新区域22 (e)。在第N次迭代（(i=N)，0 x= -22 ; 0 y= 22)，在步骤1550更新区 域22 (f)。图示1606包括恢复的相位图像和恢复的强度图像。
[0143] 在实施方式中，通过包括可选步骤1520和1540,FPI方法可包括数字重聚焦。步 骤1520和1540的数字重聚焦特征从z= 0的焦点对准平面122传播该图像到在z=zQ的 采样平面124。当样本20位于在z=Z(l的采用平面124时可能需要数字重聚焦，而光学元 件（例如，物镜）的焦点对准平面122位于z= 0的位置。换言之，当样本20的散焦的量 为时，可能需要数字重聚焦。图6C和6D是根据本发明的实施方式的具有以LED矩阵形 式的光元件的FPI设备100(a)的组件的示意图。在图6C中，样本20的散焦的量为-z。，且 可选的步骤1520和1540可用于数字重聚焦。在图6D中，样本20位于在焦点对准平面122 的焦点对准位置。在这种情况下，可不需要可选的步骤1520和1540。
[0144] 在一个实施方式中，在图28中示出的带？?1设备100(&)的？?1系统10被用于执 行图6A和6B的FPI方法，其中样本20位于焦点对准平面122。在该实例中，光元件以137 个红色LED的形式作为用于斜照射的光源。在对角方向，重构图像的对应的最大的NA为~ 0. 5〇
[0145] 图74(1)、74(2)、74(3)、74(4)和74(5)是来源于执行图6八和68的？?1方法的图 像。这些结果示出了改进的分辨率。图7A(1)是样本区域的全视场低分辨率强度图像。图 7A(2)是由辐射检测器捕获的具有2. 75ym的像素尺寸（5. 5ym除以放大因子）的低分辨 率图像图7A⑴的选定部分的放大的视图。图7A(3)是图7A⑵中图像的放大视图。图 7A(4)和7A(5)是以计算方式重构的高分辨率图像，其中像素大小为0. 275um。
[0146] 在一个实施方式中，在图2B中示出的带FPI设备100(a)的FPI系统10用于执行 图6A和6B的FPI方法，其中样本20位于焦点对准平面122,其具有不同数量的LED光源 (即不同的N个入射角）和它们的相应的高分辨率重构，其中在傅立叶空间中用该重构覆 盖不同的最大NA。在第一种情况下，在五个入射角度（i= 1至5)获得五个低分辨率图像 (帧）。图7B⑴示出从五个帧重构获得的高分辨率图像。图7B⑵示出在跨越0.13的最 大合成NA的傅立叶空间中的五个帧重构的总频谱。在第二种情况下，在64个入射角度（i =1至64)获得64个低分辨率图像（帧）。图7B(3)示出从64个帧重构获得的高分辨率 图像。图7B⑷示出在跨越0. 3的最大合成NA的傅立叶空间中的64个帧重构的频谱。在 第三种情况下，在137个入射角度（i= 1至137)获得137个低分辨率图像。图7B(5)示 出从137个帧重构获得的高分辨率图像。图7B(6)示出在跨越0. 5的最大合成NA的傅立 叶空间中的137个帧重构的频谱。在图7B(2)、7B(4)和7B(6)中每个小圈代表对应于一个 低分辨率强度测量结果的频谱区域。这些结果表明，可使用FPI方法从光学器件的分辨率 解耦视场，且同样地，同时实现宽视场和高分辨率。
[0147]A、使用分块成像的FPI方法
[0148] 在一些实施方式中，具有分块成像的FPI方法将捕获的低分辨率图像划分为多 个低分辨率分块图像，针对分块中的每个获得高分辨率图像，并且然后组合高分辨率分块 图像以产生全视场高分辨率图像。在一些情况下，高分辨率分块图像可与图像混合过程相 结合。图像混合过程的实例是alpha混合，其可在，于1999年4月7日递交的名称为"A systemandmethodforperformingblendingusinganoversampledbuffer" 的PCT 公布W01999053469中找到，其据此通过引用以其整体并入本文。因为可独立地获得分块 的高分辨率图像，故该FPI方法可允许并行计算，其可减少计算时间，并还可降低存储器要 求。此外，来自每个光元件的光可精确地视为针对每个分块的平面波。针对每个分块的入 射波矢量可表示为：
[0149]
[0150] .
[0151] 其中（x。，y。）是全视场低分辨率图像的每个分块的中心位置，（Xi，yi)是第i个光 元件的位置，且h是照射器和样本之间的距离。此外，在某些情况下，该FPI方法可分配特 定色差校正光瞳函数到每个分块。
[0152] 在一个实施方式中，FPI系统10包括个人计算机形式的计算设备200,其具有 Inteli7CPU形式的处理器210。在一个实验中，该FPI系统10执行的FPI方法具有将低 分辨率图像划分为196x196像素的分块的成像。在一种情况下，每个小图像使用Matlab 的处理时间（将196X196的原始像素转换为1960X1960像素）大约为3. 75秒。在这种 情况下，当使用CPU的所有4个内核并行计算时，创建全视场千兆像素图像的处理时间是 大约10分钟。在其它实施方式中，FPI系统10可具有仪GPU单元形式的处理器，其可十倍 地减少处理时间。在其它实施方式中，处理器210可使用另一种编程语言（诸如C++)执行 FPI方法的步骤，其可减少处理时间。该FPI系统的实例可在Zheng,G.、Horstmeyer,R.和 Yang,C.的"Wide-field,high-resolutionFourierptychographicmicroscopy"Nature Photonics(2013年七月）中找到，其据此通过引用以其整体并入本文。
[0153] 图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。可由FPI 系统10来执行该FPI方法。为利用并行处理能力，FPI系统10包括带并行处理能力的处理 器210,诸如例如，具有多个核（S卩，独立的中央处理单元）的GPU单元或处理器。该FPI方 法包括测量过程（步骤11〇〇、1200和1300)、恢复过程（步骤1350、2400(1-]\〇、2500(1-]\〇、 2590)、和可选的显示过程（步骤1600)。参考图6A描述测量过程（步骤1100、1200和1300) 和显示过程（步骤1600)。
[0154] 在步骤1350,处理器210将全视场分割为多个分块，诸如例如，二维矩阵的分块。 分块的二维方阵的尺寸可以是二的幂，诸如，例如，256X256矩阵、64X64矩阵等。在一个 实例中，处理器可分割5280X4380像素的全视场为具有150X150像素的面积的分块。
[0155] 接着，处理器210独立地使用并行计算（步骤2400(1). ? ?步骤2400(M))在空间 域中针对每个分块（1至M)初始化高分辨率图像。傅立叶变换应用于初始猜测。在 一些情况下，可将初始猜测确定为随机复矩阵（对于强度和相位两者）。在其它情况下，可 将初始猜测确定为带机相位的低分辨率强度测量结果的内插。初始猜测的实例是W= 〇以 及样本区域的任何低分辨率图像的Ito。初始猜测的另一个实例是恒定值。初始猜测的傅 立叶变换可以是在傅里叶域中的广谱。
[0156] 在步骤2500 (1)...步骤2500 (M)，处理器210独立地使用并行计算来以计算方式 重构每个分块（1至M)的高分辨率图像。如参照图6B中示出的步骤1510、1530、1550、1560 和1570描述的和本文中所描述的，处理器210通过迭代结合在傅立叶空间中的低分辨率强 度图像以计算方式重构每个分块的高分辨率图像。如果样本焦点没有对准，则可包括步骤 1520 和 1540。
[0157] 在步骤2590,处理器210将高分辨率分块图像结合成全视场高分辨率图像。在某 些情况下，结合分块图像包括成像混合（诸如例如，alpha混合）过程。
[0158] 图8B是根据本发明实施方式的来源于执行FPI方法的图像，其中FPI方法具有使 用图像混合的分块成像。在该实例中，FPI方法将5320X4370像素的每个低分辨率图像分 割成150X150像素大小的分块。在左手边，图像是两个相邻高分辨率分块图像。在右手边 上的图像是使用混合来结合两个高分辨率分块图像的高分辨率图像。在混合中，FPI方法 产生混合区域，其替代在高分辨率全F0V图像中的相邻分块图像的边缘区域。在图示中，混 合区域的宽度为50个像素。在其它实施方式中，混合区域可具有其它宽度（诸如，例如，6 个像素）。利用混合，在混合区域中存在不可观察的边界。
[0159] 在可选步骤1600,样本区域的恢复的高分辨率二维图像的图像数据显示在显示器 230 上。
[0160] 在一个实施方式中，带分块成像的FPI方法还可包括基于分块和每个光元件之间 的距离解释不同的分块之间的入射角度中的差的程序。
[0161]B、利用数字重聚焦的FPI方法
[0162] 常规高NA显微镜的另一个限制是有限的景深。作为实例，具0. 4NA的20X物镜的 常规显微镜的景深约为5ym。对于常规的显微镜，由于其有限的景深，分辨率随着样本从焦 点对准平面122离开而降低。为了使用常规显微镜实现最佳的分辨率，操作者需要移动工 作台以机械地带动样本返回到焦点。在这方面，在常规显微镜中需要精确的机械台以带动 样本以亚微米精度进入焦距内的位置。
[0163] 在某些实施方式中，FPI系统10实现FPI方法，其中样本可数字地而不是机械地 重聚焦。在这些情况下，在恢复过程中FPI方法计对散焦的样本20计算重聚焦。使用数字 重聚焦，FPI系统10可扩展其景深（超出其光学元件的物理限制）。
[0164] 图10A根据本发明的实施方式的来自使用具有或不具有用于比较的数字重聚焦 的FPI方法的FPI系统10的数值模拟的图像。这些图像示出了来源于使用该FPI方法的 高分辨率重构对于样本散焦是不变的。在图10A中，每行代表z方向的-150ym、-50ym、 50ym、和150ym的不同的散焦量。列1是捕获的低分辨率图像。列2和3是用数字重聚 焦恢复的高分辨率强度和相位轮廓。列4和5是不用数字重聚焦恢复的高分辨率强度和相 位轮廓。
[0165] 图10B(1)是根据实施方式执行带数字重聚焦的FPI方法的FPI设备100(a)的实 验设置的示意图。图l〇B(2)-(16)是根据图10B(1)中的实验设置来源于执行带数字重聚 焦的FPI方法的实验结果的图像。在实验中，如图10B(1)的示意图中所示，将样本移动到 具有从-300ym至+300ym的散焦的距离范围的不同的z位置。对于所有散焦位置，获得 低分辨率图像（对应于LED矩阵的137个不同的LED)。在图10B(2)、（3)、（4)、（5)和（6) 中示出典型的低分辨率图像。跟随具有图6B的步骤1520和1540的恢复过程以计算方式 重构样本的高分辨率轮廓。在图10B(7)、（8)、（9)、（10)和（11)中示出这些高分辨率轮 廓。图10C(l)-(7)包括来自相对于图10B(1)-10B(16)描述的实验的更详细的结果。针对 图10C(4)、（5)、（6)中的最小特征，图10C(7)是线的轨迹图。如在图10B和10C中由重构 图像示出的，带数字重聚焦的FPI方法可实现0. 3_的分辨率不变的成像深度。
[0166] 图10D(1)_(3)是根据本发明的实施方式的来自执行具有和不具有数字重聚焦的 FPI方法的用于比较的实验结果的图像。在图10D(2)和10D(3)中，示出来源于使用实施方 式的FPI方法的具有和不具有数字重聚焦（例如，步骤1520和1540)的用于比较的图像重 构。图l〇D(l)是在z= -150ym的原始数据的低分辨率图像。为了进行比较，图10D(2)是 用数字重聚焦重构的高分辨率图像，且图10D(3)是不用数字重聚焦重构的高分辨率图像。
[0167] 用FPI方法的数字重聚焦代表了对常规显微镜的另一种显著改善。数字重聚焦可 校正：1)其中在整个视场中样本未完全对准的情况，和2)用于色差数字化（针对不同的颜 色分配不同的散焦距离）。
[0168]图 10E(1)、10E⑵、10E(3)、10E⑷、10E(5)、10E(6)、10E(7)和 10E(8)根据本发明 的实施方式提供了来自使用FPI系统10执行带数字重聚焦的FPI方法的示例性结果，其用 于校正在血液涂片和病理切片中的色差。FPI系统10包括图2B的FPI设备100(a)。图 l〇E(l)是如由FPI系统10获得的血液涂片的典型的低分辨率图像。图10E(2)是如由FPI 系统10获得的病理切片的典型的低分辨率图像。图l〇E(3)是如用数字重聚焦计算重构的 血液涂片的高分辨率图像。图l〇E(4)是如用数字重聚焦计算重构的病理切片的高分辨率 图像。图10E(5)是如不用数字重聚焦计算重构的血液涂片的高分辨率图像。图10E(6)是 如不用数字重聚焦计算重构的病理切片的高分辨率图像。图l〇E(7)和10E(8)分别是用于 比较的血液涂片和病理切片的带20X物镜的常规显微镜图像。
[0169]C、利用数字自动聚焦的FPI方法
[0170]FPI系统10的操作期间，样本20的z位置可能不是已知先验的。在某些实施方 式中，FPI方法可包括数字自动聚焦步骤，其决定样本20的z位置并使用该z位置以数字 重聚焦。例如，图6B的FPI方法还可在步骤1520期间或之前包括步骤，其计算样本20的 z位置。FPI系统10可以通过使用处理器210执行数字自动聚焦以使用样本的计算的z位 置执行图6B中的步骤1520和1540。为了计算样本20的z位置，FPI方法确定的自动聚焦 索引参数。通过以下的公式定义自动聚焦索引：
[0171] 自动聚焦索引
[0172] 其中是来自低通滤波的振幅图像，且
[0173] ^是实际的低分辨率测量结果。
[0174] 在公式2中的总和针对所有斜入射角度。在FPI方法计算样本20的估计的z位 置之后，FPI方法可数字重聚焦于所估计的z位置。在一些情况下，当使用精确的z位置时， 已经发现高分辨率图像解收敛更好。
[0175]图 10F(1)、10F⑵、10F(3)、10F⑷、10F(5)、10F(6)和 10F(7)根据本发明的实施 方式包括来自使用FPI系统10执行带数字自动聚焦的FPI方法的实验结果。该FPI方法计 算自动聚焦索引用于自动计算样本的z位置。在该第一情况下，将样本置于Z(l= -150ym 处。图10F(1)、10F⑵和10F(3)是样本在zQ= -150ym处的重构的图像。在该第二情况 下，将样本置于在FPI设备的zQ=-50ym处。图10F(4)、10F(5)和10F(6)是样本在zQ =-50ym处的重 构的图像。使用FPI的方法，FPI系统10基于公式2计算关于不同z位 置的自动聚焦索引。图10F(7)是关于不同z位置的计算的自动聚焦索引值的曲线图。自 动聚焦索引的最大值表明样本的估计的z位置。如图所示，基于最大计算的自动聚焦索引 估计的位置靠近样本的实际位置。使用估计的位置，FPI方法可自动聚焦传播图像到估计 的位置。
[0176]D、利用数字波前校正的FPI方法
[0177] 虽然FPI方法不需要作为输入的相位信息，但是某些实施方式的FPI方法在迭 代重构期间调节相位。在这些实施方式中，景深可延伸超出使用数值策略的物镜的景深， 以补偿在光瞳函数中的像差。这种象差补偿策略的实例可在Gutzler，T.、Hillman，T. R.、Alexandrov,S.A.和Sampson,D.D.的"Coherentaperture-synthesis,wide-field, high-resolutionholographicmicroscopyofbiologicaltissue, "Opt.Lett. 35，第 1136 - 1138 页（2010)，以及Colomb，T.等人的"Automaticprocedureforaberration compensationindigitalholographicmicroscopyandapplicationstospecimen shapecompensation, "Appl.Opt. 45, 851 - 863(2006)中找到，它们据此通过引用以其整体 并入本文。在迭代图像恢复过程中，数字校正过程将相位图数字地引入到相干光传递函数 以补偿在光瞳平面的像差。
[0178] 图9A是根据本发明的另一实施方式的图6A的FPI方法的步骤1500的子步骤的 流程图。在该实例中，FPI方法包括数字波前校正。在两个乘法步骤1605和1645中FPI方 法结合数字波前补偿。具体地，步骤1605通过由处理器210乘以光瞳函数来模拟 实际样本轮廓和捕获的强度数据（其包括像差）之间的连接。步骤1645反转这种连接，以 实现无像差重构图像。样本散焦实质上等同于引入散焦相位因子（即，散焦像差）到光瞳 平面：
[0179]
[0180] 其中，匕和ky是光瞳平面处的波数，z^为散焦距离，且NA是光学元件的数值孔径。
[0181] 在步骤1605,处理器210乘以在傅里叶域中的相位因子￥<夂 ；。
[0182] 在步骤1610,处理器210执行在傅里叶域中的高分辨率图像的低通过滤以 针对具有波矢量0〇,ky0的特定平面波入射角度（0/，0yi)产生低分辨率图像。高 分辨率图像的傅立叶变换是又，且针对特定的平面波的入射角度的低分辨率图像的傅立 叶变换是。在傅里叶域中，FPI方法从高分辨率图像的频谱//1过滤低通区域。在 用以物镜形式的光学元件的情况下，该区域是具有半径为NA*!^圆形孔径，其中h等于由物 镜的相干传递函数给定的2Jr/A(在真空中的波数）。在傅立叶空间中，该区域的位置对应 于入射角度。对于具有波矢量（kAk/)的倾斜平面波入射，该区域以的傅里叶域中 的位置（-k^-kyi)为中心。
[0183] 在步骤1630,使用处理器210,在焦点对准平面的低分辨率图像的计算的 振幅分量#用由FPI设备的辐射检测器测量的低分辨率强度测量结果|的平方根替 代。这形成了更新的低分辨率目标^V&。
[0184] 在步骤1645,处理器210乘以在傅立叶域中的逆相位因子
[0185] 在步骤1650,使用处理器210,傅立叶变换应用于传播到采样平面的更新的目标 图像并且该数据在对应于入射波矢量（k^k/)的傅立叶空间中的高分辨率解 的对应的区域中更新
[0186] 在步骤1660,处理器210确定步骤1605到1650是否针对所有的入射角度已经完 成。如果步骤1605到1650尚未针对所有的入射角度完成，则针对下一个入射角度重复步 骤 1605 到 1650。
[0187] 在大多数实施方式中，针对每个入射角度迭代更新的傅立叶空间中的邻近区域彼 此重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多 次采样。入射角度决定重叠区域的面积。在一个实施方式中，相邻区域之间的重叠面积可 具有相邻区域之一的面积的2%到99. 5%之间的面积。在另一个实施方式中，相邻区域之 间的重叠面积可具有相邻区域之一的面积的65%到75%之间的面积。在另一个实施方式 中，相邻区域之间的重叠面积可具有相邻区域之一的面积的约65%的面积。在某些实施方 式中，每个重叠区域具有相同的面积。
[0188] 在步骤1670,处理器210决定高分辨率解是否已收敛。例如，处理器210可确定 高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一次迭代或 初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于某一值，则解 可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1605到1670。 在一个实施方式中，重复一次步骤1605到1670。在其它实施方式中，重复两次或两次以上 的步骤1605到1670。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解到空间 域以恢复高分辨率图像。如果处理器210确定解在步骤1570已收敛，则过程可进行 到可选的步骤1600。
[0189] 图9B是根据本发明的实施方式的实现带数字波前校正的FPI方法的FPI设备100 的示意图。如所示，在步骤1605和1645引入数字光瞳函数以模拟在实际的样本轮廓和所 捕获的强度数据之间的连接，其可显示由散焦造成的像差。带数字波前校正的FPI方法也 可用于校正光学元件（例如，物镜）的空间变化的像差。
[0190] 如果散焦距离是未知的，则FPI方法基于计算来自公式4的自动聚焦索引可数字 地调节"z"参数到不同的值。然后，FPI方法可重构相应的图像，并选择最清晰的图像。这 种方法也可扩展以对分块的样本成像。在这种情况下，FPI方法可数字地调节"z"参数以 实现对整个图像的每个分块区域的锐度，并结合焦点对准区域以形成全视场的完全聚焦的 图像。
[0191] 在其它实施方式中，只要因子正确模拟所采用的光学器件，则可替换的数字乘法 相位因子可包括在乘法步骤1605和1645中，以校正各种像差。
[0192]E、恢复过程的估计的计算成本
[0193] 假设由辐射检测器捕获的低分辨率图像包含n个像素且N个不同的光元件被用于 照射，图6B的示出的实例的恢复过程的计算成本可通过步骤1510U550和1570的计算成 本来近似。在恢复过程的步骤1510中，执行二维快速傅立叶变换（FFT)以产生低分辨率图 像，且相应的计算成本为n2 -logh)在步骤1550中，执行另一个FFT以更新 的傅立叶空间的相应区域，且相应的计算成本为n2 ?log(n)。在步骤1560,对于所有入射角 度重复一次以上计算，且因此计算成本为N? 2 ?n2 ?log(n)。如果重复一次步骤1570,则计 算成本为2 ?N? 2 ?n2 ?log(n)。相比以上的值，可忽略在恢复过程中的其它步骤。总之， 图6B的FPI方法的计算复杂度是4 ?N?n2 ?log(n)，其中N是斜入射的总数，且n是低分 辨率图像的像素总数。
[0194]IV、利用彩色成像和/或相位成像的示例性的FPI系统
[0195]A、彩色成像
[0196] 在病理学和组织学中彩色成像能力是关键的。在某些实施方式中，能够彩色成像 的FPI系统10包括带具有光元件的LED的可变照射器，其中光元件可提供红色、绿色和蓝 色照射。FPI方法将获得自红色、绿色和蓝色LED照射的高分辨率图像组合成每个相应的彩 色信道以形成最终的高分辨率彩色图像。产生的对应于红色、绿色和蓝色的三个图像被组 合以形成高分辨率的彩色图像。
[0197] 为了演示用于数字病理学应用的该FPI系统10的实现，将该彩色成像系统用于获 取病理切片（人类的乳腺癌部分，卡罗莱纳州）的彩色高分辨率图像。图11A(1)是示出对 于用于比较的常规显微镜的2X物镜和20X物镜两者的病理切片的视场。对于2X物镜的情 况，如由图11A(2)和图11A(3)的图像所示，常规显微镜中的F0V的直径为~13. 25mm，且 NA为0. 08。另一方面，对于20X物镜，20X物镜的NA为0. 4,其比2X物镜的NA高得多，而 F0V直径仅为1. 1mm，如图11A(4)和11A(5)中所示。使用带实施方式的2X物镜的彩色成 像FPI系统10,视场与2X情况（g卩，直径为13. 25mm)相同，而最大NA为~0. 5,由Nyquist 速率导致全部整个图像超过1. 8千兆像素。图11A(6)和图11A(7)是根据本发明的实施方 式的示出FPI系统10的视场和相应的最大NA的彩色图像。
[0198] 图11B根据本发明的实施方式包括使用彩色成像FPI系统10的结果。对应于图 11B(1)-(18)的图像的行与分别关于红色、绿色和蓝色照射重构的图像相关联。图11B(19) 是原始彩色图像。图11B(20)是由FPI系统10计算重构的带数字重聚焦的彩色图像。图 11B(21)是由40X物镜和彩色图像传感器所捕获的用于比较的图像。图11C(1)、11C(2)、 11C(3)、11C⑷、11C(5)和11C(6)是示出在彩色成像FPI系统10和不同的物镜之间的图像 质量的对比的彩色图像。图11C(6)是由FPI系统10计算重构的图像。图11C(1)、11C(2)、 11C(3)、11C(4)和11C(5)是分别由2X、4X、10X、20X和40X物镜捕获的用于比较的图像。
[0199]B、相位成像
[0200] 相位成像在众多应用中是有用的。例如，组织病理切片的相位轮廓可包含关于组 织的分子尺度组构的信息，并可用作为癌症诊断的固有标记，如在Wang，Z.、Tangella，K.、Balia,A和Popescu,G?的"Tissuerefractiveindexasmarkerofdisease''Journalof BiomedicalOptics16, 116017-116017(2011)中讨论的，其据此通过引用以其整体并入 本文。作为另一个实例，样本的相位信息也可用于测量细胞或细胞器的光学路径长度，以决 定细胞培养物的生长模式或执行血液筛查，如在Lue，N.等人的"LiveCellRefractometry UsingHilbertPhaseMicroscopyandConfocalReflectanceMicroscopyTheJournal ofPhysicalChemistryA, 113，第 13327-13330 页（2009)，Mir,M.等人的"Optical measurementofcycle-dependentcellgrowthProceedingsoftheNationalAcademy ofSciences108,第 13124-13129 页（2011)，以及Mir,M.等人的"Bloodscreeningusing diffractionphasecytometry, "JournalofBiomedicalOptics15,第 027016-027014 页（2010)中论述的，它们据此通过引用以其整体并入本文。
[0201] 最常规的全场相位成像技术使用干涉法，其需要精致的和精心设计的光学对准。 对比这些常规技术，实施方式的FPI方法是对于研宄人员和临床医生将相位成像功能并入 他们的当前的显微镜系统的容易和经济高效的解决方案。图11D中的图像根据本发明的实 施方式包括来自使用用于病理切片和血液涂片的带彩色成像FPI系统10的FPI方法的相 位和彩色图像。图11D(1)和11D(2)是低分辨率图像。图11D(3)和11D(4)是高分辨率强 度图像。图11D(5)和11D(6)是高分辨率相位图像。图11D(7)和11D(8)是高分辨率彩色 图像。图11D(9)和11D(10)是来自具有20X物镜的常规显微镜的用于比较的图像。通过 采用合成的高分辨率图像的相位角度生成相位图像。
[0202] V.另外的模拟结果
[0203] 在该部分和在公开内容中其它部分提供根据本发明的实施方式执行FPI方法的 FPI系统的数值模拟的一些结果。在许多实施方式中，FPI系统使用FPI方法以借助于低NA 镜头重构高分辨率图像。
[0204] 作为实例，图5A根据本发明的实施方式示出了来自使用FPI方法的FPI系统的数 值模拟的结果。图5A包括两个图像（左手边），其表示模拟的样本强度轮廓I(x，y)和相 位轮廓p(XJ)。这两个输入轮廓的像素大小为275nm，且模拟的入射波长为632nm。在该 模拟中，使用具有以二维阵列的光元件形式的多个固定光元件的FPI设备100(a)执行该方 法。在测量过程中，在137个不同入射角度通过平面波照射样本，并通过2X物镜（0.08NA) 进行过滤，且然后由具有5. 5ym像素尺寸的图像传感器捕获。在该模拟中，假定样本放置 在物镜的焦距内位置（即在焦点对准平面122)。所得到的以1%的随机斑点噪声添加的低 分辨率图像示于图5A的中间部分。基于这些低分辨率图像，恢复过程被用来计算重构具有 傅立叶空间中的最大NA为0. 5的高分辨率图像。在恢复过程中，低通滤波后图像的强度由 实际低分辨率测量结果替换，并相应地更新高分辨率重构的相应的傅立叶空间。图5A的右 手边中示出重构的高分辨率图像的强度和相位轮廓。可恢复样本的高分辨率图像而不涉及 在数据采集测量过程中的相位测量结果。
[0205] 图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、5B(9)、5B(10)、5B(11) 和5B(12)示出了来自使用根据关于图5A所讨论的实施方式的FPI方法的FPI系统的数值 模拟的更多结果。图 5B(1)、5B⑵、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)是在 该模拟期间获得的137个之外的9个低分辨率测量结果的图像。图5B(10)和5B(11)分别 是计算重构的高分辨率强度和相位图像。图5B(12)是恢复图像的傅立叶空间。突出显示 低分辨率图像的对应区域。
[0206]VI?吞吐量增强因子
[0207] 基于在原始低分辨率图像的最大象素大小和高分辨率图像的最大像素大小之间 的像素大小比率，使用FPI系统的增强因子可表示为：
[0208]增强因子=2 ?NAsyn/NAQbj (公式 3)
[0209] 增强因子越大，系统吞吐量越高。
[0210] 在某些实施方式中，FPI系统10可具有一定的采样条件以提供特定的增强因子。 通常，采样条件可与两个问题相关联：1)给定的物镜NA，其是可用于获取低分辨率强度图 像的最大像素的大小；2)给定的重构图像的合成NA，其是可用于表示重构的强度图像的最 大像素的大小。由于实施方式的FPI方法可恢复强度和相位信息两者，故问题1的回答与 相干光学系统的采样条件相同：A八2 ?NA&.)。对于问题2,合成NA用于电场E(具有振幅 和相位）。另一方面，最终的重构用于强度轮廓1(1=E*E*，其中表示复共轭）。在空 间域中电场的这种乘法对应于在傅立叶域中的卷积运算。同样地，重构的强度图像的通频 带在傅里叶域中为双倍。因此，在样本平面可用于表示重构的强度图像的最大象素大小为 入八4 ?NAobJ)〇
[0211] 在某些实施方式中，FPI设备100(a)包括以带0. 08NA的2X物镜形式的光学元件 和以具有5. 5ym像素大小的图像传感器形式的辐射检测器。从对问题2的回答，针对蓝光， 在图像平面可使用的最大像素大小为2 ?人八2 ?NAobj) = 5. 88ym。因此，图像传感器的 5. 5ym的像素大小符合这种采样条件。另一方面，基于对问题2的回答，重构图像的像素大 小（在采样平面）针对红色、绿色和蓝色波长是0.34ym、0. 30ym和0.28ym。为简单起 见，0. 275ym的重构的象素大小用于对应于增强因子为10的实施中的这些三个波长。
[0212] VII.FPI系统的优点
[0213] 本发明的实施方式可提供以下技术优点中的一个或更多个。下面提供了这些优点 中的一些实例。
[0214] 1.傅立叶域中的对象支持。
[0215] 一方面，FPI方法强加在傅里叶域中的对象支持约束，其提供大F0V和更高信噪比 (带聚焦元件）而不需要机械扫描。在常规ptychography系统中，由在空间域中限制的照 射提供对象支持。在这些常规系统中，样本必须被机械扫描通过期望的视场。
[0216] 2?无相位测量
[0217] 在大多数实施方式中，FPI方法不需要样本的相位测量。常规干涉合成孔径显 微镜在它们的检测方案中需要相位测量，如可在Rodenburg，J.M.和Bates，R.H.T.的 "Thetheoryofsuper-resolutionelectronmicroscopyviaffigner-distribution deconvolution, "Phil.Trans.R.Soc.Lond.A339, 521 - 553(1992)，H.M.L?和 Rodenburg,J.M.的"Movableaperturelenslesstransmissionmicroscopy,anovel phaseretrievalalgorithm,Phys.Rev.Lett. 93, 023903 (2004) ,Rodenburg,J. M.等人的 "Hard-X-raylenslessimagingofextendedobjects,Phys.Rev. Lett. 98, 034801 (2007)，Thibault,P.等人的"High-resolutionscanningX-ray diffractionmicroscopy，"Science321,379 - 382 (2008)，Dierolf，M.等人的 "Ptychographiccoherentdiffractiveimagingofweaklyscatteringspecimens, J.Phys. 12, 035017 (2010)，Maiden,A.M.、Rodenburg,J.M?和Humphry,M.J?的"Optical ptychography:apracticalimplementationwithusefulresolution, "Opt. Lett. 35, 2585 - 2587 (2010)，Humphry,M.、Kraus,B.、Hurst,A.、Maiden,A?和Rodenburg J?的"Ptychographicelectronmicroscopyusinghigh-angledark-fieldscattering forsub-nanometreresolutionimaging, "Nat.Commun. 3, 730 (2012)中描述，它们据此 通过引用以其整体并入本文。因为需要没有测量的相位信息，故FPI系统排除了与常规干 涉检测方案相关联的设计挑战。
[0218] 3.空间带宽积超过了光学元件的物理限制。
[0219] 一个优点可以是，即某些实施方式的FPI系统可增加空间带宽积超出其光学器件 的物理限制，同时以简单和具有成本效益的方式避免利用常规设备先前尝试这样做的缺 点。这些系统使用FPI方法以将视场与光学器件的分辨率解耦，其允许这些系统产生具有 低NA镜头的高分辨率图像。因此，这些FPI系统的吞吐量不受其光学器件的空间带宽积的 限制。在一个示例性实施方式中，已经实施了FPI系统，其产生具有最大NA为0.5、120mm2 的视场和〇. 3mm的分辨率不变的成像深度的1. 6千兆像素系统。
[0220] 4.可扩展的吞吐量
[0221] 如所讨论的，分辨率和F0V在实施方式的FPI系统中没有耦合。在一个实施方式 中，FPI系统可通过使用具有特定NA的物镜和通过使用特定数目N的照射扩展为所期望的 吞吐量。例如，可通过减小物镜的NA和/或通过增加数量N的照射来增加FPI系统的吞吐 量。在一个实施方式示例中，FPI系统提供了比现有的明视场显微镜的吞吐量高两个数量 级的吞吐量，而不使用机械扫描和/或相位测量。
[0222] 5.可容易地用常规显微镜执行的模块化形式。
[0223] 在某些情况下，FPI系统的组件可以以容易用常规显微镜或其它常规成像设备的 组件实现的模块化形式。这些实施可具有广泛影响数字病理学、血液学、植物解剖学、免疫 化学和法医摄影的潜力。例如，FPI系统的模块化组件可包括可变照射器（例如，简单的发 光二极管（LED)矩阵）和具有用于执行FPI方法的指令的处理器。
[0224] 6.无机械扫描。
[0225] 在某些实施方式中，FPI方法不需要机械扫描。不同于常规的合成孔径和基于扫 描的宽F0V显微镜技术，对于实施方式的FPI方法不需要机械扫描。因此，其简化了平台 设 计，降低了相关联的成本，并允许更高的吞吐量限制。
[0226] 7.能够彩色成像。
[0227]另一个优点可以是，某些实施方式的FPI系统可用于产生彩色图像，其在病理学 和组织学的应用中是关键的。在实施方式中，FPI系统可通过具有可变照射器能够进行彩 色成像，可变照射器提供不同颜色的（例如，彩色LED矩阵）照射。如果实施数字重聚焦， 计算重构的图像可保持没有光学器件的任何色差。
[0228] 8.数字重聚焦和扩展的景深
[0229] 为实现在常规显微镜中的最佳分辨率，台子必须用于机械地带动离焦的样本到焦 点。在某些实施方式中，FPI方法可数字地计算（而不是机械地）重聚焦图像。这方面对 于其中在整个F0V样本不完全对准的情况特别有用。使用数字重聚焦，FPI系统可扩展其 景深超出其光学元件的光学限制。例如，一个实施方式的FPI方法可用于扩展常规显微镜 的物镜的景深从约80ym到约0. 3_。这种增加的景深可提供额外的优点，即提供大的公差 给显微镜切片放置误差，其比常规的系统提高了精度。
[0230] 9?相位成像能力。
[0231] 生物样本的相位轮廓包含关于样本分子量尺度足够的信息，并可用作关于不同应 用的内在标记。进行相位成像的能力对于数字成像过程（诸如细胞分割和细胞计数）也是 有用的。常规全场相位成像技术要求相当精致和精心设计的光学对准。在某些实施方式中， FPI方法提供了对于研宄人员和临床医生以将相位成像功能并入他们现有显微镜系统的简 单和经济高效的解决方案。FPI方法可重构复杂的样本图像。在某些实施方式中，FPI方法 可通过采取复合图像的相位角产生相位图像。
[0232] 10.X射线和THz应用
[0233] 在某些实施方式中，FPI方法可扩展到其中镜头是差的和具有非常受限的数值孔 径的Terahertz和X射线成像应用。
[0234]VIII.用于X射线成像FPI系统
[0235] 在某些实施方式中，FPI系统10可配置用于X射线成像。在这些实施方式中，傅立 叶重叠关联的X射线成像系统10包括带X射线辐射源（例如，X射线管和金属靶）的FPI 设备。
[0236] 在一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4A中所示 的具有配置用于使用X射线辐射的组件的FPI设备100(c)。在本实施方式中，FPI设备 110(c)包括组件170,其可作为刚性组件安装到台子上（例如，测角台）用于相对于引导X 射线辐射的固定的光元件112平移和/或旋转组件170,以从多个N个入射角度提供X射线 辐射到样本20。FPI设备100 (c)包括机械装置160，其用于相对于光元件112平移和/或旋 转组件170。机械装置170可附着到固定的底座。FPI设备100 (c)也包括光学元件130 (c) 和辐射检测器140 (c)。这两个组件被分别设计为X射线辐射（即X射线光学元件）和X射 线检测器。例如，X射线光学元件可以是微波带板或掠入射反射镜。微波带板可投影全场图 像到X射线辐射检测器。例如，X射线辐射检测器可以是X射线敏感的CCD。微波带板和X射 线敏感的CCD的实例可在Chao,W.、Harteneck,B.、Liddle,A.、Anderson,E?和Attwood,D. 的"SoftX-raymicroscopyataspatialresolutionbetterthan15nm"Nature,卷 435,6月30日，2005)中找到，其据此通过引用以其整体并入本文。在本实施方式中，光元 件112可包括固定的X射线辐射源。
[0237] 在另一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4B中所 示的具有配置用于使用X射线辐射的组件的FPI设备100 (d)。在本实施方式中，FPI设备 110(d)包括从多个N个入射角度引导X射线辐射到样本20的光元件112。FPI设备100(d) 相对于样本旋转光元件112。例如，光元件112可绕一个或更多个轴旋转。FPI设备100(d) 也包括光学元件130(b)和辐射检测器140(b)。在本实施方式中，光学元件130(b)和辐射 检测器140(b)可经设计用于X射线辐射，即可分别是X射线光学元件（例如，微波带板或 掠入射反射镜）和X射线辐射检测器（例如，X射线敏感的CCD)。在该实施方式中，光元件 112可包括X射线辐射源。
[0238] 傅立叶重叠关联的X射线成像系统10可执行关于图6A描述的FPI方法。在步骤 1100,FPI方法通过相对于引导X射线辐射的固定的光元件112平移和/或旋转组件170提 供从多个N入射角度到样本区域的照射以提供从多个N个入射角度到样本20的X射线辐 射。
[0239] 通过执行X射线成像，这些傅立叶重叠关联的X射线成像系统10提供附加的能 力。例如，这些系统可提供到样本中的较大的穿透深度。作为另一个实例，X射线成像可允 许在10nm或更小的尺寸上的元素和化学鉴定。
[0240]IX.子系统
[0241] 图12是根据实施方式的可存在于FPI系统10中的子系统的框图。例如，FPI系 统10包括处理器210。在一些情况下，处理器210可以是FPI设备100的组件。在某些情 况下，处理器210可以是辐射检测器140的组件。
[0242] 先前在附图中描述的各种组件可使用子系统中的一个或更多个子系统操作，以促 进本文描述的功能。在附图中的任何组件可使用任何适当数量的子系统以促进本文描述的 功能。在图12中示出了这种子系统和/或组件的实例。在图12中示出的子系统经由系统 总线2425互连。示出了附加的子系统（例如打印机2430、键盘2432、硬盘2434 (或包括计 算机可读介质的其它存储器）、耦合到显示适配器2438的显示器230)和其它附加的子系 统。外部设备和输入/输出（I/O)设备（其耦合到I/O控制器2440)可通过任何数量的现 有技术中已知的装置（诸如串行端口 2442)进行连接。例如，串行端口 2442或外部接口 2444可用于将计算设备200连接到广域网（诸如，互联网）、鼠标输入设备、或扫描仪。互 连经由系统总线2425允许处理器210与每个子系统进行通信，并控制来自系统存储器2446 或硬盘2434的指令的执行，以及子系统之间的信息交换。在某些情况下，系统存储器2446 和/或硬盘2434可体现CRM220。这些元件中的任何元件可以存在于先前描述的特征中。
[0243] 在一些实施方式中，输出设备（诸如FPI系统10的打印机2430或显示器230)能 够输出各种形式的数据。例如，FPI系统10可输出2D彩色/单色图像（强度和/或相位）、 与这些图像相关联的数据、或与由FPI系统10执行的分析相关联的其它数据。
[0244] 可对任何以上描述的FPI方法及其相关联的特征（例如，关于图6A和6B以及其 它的图示描述的特征）进行修改、添加或省略而不脱离本公开的范围。任何以上描述的FPI 方法可包括更多、更少或其它特征，而不脱离本公开的范围。另外，描述的特征的步骤可以 以任何合适的顺序执行，而不脱离本公开的范围。
[0245] 应该理解的是，可以以使用以模块化或集成的方式的计算机软件的控制逻辑的形 式实施如以上所述的本发明。基于本文提供的公开内容和教导，本领域的普通技术人员将 会知道和理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
[0246] 本申请中所描述的任何软件组件或功能可以被实施为将由使用任何合适的计算 机语言（例如诸如，使用例如常规或面向对象技术的Java、C++、或Perl)的处理器执行的软 件代码。软件代码可以被存储为在CRM(例如随机访问存储器（RAM)、只读存储器（ROM))、 磁介质（例如硬盘驱动器或软盘）或光学介质（例如CD-ROM)上的一系列指令或命令。任 何这样的CRM可以驻留于单个计算机装置上或在其内部，并且可以存在于系统或网络内的 不同的计算装置上或在其内部。
[0247] 虽然在某些细节上已经描述了前述公开的实施方式以便于理解，但是所描述的实 施方式应当被认为是说明性的而不是限制性的。对于本技术领域的一个普通技术人员将明 显的是，某些变化和修改可在所附权利要求的范围内实施。
[0248] 来自任何实施方式的一个或更多个特征可与任何其它实施方式的一个或更多个 特征组合，而不脱离本公开内容的范围。此外，任何实施方式可以进行修改、添加或省略，而 不脱离本公开内容的范围。任何实施方式的组件可根据特定需求进行集成或分离，而不偏 离本公开内容的范围。
【主权项】
1. 一种傅立叶重叠关联成像设备，包括： 可变照射器，其用于从多个入射角度向样本提供照射； 光学元件，其用于过滤从所述样本发出的照射； 检测器，其用于基于由所述光学元件过滤的光获取所述样本的多个经变化照射的、低 分辨率的强度图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度图像迭代地更新在傅立叶 空间中的重叠区域来以计算方式重构所述样本的高分辨率图像。2. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述光学元件是低数值孔径 物镜。3. 根据权利要求2所述的傅立叶重叠关联成像设备，其中所述低数值孔径物镜具有在 约0. 02和0. 13之间的数值孔径。4. 根据权利要求2所述的傅立叶重叠关联成像设备，其中所述数值孔径物镜具有约 〇. 08的数值孔径。5. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中 的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的 10%和90%之间。6. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中 的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的 33%和66%之间。7. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中的 所述两个最邻近的入射角度之间的差低于对应于所述低孔径物镜的数值孔径的接受角的 76%〇8. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述可变照射器包括二维矩 阵的光元件，每个光元件从所述多个入射角度之一提供照射。9. 根据权利要求8所述的傅立叶重叠关联成像设备，其中，每个光元件是一组一个或 多个发光二极管。10. 根据权利要求8所述的傅立叶重叠关联成像设备， 其中，每个光元件包括三个准单色光源，并且 其中，所述处理器以计算方式重构对应于所述三个准单色光源的高分辨率图像，并组 合所述高分辨率图像以产生彩色高分辨率图像。11. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述可变照射器包括六边 形阵列的光元件，每个光元件从所述多个入射角度之一提供照射。12. 根据权利要求11所述的傅立叶重叠关联成像设备，其中，每个光元件是一组一个 或多个发光二极管。13. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠20%和90%之间。14. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠2%和99. 5%之间。15. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠约66%。16. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述处理器还自动重聚焦 到所述样本的焦点对准平面。17. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述处理器是所述检测器 的一部分。18. 根据权利要求1所述的傅立叶重叠关联成像设备，还包括用于显示所述高分辨率 图像的显示器。19. 一种傅立叶重叠关联成像方法，包括： 使用可变照射器从多个入射角度照射样本； 利用光学元件过滤从所述样本发出的光； 使用检测器捕获所述样本的多个经变化照射的、低分辨率的强度图像；以及 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域， 以计算方式重构所述样本的高分辨率图像。20. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，每个重叠区域对应于所 述光学元件的近似光学传递函数。21. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： 将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强 度分块图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区 域，恢复每个分块的高分辨率图像；以及 组合所述分块的所述高分辨率图像。22. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括重聚焦所述高分辨率图 像。23. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括自动重聚焦所述高分辨 率图像。24. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： (a) 初始化傅立叶空间中的当前高分辨率图像； (b) 过滤在傅立叶空间中的所述当前高分辨率图像的重叠区域，以针对所述多个入射 角度中的入射角度产生低分辨率图像； (c) 用强度测量结果替换所述低分辨率图像的强度；以及 (d) 用具有测量的强度的低分辨率图像更新傅立叶空间中的所述重叠区域。25. 根据权利要求24所述的傅立叶重叠关联成像方法，其中，针对所述多个入射角度 执行所述步骤（b)、（c)和（d)。26. 根据权利要求24所述的傅立叶重叠关联成像方法，其中，迭代所述步骤（b)、（c)和 (d)直到所述当前高分辨率图像收敛。27. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括引入相位因子。28. -种傅立叶重叠关联成像方法，包括： 接收样本的多个经变化照射的、低分辨率的强度图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域， 以计算方式重构所述样本的高分辨率图像。29. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，每个重叠区域对应于所 述光学元件的近似光学传递函数。30. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： 将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强 度分块图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区 域，恢复每个分块的高分辨率图像；以及 组合所述分块的所述高分辨率图像。31. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： (a) 初始化傅立叶空间中的当前高分辨率图像； (b) 过滤在傅立叶空间中的所述当前高分辨率图像的重叠区域，以针对所述多个入射 角度中的入射角度产生低分辨率图像； (c) 用强度测量结果替换所述低分辨率图像的强度；以及 (d) 用具有测量的强度的所述低分辨率图像更新傅立叶空间中的所述重叠区域。32. 根据权利要求31所述的傅立叶重叠关联成像方法，其中，针对所述多个入射角度 执行所述步骤（b)、（c)和（d)。33. 根据权利要求31所述的傅立叶重叠关联成像方法，其中，迭代所述步骤（b)、（c)和 (d)直到所述当前高分辨率图像收敛。34. -种傅立叶重叠关联X射线成像系统，包括： 组件，其用于捕获的样本的多个经变化照射的、低分辨率的强度X射线图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅 立叶空间中的重叠区域而以计算方式重构所述样本的高分辨率X射线图像。35. 根据权利要求34所述的傅立叶重叠关联X射线成像系统， 其中，所述组件包括与所述样本严格地一起可移动的X射线光学元件和X射线辐射检 测器； 其中，所述X射线光学元件在所述样本和所述X射线辐射检测器之间；以及 其中，基于由所述X射线光学元件投射的X射线辐射，所述X射线辐射检测器捕获所述 样本的所述多个低分辨率的强度图像。36. 根据权利要求35所述的傅立叶重叠关联X射线成像系统，还包括用于移动所述组 件以从所述多个入射角度将来自固定的X射线辐射源的X射线辐射引导到所述样本的机械 装置。37. 根据权利要求36所述的傅立叶重叠关联X射线成像系统， 还包括用于安装所述组件的台子；以及 其中所述机械装置移动所述台子以旋转所述组件，从而从所述多个入射角度引导X射 线辐射。38. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述X射线光学元 件是波带板。39. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述X射线光学元 件是掠入射反射镜。40. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述重叠区域在面 积上重叠40%和60%之间。41. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述重叠区域在面 积上重叠约66%。42. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述处理器还自动 重聚焦所述样本。43. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，还包括用于显示所述高 分辨率X射线图像的显示器。44. 一种傅立叶重叠关联X射线成像方法，所述方法包括： 基于多个入射角度，获得样本的多个经变化照射的、低分辨率的强度X射线图像；以及 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠 区域，以计算方式重构所述样本的高分辨率X射线图像。45. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，还包括： 移动包括X射线光学元件和X射线辐射检测器的组件，以从多个入射角度向所述样本 提供X射线辐射；以及 使用所述X射线光学元件过滤从所述样本发出的所述X射线辐射；以及 基于由所述X射线光学元件投射的X射线辐射，用所述X射线辐射检测器捕获所述多 个经变化照射的、低分辨率的强度X射线图像。46. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，基于所述多个入射 角度获取所述样本的所述多个经变化照射的、低分辨率的强度X射线图像包括：基于由所 述X射线光学元件投射的X射线辐射，用所述X射线辐射检测器捕获所述多个经变化照射 的、低分辨率的强度X射线图像。47. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，通过迭代地更新在 傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构 所述样本的所述高分辨率X射线图像包括： 将每个经变化照射的、低分辨率的强度X射线图像分割成多个经变化照射的、低分辨 率的强度分块X射线图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块X射线图像的 重叠区域，恢复每个分块的高分辨率X射线图像；以及 组合所述分块中的两个或多于两个分块的所述高分辨率X射线图像。48. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，通过迭代地更新在 傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构 所述样本的所述高分辨率X射线图像包括： (a) 初始化傅立叶空间中的当前高分辨率X射线图像； (b) 过滤在傅立叶空间中的所述当前高分辨率X射线图像的重叠区域，以针对所述多 个入射角度中的入射角度产生低分辨率X射线图像； (c) 用强度测量结果替换所述低分辨率X射线图像的强度；以及 (d) 用具有测量的强度的所述低分辨率X射线图像更新傅立叶空间中的所述重叠区 域。49. 根据权利要求48所述的傅立叶重叠关联X射线成像方法，其中针对所述多个入射 角度执行所述步骤（b)、（c)和（d)。50. 根据权利要求48所述的傅立叶重叠关联X射线成像方法，其中迭代所述步骤（b)、 (c)和（d)直到所述当前高分辨率X射线图像收敛。51. -种傅立叶重叠关联X射线成像系统，包括： 光元件，其被配置以旋转，从而从多个入射角度向样本提供X射线辐射； X射线光学元件； X射线辐射检测器，其用于基于来自所述X射线光学元件的X射线辐射，捕获所述样本 的多个经变化照射的、低分辨率的强度X射线图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅 立叶空间中的重叠区域来以计算方式重构所述样本的高分辨率X射线图像。
【专利摘要】傅立叶重叠关联成像设备包括用于从多个入射角度向样本提供照射的可变照射器；用于过滤从样本发出的照射的光学元件；用于基于由所述光学元件过滤的光获得所述样本的多个经变化照射的、低分辨率强度图像的检测器；以及通过用所述经变化照射的、低分辨率强度图像迭代更新傅立叶空间中的重叠区域来以计算方式重构样本的高分辨率图像的处理器。
【IPC分类】H01J37/26
【公开号】CN104885187
【申请号】CN201380068831
【发明人】郑国安, 杨昌辉, 罗克·霍斯特迈耶
【申请人】加州理工学院
【公开日】2015年9月2日
【申请日】2013年10月28日
【公告号】CA2889495A1, EP2915180A1, US20140118529, US20140126691, WO2014070656A1
【专利说明】傅立叶重叠关联成像系统、设备和方法
[0001] 相关申请的交叉引用
[0002] 这是一个非临时申请，其要求2012年10月30日提交的名称为"Breaking theSpatialProductBarrierviaNon-InterferometrieAperture-Sythesizing Microscopy(NAM) "的申请号为61/720, 258的美国临时专利申请和2013年7月17日提交 的名称为"FourierPtychographicMicroscopy"的申请号为61/847, 472的美国临时专利 申请的优先权。出于全部目的，这些临时申请据此通过引用以其整体并入本文。
[0003] 发明背景
[0004] 本公开内容的实施方式总体上涉及宽视场、高分辨率数字成像技术。更具 体地，某些实施方式涉及用于宽视场、高分辨率成像的傅立叶重叠关联成像（Fourier ptychographicimaging，FPI)设备、系统和方法。
[0005] 常规成像平台（例如显微镜）的吞吐量通常受到其光学系统限定的空间带宽积的 限制。空间带宽积指的是光学系统可从光学信号中提取的自由度的数量（例如，可分辨的 像素数量），如LohmannA.W.、DorschR.G.、MendlovicD.、ZalevskyZ?和FerreiraC?在 J.Opt.Soc.Am.A13 的第 470-473 页（1996)的"Space-bandwidthproductofoptical signalsandsystems"中讨论的，其据此通过引用以其整体并入本文D不管常规显微镜的 物镜放大因数或的数值孔径（NA)，常规显微镜通常都以千万像素量级的空间带宽积进行操 作。例如，具有20倍0. 40NA的物镜的常规显微镜具有0. 8mm的分辨率和1. 1mm的视场直 径，其对应于约7百万像素的空间带宽积。先前尝试增加常规显微镜的空间带宽积已经被 其物镜的比例相关的几何像差挫败，其导致图像分辨率和视场之间的折衷。增加常规成像 平台的空间带宽积可由以下因素限制：1)其光学系统的比例相关的几何像差，2)中继光学 器件的固定的机械长度和固定物镜等焦面长度的限制，和/或3)千兆像素数字记录设备的 可用性。
[0006] 使用干涉合成孔径技术增加空间带宽积的一些尝试在以下进行描述，Di，J.等人 的"Highresolutiondigitalholographicmicroscopywithawidefieldofview basedonasyntheticaperturetechniqueanduseoflinearCCDscanning，''Appl. 0pt.47，第 5654-5659 页（2008) ;Hillman，T.R.、Gutzler，T.、Alexandrov，S.A?和 Sampson,D.D.的 "High-resolution，wide-fieldobjectreconstructionwith syntheticapertureFourierholographicopticalmicroscopy，"Opt.Express17，第 7873-7892 页（2009) ;Granero，L.、Mic6V.、Zalevsky，Z?和Garcia，J?的"Synthetic aperturesuperresolvedmicroscopyindigitallenslessFourierholographyby timeandangularmultiplexingoftheobjectinformation， "Appl.Opt.49，第 845-857 页（2010) ;Kim，M等人的"High-speedsyntheticaperturemicroscopyfor livecellimaging，"0pt.Lett.36，第 148-150 页（2011) ;Turpin，T.、Gesell，L.、 Lapides,J.和Price，C.的"Theoryofthesyntheticaperturemicroscope，'' 第 230-240 页；Schwarz，C.J.、Kuznetsova，Y.和Brueck，S.的"Imaginginterferometric microscopy，"Opticsletters28，第 1424-1426 页（2003) ;Feng，P.、Wen，X?和 Lu,R.的 ''Long-working-distancesyntheticapertureFresneloff-axisdigital holography，"OpticsExpress17，第 5473-5480 页（2009) ;Mico，V.、Zalevsky，Z.、 Garcla-Martlnez,P.和Garcia，J.的"Syntheticaperturesuperresolutionwith multipleoff-axisholograms，"J0SAA23，第 3162-3170 页（2006) ;Yuan，C.、Zhai，H. 和Liu，H.的"Angularmultiplexinginpulseddigitalholographyforaperture synthesis，"0pticsLetters33，第 2356-2358 页（2008) ;Mico，V.、Zalevsky，Z. 和Garcia，J.的"Syntheticaperturemicroscopyusingoff-axisillumination andpolarizationcoding，"OpticsCommunications,第 276、209_217 页(2007)； Alexandrov,S.和Sampson，D.的"Spatialinformationtransmissionbeyonda system'sdiffractionlimitusingopticalspectralencodingofthespatial frequency,^JournalofOpticsA:PureandAppliedOptics10,025304(2008)； Tippie，A.E.、Kumar，A.和Fienup，J.R.的"High-resolutionsynthetic-aperture digitalholographywithdigitalphaseandpupilcorrection，''Opt.Express19，第 12027-12038 页（2011) ;Gutzler，T.、Hillman，T.R.、Alexandrov，S.A?和Sampson，D.D?的 ^Coherentaperture-synthesis,wide-field,high-resolutionholographicmicroscopy ofbiologicaltissue，"0pt.Lett. 35，第 1136-1138 页（2010);以及Alexandrov，S. A.，Hillman，T.R.、Gutzler，T.和Sampson，D.D.的"SyntheticapertureFourier holographicopticalmicroscopy, ^Phil.Trans.R.Soc.Lond.A339，第 521-553 页 (1992)，它们据此通过引用以其整体并入本文。这些尝试中的大多数尝试使用设置，其使用 干涉全息（诸如离轴（off-line)全息和相移全息）方法记录强度和相位信息两者。所记 录的数据然后以确定的方式在傅里叶域中合成。
[0007] 这些以前使用干涉合成孔径技术以增加空间带宽积的尝试有局限性。例如，通常 在这些技术中使用的干涉全息记录需要高相干光源。同样地，重构的图像趋向于遭受各 种相干噪声源，诸如斑点噪声、固定图案噪声（由尘埃颗粒的衍射和在光束路径中的其它 光学缺陷诱导的），和不同的光学界面之间的多重干涉。因此，图像质量比不上常规显微 镜的图像质量。另一方面，离轴全息方法的使用牺牲了图像传感器的有用的空间带宽积 (即，总的像素数），如可在Schnars，U?和Jliptner，W.P.O的在MeasurementScienceand Technology， 13,R85(2002)的"Digitalrecordingandnumericalreconstructionof holograms，"中找到，其据此通过引用以其整体并入本文。另一个限制是干涉成像可遭受不 同测量之间不可控的相位波动。因此，可能需要样本位置的先验和准确的知识，用于在图像 恢复处理中设置参考点（也称为相位参照）。另一个限制是，先前报道的尝试需要机械扫 描，无论是用于转动样本或用于改变照射角度。因此，这些系统都需要精确的光学对准、在 亚微米级的机械控制、和相关联的维护。关于空间带宽积，这些系统与常规显微镜相比，没 有在样本的扫描和图像拼接（stitch)上呈现优势。另一个限制是，前面的干涉合成孔径技 术难以在没有实质性的修改的情况下并入大多数现有显微镜的平台。此外，在这些平台上 彩色成像能力还没有被证实。彩色成像能力已被证明在病理学和组织学应用中是关键的。
[0008] 在显微术中，对于生物医学应用（诸如数字病理学、血液学、植物解剖学、免疫组 织化学和神经解剖学）非常期望大的空间带宽积。生物医学和神经科学中对用于分析的大 量组织学幻灯片的数字成像的强烈需求，促使精密的机械扫描显微镜系统和无透镜显微术 设立的发展。通常，这些系统使用具有高精确度和准确的组件的复杂机械装置来增加它们 的空间带宽积以控制致动、光学对准和运动跟踪。这些复杂的组件可能是制造昂贵并难于 使用的。
[0009] 先前的无透镜显微术方法（诸如数字同轴（in-line)全息和接触成像显微 术）也存在一定的弊端。例如，常规的数字同轴全息无法对连续的样本很好地工作并 且接触成像显微术需要样本靠近传感器。数字同轴全息设备的实例可在以下内容中找 到，Denis,L.、Lorenz,D.、Thiebaut,E.Fournier,C.和Trede,D.的"Inlinehologram reconstructionwithsparsityconstraints, "Opt.Lett. 34，第 3475 - 3477 页 (2009) ;Xu，W.、Jericho,M.、Meinertzhagen，I?和Kreuzer，H?的"Digitalin-line holographyforbiologicalapplications, "Proc.NatlAcad.Sci.USA98,第 11301-11305 页（2001);以及Greenbaum,A.等人的"Increasedspace-bandwidthproduct inpixelsuper-resolvedlensfreeon-chipmicroscopy, "Sci.Rep.3,第 1717 页 (2013)，它们据此通过引用以其整体并入本文。接触成像显微术的实例可在以下内容 中找到，Zheng,G.、Lee,S.A.、Antebi，Y.、ElowitzM.B?和Yang,C?的"TheePetri dish,anon-chipcellimagingplatformbasedonsubpixelperspectivesweeping microscopy(SPSM)，"Proc.NatlAcad.Sci.USA108，第 16889 - 16894 页（2011);以 及Zheng,G. ,Lee,S.A. >Yang,S. &Yang,C.的 "Sub-pixelresolvingoptofluidic microscopeforon-chipcellimaging,"LabChip10,第 3125 - 3129 页（2010)，它们据 此通过应用以其整体并入本文。
[0010] 发明简述
[0011] 本公开内容的实施方式提供了用于如在应用（诸如，例如数字病理学、血液学、半 导体晶片的检查、以及X射线和电子成像）中使用的宽视场、高分辨率成像的傅立叶重叠关 联成像（FPI)方法、设备和系统。FPI设备的实例是傅立叶重叠关联显微镜（FPM)，其也可 称为使用非干涉孔径合成的显微术（NAM)。
[0012] 在一些实施方式中，FPI系统包括可变照射器、光学元件、辐射检测器以及处理器。 可变照射器在不同的采样时间从多个N个不同的入射角度照射样本。光学元件过滤从样本 发出的光。辐射检测器捕获多个经变化照射的（透视的）低分辨率的强度图像。处理器迭 代地将在傅立叶空间中重叠区域的经变化照射的、低分辨率的图像拼接在一起以恢复宽视 场、高分辨率的图像。在某些实施方式中，FPI设备还可校正像差并数字重聚焦复杂的高分 辨率图像，其可数字地延长FPI系统的聚焦深度（超出其光学元件的物理限制）。
[0013] 一个实施方式提供了傅立叶重叠关联成像设备，其包括用于从多个入射角度提供 对样本的照射的可变照射器、用于过滤来自样本的照射的光学元件和用于基于由光学元件 过滤的光获取样本的多个经变化照射的、低分辨率的强度图像的检测器。傅立叶重叠关联 成像设备还包括用于通过用经变化照射的、低分辨率的强度图像迭代地更新傅立叶空间中 的重叠区域来以计算方式重构样本的高分辨率图像的处理器。在一种情况下，可变照射器 是光元件（例如，发光二极管）的二维矩阵，每个光元件从多个入射角度中的一个提供照 射。
[0014] 另一个实施方式提供傅立叶重叠关联成像方法。该方法示出使用可变照射器从多 个入射角度进行成像的样本，以及使用光学元件过滤从样本发出（例如，散射的）的光。该 方法还使用检测器捕获样本的多个经变化照射的、低分辨率的强度图像。此外，该方法通过 迭代地更新在傅立叶空间中经变化照射的、低分辨率的强度图像的重叠区域来以计算方式 重构样本的高分辨率图像。在一种情况下，该方法初始化傅立叶空间中的当前高分辨率图 像，过滤在傅立叶空间中过滤的当前高分辨率图像的重叠区域，以产生多个入射角度的中 的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像的强度，并用具有测 量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况下，过滤步骤、替换步 骤和更新步骤可针对多个入射角度执行。在另一种情况下，该方法将每个经变化照射的、低 分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块（tile)图像，通过迭代 更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复关于每一 分块的高分辨率图像，并结合分块的高分辨率图像以产生样本的高分辨率图像。
[0015] 另一个实施方式提供了傅立叶重叠关联成像方法，其接收样本的多个经变化照射 的、低分辨率的强度图像，并通过迭代更新傅立叶空间中的经变化照射的、低分辨率的强度 图像的重叠区域来以计算方式重构样本的高分辨率图像。在一种情况下，该方法将每个经 变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块图像，通 过迭代更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复每 个分块的高分辨率图像，并结合分块的高分辨率图像。在另一种情况下，该方法初始化傅立 叶空间中的当前高分辨率图像，过滤在傅立叶空间中的当前高分辨率图像的重叠区域，以 产生多个入射角度中的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像 的强度，并用具有测量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况 下，过滤步骤、替换步骤和更新步骤可针对多个入射角度执行。
[0016] 某些实施方式提供用于X射线成像的FPI系统和设备，以及使用用于X射线成像 的FPI系统和设备的方法。一个实施方式提供了傅立叶重叠关联X射线成像设备，其包括 用于捕获样本的多个经变化照射的、低分辨率的强度X射线图像的组件。傅立叶重叠关联 X射线成像设备还包括处理器，其用于通过用经变化照射的、低分辨率的强度X射线图像迭 代地更新傅立叶空间中的重叠区域来以计算方式和重构样本的高分辨率X射线图像。在一 种情况下，该组件包括X射线光学元件和X射线辐射检测器，它们可与样本严格地一起移 动。X射线光学元件在样本和X射线辐射检测器之间。基于由X射线光学元件投射的X射 线辐射，X射线辐射检测器捕获样本的多个低分辨率的强度图像。在这种情况下，傅立叶重 叠关联X射线成像设备还可包括用于移动该组件以从多个入射角度将来自固定的X射线辐 射源的X射线辐射引导到样本的机械装置。
[0017] 另一个实施方式提供傅立叶重叠关联X射线成像方法。这种方法基于多个入射角 度获得样本的多个经变化照射的、低分辨率的强度X射线图像，并通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域，以计算方式重构样本 的高分辨率X射线图像。在一种情况下，该方法还包括移动包括X射线光学元件和X射线 辐射检测器的组件，以从多个入射角度提供X射线辐射到样本。在这种情况下，该方法还包 括使用X射线光学元件过滤从样本发出的X射线辐射，并基于由X射线光学元件投射的X 射线辐射，用X射线辐射检测器捕获多个经变化照射的、低分辨率的强度X射线图像。
[0018] 附图简述
[0019] 图1A是根据本发明的实施方式的FPI系统的组件的示意图。
[0020] 图1B是图1A的FPI设备的一些组件的侧视图示意图。
[0021] 图2A是根据本发明的实施方式的FPI设备的示意图，FPI设备包括以100个光元 件的二维（10X10)矩阵形式的可变照射器。
[0022] 图2B是根据本发明的实施方式的具有以模块化形式的组件的FPI系统的照片。
[0023] 图2C是图2B的FPI设备的可变照射器的光元件中的一个的照片。
[0024] 图3是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0025] 图4A是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0026] 图4B是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
[0027] 图5A根据本发明的实施方式包括FPI方法的测量过程（中）和恢复过程（右手 侦D的示意性表示。
[0028]图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B⑶和 5B(9)是由图 5A中 引入的FPI方法获得的九个低分辨率测量结果。
[0029]图 5B(12)是在与图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)的低分辨率测量结果相关联的傅立叶空间中更新的区域。
[0030] 图5B(10)和5B(11)是来源于图5B(12)的更新的恢复的高分辨率强度和相位图 像。
[0031] 图6A是根据本发明的实施方式的由FPI系统执行的FPI方法的流程图。
[0032] 图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。
[0033] 图6C和6D是根据本发明的实施方式的具有以LED矩阵形式的光元件的FPI设备 的组件的示意图。
[0034] 图6E是参照图6A和6B所描述的FPI方法的步骤的图示。
[0035] 图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。
[0036] 图7A(1)、7A⑵、7A(3)、7A(4)和7A(5)是来源于执行图6A和6B的FPI方法的图 像。
[0037] 图7B(1)、7B⑵、7B(3)、7B(4)、7B(5)和7B(6)是来源于执行图6A和6B的具有不 同的N个入射角（N= 5、64和137)的FPI方法的图像。
[0038] 图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。
[0039] 图8B是根据本发明的实施方式的来源于执行FPI方法的图像，其中FPI方法利用 了使用图像混合的分块成像。
[0040] 图9A是根据本发明的实施方式的使用数字波前校正的FPI方法。
[0041] 图9B是根据本发明的实施方式的实现使用数字波前校正的FPI方法的FPI设备 的示意图。
[0042] 图10A是根据本发明的实施方式的来自FPI系统10的数值模拟的图像，其中FPI 系统10出于比较使用利用和不利用数字重聚焦的FPI方法。
[0043] 图10B(1)-(16)根据本发明的实施方式示出来自使用图2B中所示的FPI设备 100(a)执行带数字重聚焦的FPI方法的实验结果。
[0044] 图10B(1)是根据实施方式执行利用数字重聚焦的FPI方法的FPI设备的实验设 置的示意图。
[0045] 图10B(2)-(16)是根据图10B(1)中的实验设置来自执行利用数字重聚焦的FPI 方法的实验结果的图像。
[0046] 图10C(1)_(7)包括来自相对于图10B(1)_10B(16)中描述的实验的更详细的结 果。
[0047] 图10D(1)_(3)是根据本发明的实施方式的来自出于比较执行利用和不利用数字 重聚焦的FPI方法的实 验结果的图像。
[0048]图 10E(1)、10E⑵、10E(3)、10E⑷、10E(5)、10E(6)、10E(7)和 10E(8)根据本发明 的实施方式，提供了来自使用FPI系统执行利用数字重聚焦的用于校正在血液涂片和病理 切片中的色差FPI方法的示例性结果。
[0049]图 10F(1)、10F⑵、10F(3)、10F⑷、10F(5)、10F(6)和 10F(7)根据本发明的实施 方式包括来自使用FPI系统执行利用数字自动对焦的FPI方法的实验结果。
[0050] 图11A(1)是用于对比的照片，其针对常规显微镜的2X物镜和20X物镜两者示出 病理切片的视场。
[0051] 图11A(2)和11A(3)示出关于在常规显微镜中的2X物镜的数值孔径的图像。
[0052] 图11A⑷和11A(5)是示出关于在常规显微镜中的20X物镜的数值孔径的图像。
[0053] 图11A(6)和图11A(7)是根据本发明的实施方式示出FPI系统的视场和相对应的 最大NA的彩色图像。
[0054] 图11B(1)_(21)是根据本发明的实施方式来源于使用彩色成像FPI系统的图像。
[0055] 图 11C(1)、11C(2)、11C(3)、11C(4)、11C(5)和 11C(6)是根据本发明的实施方式示 出在彩色成像FPI系统和不同的物镜之间的图像质量的对比的图像。
[0056] 图11D(1)-(10)是根据本发明的实施方式的、使用FPI方法，用彩色成像FPI系统 10的病理切片和血液涂片两者的相位和彩色图像。
[0057] 图12是根据实施方式可存在于FPI系统10中的子系统的框图。
[0058] 发明详述
[0059] 本发明的实施方式将在以下参照附图进行描述。虽然本文可相对于用可见光辐射 的照射描述FPI系统、设备和方法的实施方式，但是这些FPI系统、设备和方法也可使用其 它形式的福射，诸如，例如，声波、Terahertz波、微波和X射线。
[0060] 一些实施方式包括FPI系统，其包括可变照射器、光学元件、辐射检测器、以及处 理器。可变照射器依次用平面波在多个N个不同的入射角度照亮正被成像的样本。光学元 件过滤从样本发出的光。例如，该光学元件可以是物镜，其根据它的数值孔径接受从样本发 出的光。在一些情况下，该光学元件可以是低数值孔径的物镜，其提供相应窄的接收角度和 增加的景深。辐射检测器检测由光学元件过滤的光，并捕获对应于N个不同入射角度的多 个N个低分辨率强度图像。处理器迭代地将在傅立叶空间中重叠的低分辨率强度图像拼接 在一起以恢复样本的宽视场、高分辨率的图像。在某些实施方式中，FPI设备还可数字重聚 焦复杂高分辨率图像以适应在其光学元件中的散焦和像差，其可数字地延长FPI系统的聚 焦深度（超出其光学元件的物理限制）。
[0061] 在某些方面，由FPI系统执行的FPI方法包括测量过程、恢复过程和可选的显示过 程。在测量过程期间，样本被相继从多个N个入射角度照射，并获得对应的低分辨率强度图 像。在恢复过程期间，基于低分辨率强度测量结果，恢复一个或更多个高分辨率、宽视场图 像。在可选的显示过程期间，将恢复的图像和其它输出提供给显示器上的FPI系统的用户。
[0062]I、FPI系统和设备介绍
[0063] 虽然本文关于可见光辐射（照射）描述了FPI设备和系统的实施方式，但是其它 形式的辐射（例如，X射线）可在某些情况下使用。
[0064] 图1A是根据本发明的实施方式的FPI系统10的组件的示意图。该FPI系统10 包括FPI设备100和与FPI设备100电子通信的计算设备200。在某些实施方式中，诸如 在图1A中说明的一个实施方式中，将样本20提供给FPI设备100用于成像。该FPI设备 100包括用于将可变照射提供给样本20的可变照射器110、用于过滤从样本20发出的照射 的光学元件130、和用于检测接收的照射强度的辐射检测器140。计算设备200包括处理器 210 (例如，微处理器）、计算机可读介质（CRM) 220和显示器230。
[0065] 在测量过程中，可变照射器110提供从多个N个入射角度（（0A0/)，1 = 1到 N)到样本20的照射。可由提供给FPI设备100的样本20改变（例如，阻塞、降低强度、修 改波长/相位、修改偏振等）来自可变照射器110的照射。该光学元件可从可变照射器接 收光（例如，如从样本20发出的）并能过滤其接收的光。例如，光学元件130可以以物镜 的形式，其接受在其接受角度范围内的光以作为滤光器。在一些情况下，光学元件130可以 是具有低数值孔径（例如，约 0.08的NA)的物镜以提供相应的窄的接收角度并允许增加景 深。辐射检测器140可从光学元件130接收经滤波的光，并可记录在N个采样时间（ti=ia N)的辐射检测器140的强度分布以捕获样本区域的多个N个低分辨率二维强度图像。
[0066] 在图1A中，处理器210与辐射检测器140进行电子通信，以接收带有对应于样本 区域的N个低分辨率强度图像的图像数据的信号，样本区域的强度图像可包括样本20的至 少一部分的图像。在恢复过程中，处理器210可迭代将在傅立叶空间中的低分辨率强度图 像"拼接"在一起以恢复宽视场、高分辨率的图像。在某些实施方式中，处理器210还可数 字重聚焦高分辨率图像，以适应样本的任何散焦和/或在其光学元件130中的色差。这种 能力可数字扩展FPI系统10的聚焦深度（超出光学元件130的物理限制）。
[0067] 处理器210与CRM220 (例如，存储器）电子通信，以便能够发送带图像数据的信 号以便存储到CRM220并从其检索图像数据。处理器210被示出与显示器230电子通信， 以便能够发送图像数据和指令，以显示样本区域的宽视场、高分辨率图像和其它输出例如 到FPI系统10的用户。如虚线所示，可变照射器110可以可选地与处理器210进行电子通 信中以发送用于控制可变照射器110的指令。如本文所用的，FPI系统10的组件之间的电 子通信可以以有线或无线形式。
[0068] 图1B是图1A的FPI设备100的一些组件的侧视图示意图。在图1B中，FPI设备 1〇〇包括具有照射器表面111的可变照射器110、光学元件130、和具有传感表面142的辐射 检测器140。虽然在距离光学元件130 -定距离处示出了辐射检测器140,但是辐射检测器 140可以可选地位于光学元件130。
[0069] 在某些实施方式中，FPI设备包括焦点对准平面122和采样平面124。焦点对准 平面122可指的是相应的FPI设备的光学元件的焦平面。该FPI设备包括在焦点对准平面 122的x轴和y轴，和正交于焦点对准平面122的z轴。焦点对准平面被限定在z= 0的 x-y平面。采样平面124可指的是FPI设备可在其上以计算方式重构高分辨率宽视场图像 的平面。该FPI设备在焦点对准平面122捕获低分辨率图像。通常，采样平面124平行于 焦点对准平面122。在一些实施方式中，采样平面124可与焦点对准平面122-致。在自动 聚焦的实施方式中，FPI系统10可执行可确定样本20位置的FPI方法，以在样本20定位 采样平面124,以便在样本20聚焦高分辨率宽视场的图像。
[0070] 在图1B中，FPI设备100包括在z= 0的焦点对准平面122和在z=zQ的采样平 面。FPI设备100包括在焦点对准平面122中的x轴和y轴（未示出）和正交于焦点对准 平面122的z轴。FPI设备100还包括可变照射器110和采样平面124之间的距离d。在 图示的实例中，样本20已经定位在样本表面126用于成像。在其它实施方式中，样本20可 在其它位置用于成像目的。
[0071] 在图1B中，在测量过程中在特定的采样时间ti示出FPI设备100。在采样时间 ti，可变照射器110在与在采样平面124的（0 0/)的入射角度相关联的波矢量kxi、kyi 提供入射照射。由于图示是在x-z平面的侧视图，故只示出了入射角度0/的1分量。
[0072] 在图1B中，光学元件130接收和过滤从样本20发出的光。在辐射检测器140的感 测表面142接收由光学元件130过滤的光。辐射检测器140感测经过滤的光的强度分布， 并捕获样本区域的低分辨率强度图像。虽然在采样时间h示出FPI设备100,但是该FPI 设备100可在多个N个采样时间（ti= 1_)期间运行以捕获与N个入射角度（（0/，0/)，1 =1到N)相关联的N个低分辨率二维强度图像。
[0073] 可变照射器可指的是相继提供从多个N个不同的入射角度（（0A0/)，1 = 1到 N)的入射辐射的设备。N的适当值的范围可从2至1000。在大多数实施方式中，可变照射 器包括在特定采样时间提供照射的一个或更多个辐射源的光元件。在大多数情况下，每个 光元件近似为从单一入射角度提供到样本20的平面波照射。例如，在图2A中参考点P的 入射角度9xi可以是在法线和在点P和照射的光元件112之间的直线之间的角度，该角度 基于在可变照射器和采样平面124之间的距离d。
[0074] 尽管一个辐射源或多个辐射源通常是相干辐射源，但是也可使用非相干辐射源并 可应用可计算的校正。在使用可见光辐射的实施方式中，每个辐射源是可见光源。可见光 源的一些实例包括LCD像素和LED显示器的像素。在使用其它形式的辐射的实施方式中， 可使用其它辐射源。例如，在使用X射线辐射的实施方式中，辐射源可包括X射线管和金属 靶。作为另一实例，在使用微波辐射的实施方式中，辐射源可包括真空管。作为另一实例， 在使用声辐射的实施方式中，辐射源可以是声致动器。作为另一实例，在使用Terahertz辐 射的实施方式中，辐射源可以是Gunn二极管。本领域的一个技术人员将预期其它辐射源。
[0075] 在许多实施方式中，由可变照射器在不同的入射角度（（0 0/)，i= 1到N)提 供的辐射的性质（例如，波长、频率、相位、振幅、极性等）是近似均匀的。在其它实施方式 中，性质可在不同的入射角度变化，例如，通过在测量过程中提供n个不同的波长^，… ，入n。在一个实施方式中，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长 入i、A2和A3的RGB照射。在使用Terahertz辐射的实施方式中，由可变照射器110提供 的辐射的频率可在〇. 3至3THz的范围内。在使微波辐射的实施方式中，由可变照射器提供 的辐射的频率可在100MHz至300GHz的范围内。在使X射线辐射的实施方式中，由可变照 射器提供的辐射的波长可在0.Olnm至10nm的范围内。在使用声辐射的实施方式中，由可 变照射器提供的辐射的频率可在10Hz至100MHz的范围内。
[0076] 在一些实施方式中，可变照射器包括在不同空间位置的多个N个固定的光元件 (例如，在图2A中所示的可变照射器110(a))。这些N个固定的光元件在N个采样时间相继 照射以提供从多个N个入射角度（（0/，0yi)，i= 1到N)的照射。在其它实施方式中，可变 照射器包括移动的光元件（例如，在图3中的可变照射器110(b))。该移动的光元件相对于 可保持固定的光学元件和辐射检测器移动。在这些实施方式中，移动的光元件可使用机械 装置（诸如扫描机械装置）移动到多个N个不同的空间位置。基于在固定部件和N个不同 空间位置的光元件之间的这种相对运动，光元件可提供从多个N个入射角度（（0 /，0/)，i =1到N)的照射。在其它实施方式中，可变照射器包括固定的光元件（例如，在图4A中的 可变照射器110(c))，并且FPI设备的其它组件移动到N个不同的空间位置。基于在固定光 元件和FPI设备的到N个不同空间位置的其它组件之间的这种相对运动，光元件可提供从 多个N个入射角度（（0丄0/)，i= 1到N)的照射。
[0077] 在具有包括多个N个固定的光元件的可变照射器的实施方式中，光元件可以一维 列阵、二维列阵、六边形列阵、或其它能够提供来自多个入射角度的照射的合适布置的形式 进行布置。固定的光元件矩阵的一些实例是LCD或LED矩阵。光元件被设计具有适当的间 距，并被设计以按需要提供多个入射角度的照射。在一些实施方式中，可变照射器可以以二 维矩阵形式，该二维矩阵具有诸如例如l〇X10、32X32、100X100、50X10、20X60等的尺 寸。如作为图示实例，图2A是根据本发明的实施方式的FPI设备100(a)的示意图，其包括 以1〇〇个固定光元件112的二维（10X10)矩阵形式的可变照射器110(a)。
[0078] 在具有包括移动的光元件的可变照射器的实施方式中，该移动的光元件可移动到 多个N个位置。这些N个位置的空间地点可以以一维列阵、二维矩阵、六边形列阵、或能够提 供来自多个入射角度的照射的其它合适布置的形式。矩阵维数的一些实例可以是10X10、 32X32、100X100、50X10、20X60 等。
[0079] 可变照射器在多个入射角度（（0 /，0/)，i= 1到N)提供到样本20的辐射入射。 在一个实施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有由在以物镜 形式的光学元件的数值孔径所限定的接受角的10%和90%之间的范围中的值。在一个实 施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有在由以物镜形式的光 学元件的数值孔径所限定的接受角的33%和66%之间的范围中的值。在一个实施方式中， 在多个入射角度中的两个相邻的入射角度之间的差值具有小于由以物镜形式的光学元件 的数值孔径所限定的接受角的76%的值。在一个实施方式中，在多个入射角度中的相邻的 入射角度之间的差值为由以物镜形式的光学元件的数值孔径所限定的接受角度的约1/3。 在一个实施方式中，由最大入射角和最小入射角度之间的差值限定的入射角的范围可约等 于与最终全视场高分辨率图像的空间分辨率相一致的有效数值孔径。
[0080] 可变照射器的光元件按照由照射指令定义的顺序照射。在一个实施方式中，照射 指令决定照射以光元件的二维矩阵形式的光元件的顺序。在本实施方式中，照射指令可首 先定义中心光元件。然后，照射指令可指示首先照射中心光元件（例如，LED)，然后将按逆 时针照射围绕中心光元件的8个光元件，然后将按逆时针照射围绕之前光元件的16个光元 件等等，直到已经从多个N个入射角度（（0/，0/)，1 = 1到N)照射N个光元件。在另一 个实施方式中，照射指令决定照射以光元件的二维矩阵形式的光元件的另一顺序。在本实 施方式中，可变照明指令可限定在最接近样本的矩阵中的光元件。然后，照射指令可指示照 射最接近样本的光元件，且然后照射下一个最接近样本的光元件，且然后照射下一个最接 近所述样本的光元件等等，直到已经从多个N个入射角（（0/，0/)，1 = 1到N)照射N个 光元件。
[0081]在某些实施方式中，FPI设备可成像被提供给FPI设备用于成像的样本20的至少 一部分。在某些情况下，样本20可包括一个或更多个对象。每个对象可以是生物或无机实 体。生物实体的实例包括全细胞、细胞成分、微生物（诸如细菌或病毒）、细胞成分（诸如蛋 白质、薄的组织切片）等。在一些情况下，可将样本20提供给在诸如液体的介质中的FPI 设备。在大多数情况下，样本20是固定的样本。将样本20提供给在能够从可变照射器接 收照射的位置的FPI设备，并使得由光学元件接收从样本20发出的光。
[0082]在某些实施方式中，FPI系统10可包括用于样本20的具有用于接收样本20的样 本表面126的容器。样本表面126可以是FPI设备100的组件的一部分（诸如例如，可变 照射器110的表面）。可替换地，样本表面126可以是来自FPI设备100和/或FPI系统 10的单独的组件。例如，样本表面126可以是切片或盘子的表面。该容器和样本表面126 可不包括在其它实施方式中。
[0083]在某些实施方式中，由FPI设备捕获的全视场低分辨率图像中的一个或多个全视 场低分辨率图像可划分成一个或多个低分辨率分块图像。在这些情况下，处理器可独立地 以计算方式重构用于每个分块的高分辨率图像，且然后结合该分块图像以产生全视场高分 辨率图像。分块图像的独立处理的能力允许并行计算。在这些实施方式中，每个分块可由 二维区域来表示。该FPI系统10使用假定平面波照射在每个分块的区域的FPI方法。在 直线空间坐标中，每个分块可表示为矩形区域（例如，正方形区域）。在极空间坐标中，每个 分块可以是圆形区域或椭圆形区域。在直线空间坐标中，全视场低分辨率图像可划分成分 块的二维矩阵。在一些实施方式中，当以辐射传感器的像素数量表示时，分块的二维方阵的 尺寸可以是二的幂，诸如，例如，256X256矩阵、64X64矩阵等。在大多数情况下，在矩阵中 的分块将具有大致相同的尺寸。
[0084] 该FPI设备还包括用作低通滤波器的光学元件。例如，光学元件可以是物镜，其基 于其数值孔径（NA)只接受在入射角度的范围内的光。在许多实施方式中，光学元件是以 低NA物镜的形式，以提供窄的接受角和高的景深。在一个实施方式中，光学元件是低NA的 物镜，其具有约〇. 08的低NA。在另一个实施方式中，光学元件是低NA的物镜，其具有在约 0. 01和约0. 1之间的范围内的低NA。在特定示出的实例的实施方式中，光学元件是带有约 0. 08的NA的2X物镜。
[0085]在使用X射线辐射的实施方式中，可需要X射线光学元件，诸如，例如，掠入射反射 镜或晶带面。在使用声辐射的实施方式中，可能需要特定的光学元件，诸如，例如，声透镜。 在使用Terahertz福射的实施方式中，可能需要特定的光学元件，诸如，例如，Teflon透镜。 在使用微波辐射的实施方式中，可能需要特定的光学元件，诸如，例如，微波透镜天线。
[0086]在某些实施方式中，FPI设备具有与其光学元件的固有景深相关联的聚焦的初始 深度。当采样平面在光学元件的聚焦的初始深度内时，提供给实施方式的FPI设备的样本 可认为焦点对准。相反地，当采样平面124位于焦点的初始深度之外时，样本可认为焦点没 对准。使用带有实施方式的数字重聚焦的FPI方法，FPI设备的聚焦深度可延伸超出其光 学元件的固有景深的限制。
[0087]辐射检测器可指的是可感知在该辐射检测器上的辐射入射强度并可基于入射辐 射的强度图案记录空间图像的设备。辐射检测器可在带包括至少多个N个采样时间& = N的持续时间的测量过程中记录图像。对于使用可见光辐射的FPI设备，例如，辐射检测器 140可以以电荷耦合设备（CCD)、CMOS成像传感器、雪崩光电二极管（APD)阵列、光电二极 管（PD)阵列、或光电倍增管（PMT)阵列的形式。对于使用THz辐射的FPI设备，例如，辐射 检测器可以是成像辐射热测量计。对于使用微波辐射的FPI设备，例如，辐射检测器可以是 天线。对于使用X射线辐射的FPI设备，例如，辐射检测器可以是X射线灵敏CCD。对于使 用声辐射的FPI设备，例如，辐射检测器可以是压电转换器阵列。这些检测器和其它的辐射 检测器是可商购的。在某些彩色成像实施方式中，辐射检测器可以是颜色检测器（例如RGB 检测器）。在其它彩色成像实施方式中，辐射检测器不需要是颜色检测器。在某些实施方式 中，辐射检测器可以是单色检测器。
[0088] 采样时间可指辐射检测器可捕获低分辨率图像的时间。在许多实施方式中，每个 采样时间h以及相关联的捕获的低分辨率强度图像对应于特定的入射角度（0 0 /)。辐 射检测器可捕获任何合适的数量叭例如，10、20、30、50、100、1000、10000，等）个低分辨率 强度图像。辐射检测器可具有采样速率或可以具有辐射检测器以其对数据进行采样的不同 的采样速率。在一些情况下，可在恒定速率下采样。在其它情况下，可在可变的速率下采样。 采样速率的一些合适的实例的范围从〇. 1帧每秒到1000帧每秒。
[0089] 辐射检测器可具有离散的辐射检测元件（例如，像素）。辐射检测元件可以具有 任何合适的尺寸（例如，1-10微米）和任何适合的形状（例如，圆形、矩形、正方形等）。例 如，CMOS或C⑶元件可以是1-10微米，且APD或PMT光检测元件可以大到l-4mm。在一个 实施方式中，辐射检测元件是具有5. 5um的尺寸的正方形像素。
[0090] 辐射检测器可决定关于捕获的低分辨率图像的强度图像数据。例如，图像数据可 包括强度分布。图像数据也可包括捕获光的采样时间，或关于强度图像的其它信息。
[0091] 傅立叶空间可指的是由FPI创建的空间图像的二维傅里叶变换驻留其中的作为 坐标的空间的由波矢量匕和ky衡量的数学空间。傅立叶空间还可指由辐射传感器收集的 空间图像的二维傅里叶变换驻留其中的由波矢量匕和ky衡量的数学空间。
[0092]由辐射检测器捕获的低分辨率图像中的每个低分辨率图像与傅立叶空间中的区 域相关联。在傅立叶空间中的该区域可由光学元件的近似光学传递函数且还由入射角度来 限定。如果光学元件是物镜，则例如，在傅立叶空间中的低分辨率图像可以是由物镜的近似 光学传递函数限定的圆形区域，作为具有NA*!^半径的圆形光瞳，其中h等于2Jr/X(真空 中的波数）。在这个实例中，该区域以与对应的入射角度 相关联的波矢量（kxi，kyi)为中心。 在该实例中，多个N个低分辨率图像与以在傅立叶空间中的多个N个入射角度为中心的多 个N个区域相关联。
[0093] 在傅立叶空间中，重叠面积相邻区域可以共享在其上它们对相同的傅立叶域数据 进行采样的重叠的区域。在傅立叶空间中的相邻区域之间的重叠面积可基于相应的入射角 度的值确定。在大多数实施方式中，设计N个入射角使得在傅立叶空间中的相邻区域由一 定量的重叠面积重叠。例如，可设计N个入射角的值以生成一定量的重叠面积，用于在恢复 过程中更快收敛到高分辨率的解。在一个实施方式中，相邻区域之间的重叠面积可具有区 域之一的面积的2%到99. 5%的范围内的面积。在另一个实施方式中，相邻区域之间的重 叠面积可具有区域之一的面积的65%到75%的范围内的面积。在另一个实施方式中，相邻 区域之间的重叠面积可具有区域之一的面积的约65%的面积。
[0094] 图1A的FPI系统10还包括计算设备200,其包括处理器210 (例如，微处理器）、 CRM220(例如，存储器）和显示器230。图像显示器230和CRM220通信地耦合到处理器 210。在其它实施方式中，计算设备200可以是与FPI系统10分尚的设备。该计算设备200 可以以各种形式，诸如，例如，智能电话、笔记本计算机、台式计算机、平板计算机等。本领域 的一个技术人员将预期各种形式的计算设备。
[0095] 处理器210 (例如，微处理器）可执行存储在CRM220的指令以执行FPI系统10 的一个或更多个功能。例如，处理器210可执行指令以执行FPI方法的恢复过程的一个或 更多个步骤。作为另一个实例，处理器210可执行用于照射可变照射器的光元件的照射指 令。作为另一个实例，处理器210可执行存储在CRM220上的指令以执行FPI系统的一个 或更多个其它功能10,诸如，例如，1)解译来自多个低分辨率图像的图像数据，2)从图像数 据产生高分辨率图像，以及3)在显示器230上显示来自FPI方法的一个或更多个图像或其 它输出。
[0096]CRM(例如，存储器）220可存储用于执行FPI系统10的功能中的一些功能的指令。 指令是可由处理器210或FPI系统10的其它处理组件执行的。CRM220也可存储低分辨率 图像和高分辨率的图像以及由FPI系统10产生的其它数据。
[0097] FPI系统10还包括与处理器210电子通信的显示器230以接收数据（例如，图像 数据），并提供输出数据（例如，图像）到FPI系统10的操作者。图像显示器230可以是彩 色显示器或黑白显示器。此外，该显示器230可以是二维显示器或三维显示器。在一个实 施方式中，显示器230可能够显示多个视图。
[0098]FPI系统10或FPI设备100可进行修改、添加或省略，而不脱离本公开内容的范 围。此外，FPI系统10或FPI设备100的组件可根据特定需要集成或分离。例如，计算设 备200或其组件可集成到FPI设备100。在一些实施方式中，处理器210或其它适当的处理 器可以是FPI设备100的一部分。在某些情况下，处理器210可集成到辐射检测器140,使 得辐射检测器140执行处理器210的功能。作为另一实例，在某些情况下可从FPI系统10 省略CRM220和/或显示器230。
[0099]II.FPI设备配置
[0100] 在某些实施方式中，FPI设备（例如，图2A的FPI设备100(a)和图3的FPI设备 100(b))可配置用于使用特定类型的辐射。例如，图2A的FPI设备100(a)可特别适合使用 可见光、Terahertz、和/或微波福射。作为另一实例，图4A的FPI设备100(c)可特别适合 使用X射线辐射。
[0101] 图2A是根据本发明的实施方式的FPI设备100(a)的组件的侧视图示意图。FPI 设备100 (a)包括可变照射器110 (a)，其包括多个N个以二维矩阵格式布置的固定的光元 件。在图示的实例中，第i个光元件112提供从入射角度（0/，0/)的照射。虽然图2A示 出了具有10X10矩阵的光元件112的可变照射器110(a)，但是在其它实施例方案中可使用 其它尺寸。此外，虽然图2A示出了等间距的光元件112,但是在其它实施方式中可使用其它 间距。可变照射器110 (a)还包括X'轴、y'轴（未示出）和z'轴。如图所示，固定的光元 件112沿X'方向和y'方向延伸。
[0102] FPI设备100 (a)还包括光学元件130 (a)(例如，物镜）和具有感测表面142的辐 射检测器140(a)。虽然在距离光学元件130(a)的一定距离处示出了辐射检测器140,但是 辐射检测器140可以可选地位于光学元件130(a)。FPI设备100(a)还包括在z= 0的焦 点对准平面122和在z=Z(l的采样平面124。FPI设备100 (a)包括在焦点对准平面122中 的x轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (a)还包括在 可变照射器110 (a)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样 本表面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
[0103] 在图2A中，在测量过程中，在特定的采样时间&示出FPI设备100(a)。在采样 时间第i个光元件110在与（0 0yi)的入射角度相关联的波矢量k^kyi提供入射照 射。光学元件130(a)接收和过滤从样本20发出的光。在辐射检测器140(a)的感测表面 142接收由光学元件130(a)过滤的光。辐射检测器140(a)感测经过滤的光的强度分布， 并捕获低分辨率强度图像。虽然在单一采样时间h示出FPI设备100(a)，但是该FPI设备 100(a)可在与N个入射角度（0丄0/)(1 = 1到N)相关联的多个N个采样时间ti=iaN 运行，以捕获N个低分辨率二维强度图像。
[0104] 在某些实施方式中，FPI系统10的组件可以以模块化相识放置与常规显微镜或其 它常规成像设备的组件进行通信以将常规设备转变成FPI系统10。图2B是根据本发明的 实施方式的带模块化形式组件的FPI系统10的照片。FPI系统10包括FPI设备100(a)。 在顶部照片中，FPI设备100(a)包括已放置与Olympus?BX41显微镜组件进行通信的模 块化组件，以将常规显微镜的这些组件转变为FPI系统10。作为这种模块化方面的实例，FPI设备100(a)包括可编程的二维LED矩阵，其已放置在样本台下面用于照射。可编程二 维LED矩阵包括多个光元件112。图2C是图2B的FPI设备100(a)的可变照射器110(a) 的光元件112中的一个的照片。该光元件112是LED，其可提供红色、绿色和蓝色照射。作 为图示的实例的模块化方面的另一实例，图2B中的FPI设备110(a)包括以CCD照相机形 式的辐射检测器140 (a)。在图2B中，FPI设备100 (a)还包括以2X、0. 08的NA物镜的形式 的带有〇丨>'丨1^1丨^8乂41显微镜的光学元件130(&)。2乂物镜的视场数是26.5。在采样平 面的FPI设备100(a)的视场直径是13. 25mm。处理器210可以与可变照射器110(a)进行 电子通信和/或通过导线201到辐射检测器140 (a)。
[0105] 在图2B中，已将样本20提供给在切片202上的FPI设备100(a)。使用来自光元 件112的红色照射、绿色照射和蓝色照射，在这种情况下，可变照射器110(a)的LED、FPI设 备100的辐射检测器可以在测量过程期间获得红色低分辨率强度图像、绿色低分辨率强度 图像和蓝色低分辨率强度图像。计算设备200可通过迭代地结合在傅立叶空间中的低分辨 率测量结果，以计算方式重构样本区域的高分辨率和宽视场的彩色图像。在一种情况下，处 理器210可以计算方式重构高分辨率和宽视场的红色、绿色和蓝色图像，且然后结合图像 以产生彩色图像。
[0106]FPI设备110 (a)不要求用于经变化照射的扫描机械装置。其它实施方式可包括扫 描机械装置。例如，图3中的FPI设备110(b)具有机械装置150,其可以是扫描机械装置。 作为另一实例，图4A中的FPI设备110(c)具有机械装置160,其可以是扫描机械装置。
[0107] 图3是根据本发明的实施方式的FPI设备100(b)的组件的侧视图示意图。FPI设 备100 (b)包括可变照射器110 (b)，其包括沿X'方向（沿X'轴的方向）和沿y'方向（沿 y'轴的方向）移动（例如，扫描的）到多个N个位置的光元件112。可变照射器110(b)还 包括X'轴、y'轴和Z'轴。在图示中，光元件112已经从沿X'方向的法向入射位置（0/ = 〇, 0/=〇)移动到在（0xi=-h，0 /=0)提供照射的位置。使用机械装置150(例如，光 栅扫描器）移动光元件112。
[0108]FPI设备100(b)还包括光学元件130(b)和具有感测表面142的辐射检测器 140(b)。虽然在距离光学元件130(b)的一定距离处示出了辐射检测器140(b)，但是辐射 检测器140 (b)可任选地位于光学元件130 (b)。FPI设备100 (b)还包括在z= 0的焦点对 准平面122和在z=Z(l的采样平面124。FPI设备100 (b)包括在焦点对准平面122中的x 轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (b)还包括在可变 照射器110(b)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样本表 面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
[0109] 在图3中，在测量过程中在采样时间ti示出光元件112提供照射。光学元件130(b) 过滤其接收的光。在辐射检测器140 (b)的感测表面142接收由光学元件130 (b)过滤的光。 辐射检测器140(b)感测经过滤的光的强度分布，并捕获样本区域的低分辨率强度图像。虽 然在单一采样时间h示出FPI设备100(b)，但是该FPI设备100(b)可在与N个入射角度 (9/，9/)(i= 1到N)相关联的多个N个采样时间ti=iaN运行以捕获N个低分辨率二维 强度图像。在实施方式中，其中在图3中示出的FPI设备100(b)使用X射线辐射，光元件 112包括X射线源。
[0110] 图4A是根据本发明的实施方式的FPI设备100(c)的组件的侧视图示意图。FPI 设备100(c)包括具有固定光元件112的可变照射器110(c)、光学元件130(c)、具有感测表 面142的辐射检测器140 (c)、和机械装置160 (例如，扫描机械装置）。在图示的实例中，已 经将样本20提供到FPI设备100 (c)用于成像。
[0111] 在图4A中，机械装置160移动组件170,其包括光学元件130(c)、辐射检测器 140 (b)和相对于固定光元件112的样本20,以从多个N个入射角度提供照射。机械装置 160可平移和/或旋转组件170。例如，组件170可安装在测角器上，满足将允许组件作为 整体相对于光元件112旋转。可变照射器110(c)还包括X'轴、y'轴和z'轴。
[0112] 虽然在距离光学元件130(c)的一定距离处示出了辐射检测器140(c)，但是辐射 检测器140 (c)可任选地位于光学元件130 (c)。FPI设备100 (c)还包括在z= 0的焦点对 准平面122和在z=Z(l的采样平面124。FPI设备100 (c)包括在焦点对准平面122中的x 轴和y轴（未示出）以及正交于焦点对准平面122的z轴。FPI设备100 (c)还包括在可变 照射器110(c)和采样平面124之间的距离d。
[0113] 在图4A中，在测量过程中在采样时间&示出光元件112提供照射。光学元件 130(c)接收和过滤从样本20发出的光。在辐射检测器140(c)的感测表面142接收由光学 元件130(c)过滤的光。辐射检测器140(c)感测经过滤的光的强度分布，并捕获区域的低 分辨率强度图像。虽然在单一采样时间h示出FPI设备100(c)，但是该FPI设备100(c) 可在与N个入射角度（0/，0/)(1 = 1到N)相关联的多个N个采样时间ti= iaN运行以 捕获N个低分辨率二维强度图像。
[0114] 图4B是根据本发明的实施方式的FPI设备100(d)的组件的侧视图示意图。FPI 设备100(d)包括具有通过转动它来移动的光元件112的可变照射器110(d)、光学元件 130(b)和具有传感表面142的辐射检测器140(b)。尽管未示出，也可包括机械装置以旋转 光元件112。在图示的实例中，已经将样本20提供到FPI设备100(d)用于成像。在一些情 况下，光元件112可以是激光器。
[0115] 在图4B中，通过旋转它来移动光元件112,其在（0/，0/)提供照射。在图4B中， 在测量过程中在采样时间h示出光元件112提供照射。光学元件130(d)接收和过滤从样 本20发出的光。在辐射检测器140(b)的感测表面142接收由光学元件130(b)过滤的光。 辐射检测器140(b)感测经过滤的光的强度分布，并捕获该区域的低分辨率强度图像。虽 然在单一采样时间h示出FPI设备100(d)，但是该FPI设备100(d)可在与N个入射角度 (9/，9/)(i= 1到N)相关联的多个N个采样时间ti=iaN运行以捕获N个低分辨率二维 强度图像。
[0116]III?示例性的FPI方法
[0117] 在实施方式中，FPI方法包括测量过程、恢复过程和可选的显示过程。在测量过程 中，使用可变照射器从多个入射角度照射样本，光学元件过滤从样本发出的光，且辐射检测 器基于经过滤的光捕获多个低分辨率强度图像。在恢复过程中，通过傅立叶逆变换获得的 每个低分辨率图像的强度和在傅立叶空间中的高分辨率重构的滤波被低分辨率强度测量 替换，并迭代更新在傅立叶空间中的高分辨率重构的相应区域。在恢复过程中，基于多个N 个低分辨率强度图像，可以计算方式重构样本的高分辨率图像。在可选的显示过程中，将图 像和其它输出提供给显示器220。
[0118] 图5A根据本发明的实施方式包括FPI方法的测量过程（中）和恢复过程（右手 侦D的示意性表示。在测量过程期间，从不同的入射角度照射样本，并获得对应于这些入射 角度的低分辨率强度图像。由在图5A的中间部分中的图像的布置来表示多个低分辨率强 度图像的获得。在恢复过程期间，基于来自测量过程的低分辨率强度测量结果来恢复一个 或更多个高分辨率、宽视场图像。由在图5A的右手边上的两个图像来表示恢复过程，其中 基于低分辨率强度测量结果来恢复高分辨率强度图像数据和相位图像数据两者。图5B(1)、 5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)是由图 5A中引入的FPI方法获 得137个测量结果的九个低分辨率测量结果。在图5B(12)中示出了在傅立叶空间中与低 分辨率图像相关联的对应的区域。在恢复过程期间，这些区域在傅立叶空间中更新以重构 全F0V高分辨率复杂图像。在图5A的右手边示出且在图5B(10)和5B(11)中也示出了恢 复的高分辨率强度图像和相位图像。
[0119] 在某些实施方式中，FPI方法可在两个工作域之间交替：空间（x-y)域和傅立叶 (kx-ky) ±或，其中k表示波数。
[0120] 在某些实施方式中，FPI方法可使用斜入射的概念，其提供了由带波矢量〇〇,k/) 的倾斜平面波照射的样本20 (例如，薄的样本）相当于在傅立叶域中通过（kx，ky)移位图像 频谱的中心。根据斜入射，在傅里叶域中的低分辨率图像从法向入射偏移（kx，ky)，其对应 于由可变照射器施加的入射角度。
[0121] 在某些实施方式中，FPI方法可提供，在傅立叶空间中的光学元件的滤波函数（即 相干光学传递函数）是具有嫩乂1^半径的圆形光瞳，其中1^=2 31/^是在真空中的波数。 即，FPI方法可在由光学元件的这种过滤函数定义的傅立叶空间圆形区域中更新。在这些 实施方式中，FPI方法使用该过滤函数以省略此区域外的图像数据。
[0122] 在某些实施方式中，样本20可放置在z=Z(l的采样平面124,其中光学元件的焦 点对准平面122位于z= 0的位置。换句话说，所捕获的图像不是在样本轮廓本身的样本 图像；它是由在光学元件的焦点对准平面的-zo距离传播的样本轮廓。在这些实施方式中， FPI方法可通过zQ距离返回到采样平面124来数字地重聚焦传播图像数据的样本20,而无 需在z方向机械地移动样本。这些传播步骤可通过乘以在傅立叶空间中的相位因子来执 行。这些步骤可扩展FPI系统10的焦点的成像深度，并校正光学元件的色差。
[0123] 图6A是根据本发明的实施方式的由FPI系统10执行的FPI方法的流程图。该 FPI方法包括测量过程（步骤1100、1200和1300)、恢复过程（步骤1400和1500)以及可 选的显示过程（步骤1600)。在图示的FPI方法的示例及其相关联的描述中，下标"h"指的 是高分辨率，下标"1"指的是低分辨率，下标"f"指的是焦点对准位置，下标"m"指的是测 量的，且下标"s"指的是采样的。
[0124] 在步骤1100,可变照射器在N个采样时间提供从多个N个入射角（（0丄0/)，i =1...N)到样本区域的照射。在大多数情况下，恢复过程假设了平面波照射。可变照射器 可根据定义照射角度顺序的照射指令提供照射。在x方向和y方向的波矢量可表示为kxi 和kyi。在某些情况下，可变照射器可在不同的采样时间提供不同波长的照射。例如，针对 彩色成像实施方式，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长Ap入2 和A3的RGB照射。
[0125] 在步骤1200,光学元件（例如，低NA显微镜物镜）过滤其接收的光。例如，光学元 件可过滤从样本20发出的光。光学元件可以是物镜，其根据其数值孔径（NA)通过接受在 入射角度的范围内的光来过滤光。在一些情况下，该光学元件可以是常规显微镜的低NA物 镜（例如，2X、0.08NA物镜）。
[0126] 在步骤1300,辐射检测器接收来自光学元件的经过滤的光的投影，并捕获在N个 采样时间hiaN的每个的快照强度分布测量结果以获得多个N个低分辨率强度图像。由 辐射检测器采样的每个低分辨率强度图像与傅立叶空间中的区域相关联。在许多实施方式 中，在步骤1100,可变照射器提供从一定入射角度的照射以生成傅立叶空间中邻近区域之 间的重叠面积。在一个实施方式中，可变照射器提供照射，以提供区域之一的面积的2%到 99. 5%的临近区域之间的重叠面积。在另一个实施方式中，可变照射器提供照射，以提供区 域之一的面积的65%到75%的临近区域之间的重叠面积。在一个实施方式中，可变照射器 提供照射，以提供区域之一的面积的约65%的临近区域之间的重叠面积。
[0127] 在步骤1400和1500中，可根据在步骤1300捕获的多个N个低分辨率强度分布测 量结果ihG^，ky0 (由它们的照射波矢量k^kyi索引，，其中i= 1，2, . . . .N)以计算方式 重构样本区域的高分辨率图像。
[0128] 在步骤1400中，高分辨率图像：在空间域中初始化，且将傅立叶变换应用 到初始值，以获得初始化的傅立叶变换的图像。初始化的高分辨率的解可以是初始猜测。 该初始猜测可基于样本位于离焦点对准平面z=Z(l的假设来决定。在一些情况下，可将初 始猜测确定为随机复矩阵（对于强度和相位两者）。在其它情况下，可将初始猜测确定为具 有随机相位的低分辨率强度测量结果的内插。初始猜测的实例是4 = 〇以及从样本区域的 任何低分辨率图像内插的Ih。初始猜测的另一个实例是恒定值。初始猜测的傅立叶变换可 以是在傅里叶域中的广谱。
[0129] 在步骤1500,通过使用FPI系统10的处理器210迭代组合在傅立叶空间中的低分 辨率强度测量结果以计算方式重构该样本区域的高分辨率图像。
[0130] 在可选步骤1600,显示器230可接收图像数据（诸如高分辨率图像数据）到 和/或来自处理器210的其它数据，并在显示器230上显示数据。
[0131] 图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。在该图示 的实例中，步骤1500包括步骤1510、步骤1530、步骤1550、步骤1560、步骤1570、步骤1580、 以及步骤1590。步骤1500可任选地包括步骤1520和1540。如果样本20焦点没对准的量 为，则可执行任选的步骤1520和1540。
[0132] 在步骤1510,处理器210执行在傅里叶域中的高分辨率图像#%的低通过滤以 针对带波矢量（kAk^的特定平面波入射角度（0^，eyi)产生低分辨率图像高分 辨率图像的傅立叶变换是且针对特定的平面波的入射角度的低分辨率图像的傅立叶变 换是]^。在傅里叶域中，FPI方法从高分辨率图像的频谱过滤低通区域。在用以物 镜形式的光学元件的情况下，该区域是具有NA*、的半径圆形孔径，其中k^等于2Jr/X(在 真空中的波数）（由物镜的相干传递函数给定）。在傅立叶 空间中，该区域的位置对应于入 射角度。对于具有波矢量（k^kyi)的倾斜平面波入射，该区域以^的傅立叶域中的位 置（-G-k/)为中心。
[0133] 在可选步骤1520,使用处理器210,低分辨率图像在傅立叶域中传播到 在光学元件130的z = 0的焦点对准平面122,以决定在焦点对准位置的低分辨率图像： 。在一个实施方式中，可通过乘以在傅里叶域中的相位因子傅立叶变换低分辨率图 像和傅立叶逆变换以获得^V~来执行步骤1520。在另一个实施方式中，可通过卷 积低分辨率图像与用于散焦的点扩散函数的数学上等效操作来执行步骤1520。在另 一个实施方式中，步骤1520可作为步骤1510的可选的子步骤来执行，即在执行傅立叶逆变 换之前将.乘以在傅里叶域中的相位因子来执行以产生。如果样本20位于光学元 件的焦点对准平面（z= 〇)，则不需要包括可选的步骤1520。
[0134] 在步骤1530,使用处理器210,在焦点对准平面#，_的低分辨率图像的计算振 幅分量#被由FPI设备的辐射检测器测得的低分辨率强度测量结果^的平方根替代。 这形成了更新的低分辨率目标^^"。
[0135] 在可选步骤1540,使用处理器210,更新的低分辨率图像可反向传播到 采样平面（z=。以确定如果样本位于光学元件的焦点对准平面，即，其中Z(l = 〇,则不需要包括可选的步骤1540。在一个实施方式中，可通过采取更新的低分辨率图像 的傅立叶变换和在傅立叶空间中乘以相位因子的来执行步骤1540,且然后对其傅 立叶逆变换。在另一个实施方式中，可通过卷积用散焦的点扩散函数的更新的低分辨率图 像^#"来执行步骤1540。在另一个实施方式中，在对更新的目标图像执行傅立叶变化 后通过乘以相位因子，步骤1540可以被执行为步骤1550的子步骤。
[0136] 在步骤1550,使用处理器210,傅立叶变换应用于传播到采样平面的更新的目标 图像：且在对应于入射波矢量的傅立叶空间中的高分辨率解的相 应区域中更新该数据。
[0137] 在步骤1560,处理器210确定针对所有的入射角度是否已经完成步骤1510到 1560。如果针对所有的入射角度未完成步骤1510到1560,则针对下一个入射角度重复步骤 1510 到 1560。
[0138] 在大多数实施方式中，针对每个入射角迭代更新的傅立叶空间中的相邻区域彼此 重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多个 采样。入射角度决定重叠面积的面积。在一个实施方式中，相邻区域之间的重叠面积可具 有相邻区域之一的面积的2%到99. 5%之间的面积。在另一个实施方式中，相邻区域之间 的重叠面积可具有相邻区域之一的面积的65%到75%之间的面积。在另一个实施方式中， 相邻区域之间的重叠面积可具有相邻区域之一的面积的约65%的面积。在某些实施方式 中，每个重叠面积具有相同的面积。
[0139] 在步骤1570,处理器210决定高分辨率解是否已收敛（步骤1570)。例如，处理器 210可确定高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一 次迭代或初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于特定 值，则解可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1510 到1570。在一个实施方式中，重复一次步骤1510到1560。在其它实施方式中，重复两次或 两次以上步骤1510到1560。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解 到空间域以恢复高分辨率图像。如果处理器210确定解在步骤1570已收敛，则过程 可进行到可选的步骤1600。
[0140] 图6E是参照图6A和6B所描述的FPI方法的步骤的图示。在图6E中的左手边图 像包括在高分辨率解的傅立叶空间中的具有圆形的低通滤波器形状的两个区域22 (a)和 22 (b)(由2X物镜0. 08NA的光学传递函数来限定）。区域22 (a)基于与在第一入射角度 (0 x= 0 ; 0 y= 0,i= 1)的法向平面波入射相关联的圆形低通滤波器形状。区域22 (b)基 于与第N个平面波入射角度（0X=-21° ;0y=22°;i=N)相关联的圆形低通滤波器 形状。为了执行在各入射角度的低通滤波，在傅里叶域中的圆形区域之外的数据被省略，其 导致低分辨率图像。基于斜平面波入射角度（0 x= -21° ; 0 y= 22° )来源于滤波的低 分辨率图像在图6E的顶部右手边示出。来源于在的斜平面波入射角（0 x= -21° ; 0y = 22° )的滤波的低分辨率图像在底部右手边示出。在x方向和y方向的入射角度的波矢量 分别表示为kxi和kyi。在该图示中，基于近似于具有半径NA*kQ的圆形光瞳函数由2X物镜 0.08NA的光学传递函数来定义区域22(a)和22(b)的尺寸，其中&等于2Jr/A(在真空中 的波数）。
[0141] 在图6E中，根据图6B的步骤1550,FPI方法更新对应于法向入射（0 x= 0，0y =〇)的高分辨率重构的区域22(a)内的数据。用具有更新的强度测量结果（IJk^ky1)， 其中kxi= 〇，kyi= 0)的低分辨率图像数据更新区域。在图6E中，根据图6B的步骤1550， FPI方法还更新对应于第n个入射角度（0 x= -21° ; 0 y= 22°;i=N)的高分辨率重构 区域22(b)内的数据。用具有更新的强度测量结果（Ils(kxN，kyN))的低分辨率图像数据更新 区域。
[0142] 图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。在这种情况下， 样本20在焦点对准平面。该示意图包括图示1605、1606和1607。图示1605包括源于步骤 1400的初始傅立叶频谱和内插强度的典型图像。图示1606代表步骤1500的迭代部分，其 中在此情况下包括1510、1530、1550。图示1606包括N个迭代。区域22(d)、22(e)和22(f) 中的每个是在高分辨率解的傅立叶空间中的圆形低通滤波器的形状。基于近似于具有半径 NA*kQ的圆形光瞳函数由2X物镜0. 08NA的光学传递函数定义区域22 (a)和22 (b)的尺寸， 其中kQ等于2jt/A(在真空中的波数）。在第一次迭代（(i= 1)，9 x= 〇 ; 9 y= 〇)，在 步骤1550更新区域22 (d)。在第（N-1)次迭代（(i=N-l)，0 x= -22 ; 0 y= 19)，在步骤 1550更新区域22 (e)。在第N次迭代（(i=N)，0 x= -22 ; 0 y= 22)，在步骤1550更新区 域22 (f)。图示1606包括恢复的相位图像和恢复的强度图像。
[0143] 在实施方式中，通过包括可选步骤1520和1540,FPI方法可包括数字重聚焦。步 骤1520和1540的数字重聚焦特征从z= 0的焦点对准平面122传播该图像到在z=zQ的 采样平面124。当样本20位于在z=Z(l的采用平面124时可能需要数字重聚焦，而光学元 件（例如，物镜）的焦点对准平面122位于z= 0的位置。换言之，当样本20的散焦的量 为时，可能需要数字重聚焦。图6C和6D是根据本发明的实施方式的具有以LED矩阵形 式的光元件的FPI设备100(a)的组件的示意图。在图6C中，样本20的散焦的量为-z。，且 可选的步骤1520和1540可用于数字重聚焦。在图6D中，样本20位于在焦点对准平面122 的焦点对准位置。在这种情况下，可不需要可选的步骤1520和1540。
[0144] 在一个实施方式中，在图28中示出的带？?1设备100(&)的？?1系统10被用于执 行图6A和6B的FPI方法，其中样本20位于焦点对准平面122。在该实例中，光元件以137 个红色LED的形式作为用于斜照射的光源。在对角方向，重构图像的对应的最大的NA为~ 0. 5〇
[0145] 图74(1)、74(2)、74(3)、74(4)和74(5)是来源于执行图6八和68的？?1方法的图 像。这些结果示出了改进的分辨率。图7A(1)是样本区域的全视场低分辨率强度图像。图 7A(2)是由辐射检测器捕获的具有2. 75ym的像素尺寸（5. 5ym除以放大因子）的低分辨 率图像图7A⑴的选定部分的放大的视图。图7A(3)是图7A⑵中图像的放大视图。图 7A(4)和7A(5)是以计算方式重构的高分辨率图像，其中像素大小为0. 275um。
[0146] 在一个实施方式中，在图2B中示出的带FPI设备100(a)的FPI系统10用于执行 图6A和6B的FPI方法，其中样本20位于焦点对准平面122,其具有不同数量的LED光源 (即不同的N个入射角）和它们的相应的高分辨率重构，其中在傅立叶空间中用该重构覆 盖不同的最大NA。在第一种情况下，在五个入射角度（i= 1至5)获得五个低分辨率图像 (帧）。图7B⑴示出从五个帧重构获得的高分辨率图像。图7B⑵示出在跨越0.13的最 大合成NA的傅立叶空间中的五个帧重构的总频谱。在第二种情况下，在64个入射角度（i =1至64)获得64个低分辨率图像（帧）。图7B(3)示出从64个帧重构获得的高分辨率 图像。图7B⑷示出在跨越0. 3的最大合成NA的傅立叶空间中的64个帧重构的频谱。在 第三种情况下，在137个入射角度（i= 1至137)获得137个低分辨率图像。图7B(5)示 出从137个帧重构获得的高分辨率图像。图7B(6)示出在跨越0. 5的最大合成NA的傅立 叶空间中的137个帧重构的频谱。在图7B(2)、7B(4)和7B(6)中每个小圈代表对应于一个 低分辨率强度测量结果的频谱区域。这些结果表明，可使用FPI方法从光学器件的分辨率 解耦视场，且同样地，同时实现宽视场和高分辨率。
[0147]A、使用分块成像的FPI方法
[0148] 在一些实施方式中，具有分块成像的FPI方法将捕获的低分辨率图像划分为多 个低分辨率分块图像，针对分块中的每个获得高分辨率图像，并且然后组合高分辨率分块 图像以产生全视场高分辨率图像。在一些情况下，高分辨率分块图像可与图像混合过程相 结合。图像混合过程的实例是alpha混合，其可在，于1999年4月7日递交的名称为"A systemandmethodforperformingblendingusinganoversampledbuffer" 的PCT 公布W01999053469中找到，其据此通过引用以其整体并入本文。因为可独立地获得分块 的高分辨率图像，故该FPI方法可允许并行计算，其可减少计算时间，并还可降低存储器要 求。此外，来自每个光元件的光可精确地视为针对每个分块的平面波。针对每个分块的入 射波矢量可表示为：
[0149]
[0150] .
[0151] 其中（x。，y。）是全视场低分辨率图像的每个分块的中心位置，（Xi，yi)是第i个光 元件的位置，且h是照射器和样本之间的距离。此外，在某些情况下，该FPI方法可分配特 定色差校正光瞳函数到每个分块。
[0152] 在一个实施方式中，FPI系统10包括个人计算机形式的计算设备200,其具有 Inteli7CPU形式的处理器210。在一个实验中，该FPI系统10执行的FPI方法具有将低 分辨率图像划分为196x196像素的分块的成像。在一种情况下，每个小图像使用Matlab 的处理时间（将196X196的原始像素转换为1960X1960像素）大约为3. 75秒。在这种 情况下，当使用CPU的所有4个内核并行计算时，创建全视场千兆像素图像的处理时间是 大约10分钟。在其它实施方式中，FPI系统10可具有仪GPU单元形式的处理器，其可十倍 地减少处理时间。在其它实施方式中，处理器210可使用另一种编程语言（诸如C++)执行 FPI方法的步骤，其可减少处理时间。该FPI系统的实例可在Zheng,G.、Horstmeyer,R.和 Yang,C.的"Wide-field,high-resolutionFourierptychographicmicroscopy"Nature Photonics(2013年七月）中找到，其据此通过引用以其整体并入本文。
[0153] 图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。可由FPI 系统10来执行该FPI方法。为利用并行处理能力，FPI系统10包括带并行处理能力的处理 器210,诸如例如，具有多个核（S卩，独立的中央处理单元）的GPU单元或处理器。该FPI方 法包括测量过程（步骤11〇〇、1200和1300)、恢复过程（步骤1350、2400(1-]\〇、2500(1-]\〇、 2590)、和可选的显示过程（步骤1600)。参考图6A描述测量过程（步骤1100、1200和1300) 和显示过程（步骤1600)。
[0154] 在步骤1350,处理器210将全视场分割为多个分块，诸如例如，二维矩阵的分块。 分块的二维方阵的尺寸可以是二的幂，诸如，例如，256X256矩阵、64X64矩阵等。在一个 实例中，处理器可分割5280X4380像素的全视场为具有150X150像素的面积的分块。
[0155] 接着，处理器210独立地使用并行计算（步骤2400(1). ? ?步骤2400(M))在空间 域中针对每个分块（1至M)初始化高分辨率图像。傅立叶变换应用于初始猜测。在 一些情况下，可将初始猜测确定为随机复矩阵（对于强度和相位两者）。在其它情况下，可 将初始猜测确定为带机相位的低分辨率强度测量结果的内插。初始猜测的实例是W= 〇以 及样本区域的任何低分辨率图像的Ito。初始猜测的另一个实例是恒定值。初始猜测的傅 立叶变换可以是在傅里叶域中的广谱。
[0156] 在步骤2500 (1)...步骤2500 (M)，处理器210独立地使用并行计算来以计算方式 重构每个分块（1至M)的高分辨率图像。如参照图6B中示出的步骤1510、1530、1550、1560 和1570描述的和本文中所描述的，处理器210通过迭代结合在傅立叶空间中的低分辨率强 度图像以计算方式重构每个分块的高分辨率图像。如果样本焦点没有对准，则可包括步骤 1520 和 1540。
[0157] 在步骤2590,处理器210将高分辨率分块图像结合成全视场高分辨率图像。在某 些情况下，结合分块图像包括成像混合（诸如例如，alpha混合）过程。
[0158] 图8B是根据本发明实施方式的来源于执行FPI方法的图像，其中FPI方法具有使 用图像混合的分块成像。在该实例中，FPI方法将5320X4370像素的每个低分辨率图像分 割成150X150像素大小的分块。在左手边，图像是两个相邻高分辨率分块图像。在右手边 上的图像是使用混合来结合两个高分辨率分块图像的高分辨率图像。在混合中，FPI方法 产生混合区域，其替代在高分辨率全F0V图像中的相邻分块图像的边缘区域。在图示中，混 合区域的宽度为50个像素。在其它实施方式中，混合区域可具有其它宽度（诸如，例如，6 个像素）。利用混合，在混合区域中存在不可观察的边界。
[0159] 在可选步骤1600,样本区域的恢复的高分辨率二维图像的图像数据显示在显示器 230 上。
[0160] 在一个实施方式中，带分块成像的FPI方法还可包括基于分块和每个光元件之间 的距离解释不同的分块之间的入射角度中的差的程序。
[0161]B、利用数字重聚焦的FPI方法
[0162] 常规高NA显微镜的另一个限制是有限的景深。作为实例，具0. 4NA的20X物镜的 常规显微镜的景深约为5ym。对于常规的显微镜，由于其有限的景深，分辨率随着样本从焦 点对准平面122离开而降低。为了使用常规显微镜实现最佳的分辨率，操作者需要移动工 作台以机械地带动样本返回到焦点。在这方面，在常规显微镜中需要精确的机械台以带动 样本以亚微米精度进入焦距内的位置。
[0163] 在某些实施方式中，FPI系统10实现FPI方法，其中样本可数字地而不是机械地 重聚焦。在这些情况下，在恢复过程中FPI方法计对散焦的样本20计算重聚焦。使用数字 重聚焦，FPI系统10可扩展其景深（超出其光学元件的物理限制）。
[0164] 图10A根据本发明的实施方式的来自使用具有或不具有用于比较的数字重聚焦 的FPI方法的FPI系统10的数值模拟的图像。这些图像示出了来源于使用该FPI方法的 高分辨率重构对于样本散焦是不变的。在图10A中，每行代表z方向的-150ym、-50ym、 50ym、和150ym的不同的散焦量。列1是捕获的低分辨率图像。列2和3是用数字重聚 焦恢复的高分辨率强度和相位轮廓。列4和5是不用数字重聚焦恢复的高分辨率强度和相 位轮廓。
[0165] 图10B(1)是根据实施方式执行带数字重聚焦的FPI方法的FPI设备100(a)的实 验设置的示意图。图l〇B(2)-(16)是根据图10B(1)中的实验设置来源于执行带数字重聚 焦的FPI方法的实验结果的图像。在实验中，如图10B(1)的示意图中所示，将样本移动到 具有从-300ym至+300ym的散焦的距离范围的不同的z位置。对于所有散焦位置，获得 低分辨率图像（对应于LED矩阵的137个不同的LED)。在图10B(2)、（3)、（4)、（5)和（6) 中示出典型的低分辨率图像。跟随具有图6B的步骤1520和1540的恢复过程以计算方式 重构样本的高分辨率轮廓。在图10B(7)、（8)、（9)、（10)和（11)中示出这些高分辨率轮 廓。图10C(l)-(7)包括来自相对于图10B(1)-10B(16)描述的实验的更详细的结果。针对 图10C(4)、（5)、（6)中的最小特征，图10C(7)是线的轨迹图。如在图10B和10C中由重构 图像示出的，带数字重聚焦的FPI方法可实现0. 3_的分辨率不变的成像深度。
[0166] 图10D(1)_(3)是根据本发明的实施方式的来自执行具有和不具有数字重聚焦的 FPI方法的用于比较的实验结果的图像。在图10D(2)和10D(3)中，示出来源于使用实施方 式的FPI方法的具有和不具有数字重聚焦（例如，步骤1520和1540)的用于比较的图像重 构。图l〇D(l)是在z= -150ym的原始数据的低分辨率图像。为了进行比较，图10D(2)是 用数字重聚焦重构的高分辨率图像，且图10D(3)是不用数字重聚焦重构的高分辨率图像。
[0167] 用FPI方法的数字重聚焦代表了对常规显微镜的另一种显著改善。数字重聚焦可 校正：1)其中在整个视场中样本未完全对准的情况，和2)用于色差数字化（针对不同的颜 色分配不同的散焦距离）。
[0168]图 10E(1)、10E⑵、10E(3)、10E⑷、10E(5)、10E(6)、10E(7)和 10E(8)根据本发明 的实施方式提供了来自使用FPI系统10执行带数字重聚焦的FPI方法的示例性结果，其用 于校正在血液涂片和病理切片中的色差。FPI系统10包括图2B的FPI设备100(a)。图 l〇E(l)是如由FPI系统10获得的血液涂片的典型的低分辨率图像。图10E(2)是如由FPI 系统10获得的病理切片的典型的低分辨率图像。图l〇E(3)是如用数字重聚焦计算重构的 血液涂片的高分辨率图像。图l〇E(4)是如用数字重聚焦计算重构的病理切片的高分辨率 图像。图10E(5)是如不用数字重聚焦计算重构的血液涂片的高分辨率图像。图10E(6)是 如不用数字重聚焦计算重构的病理切片的高分辨率图像。图l〇E(7)和10E(8)分别是用于 比较的血液涂片和病理切片的带20X物镜的常规显微镜图像。
[0169]C、利用数字自动聚焦的FPI方法
[0170]FPI系统10的操作期间，样本20的z位置可能不是已知先验的。在某些实施方 式中，FPI方法可包括数字自动聚焦步骤，其决定样本20的z位置并使用该z位置以数字 重聚焦。例如，图6B的FPI方法还可在步骤1520期间或之前包括步骤，其计算样本20的 z位置。FPI系统10可以通过使用处理器210执行数字自动聚焦以使用样本的计算的z位 置执行图6B中的步骤1520和1540。为了计算样本20的z位置，FPI方法确定的自动聚焦 索引参数。通过以下的公式定义自动聚焦索引：
[0171] 自动聚焦索引
[0172] 其中是来自低通滤波的振幅图像，且
[0173] ^是实际的低分辨率测量结果。
[0174] 在公式2中的总和针对所有斜入射角度。在FPI方法计算样本20的估计的z位 置之后，FPI方法可数字重聚焦于所估计的z位置。在一些情况下，当使用精确的z位置时， 已经发现高分辨率图像解收敛更好。
[0175]图 10F(1)、10F⑵、10F(3)、10F⑷、10F(5)、10F(6)和 10F(7)根据本发明的实施 方式包括来自使用FPI系统10执行带数字自动聚焦的FPI方法的实验结果。该FPI方法计 算自动聚焦索引用于自动计算样本的z位置。在该第一情况下，将样本置于Z(l= -150ym 处。图10F(1)、10F⑵和10F(3)是样本在zQ= -150ym处的重构的图像。在该第二情况 下，将样本置于在FPI设备的zQ=-50ym处。图10F(4)、10F(5)和10F(6)是样本在zQ =-50ym处的重 构的图像。使用FPI的方法，FPI系统10基于公式2计算关于不同z位 置的自动聚焦索引。图10F(7)是关于不同z位置的计算的自动聚焦索引值的曲线图。自 动聚焦索引的最大值表明样本的估计的z位置。如图所示，基于最大计算的自动聚焦索引 估计的位置靠近样本的实际位置。使用估计的位置，FPI方法可自动聚焦传播图像到估计 的位置。
[0176]D、利用数字波前校正的FPI方法
[0177] 虽然FPI方法不需要作为输入的相位信息，但是某些实施方式的FPI方法在迭 代重构期间调节相位。在这些实施方式中，景深可延伸超出使用数值策略的物镜的景深， 以补偿在光瞳函数中的像差。这种象差补偿策略的实例可在Gutzler，T.、Hillman，T. R.、Alexandrov,S.A.和Sampson,D.D.的"Coherentaperture-synthesis,wide-field, high-resolutionholographicmicroscopyofbiologicaltissue, "Opt.Lett. 35，第 1136 - 1138 页（2010)，以及Colomb，T.等人的"Automaticprocedureforaberration compensationindigitalholographicmicroscopyandapplicationstospecimen shapecompensation, "Appl.Opt. 45, 851 - 863(2006)中找到，它们据此通过引用以其整体 并入本文。在迭代图像恢复过程中，数字校正过程将相位图数字地引入到相干光传递函数 以补偿在光瞳平面的像差。
[0178] 图9A是根据本发明的另一实施方式的图6A的FPI方法的步骤1500的子步骤的 流程图。在该实例中，FPI方法包括数字波前校正。在两个乘法步骤1605和1645中FPI方 法结合数字波前补偿。具体地，步骤1605通过由处理器210乘以光瞳函数来模拟 实际样本轮廓和捕获的强度数据（其包括像差）之间的连接。步骤1645反转这种连接，以 实现无像差重构图像。样本散焦实质上等同于引入散焦相位因子（即，散焦像差）到光瞳 平面：
[0179]
[0180] 其中，匕和ky是光瞳平面处的波数，z^为散焦距离，且NA是光学元件的数值孔径。
[0181] 在步骤1605,处理器210乘以在傅里叶域中的相位因子￥<夂 ；。
[0182] 在步骤1610,处理器210执行在傅里叶域中的高分辨率图像的低通过滤以 针对具有波矢量0〇,ky0的特定平面波入射角度（0/，0yi)产生低分辨率图像。高 分辨率图像的傅立叶变换是又，且针对特定的平面波的入射角度的低分辨率图像的傅立 叶变换是。在傅里叶域中，FPI方法从高分辨率图像的频谱//1过滤低通区域。在 用以物镜形式的光学元件的情况下，该区域是具有半径为NA*!^圆形孔径，其中h等于由物 镜的相干传递函数给定的2Jr/A(在真空中的波数）。在傅立叶空间中，该区域的位置对应 于入射角度。对于具有波矢量（kAk/)的倾斜平面波入射，该区域以的傅里叶域中 的位置（-k^-kyi)为中心。
[0183] 在步骤1630,使用处理器210,在焦点对准平面的低分辨率图像的计算的 振幅分量#用由FPI设备的辐射检测器测量的低分辨率强度测量结果|的平方根替 代。这形成了更新的低分辨率目标^V&。
[0184] 在步骤1645,处理器210乘以在傅立叶域中的逆相位因子
[0185] 在步骤1650,使用处理器210,傅立叶变换应用于传播到采样平面的更新的目标 图像并且该数据在对应于入射波矢量（k^k/)的傅立叶空间中的高分辨率解 的对应的区域中更新
[0186] 在步骤1660,处理器210确定步骤1605到1650是否针对所有的入射角度已经完 成。如果步骤1605到1650尚未针对所有的入射角度完成，则针对下一个入射角度重复步 骤 1605 到 1650。
[0187] 在大多数实施方式中，针对每个入射角度迭代更新的傅立叶空间中的邻近区域彼 此重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多 次采样。入射角度决定重叠区域的面积。在一个实施方式中，相邻区域之间的重叠面积可 具有相邻区域之一的面积的2%到99. 5%之间的面积。在另一个实施方式中，相邻区域之 间的重叠面积可具有相邻区域之一的面积的65%到75%之间的面积。在另一个实施方式 中，相邻区域之间的重叠面积可具有相邻区域之一的面积的约65%的面积。在某些实施方 式中，每个重叠区域具有相同的面积。
[0188] 在步骤1670,处理器210决定高分辨率解是否已收敛。例如，处理器210可确定 高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一次迭代或 初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于某一值，则解 可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1605到1670。 在一个实施方式中，重复一次步骤1605到1670。在其它实施方式中，重复两次或两次以上 的步骤1605到1670。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解到空间 域以恢复高分辨率图像。如果处理器210确定解在步骤1570已收敛，则过程可进行 到可选的步骤1600。
[0189] 图9B是根据本发明的实施方式的实现带数字波前校正的FPI方法的FPI设备100 的示意图。如所示，在步骤1605和1645引入数字光瞳函数以模拟在实际的样本轮廓和所 捕获的强度数据之间的连接，其可显示由散焦造成的像差。带数字波前校正的FPI方法也 可用于校正光学元件（例如，物镜）的空间变化的像差。
[0190] 如果散焦距离是未知的，则FPI方法基于计算来自公式4的自动聚焦索引可数字 地调节"z"参数到不同的值。然后，FPI方法可重构相应的图像，并选择最清晰的图像。这 种方法也可扩展以对分块的样本成像。在这种情况下，FPI方法可数字地调节"z"参数以 实现对整个图像的每个分块区域的锐度，并结合焦点对准区域以形成全视场的完全聚焦的 图像。
[0191] 在其它实施方式中，只要因子正确模拟所采用的光学器件，则可替换的数字乘法 相位因子可包括在乘法步骤1605和1645中，以校正各种像差。
[0192]E、恢复过程的估计的计算成本
[0193] 假设由辐射检测器捕获的低分辨率图像包含n个像素且N个不同的光元件被用于 照射，图6B的示出的实例的恢复过程的计算成本可通过步骤1510U550和1570的计算成 本来近似。在恢复过程的步骤1510中，执行二维快速傅立叶变换（FFT)以产生低分辨率图 像，且相应的计算成本为n2 -logh)在步骤1550中，执行另一个FFT以更新 的傅立叶空间的相应区域，且相应的计算成本为n2 ?log(n)。在步骤1560,对于所有入射角 度重复一次以上计算，且因此计算成本为N? 2 ?n2 ?log(n)。如果重复一次步骤1570,则计 算成本为2 ?N? 2 ?n2 ?log(n)。相比以上的值，可忽略在恢复过程中的其它步骤。总之， 图6B的FPI方法的计算复杂度是4 ?N?n2 ?log(n)，其中N是斜入射的总数，且n是低分 辨率图像的像素总数。
[0194]IV、利用彩色成像和/或相位成像的示例性的FPI系统
[0195]A、彩色成像
[0196] 在病理学和组织学中彩色成像能力是关键的。在某些实施方式中，能够彩色成像 的FPI系统10包括带具有光元件的LED的可变照射器，其中光元件可提供红色、绿色和蓝 色照射。FPI方法将获得自红色、绿色和蓝色LED照射的高分辨率图像组合成每个相应的彩 色信道以形成最终的高分辨率彩色图像。产生的对应于红色、绿色和蓝色的三个图像被组 合以形成高分辨率的彩色图像。
[0197] 为了演示用于数字病理学应用的该FPI系统10的实现，将该彩色成像系统用于获 取病理切片（人类的乳腺癌部分，卡罗莱纳州）的彩色高分辨率图像。图11A(1)是示出对 于用于比较的常规显微镜的2X物镜和20X物镜两者的病理切片的视场。对于2X物镜的情 况，如由图11A(2)和图11A(3)的图像所示，常规显微镜中的F0V的直径为~13. 25mm，且 NA为0. 08。另一方面，对于20X物镜，20X物镜的NA为0. 4,其比2X物镜的NA高得多，而 F0V直径仅为1. 1mm，如图11A(4)和11A(5)中所示。使用带实施方式的2X物镜的彩色成 像FPI系统10,视场与2X情况（g卩，直径为13. 25mm)相同，而最大NA为~0. 5,由Nyquist 速率导致全部整个图像超过1. 8千兆像素。图11A(6)和图11A(7)是根据本发明的实施方 式的示出FPI系统10的视场和相应的最大NA的彩色图像。
[0198] 图11B根据本发明的实施方式包括使用彩色成像FPI系统10的结果。对应于图 11B(1)-(18)的图像的行与分别关于红色、绿色和蓝色照射重构的图像相关联。图11B(19) 是原始彩色图像。图11B(20)是由FPI系统10计算重构的带数字重聚焦的彩色图像。图 11B(21)是由40X物镜和彩色图像传感器所捕获的用于比较的图像。图11C(1)、11C(2)、 11C(3)、11C⑷、11C(5)和11C(6)是示出在彩色成像FPI系统10和不同的物镜之间的图像 质量的对比的彩色图像。图11C(6)是由FPI系统10计算重构的图像。图11C(1)、11C(2)、 11C(3)、11C(4)和11C(5)是分别由2X、4X、10X、20X和40X物镜捕获的用于比较的图像。
[0199]B、相位成像
[0200] 相位成像在众多应用中是有用的。例如，组织病理切片的相位轮廓可包含关于组 织的分子尺度组构的信息，并可用作为癌症诊断的固有标记，如在Wang，Z.、Tangella，K.、Balia,A和Popescu,G?的"Tissuerefractiveindexasmarkerofdisease''Journalof BiomedicalOptics16, 116017-116017(2011)中讨论的，其据此通过引用以其整体并入 本文。作为另一个实例，样本的相位信息也可用于测量细胞或细胞器的光学路径长度，以决 定细胞培养物的生长模式或执行血液筛查，如在Lue，N.等人的"LiveCellRefractometry UsingHilbertPhaseMicroscopyandConfocalReflectanceMicroscopyTheJournal ofPhysicalChemistryA, 113，第 13327-13330 页（2009)，Mir,M.等人的"Optical measurementofcycle-dependentcellgrowthProceedingsoftheNationalAcademy ofSciences108,第 13124-13129 页（2011)，以及Mir,M.等人的"Bloodscreeningusing diffractionphasecytometry, "JournalofBiomedicalOptics15,第 027016-027014 页（2010)中论述的，它们据此通过引用以其整体并入本文。
[0201] 最常规的全场相位成像技术使用干涉法，其需要精致的和精心设计的光学对准。 对比这些常规技术，实施方式的FPI方法是对于研宄人员和临床医生将相位成像功能并入 他们的当前的显微镜系统的容易和经济高效的解决方案。图11D中的图像根据本发明的实 施方式包括来自使用用于病理切片和血液涂片的带彩色成像FPI系统10的FPI方法的相 位和彩色图像。图11D(1)和11D(2)是低分辨率图像。图11D(3)和11D(4)是高分辨率强 度图像。图11D(5)和11D(6)是高分辨率相位图像。图11D(7)和11D(8)是高分辨率彩色 图像。图11D(9)和11D(10)是来自具有20X物镜的常规显微镜的用于比较的图像。通过 采用合成的高分辨率图像的相位角度生成相位图像。
[0202] V.另外的模拟结果
[0203] 在该部分和在公开内容中其它部分提供根据本发明的实施方式执行FPI方法的 FPI系统的数值模拟的一些结果。在许多实施方式中，FPI系统使用FPI方法以借助于低NA 镜头重构高分辨率图像。
[0204] 作为实例，图5A根据本发明的实施方式示出了来自使用FPI方法的FPI系统的数 值模拟的结果。图5A包括两个图像（左手边），其表示模拟的样本强度轮廓I(x，y)和相 位轮廓p(XJ)。这两个输入轮廓的像素大小为275nm，且模拟的入射波长为632nm。在该 模拟中，使用具有以二维阵列的光元件形式的多个固定光元件的FPI设备100(a)执行该方 法。在测量过程中，在137个不同入射角度通过平面波照射样本，并通过2X物镜（0.08NA) 进行过滤，且然后由具有5. 5ym像素尺寸的图像传感器捕获。在该模拟中，假定样本放置 在物镜的焦距内位置（即在焦点对准平面122)。所得到的以1%的随机斑点噪声添加的低 分辨率图像示于图5A的中间部分。基于这些低分辨率图像，恢复过程被用来计算重构具有 傅立叶空间中的最大NA为0. 5的高分辨率图像。在恢复过程中，低通滤波后图像的强度由 实际低分辨率测量结果替换，并相应地更新高分辨率重构的相应的傅立叶空间。图5A的右 手边中示出重构的高分辨率图像的强度和相位轮廓。可恢复样本的高分辨率图像而不涉及 在数据采集测量过程中的相位测量结果。
[0205] 图 5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、5B(9)、5B(10)、5B(11) 和5B(12)示出了来自使用根据关于图5A所讨论的实施方式的FPI方法的FPI系统的数值 模拟的更多结果。图 5B(1)、5B⑵、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)是在 该模拟期间获得的137个之外的9个低分辨率测量结果的图像。图5B(10)和5B(11)分别 是计算重构的高分辨率强度和相位图像。图5B(12)是恢复图像的傅立叶空间。突出显示 低分辨率图像的对应区域。
[0206]VI?吞吐量增强因子
[0207] 基于在原始低分辨率图像的最大象素大小和高分辨率图像的最大像素大小之间 的像素大小比率，使用FPI系统的增强因子可表示为：
[0208]增强因子=2 ?NAsyn/NAQbj (公式 3)
[0209] 增强因子越大，系统吞吐量越高。
[0210] 在某些实施方式中，FPI系统10可具有一定的采样条件以提供特定的增强因子。 通常，采样条件可与两个问题相关联：1)给定的物镜NA，其是可用于获取低分辨率强度图 像的最大像素的大小；2)给定的重构图像的合成NA，其是可用于表示重构的强度图像的最 大像素的大小。由于实施方式的FPI方法可恢复强度和相位信息两者，故问题1的回答与 相干光学系统的采样条件相同：A八2 ?NA&.)。对于问题2,合成NA用于电场E(具有振幅 和相位）。另一方面，最终的重构用于强度轮廓1(1=E*E*，其中表示复共轭）。在空 间域中电场的这种乘法对应于在傅立叶域中的卷积运算。同样地，重构的强度图像的通频 带在傅里叶域中为双倍。因此，在样本平面可用于表示重构的强度图像的最大象素大小为 入八4 ?NAobJ)〇
[0211] 在某些实施方式中，FPI设备100(a)包括以带0. 08NA的2X物镜形式的光学元件 和以具有5. 5ym像素大小的图像传感器形式的辐射检测器。从对问题2的回答，针对蓝光， 在图像平面可使用的最大像素大小为2 ?人八2 ?NAobj) = 5. 88ym。因此，图像传感器的 5. 5ym的像素大小符合这种采样条件。另一方面，基于对问题2的回答，重构图像的像素大 小（在采样平面）针对红色、绿色和蓝色波长是0.34ym、0. 30ym和0.28ym。为简单起 见，0. 275ym的重构的象素大小用于对应于增强因子为10的实施中的这些三个波长。
[0212] VII.FPI系统的优点
[0213] 本发明的实施方式可提供以下技术优点中的一个或更多个。下面提供了这些优点 中的一些实例。
[0214] 1.傅立叶域中的对象支持。
[0215] 一方面，FPI方法强加在傅里叶域中的对象支持约束，其提供大F0V和更高信噪比 (带聚焦元件）而不需要机械扫描。在常规ptychography系统中，由在空间域中限制的照 射提供对象支持。在这些常规系统中，样本必须被机械扫描通过期望的视场。
[0216] 2?无相位测量
[0217] 在大多数实施方式中，FPI方法不需要样本的相位测量。常规干涉合成孔径显 微镜在它们的检测方案中需要相位测量，如可在Rodenburg，J.M.和Bates，R.H.T.的 "Thetheoryofsuper-resolutionelectronmicroscopyviaffigner-distribution deconvolution, "Phil.Trans.R.Soc.Lond.A339, 521 - 553(1992)，H.M.L?和 Rodenburg,J.M.的"Movableaperturelenslesstransmissionmicroscopy,anovel phaseretrievalalgorithm,Phys.Rev.Lett. 93, 023903 (2004) ,Rodenburg,J. M.等人的 "Hard-X-raylenslessimagingofextendedobjects,Phys.Rev. Lett. 98, 034801 (2007)，Thibault,P.等人的"High-resolutionscanningX-ray diffractionmicroscopy，"Science321,379 - 382 (2008)，Dierolf，M.等人的 "Ptychographiccoherentdiffractiveimagingofweaklyscatteringspecimens, J.Phys. 12, 035017 (2010)，Maiden,A.M.、Rodenburg,J.M?和Humphry,M.J?的"Optical ptychography:apracticalimplementationwithusefulresolution, "Opt. Lett. 35, 2585 - 2587 (2010)，Humphry,M.、Kraus,B.、Hurst,A.、Maiden,A?和Rodenburg J?的"Ptychographicelectronmicroscopyusinghigh-angledark-fieldscattering forsub-nanometreresolutionimaging, "Nat.Commun. 3, 730 (2012)中描述，它们据此 通过引用以其整体并入本文。因为需要没有测量的相位信息，故FPI系统排除了与常规干 涉检测方案相关联的设计挑战。
[0218] 3.空间带宽积超过了光学元件的物理限制。
[0219] 一个优点可以是，即某些实施方式的FPI系统可增加空间带宽积超出其光学器件 的物理限制，同时以简单和具有成本效益的方式避免利用常规设备先前尝试这样做的缺 点。这些系统使用FPI方法以将视场与光学器件的分辨率解耦，其允许这些系统产生具有 低NA镜头的高分辨率图像。因此，这些FPI系统的吞吐量不受其光学器件的空间带宽积的 限制。在一个示例性实施方式中，已经实施了FPI系统，其产生具有最大NA为0.5、120mm2 的视场和〇. 3mm的分辨率不变的成像深度的1. 6千兆像素系统。
[0220] 4.可扩展的吞吐量
[0221] 如所讨论的，分辨率和F0V在实施方式的FPI系统中没有耦合。在一个实施方式 中，FPI系统可通过使用具有特定NA的物镜和通过使用特定数目N的照射扩展为所期望的 吞吐量。例如，可通过减小物镜的NA和/或通过增加数量N的照射来增加FPI系统的吞吐 量。在一个实施方式示例中，FPI系统提供了比现有的明视场显微镜的吞吐量高两个数量 级的吞吐量，而不使用机械扫描和/或相位测量。
[0222] 5.可容易地用常规显微镜执行的模块化形式。
[0223] 在某些情况下，FPI系统的组件可以以容易用常规显微镜或其它常规成像设备的 组件实现的模块化形式。这些实施可具有广泛影响数字病理学、血液学、植物解剖学、免疫 化学和法医摄影的潜力。例如，FPI系统的模块化组件可包括可变照射器（例如，简单的发 光二极管（LED)矩阵）和具有用于执行FPI方法的指令的处理器。
[0224] 6.无机械扫描。
[0225] 在某些实施方式中，FPI方法不需要机械扫描。不同于常规的合成孔径和基于扫 描的宽F0V显微镜技术，对于实施方式的FPI方法不需要机械扫描。因此，其简化了平台 设 计，降低了相关联的成本，并允许更高的吞吐量限制。
[0226] 7.能够彩色成像。
[0227]另一个优点可以是，某些实施方式的FPI系统可用于产生彩色图像，其在病理学 和组织学的应用中是关键的。在实施方式中，FPI系统可通过具有可变照射器能够进行彩 色成像，可变照射器提供不同颜色的（例如，彩色LED矩阵）照射。如果实施数字重聚焦， 计算重构的图像可保持没有光学器件的任何色差。
[0228] 8.数字重聚焦和扩展的景深
[0229] 为实现在常规显微镜中的最佳分辨率，台子必须用于机械地带动离焦的样本到焦 点。在某些实施方式中，FPI方法可数字地计算（而不是机械地）重聚焦图像。这方面对 于其中在整个F0V样本不完全对准的情况特别有用。使用数字重聚焦，FPI系统可扩展其 景深超出其光学元件的光学限制。例如，一个实施方式的FPI方法可用于扩展常规显微镜 的物镜的景深从约80ym到约0. 3_。这种增加的景深可提供额外的优点，即提供大的公差 给显微镜切片放置误差，其比常规的系统提高了精度。
[0230] 9?相位成像能力。
[0231] 生物样本的相位轮廓包含关于样本分子量尺度足够的信息，并可用作关于不同应 用的内在标记。进行相位成像的能力对于数字成像过程（诸如细胞分割和细胞计数）也是 有用的。常规全场相位成像技术要求相当精致和精心设计的光学对准。在某些实施方式中， FPI方法提供了对于研宄人员和临床医生以将相位成像功能并入他们现有显微镜系统的简 单和经济高效的解决方案。FPI方法可重构复杂的样本图像。在某些实施方式中，FPI方法 可通过采取复合图像的相位角产生相位图像。
[0232] 10.X射线和THz应用
[0233] 在某些实施方式中，FPI方法可扩展到其中镜头是差的和具有非常受限的数值孔 径的Terahertz和X射线成像应用。
[0234]VIII.用于X射线成像FPI系统
[0235] 在某些实施方式中，FPI系统10可配置用于X射线成像。在这些实施方式中，傅立 叶重叠关联的X射线成像系统10包括带X射线辐射源（例如，X射线管和金属靶）的FPI 设备。
[0236] 在一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4A中所示 的具有配置用于使用X射线辐射的组件的FPI设备100(c)。在本实施方式中，FPI设备 110(c)包括组件170,其可作为刚性组件安装到台子上（例如，测角台）用于相对于引导X 射线辐射的固定的光元件112平移和/或旋转组件170,以从多个N个入射角度提供X射线 辐射到样本20。FPI设备100 (c)包括机械装置160，其用于相对于光元件112平移和/或旋 转组件170。机械装置170可附着到固定的底座。FPI设备100 (c)也包括光学元件130 (c) 和辐射检测器140 (c)。这两个组件被分别设计为X射线辐射（即X射线光学元件）和X射 线检测器。例如，X射线光学元件可以是微波带板或掠入射反射镜。微波带板可投影全场图 像到X射线辐射检测器。例如，X射线辐射检测器可以是X射线敏感的CCD。微波带板和X射 线敏感的CCD的实例可在Chao,W.、Harteneck,B.、Liddle,A.、Anderson,E?和Attwood,D. 的"SoftX-raymicroscopyataspatialresolutionbetterthan15nm"Nature,卷 435,6月30日，2005)中找到，其据此通过引用以其整体并入本文。在本实施方式中，光元 件112可包括固定的X射线辐射源。
[0237] 在另一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4B中所 示的具有配置用于使用X射线辐射的组件的FPI设备100 (d)。在本实施方式中，FPI设备 110(d)包括从多个N个入射角度引导X射线辐射到样本20的光元件112。FPI设备100(d) 相对于样本旋转光元件112。例如，光元件112可绕一个或更多个轴旋转。FPI设备100(d) 也包括光学元件130(b)和辐射检测器140(b)。在本实施方式中，光学元件130(b)和辐射 检测器140(b)可经设计用于X射线辐射，即可分别是X射线光学元件（例如，微波带板或 掠入射反射镜）和X射线辐射检测器（例如，X射线敏感的CCD)。在该实施方式中，光元件 112可包括X射线辐射源。
[0238] 傅立叶重叠关联的X射线成像系统10可执行关于图6A描述的FPI方法。在步骤 1100,FPI方法通过相对于引导X射线辐射的固定的光元件112平移和/或旋转组件170提 供从多个N入射角度到样本区域的照射以提供从多个N个入射角度到样本20的X射线辐 射。
[0239] 通过执行X射线成像，这些傅立叶重叠关联的X射线成像系统10提供附加的能 力。例如，这些系统可提供到样本中的较大的穿透深度。作为另一个实例，X射线成像可允 许在10nm或更小的尺寸上的元素和化学鉴定。
[0240]IX.子系统
[0241] 图12是根据实施方式的可存在于FPI系统10中的子系统的框图。例如，FPI系 统10包括处理器210。在一些情况下，处理器210可以是FPI设备100的组件。在某些情 况下，处理器210可以是辐射检测器140的组件。
[0242] 先前在附图中描述的各种组件可使用子系统中的一个或更多个子系统操作，以促 进本文描述的功能。在附图中的任何组件可使用任何适当数量的子系统以促进本文描述的 功能。在图12中示出了这种子系统和/或组件的实例。在图12中示出的子系统经由系统 总线2425互连。示出了附加的子系统（例如打印机2430、键盘2432、硬盘2434 (或包括计 算机可读介质的其它存储器）、耦合到显示适配器2438的显示器230)和其它附加的子系 统。外部设备和输入/输出（I/O)设备（其耦合到I/O控制器2440)可通过任何数量的现 有技术中已知的装置（诸如串行端口 2442)进行连接。例如，串行端口 2442或外部接口 2444可用于将计算设备200连接到广域网（诸如，互联网）、鼠标输入设备、或扫描仪。互 连经由系统总线2425允许处理器210与每个子系统进行通信，并控制来自系统存储器2446 或硬盘2434的指令的执行，以及子系统之间的信息交换。在某些情况下，系统存储器2446 和/或硬盘2434可体现CRM220。这些元件中的任何元件可以存在于先前描述的特征中。
[0243] 在一些实施方式中，输出设备（诸如FPI系统10的打印机2430或显示器230)能 够输出各种形式的数据。例如，FPI系统10可输出2D彩色/单色图像（强度和/或相位）、 与这些图像相关联的数据、或与由FPI系统10执行的分析相关联的其它数据。
[0244] 可对任何以上描述的FPI方法及其相关联的特征（例如，关于图6A和6B以及其 它的图示描述的特征）进行修改、添加或省略而不脱离本公开的范围。任何以上描述的FPI 方法可包括更多、更少或其它特征，而不脱离本公开的范围。另外，描述的特征的步骤可以 以任何合适的顺序执行，而不脱离本公开的范围。
[0245] 应该理解的是，可以以使用以模块化或集成的方式的计算机软件的控制逻辑的形 式实施如以上所述的本发明。基于本文提供的公开内容和教导，本领域的普通技术人员将 会知道和理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
[0246] 本申请中所描述的任何软件组件或功能可以被实施为将由使用任何合适的计算 机语言（例如诸如，使用例如常规或面向对象技术的Java、C++、或Perl)的处理器执行的软 件代码。软件代码可以被存储为在CRM(例如随机访问存储器（RAM)、只读存储器（ROM))、 磁介质（例如硬盘驱动器或软盘）或光学介质（例如CD-ROM)上的一系列指令或命令。任 何这样的CRM可以驻留于单个计算机装置上或在其内部，并且可以存在于系统或网络内的 不同的计算装置上或在其内部。
[0247] 虽然在某些细节上已经描述了前述公开的实施方式以便于理解，但是所描述的实 施方式应当被认为是说明性的而不是限制性的。对于本技术领域的一个普通技术人员将明 显的是，某些变化和修改可在所附权利要求的范围内实施。
[0248] 来自任何实施方式的一个或更多个特征可与任何其它实施方式的一个或更多个 特征组合，而不脱离本公开内容的范围。此外，任何实施方式可以进行修改、添加或省略，而 不脱离本公开内容的范围。任何实施方式的组件可根据特定需求进行集成或分离，而不偏 离本公开内容的范围。
【主权项】
1. 一种傅立叶重叠关联成像设备，包括： 可变照射器，其用于从多个入射角度向样本提供照射； 光学元件，其用于过滤从所述样本发出的照射； 检测器，其用于基于由所述光学元件过滤的光获取所述样本的多个经变化照射的、低 分辨率的强度图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度图像迭代地更新在傅立叶 空间中的重叠区域来以计算方式重构所述样本的高分辨率图像。2. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述光学元件是低数值孔径 物镜。3. 根据权利要求2所述的傅立叶重叠关联成像设备，其中所述低数值孔径物镜具有在 约0. 02和0. 13之间的数值孔径。4. 根据权利要求2所述的傅立叶重叠关联成像设备，其中所述数值孔径物镜具有约 〇. 08的数值孔径。5. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中 的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的 10%和90%之间。6. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中 的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的 33%和66%之间。7. 根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中的 所述两个最邻近的入射角度之间的差低于对应于所述低孔径物镜的数值孔径的接受角的 76%〇8. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述可变照射器包括二维矩 阵的光元件，每个光元件从所述多个入射角度之一提供照射。9. 根据权利要求8所述的傅立叶重叠关联成像设备，其中，每个光元件是一组一个或 多个发光二极管。10. 根据权利要求8所述的傅立叶重叠关联成像设备， 其中，每个光元件包括三个准单色光源，并且 其中，所述处理器以计算方式重构对应于所述三个准单色光源的高分辨率图像，并组 合所述高分辨率图像以产生彩色高分辨率图像。11. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述可变照射器包括六边 形阵列的光元件，每个光元件从所述多个入射角度之一提供照射。12. 根据权利要求11所述的傅立叶重叠关联成像设备，其中，每个光元件是一组一个 或多个发光二极管。13. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠20%和90%之间。14. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠2%和99. 5%之间。15. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述重叠区域在面积上重 叠约66%。16. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述处理器还自动重聚焦 到所述样本的焦点对准平面。17. 根据权利要求1所述的傅立叶重叠关联成像设备，其中所述处理器是所述检测器 的一部分。18. 根据权利要求1所述的傅立叶重叠关联成像设备，还包括用于显示所述高分辨率 图像的显示器。19. 一种傅立叶重叠关联成像方法，包括： 使用可变照射器从多个入射角度照射样本； 利用光学元件过滤从所述样本发出的光； 使用检测器捕获所述样本的多个经变化照射的、低分辨率的强度图像；以及 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域， 以计算方式重构所述样本的高分辨率图像。20. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，每个重叠区域对应于所 述光学元件的近似光学传递函数。21. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： 将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强 度分块图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区 域，恢复每个分块的高分辨率图像；以及 组合所述分块的所述高分辨率图像。22. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括重聚焦所述高分辨率图 像。23. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括自动重聚焦所述高分辨 率图像。24. 根据权利要求19所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： (a) 初始化傅立叶空间中的当前高分辨率图像； (b) 过滤在傅立叶空间中的所述当前高分辨率图像的重叠区域，以针对所述多个入射 角度中的入射角度产生低分辨率图像； (c) 用强度测量结果替换所述低分辨率图像的强度；以及 (d) 用具有测量的强度的低分辨率图像更新傅立叶空间中的所述重叠区域。25. 根据权利要求24所述的傅立叶重叠关联成像方法，其中，针对所述多个入射角度 执行所述步骤（b)、（c)和（d)。26. 根据权利要求24所述的傅立叶重叠关联成像方法，其中，迭代所述步骤（b)、（c)和 (d)直到所述当前高分辨率图像收敛。27. 根据权利要求19所述的傅立叶重叠关联成像方法，还包括引入相位因子。28. -种傅立叶重叠关联成像方法，包括： 接收样本的多个经变化照射的、低分辨率的强度图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域， 以计算方式重构所述样本的高分辨率图像。29. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，每个重叠区域对应于所 述光学元件的近似光学传递函数。30. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： 将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强 度分块图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区 域，恢复每个分块的高分辨率图像；以及 组合所述分块的所述高分辨率图像。31. 根据权利要求28所述的傅立叶重叠关联成像方法，其中，通过迭代地更新在傅立 叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构所述样本的 所述高分辨率图像包括： (a) 初始化傅立叶空间中的当前高分辨率图像； (b) 过滤在傅立叶空间中的所述当前高分辨率图像的重叠区域，以针对所述多个入射 角度中的入射角度产生低分辨率图像； (c) 用强度测量结果替换所述低分辨率图像的强度；以及 (d) 用具有测量的强度的所述低分辨率图像更新傅立叶空间中的所述重叠区域。32. 根据权利要求31所述的傅立叶重叠关联成像方法，其中，针对所述多个入射角度 执行所述步骤（b)、（c)和（d)。33. 根据权利要求31所述的傅立叶重叠关联成像方法，其中，迭代所述步骤（b)、（c)和 (d)直到所述当前高分辨率图像收敛。34. -种傅立叶重叠关联X射线成像系统，包括： 组件，其用于捕获的样本的多个经变化照射的、低分辨率的强度X射线图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅 立叶空间中的重叠区域而以计算方式重构所述样本的高分辨率X射线图像。35. 根据权利要求34所述的傅立叶重叠关联X射线成像系统， 其中，所述组件包括与所述样本严格地一起可移动的X射线光学元件和X射线辐射检 测器； 其中，所述X射线光学元件在所述样本和所述X射线辐射检测器之间；以及 其中，基于由所述X射线光学元件投射的X射线辐射，所述X射线辐射检测器捕获所述 样本的所述多个低分辨率的强度图像。36. 根据权利要求35所述的傅立叶重叠关联X射线成像系统，还包括用于移动所述组 件以从所述多个入射角度将来自固定的X射线辐射源的X射线辐射引导到所述样本的机械 装置。37. 根据权利要求36所述的傅立叶重叠关联X射线成像系统， 还包括用于安装所述组件的台子；以及 其中所述机械装置移动所述台子以旋转所述组件，从而从所述多个入射角度引导X射 线辐射。38. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述X射线光学元 件是波带板。39. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述X射线光学元 件是掠入射反射镜。40. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述重叠区域在面 积上重叠40%和60%之间。41. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述重叠区域在面 积上重叠约66%。42. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，其中所述处理器还自动 重聚焦所述样本。43. 根据权利要求34所述的傅立叶重叠关联X射线成像系统，还包括用于显示所述高 分辨率X射线图像的显示器。44. 一种傅立叶重叠关联X射线成像方法，所述方法包括： 基于多个入射角度，获得样本的多个经变化照射的、低分辨率的强度X射线图像；以及 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠 区域，以计算方式重构所述样本的高分辨率X射线图像。45. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，还包括： 移动包括X射线光学元件和X射线辐射检测器的组件，以从多个入射角度向所述样本 提供X射线辐射；以及 使用所述X射线光学元件过滤从所述样本发出的所述X射线辐射；以及 基于由所述X射线光学元件投射的X射线辐射，用所述X射线辐射检测器捕获所述多 个经变化照射的、低分辨率的强度X射线图像。46. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，基于所述多个入射 角度获取所述样本的所述多个经变化照射的、低分辨率的强度X射线图像包括：基于由所 述X射线光学元件投射的X射线辐射，用所述X射线辐射检测器捕获所述多个经变化照射 的、低分辨率的强度X射线图像。47. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，通过迭代地更新在 傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构 所述样本的所述高分辨率X射线图像包括： 将每个经变化照射的、低分辨率的强度X射线图像分割成多个经变化照射的、低分辨 率的强度分块X射线图像； 通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块X射线图像的 重叠区域，恢复每个分块的高分辨率X射线图像；以及 组合所述分块中的两个或多于两个分块的所述高分辨率X射线图像。48. 根据权利要求44所述的傅立叶重叠关联X射线成像方法，其中，通过迭代地更新在 傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构 所述样本的所述高分辨率X射线图像包括： (a) 初始化傅立叶空间中的当前高分辨率X射线图像； (b) 过滤在傅立叶空间中的所述当前高分辨率X射线图像的重叠区域，以针对所述多 个入射角度中的入射角度产生低分辨率X射线图像； (c) 用强度测量结果替换所述低分辨率X射线图像的强度；以及 (d) 用具有测量的强度的所述低分辨率X射线图像更新傅立叶空间中的所述重叠区 域。49. 根据权利要求48所述的傅立叶重叠关联X射线成像方法，其中针对所述多个入射 角度执行所述步骤（b)、（c)和（d)。50. 根据权利要求48所述的傅立叶重叠关联X射线成像方法，其中迭代所述步骤（b)、 (c)和（d)直到所述当前高分辨率X射线图像收敛。51. -种傅立叶重叠关联X射线成像系统，包括： 光元件，其被配置以旋转，从而从多个入射角度向样本提供X射线辐射； X射线光学元件； X射线辐射检测器，其用于基于来自所述X射线光学元件的X射线辐射，捕获所述样本 的多个经变化照射的、低分辨率的强度X射线图像；以及 处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅 立叶空间中的重叠区域来以计算方式重构所述样本的高分辨率X射线图像。
【专利摘要】傅立叶重叠关联成像设备包括用于从多个入射角度向样本提供照射的可变照射器；用于过滤从样本发出的照射的光学元件；用于基于由所述光学元件过滤的光获得所述样本的多个经变化照射的、低分辨率强度图像的检测器；以及通过用所述经变化照射的、低分辨率强度图像迭代更新傅立叶空间中的重叠区域来以计算方式重构样本的高分辨率图像的处理器。
【IPC分类】H01J37/26
【公开号】CN104885187
【申请号】CN201380068831
【发明人】郑国安, 杨昌辉, 罗克·霍斯特迈耶
【申请人】加州理工学院
【公开日】2015年9月2日
【申请日】2013年10月28日
【公告号】CA2889495A1, EP2915180A1, US20140118529, US20140126691, WO2014070656A1
最新回复(0)