用于科学或手术成像系统的系统、方法和计算机程序，科学或手术成像系统与流程

示例涉及用于科学或手术成像系统的系统、包括这种系统的科学或手术成像系统，以及对应的方法和计算机程序。

背景技术：

1、外科医生在深腔内手术的常见痛点是手术部位缺乏照明和可视性差。将诸如视网膜手术中使用的光纤或枝形吊灯之类的内照明系统插入手术腔中以在此类场景中(例如，在眼科手术期间)提供可见性。在手术期间对由(一个或多个)相应照明系统发射的光的波长进行调整，以允许更清晰地看到组织特征、污渍、染料、流体等。此外，由于器械、组织的移动和外科医生执行的调整，手术部位的照明强度在手术期间变化。例如，可以降低强度以防止视网膜损伤，并在可见性差时增加强度。

2、手术相机，即，在诸如眼科规程之类的手术规程期间使用的相机，一般被微调以改善其性能。然后，使得能够改善性能的设置常常被保存为“相机场景文件”，这些文件是固定的经校准的设置(即，在手术期间不改变)。换言之，经校准的相机设置(诸如曝光、颜色平衡、对比度、阴影、高光、亮度、饱和度、鲜艳度、锐度等)是固定的并且不对照明系统的实时改变做出反应。用户可以在手术期间在改变照明(例如，照明的源)时在这些相机场景文件之间切换或手动调整设置，或者如果可视化差则在手术期间一致地调整照明设置。

3、可能期望用于在手术期间提供照明的改进概念。

技术实现思路

1、本公开的各种示例基于这样的发现：手术期间所使用的照明系统，并且特别是内照明器，通常由计算机系统通过设置一个或多个照明参数(诸如照明强度参数、照明角度参数和照明波长参数)来控制。但是，由于此类内照明器通常与手术成像系统(例如，手术显微镜)分离，因此这些照明参数不受手术成像系统控制。在所提出的概念中，(一个或多个)照明参数由照明系统提供给手术成像系统，并且由手术成像系统用来调整用于使用光学成像传感器的至少一个参数，例如诸如曝光、灵敏度、孔径、白平衡等。这使得能够自动调整用于使用光学成像传感器的至少一个参数，并因此使得能够改善数字手术视图的质量，而没有手动选择用于正在使用的相应照明设置的场景文件的麻烦。相同的概念也可以用在其他场景中，例如，在科学成像中，其中使用专门的照明系统来照亮使用科学显微镜观察的样本。

2、本公开的一些方面涉及一种用于科学或手术光学成像系统的系统。该系统包括一个或多个处理器和一个或多个存储设备。该系统被配置为从照明系统获得关于照明系统所使用的一个或多个照明参数的信息，该照明系统与科学或手术光学成像系统分离。该系统被配置为基于一个或多个照明参数确定用于使用科学或手术光学成像系统的成像设备的光学成像传感器的至少一个参数。这使得能够自动调整用于使用光学成像传感器的至少一个参数，并且因此使得能够改善数字手术视图的质量，而没有手动选择用于正在使用的相应照明设置的场景文件的麻烦。

3、在本上下文中，术语“用于使用光学成像传感器的至少一个参数”可以用于在获取时设置的参数，诸如所使用的孔径参数、所使用的曝光参数等，以及用于解释或处理成像传感器数据的参数。因而，系统可以被配置为基于一个或多个照明参数来确定图像处理参数和图像获取参数中的至少一个。两种类型的参数都可以受益于本文提出的动态调整。

4、例如，可以基于一个或多个照明参数来调整以下参数中的一个或多个。例如，系统可以被配置为基于一个或多个照明参数确定曝光持续时间参数、灵敏度参数、孔径参数、亮度参数、阴影恢复参数、高光恢复参数和至少一个白平衡参数中的至少一个。例如，后一个参数可以得自关于照明系统所使用的波长谱的信息，或者受其约束。前面的(一个或多个)参数可以得自关于照明系统的照明强度和/或照明角度的信息，或者受其约束。因而，一个或多个照明参数可以包括照明强度参数、照明角度参数和照明波长参数中的至少一个。这些参数对于设置与曝光/亮度或颜色平衡相关的各种参数特别有用。

5、一般而言，成像系统能够自动设置用于使用光学成像传感器的参数。关于一个或多个照明参数的信息可以用作指示标(guidepost)，以指导用于使用光学成像传感器的至少一个参数的自动确定，从而提高至少一个确定的参数的质量。因而，系统可以被配置为基于一个或多个照明参数来限制用于确定用于使用光学成像传感器的至少一个参数的搜索空间，并且基于经限制的搜索空间来确定至少一个参数。通过限制搜索空间，可以降低用于确定至少一个参数的计算复杂度，并且可以提高所确定的至少一个参数的质量，特别是在多个参数值最初看起来可行的场景中。

6、例如，系统可以被配置为基于包括在一个或多个照明参数中的照明强度参数和照明波长参数中的至少一个来限制用于确定用于使用光学成像传感器的至少一个白平衡参数的搜索空间。这可以改善白色/颜色平衡参数的质量，特别是在图像帧中常常不示出中性色的手术设置中。附加地或可替代地，系统可以被配置为基于由照明系统照亮并由光学成像传感器观察的样本的预期成分来限制用于确定至少一个白平衡参数的搜索空间。换言之，从已知的手术场景(诸如视网膜手术或脑部手术，其中颜色在整个手术中大多是统一的)开始，搜索空间会进一步受到约束。

7、类似地，可以在经限制的搜索空间内确定与曝光相关的(一个或多个)参数。例如，系统可以被配置为基于包括在一个或多个照明参数中的照明强度参数和照明角度参数中的至少一个来限制用于确定用于使用光学成像传感器的曝光持续时间参数、灵敏度参数、孔径参数、亮度参数、阴影恢复参数和高光恢复参数中的至少一个的搜索空间。

8、为了确定经限制的搜索空间内的参数，可以使用基于用于使用光学成像传感器的当前使用的参数的直方图。例如，系统可以被配置为基于经限制的搜索空间并且基于光学成像传感器的成像传感器数据的直方图来确定曝光持续时间参数、灵敏度参数、孔径参数、亮度参数、阴影恢复参数和高光恢复参数中的至少一个。例如，如果直方图不确定并且呈现两个或更多个可行选项，那么经限制的搜索空间可以指示采取两个或更多个选项中的哪一个。

9、在一些示例中，代替基于规则的方法，可以使用机器学习来确定至少一个参数。例如，系统可以被配置为基于机器学习模型的输出来确定用于使用光学成像传感器的至少一个参数，该机器学习模型被训练为确定至少一个参数，其中一个或多个照明参数以及光学成像传感器的成像传感器数据的至少直方图被用作经训练的机器学习模型的输入。这既可以促进决策，又可以考虑科学或手术成像系统的用户先前采取的行动。

10、在各种示例中，系统可以被配置为在科学或手术成像系统的操作期间使用训练数据的一个或多个集合利用监督式学习来调整机器学习模型，训练数据的每个集合包括一个或多个照明参数、成像传感器数据的至少直方图，以及在用户已经手动选择至少一个参数的情况下用于使用光学成像传感器的至少一个手动选择的参数。例如，随着时间的推移，如果用户决定推翻对用于使用光学成像传感器的至少一个参数的自动确定，那么可以根据用户的偏好调整机器学习模型。

11、在所提出的概念中，照明系统(例如，其可以是内照明系统)与科学或手术成像系统分离。例如，系统可以被配置为经由有线网络连接、无线网络连接和互联网服务中的至少一种从照明系统获得关于一个或多个照明参数的信息。所使用的连接可以取决于相应系统的互操作能力。

12、本概念应用于科学或手术成像系统的光学成像传感器。在科学或手术成像系统内，该光学成像传感器可以被用于基于用于使用光学成像传感器的至少一个参数来生成手术部位或样本的数字视图。例如，系统可以被配置为将显示信号输出到科学或手术成像系统的显示设备。显示信号可以基于用于使用光学成像传感器的至少一个参数并且基于光学成像传感器的成像传感器数据。因此，经由显示设备使用科学或手术成像系统的用户可以受益于用于使用光学成像传感器的至少一个参数的自动确定。

13、相对于场景文件的使用，本概念在样本的照明随时间而改变的场景中特别有用。例如，系统可以被配置为在一个或多个照明参数改变时更新用于使用光学成像传感器的至少一个参数。因此，用于使用光学成像传感器的至少一个参数可以适应于改变的一个或多个照明参数。

14、在一些示例中，系统可以被配置为将显示信号输出到科学或手术成像系统的显示设备。显示信号可以包括用户界面，用于基于根据一个或多个照明参数确定的至少一个参数来选择用于使用光学成像传感器的第一模式，以及用于选择用于使用光学成像传感器的第二模式。第二模式可以基于用于使用至少一个光学成像传感器的至少一个静态参数。换言之，用户可以选择使用静态场景文件(例如，当用户/外科医生习惯于使用静态场景文件时)或者使用其中至少一个参数被动态调整的模式。这可以为每个用户提供用于使用科学或手术成像系统的合适设置。

15、在本公开中，给出了关于眼科显微镜的许多示例。例如，系统可以是用于眼科显微镜的系统。该系统可以被配置为从眼科内照明系统获得关于一个或多个照明参数的信息。在这种场景中，所提出的概念可以特别有益，因为在眼科手术期间照明常常改变，并且手头的样本(例如，视网膜)不提供用于白平衡的中性色参考。

16、本公开的一些方面涉及科学或手术光学成像系统，其包括具有光学成像传感器的成像设备以及上面提到的系统。

17、本公开的一些方面涉及用于科学或手术光学成像系统的对应方法。该方法包括由科学或手术光学成像系统从与科学或手术光学成像系统分离的照明系统获得关于该照明系统所使用的一个或多个照明参数的信息。该方法包括基于一个或多个照明参数来确定用于使用科学或手术光学成像系统的成像设备的光学成像传感器的至少一个参数。

18、本公开的另一方面涉及一种具有程序代码的计算机程序，用于当计算机程序在处理器上运行时执行上述方法。

技术特征：

1.一种用于科学或手术光学成像系统(100；1200)的系统(110；1220)，所述系统包括一个或多个处理器和一个或多个存储设备，其中所述系统被配置为：

2.根据权利要求1所述的系统，其中所述系统被配置为基于所述一个或多个照明参数确定图像处理参数和图像获取参数中的至少一个。

3.根据权利要求1或2中的任一项所述的系统，其中所述系统被配置为基于所述一个或多个照明参数确定曝光持续时间参数、灵敏度参数、孔径参数、亮度参数、阴影恢复参数、高光恢复参数和至少一个白平衡参数中的至少一个。

4.根据权利要求1至3中的任一项所述的系统，其中所述一个或多个照明参数包括照明强度参数、照明角度参数和照明波长参数中的至少一个。

5.根据权利要求1至4中的任一项所述的系统，其中所述系统被配置为基于所述一个或多个照明参数限制用于确定用于使用所述光学成像传感器的所述至少一个参数的搜索空间，并且基于经限制的搜索空间确定所述至少一个参数。

6.根据权利要求5所述的系统，其中所述系统被配置为基于包括在所述一个或多个照明参数中的照明强度参数和照明波长参数中的至少一个来限制用于确定用于使用所述光学成像传感器的至少一个白平衡参数的搜索空间。

7.根据权利要求6所述的系统，其中所述系统被配置为基于由所述照明系统照亮并由所述光学成像传感器观察的样本的预期成分来限制用于确定所述至少一个白平衡参数的所述搜索空间。

8.根据权利要求5至7中的任一项所述的系统，其中所述系统被配置为基于包括在所述一个或多个照明参数中的照明强度参数和照明角度参数中的至少一个来限制用于确定用于使用所述光学成像传感器的曝光持续时间参数、灵敏度参数、孔径参数、亮度参数、阴影恢复参数和高光恢复参数中的至少一个的搜索空间。

9.根据权利要求8所述的系统，其中所述系统被配置为基于经限制的搜索空间并基于所述光学成像传感器的成像传感器数据的直方图确定所述曝光持续时间参数、所述灵敏度参数、所述孔径参数、所述亮度参数、所述阴影恢复参数和所述高光恢复参数中的至少一个。

10.根据权利要求1至4中的任一项所述的系统，其中所述系统被配置为基于被训练为确定所述至少一个参数的机器学习模型的输出来确定用于使用所述光学成像传感器的所述至少一个参数，其中所述一个或多个照明参数和所述光学成像传感器的成像传感器数据的至少直方图被用作经训练的机器学习模型的输入。

11.根据权利要求10所述的系统，其中所述系统被配置为在所述科学或手术成像系统的操作期间使用训练数据的一个或多个集合利用监督式学习来调整所述机器学习模型，训练数据的每个集合包括所述一个或多个照明参数、所述成像传感器数据的至少所述直方图以及在用户已手动选择所述至少一个参数的情况下用于使用所述光学成像传感器的至少一个手动选择的参数。

12.根据权利要求1至11中的任一项所述的系统，其中所述系统被配置为将显示信号输出到所述科学或手术成像系统的显示设备(130)，所述显示信号基于用于使用所述光学成像传感器的所述至少一个参数并且基于所述光学成像传感器的成像传感器数据。

13.根据权利要求1至12中的任一项所述的系统，其中所述系统是用于眼科显微镜的系统，并且其中所述系统被配置为从眼科内照明系统获得关于所述一个或多个照明参数的信息。

14.一种用于科学或手术光学成像系统的方法，所述方法包括：

15.一种具有程序代码的计算机程序，用于当所述计算机程序在处理器上运行时执行根据权利要求14所述的方法。

技术总结
示例涉及用于科学或手术成像系统的系统、涉及包括这种系统的科学或手术成像系统，并且涉及对应的方法和计算机程序。该系统包括一个或多个处理器和一个或多个存储设备。该系统被配置为从照明系统获得关于由该照明系统所使用的一个或多个照明参数的信息，该照明系统与科学或手术光学成像系统分离。该系统被配置为基于一个或多个照明参数确定用于使用科学或手术光学成像系统的成像设备的光学成像传感器的至少一个参数。

技术研发人员：阿尔文·科克,潘家豪,杨杲,曾政东,张磊,叶震,邹青松,张锦堂
受保护的技术使用者：徕卡仪器（新加坡）有限公司
技术研发日：
技术公布日：2024/9/23