基于Transformer的电镜神经元长程追踪方法与流程

本发明涉及生物图像处理，具体涉及一种基于transformer的电镜神经元长程追踪方法。

背景技术：

1、高分辨率电子显微成像技术的发展带来了海量的电镜图像数据，这些大规模的高分辨率数据使得神经科学家们可以在纳米级分辨率下重建和解释神经回路，但是由于数据体量的庞大，靠人工手动来追踪神经元已经不可能。如何高效地从全脑电镜显微图像中进行神经元追踪，对于神经元的精细结构重建以及全脑神经图谱的构建具有重要意义。

2、随着深度学习的发展，一些研究者尝试使用自动化的电镜图像分割的方法直接分割出单个神经元实例来重建神经元。按照流程划分，这些方法通常分为两阶段方法和端到端方法。两阶段的方法通常首先预测像素级别的中间表示，接着采用分水岭变换和聚合操作生成最后的实例化分割结果。而端到端的方法则将这两个步骤合二为一，直接输出实例化的分割结果。由于现有的分割方法都是在纳米级分辨率下的有限区域内利用像素级别的局部上下文来进行分割，只能利用到有限的局部上下文信息，而大脑内的神经元形态非常复杂，还存在跨越多个脑区的超长程神经元，使得直接从稠密体素中分割出完整的神经元十分困难。同时，电镜成像过程中的切片丢失和错误对齐等问题，也会导致直接分割单个神经元的重建方法更加具有挑战性。

3、具体到电镜图像分割这个任务而言，也会产生合并错误（merge error）和分裂错误（split error）这两种错误。由于修正分裂错误在流程上比修正合并错误更加简洁，只需要关注将相同神经元的不同片段连接起来即可。所以最近的分割方法都遵循“过分割共识”，即先将电镜图像过分割成大量的片段。

4、目前主流的电镜神经元重建方法大多伴随着两个步骤，第一个步骤是使用分割算法对三维电镜图像进行过分割，得到了大量的过分割的片段，随后，需要投入大量人力资源进行精细的人工校对。校对过程从过分割的片段出发，校对员需仔细检查片段间的3d形态和图像特征的连续性，并在需要时对片段进行合并，以追踪完整的神经元结构。然而，随着电子显微镜(electron microscope,em)成像数据规模的不断增长，过度依赖人工进行神经元追踪将导致人力资源的巨大浪费。最近，已经有一些基于深度学习的自动化方法通过预测神经元过分割片段之间的连接概率来减少人工校对所花费的时间。然而，这些方法都是在局部的图像块里面进行两两片段之间的连接性预测，只能捕捉到局部的上下文信息，从而限制了模型的泛化能力。

5、近年来，自然语言大模型能力的涌现充分证明了transformer模型在长程关系推理方面的强大性能，对于神经元长程追踪问题，可以天然地将其看成一种文本生成的问题，即给定前个已经连接好的片段，让网络去预测下一个应该连接的片段。因此，本发明希望探索一种可以捕捉长程上下文信息的方法，来自动化地进行电镜神经元的长程追踪。

6、目前主流电镜神经元追踪由于需要人类手工参与校对往往费时费力，且目前已有的一些自动化方法研究较少且泛化能力不强。为了更加高效地对电镜神经元进行长程追踪，本发明设计了一种基于transformer的电镜神经元长程追踪方法。

技术实现思路

1、随着脑神经科学研究的深入，对神经元结构的精确重建需求日益增长。电子显微成像技术可以提供高分辨率的电镜图像，支持在纳米级的分辨率下详细观察并追踪神经元。然而，由于电镜成像数据体量巨大、神经元形态复杂多样且跨度范围广，传统的人工追踪方法费时费力且自动化追踪方法泛化能力有限。本发明针对这些问题提出一种基于transformer的电镜神经元长程追踪方法，通过使用transformer模型来进行历史追踪信息编码和候选片段的竞争性推理，有效扩展了追踪过程中的感受野。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种基于transformer的电镜神经元长程追踪方法，将多个给定的已追踪片段和多个候选片段输入到完成训练的追踪模型，输出多个候选片段的连接概率，连接概率最高的候选片段作为下一个要追踪的片段；追踪模型的训练过程，具体包括以下步骤：

4、步骤一，对神经元的三维电镜图像进行过分割，得到片段，对部分片段进行追踪，得到多个追踪状态；每个追踪状态包含h个已追踪的片段的集合和k个候选的片段的集合；

5、步骤二，将和中的所有片段对应的三维点云输入到conskeletonnet模型，分别得到已追踪片段的形态特征和候选片段的形态特征；在三维电镜图像中裁剪出包含当前追踪状态中所有片段的图像区域；将所述图像区域输入到embednet模型，得到已追踪片段的图像特征和候选片段的图像特征；将和输入到多层感知机并在特征维度拼接，得到已追踪片段的多模态特征，将和输入到多层感知机并在特征维度拼接，得到候选片段的多模态特征；基于已追踪片段的序列号和骨架连接点的坐标，得到已追踪片段的位置编码e；将和e进行元素级别的相加，得到已追踪片段的位置感知的多模态特征；将和拼接为整体特征t；

6、步骤三，将整体特征t输入至transformer编码器，通过多头注意力机制在当前追踪状态的多个片段之间进行信息交互；然后将transformer编码器输出的特征输入到分类器，预测得到k个候选片段连接概率；

7、步骤四，构建损失对追踪模型进行训练：

8、；

9、为预测的当前候选片段的连接概率；表示样本标签；表示当前候选片段是下一个要追踪的片段，为正样本；表示当前候选片段不是下一个要追踪的片段，为负样本；为正样本和负样本的平衡因子，则为分类调节因子。

10、进一步地，步骤二中，所述基于已追踪片段的序列号和骨架连接点的坐标，得到已追踪片段的位置编码e，具体包括：

11、将已追踪片段的序列号和已追踪片段的骨架连接点的坐标在特征维度拼接，将拼接的结果输入到多层感知机中，生成已追踪片段的位置编码。

12、进一步地，步骤三中，所述将整体特征t输入至transformer编码器，通过多头注意力机制在当前追踪状态的多个片段之间进行信息交互，具体包括：多头注意力机制的所用到的查询q、键key、值v均为整体特征t。

13、进一步地，所述分类器采用多层感知机。

14、与现有技术相比，本发明的有益技术效果是：

15、本发明可以高效准确地进行电镜神经元长程追踪。在神经元追踪数据集flyseqtracing上的实验结果表明，本发明的方法展现出强大的自动化追踪能力。由于本发明是第一个进行自动化电镜神经元长程追踪的方法，为了全面且精准地评估神经元长程追踪模型的性能，本发明设计了一套评测体系，并且对追踪结果进行了详细的可视化与分析，为电镜神经元长程追踪任务提供了一个比较可靠的基线模型。

技术特征：

1.一种基于transformer的电镜神经元长程追踪方法，其特征在于，将多个给定的已追踪片段和多个候选片段输入到完成训练的追踪模型，输出多个候选片段的连接概率，连接概率最高的候选片段作为下一个要追踪的片段；追踪模型的训练过程，具体包括以下步骤：

2.根据权利要求1所述的基于transformer的电镜神经元长程追踪方法，其特征在于，步骤二中，所述基于已追踪片段的序列号和骨架连接点的坐标，得到已追踪片段的位置编码e，具体包括：

3.根据权利要求1所述的基于transformer的电镜神经元长程追踪方法，其特征在于，步骤三中，所述将整体特征t输入至transformer编码器，通过多头注意力机制在当前追踪状态的多个片段之间进行信息交互，具体包括：多头注意力机制的所用到的查询q、键key、值v均为整体特征t。

4.根据权利要求1所述的基于transformer的电镜神经元长程追踪方法，其特征在于，所述分类器采用多层感知机。

技术总结
本发明涉及生物图像处理技术领域，公开了一种基于Transformer的电镜神经元长程追踪方法；将神经元追踪视为一种序列生成问题，使用Transformer模型来进行已追踪片段的编码和候选片段的竞争性推理，有效扩展了追踪过程中的感受野。本发明采用的追踪模型包括特征提取模块和连接预测模块，特征提取模块融合了形态特征和图像特征，并加上融合骨架连接点坐标和序列号的位置编码，为Transformer模型提供了丰富的多模态输入。连接预测模块则利用多头自注意力机制，在已追踪片段和候选片段的类内和类间进行深度交互，从而预测下一个连接的神经元片段。

技术研发人员：陈雪锦,吴枫,朱戴义,陈其华
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：
技术公布日：2024/9/23