一种基于多芯粒的感存算一体化人工视网膜系统的制作方法

本发明涉及机器视觉，尤其涉及一种基于多芯粒的感存算一体化人工视网膜系统。

背景技术：

1、人工视网膜技术，作为机器视觉系统的一个分支，其设计灵感来源于人类视觉系统。它旨在模拟人眼视网膜的功能，通过高密度的感光元件捕捉图像，并将其转换为电信号进行处理。尽管人工视网膜在视觉辅助设备中显示出巨大的潜力，但在集成度、数据处理能力和能耗方面仍有很大的提升空间。

2、感存算一体技术通过将传感器、存储器和处理器高效集成，为人工视网膜的发展注入了新动力。该技术在人工视网膜领域的应用减少了数据传输延迟，提升了处理速度，还显著降低了能耗，为需要快速响应的视觉检查和识别任务提供了强有力的支持。然而，尽管感存算一体技术展现出巨大的潜力，现有人工视网膜装置在实现这一技术时仍面临分辨率和图像质量的限制，以及能耗和信号处理能力的问题。

3、近年来，芯粒（chiplet）技术以其创新的视角为机器视觉系统的发展带来了突破性的解决方案。芯粒技术将多个具有特定功能的小型芯片集成到一个封装，显著提升了系统的集成度，降低了整体的功耗和成本。在感存算一体人工视网膜中，采用芯粒技术可以在保持数据处理及时性和高效性的同时实现更高密度的感光元件布局和更复杂的图像处理。因此，如何将芯粒技术应用在感存算一体人工视网膜中，以实现更高质量的视觉恢复效果是目前需要考虑的问题。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，提供了一种基于多芯粒的感存算一体化人工视网膜系统，解决了现有技术存在的不足。

2、本发明的目的通过以下技术方案来实现：一种基于多芯粒的感存算一体化人工视网膜系统，所述系统包括智能控制单元、通信芯粒、多个视觉芯粒单元和视神经元芯粒；

3、所述智能控制单元向通信芯粒传递任务指令，并运行协调算法来控制数据流和信号处理流程，确保视觉芯粒单元、通信芯粒和视神经元芯粒之间的高效协作；

4、所述通信芯粒用于负责智能控制单元与多个视觉芯粒单元和视神经元芯粒之间传递任务指令和数据；

5、所述视觉芯粒单元用于模拟人眼的视觉感知机制，以脉冲形式将捕捉到的光照强度和形状信息传递给视神经元芯粒；

6、所述视神经元芯粒用于响应每个视觉芯粒单元传来的数据，捕捉场景中最重要的变化，提取到有用信息，并根据接收到的数据自我学习和适应。

7、所述视觉芯粒单元包括感光芯片和水平细胞芯片；所述感光芯片包括视杆模块和视锥模块；

8、所述视杆模块用于在低光照环境中感知单色视觉信息；所述视锥模块用于在高光照条件下提供对色彩的敏感感知；

9、所述水平细胞芯片负责提取图像中的形状和纹理信息，对接收到的来自感光芯片包含图像的光照强度和色彩信息的信号进行空间维度处理，识别图像中的边缘和纹理特征，并对图像内部的具体形状信息进行提取，对提取的形状纹理信息进行整合和优化，将整合结果输出到视神经元芯粒，用于后续的图像识别和分析。

10、在所述视觉芯粒单元调节阶段，视杆模块和视锥模块根据光照条件进行适应性调整，以准确感知色彩和光强信息，同时水平细胞芯片处理视觉信息的空间维度，提取关键的形状信息，系统通过调节阈值来优化图像质量，并判断光强信息是否达到预设阈值，以决定是否产生脉冲信号，一旦系统检测到达到阈值的光强信息，则生成稀疏的尖峰序列，通过尖峰序列触发视神经元芯粒。

11、所述视神经元芯粒包括由集成了高度敏感的事件驱动像素单元构成，当事件驱动像素单元捕捉到场景的变化达到预设阈值时，即光强信息达到预设阈值时，将这些变化转换为时间戳的脉冲，每个脉冲记录事件的发生位置和时刻，这些脉冲形成稀疏的尖峰序列以模拟生物神经脉冲，传递视觉信息中的关键动态成分，尖峰序列随后在视神经元芯粒内部进行处理和整合提取得到有用信息。

12、所述视神经元芯粒内部的神经网络采用全链接结构，每个事件驱动像素单元都与其他事件驱动像素单元相连接，形成一个密集的网络以模仿生物大脑中神经元的连接方式；

13、所述事件驱动像素单元被设计为可编程模式，其响应特性根据需要进行调整，通过改变事件驱动像素单元的阈值和敏感度以适应不同的视觉任务和环境条件；所述事件驱动像素单元还模拟了生物神经系统中的突触权重变化，通过调整突触连接的强度来实现学习和记忆功能，在进行图像识别和分析时，根据先前的经验自动调整权重，以优化识别算法的性能。

14、所述协调算法通过通信芯粒接收来自智能控制单元的任务指令，根据每个视觉芯粒单元的特性和当前的工作负载进行任务的智能划分，如果某个视觉粒芯粒单元的负载过高，协调算法重新分配任务到其他负载低的视觉芯粒单元上，实现负载均衡，同时，协调算法根据任务的紧急程度和重要性进行优先级排序，确保关键任务优先得到处理。

15、所述智能控制单元通过实时监控各视觉芯粒单元的运行状态，及时发现并隔离出现故障的视觉芯粒单元，同时重新分配任务到其他工作正常的视觉芯粒单元，以确保视觉信息处理的连续性和准确性。

16、所述智能控制单元对视觉芯粒单元和通信芯粒进行灵活配置，视觉芯粒单元的数量进行动态调整，根据不同的吞吐率和延迟要求构建出不同的组合，根据不同的场景需要添加或者减少视觉芯粒单元。

17、所述系统还包括存储芯粒，存储芯粒用于存储视神经元芯粒处理的数据，智能控制单元对存储芯粒调度时，通过协调算法最大化计算吞吐量并最小化处理延迟的调度测量，优化缓存管理机制，确保数据在计算过程中被迅速存取。

18、本发明具有以下优点：一种基于多芯粒的感存算一体化人工视网膜系统，能够模拟人眼的视觉感知机制，并在多种应用场景中实现高效的视觉信息处理；在进行图像识别和分析时，系统可以根据先前的经验自动调整权重，以优化识别算法的性能；为实现针对不同情况的灵活扩展和高效互联，视觉芯粒单元和视神经元芯粒均可在智能控制单元作用下部分使能或有效，用来适应不同强度的图像处理任务，提高系统能效；通过实时监控视觉芯粒单元的运行状态，系统能够及时发现并隔离故障的视觉芯粒单元，同时重新分配任务至其他正常工作的视觉芯粒单元，从而保证视觉信息处理的连续性和准确性。

技术特征：

1.一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述系统包括智能控制单元、通信芯粒、多个视觉芯粒单元、视神经元芯粒和存储芯粒；

2.根据权利要求1所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述视觉芯粒单元包括感光芯片和水平细胞芯片；所述感光芯片包括视杆模块和视锥模块；

3.根据权利要求2所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：在所述视觉芯粒单元调节阶段，视杆模块和视锥模块根据光照条件进行适应性调整，以准确感知色彩和光强信息，同时水平细胞芯片处理视觉信息的空间维度，提取关键的形状信息，系统通过调节阈值来优化图像质量，并判断光强信息是否达到预设阈值，以决定是否产生脉冲信号，一旦系统检测到达到阈值的光强信息，则生成稀疏的尖峰序列，通过尖峰序列触发视神经元芯粒。

4.根据权利要求1所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述视神经元芯粒包括由集成了高度敏感的事件驱动像素单元构成，当事件驱动像素单元捕捉到场景的变化达到预设的阈值时，即光强信息达到预设阈值时，将这些变化转换为时间戳的脉冲，每个脉冲记录事件的发生位置和时刻，这些脉冲形成稀疏的尖峰序列以模拟生物神经脉冲，传递视觉信息中的关键动态成分，尖峰序列随后在视神经元芯粒内部进行处理和整合提取得到有用信息。

5.根据权利要求4所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述视神经元芯粒内部的神经网络采用全链接结构，每个事件驱动像素单元都与其他事件驱动像素单元相连接，形成一个密集的网络以模仿生物大脑中神经元的连接方式；

6.根据权利要求1所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述协调算法通过通信芯粒接收来自智能控制单元的任务指令，根据每个视觉芯粒单元的特性和当前的工作负载进行任务的智能划分，如果某个视觉粒芯粒单元的负载过高，协调算法重新分配任务到其他负载低的视觉芯粒单元上，实现负载均衡，同时，协调算法根据任务的紧急程度和重要性进行优先级排序，确保关键任务优先得到处理。

7.根据权利要求1所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述智能控制单元通过实时监控各视觉芯粒单元的运行状态，及时发现并隔离出现故障的视觉芯粒单元，同时重新分配任务到其他工作正常的视觉芯粒单元，以确保视觉信息处理的连续性和准确性。

8.根据权利要求1所述的一种基于多芯粒的感存算一体化人工视网膜系统，其特征在于：所述智能控制单元对视觉芯粒单元和通信芯粒进行灵活配置，视觉芯粒单元的数量进行动态调整，根据不同的吞吐率和延迟要求构建出不同的组合，根据不同的场景需要添加或者减少视觉芯粒单元。

技术总结
本发明涉及一种基于多芯粒的感存算一体化人工视网膜系统，涉及机器视觉领域，包括智能控制单元、通信芯粒、多个视觉芯粒单元、视神经元芯粒；智能控制单元向通信芯粒传递任务指令，并运行协调算法来控制数据流和信号处理流程；通信芯粒用于负责智能控制单元与多个视觉芯粒单元和视神经元芯粒之间传递任务指令和数据；视觉芯粒单元用于模拟人眼的视觉感知机制，以脉冲形式将捕捉到的光照强度和形状信息传递给视神经元芯粒；视神经元芯粒用于响应每个视觉芯粒单元传来的数据，捕捉场景中最重要的变化，提取到有用信息，并根据接收到的数据自我学习和适应。本发明能够模拟人眼的视觉感知机制，并在多种应用场景中实现高效的视觉信息处理。

技术研发人员：麻泽宇,李高林,吕鹏,孔德钰,刘爽,刘洋
受保护的技术使用者：成都奕成集成电路有限公司
技术研发日：
技术公布日：2024/9/23