突触权重的更新方法、突触权重的更新装置、设备及介质与流程

本公开涉及计算机，特别涉及一种突触权重的更新方法、突触权重的更新装置、电子设备及计算机可读存储介质。

背景技术：

1、脑仿真网络是一种具有与动物脑相似结构特性的神经网络，是研究脑信息处理机制、脑类疾病的重要工具，也是新型人工智能模型的基础。脑仿真网络的网络规模通常较大，可达100亿规模量级，突触连接稀疏度高，且具有大量反馈、横向连接，另外，脑仿真网络中的神经元种类较多，动力学特性也较为复杂。当前的脑仿真网络训练方法对资源的需求较高，且训练效果不好。

技术实现思路

1、本公开提供一种突触权重的更新方法、突触权重的更新装置、电子设备及计算机可读存储介质。

2、第一方面，本公开提供了一种突触权重的更新方法，可应用于稀疏神经网络，所述稀疏神经网络包括多个神经元和所述神经元之间的突触连接，且所述突触连接的强度由突触权重表征，该突触权重的更新方法包括：确定所述稀疏神经网络中与预设功能对应的目标网络区域；从所述目标网络区域在当前迭代状态的突触权重中选取一部分作为待调整的第一突触权重；通过对所述第一突触权重添加扰动的方式调整所述第一突触权重，得到第二突触权重；基于预设权重稀疏策略，对所述第二突触权重进行稀疏化处理，得到第三突触权重。

3、第二方面，本公开提供了一种突触权重的更新装置，应用于稀疏神经网络，所述稀疏神经网络包括多个神经元和所述神经元之间的突触连接，且所述突触连接的强度由突触权重表征，该突触权重的更新装置包括：确定模块，用于确定所述稀疏神经网络中与预设功能对应的目标网络区域；选取模块，用于从所述目标网络区域在当前迭代状态的突触权重中选取一部分作为待调整的第一突触权重；调整模块，用于通过对所述第一突触权重添加扰动的方式调整所述第一突触权重，得到第二突触权重；稀疏模块，用于基于预设权重稀疏策略，对所述第二突触权重进行稀疏化处理，得到第三突触权重。

4、第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例任一项所述的突触权重的更新方法。

5、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现本公开实施例任一项所述的突触权重的更新方法。

6、本公开所提供的实施例，确定稀疏神经网络中与预设功能对应的目标网络区域；从目标网络区域在当前迭代状态的突触权重中选取一部分作为待调整的第一突触权重；通过对第一突触权重添加扰动的方式调整第一突触权重，得到第二突触权重；基于预设权重稀疏策略，对第二突触权重进行稀疏化处理，得到第三突触权重。

7、由此可知，在本公开实施例中，通过确定稀疏神经网络中与预设功能对应的目标网络区域，可以将硬件设备资源集中到对目标网络区域的突触权重的迭代更新，能够有效提升稀疏神经网络中预设功能的处理能力；在迭代更新过程中，针对每一迭代状态，仅对目标网络区域的一部分突触权重进行迭代更新，因此可以减少数据处理量，有效降低资源开销；并且，通过对突触权重添加扰动以更新突触权重的方式，可以以较低的计算量实现准确的权重更新；另外，在得到更新后的突触权重之后，还可根据预设权重稀疏策略对更新后的突触权重进行相应的稀疏化处理，从而能够满足多样化的应用场景。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种突触权重的更新方法，其特征在于，应用于稀疏神经网络，所述稀疏神经网络包括多个神经元和所述神经元之间的突触连接，且所述突触连接的强度由突触权重表征，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标网络区域在当前迭代状态的突触权重包括非零取值的有效突触权重和取值为零的无效突触权重；

3.根据权利要求2所述的方法，其特征在于，所述选取所述目标网络区域在当前迭代状态的一部分无效突触权重作为所述第一突触权重，包括：

4.根据权利要求3所述的方法，其特征在于，所述选取概率包括第一选取概率、第二选取概率、第三选取概率、第四选取概率、第五选取概率、第六选取概率和加权选取概率中的任意一种；

5.根据权利要求1所述的方法，其特征在于，所述通过对所述第一突触权重添加扰动的方式调整所述第一突触权重，得到第二突触权重，包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述第一突触权重进行扰动处理，得到扰动后的稀疏神经网络，包括：

7.根据权利要求5或6所述的方法，其特征在于，所述预设数据集还包括所述样本数据的标注结果；

8.根据权利要求7所述的方法，其特征在于，所述根据所述样本数据的预测结果、所述样本数据的标注结果确定预设的损失函数的函数值，得到损失值之后，所述方法还包括：

9.根据权利要求5所述的方法，其特征在于，所述扰动处理结果包括正向扰动处理结果和负向扰动处理结果，所述正向扰动处理结果是基于第一扰动变量对所述第一突触权重进行正向扰动得到的，所述负向扰动处理结果是基于第二扰动变量对所述第一突触权重进行负向扰动得到的；

10.根据权利要求9所述的方法，其特征在于，所述第一扰动变量与所述第二扰动变量的幅度相同且方向相反，所述第二突触权重通过如下公式确定：

11.根据权利要求1所述的方法，其特征在于，所述预设权重稀疏策略包括以下至少一种：稀疏度保持策略、稀疏度递增策略和稀疏度递减策略。

12.根据权利要求1或11所述的方法，其特征在于，所述基于预设权重稀疏策略，对所述第二突触权重进行稀疏化处理，得到第三突触权重，包括：

13.根据权利要求12所述的方法，其特征在于，所述根据所述目标稀疏度对所述第二突触权重进行稀疏化处理，得到所述第三突触权重，包括：

14.一种突触权重的更新装置，其特征在于，应用于稀疏神经网络，所述稀疏神经网络包括多个神经元和所述神经元之间的突触连接，且所述突触连接的强度由突触权重表征，所述装置包括：

15.一种电子设备，其特征在于，包括：

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-13中任一项所述的突触权重的更新方法。

技术总结
本公开提供了一种突触权重的更新方法、突触权重的更新装置、设备及介质，属于计算机技术领域。方法包括：确定稀疏神经网络中与预设功能对应的目标网络区域；从目标网络区域在当前迭代状态的突触权重中选取一部分作为待调整的第一突触权重；通过对第一突触权重添加扰动的方式调整第一突触权重，得到第二突触权重；基于预设权重稀疏策略，对第二突触权重进行稀疏化处理，得到第三突触权重。根据本公开的实施例能够对稀疏神经网络的突触权重进行针对性更新，降低硬件资源开销，并确保稀疏神经网络的稀疏度始终符合使用需求。

技术研发人员：刘发强,祝夭龙
受保护的技术使用者：北京灵汐科技有限公司
技术研发日：
技术公布日：2024/9/23