用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备的制作方法

用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备的制作方法
【专利摘要】本公开的某些方面呈现了一种用于对初级视皮层（V1）简单细胞和其他神经电路的输入突触进行无监督训练的技术。所提出的无监督训练方法利用视网膜神经节细胞（RGC）层和V1层两者的简单神经元模型。该模型简单地加总每一细胞的加权输入，其中这些输入可具有正值或负值。所得的输入加权总和代表激活，这些激活也可以是正的或负的。在本公开的一方面，每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及该V1细胞的激活的符号在增加该激活的绝对值的方向上来调节。这些RGC到V1权重可以是正的和负的以分别对ON?RGC和OFF?RGC进行建模。
【专利说明】用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备
[0001]背景
[0002]领域
[0003]本公开的某些方面一般涉及神经系统工程，更具体地涉及用于对初级视皮层细胞和其他神经电路的输入突触进行无监督训练的方法和设备。
[0004]背景
[0005]图像识别和运动检测系统可被划分为基于机器视觉(即，人工智能(Al))技术的系统以及利用视皮层技术(即，生物学似真系统)的系统。机器视觉系统具有制定完善的训练方法，但具有较差的识别准确性。例如，对狗与猫进行区分对于机器视觉系统而言仍然是具有50/50结果的具有挑战性的任务。
[0006]另一方面，生物学似真系统使用人类视皮层结构。基于这些系统的各种方法有望比机器视觉系统更准确。然而，用于生物学似真系统的、导致其自组织的训练方法并未开发健全。这是由于对视皮层组织和自训练方法的了解贫乏所导致的。
[0007]概述
[0008]本公开的某些方面提供一种电路。该电路一般包括:多个视网膜神经节细胞(RGC)电路，其中这些RGC电路中的每一个RGC电路在输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和；多个初级视皮层细胞(Vl)电路，其中这些Vl电路中的每一个Vl电路生成这些RGC电路的子集的加权输出的另一总和；以及被配置成调节对用以生成该另一总和的各输出施加的权重的电路，其中对这些权重之一的调节基于以下各项中的至少一者:这些输出之中被施加以该权重的一个输出或者该另一总和。
[0009]本公开的某些方面提供一种用于实现神经系统的方法。该方法一般包括:在该神经系统中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处，生成来自与该RGC电路相关联的各受体电路的加权输入的总和；由该神经系统中的多个初级视皮层细胞(Vl)电路中的每一个Vl电路生成这些RGC电路的子集的加权输出的另一总和；以及调节对用以生成该另一总和的各输出施加的权重，其中对这些权重之一的调节基于以下各项中的至少一者:这些输出之中被施加以该权重的一个输出或者该另一总和。
[0010]本公开的某些方面提供了一种设备。该设备一般包括:用于在该设备中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和的装置；用于由该设备中的多个初级视皮层细胞(Vl)电路中的每一个Vl电路生成这些RGC电路的子集的加权输出的另一总和的装置；以及用于调节对用以生成该另一总和的各输出施加的权重的装置，其中对这些权重之一的调节基于以下各项中的至少一者:这些输出中被施加以该权重的一个输出或者该另一总和。
[0011]附图简要说明
[0012]为了能详细地理解本公开的上述特征所用的方式，可以参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可以允许有其他等同有效的方面。
[0013]图1解说根据本公开的某些方面的示例神经系统。
[0014]图2解说了根据本公开的某些方面的与不同类型的视网膜神经节(RG)细胞连接的受体的示例模型。
[0015]图3解说了根据本公开的某些方面的与RG细胞连接的受体的示例模型，其中该RG细胞取决于连接该RG细胞和初级视皮层(Vl)细胞的突触的符号而可能为ON (开)细胞或OFF (关)细胞。
[0016]图4解说了根据本公开的某些方面的在各受体与RG细胞之间的连接的示例模型以及在各RG细胞与Vl细胞之间的连接的示例模型。
[0017]图5解说了根据本公开的某些方面的可在神经系统处执行的用于训练各RG细胞与Vl细胞之间突触权重的示例操作。
[0018]图5A解说能够执行图5中解说的操作的示例组件。
[0019]详细描述
[0020]以下参照附图更全面地描述了本公开的各个方面。然而，本公开可用许多不同的形式实施并且不应解释为被限定于本公开通篇所给出的任何特定结构或功能。确切而言，提供这些方面使得本公开将是透彻和完整的，并使得本公开将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域的技术人员应领会，本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各种方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可以由权利要求的一个或更多个元素来实施。
[0021]措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0022]尽管本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的详细描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0023]示例神经系统
[0024]图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统100可包括神经元级102,该级神经元102通过突触连接网络104连接到另一级神经元106。为简单起见，图1中仅解说两级神经元，但在典型的神经系统中可以存在更多级神经
J Li ο
[0025]如图1所解说的，级102中的每一神经元可以接收可由前一级(图1中未示出)的多个神经元所生成的输入信号108。信号108可以表示级102的神经元的输入电流。该电流可以在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值时，该神经元可以激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元(例如，级106)。
[0026]尖峰从一级神经元到另一级神经元的传递可以通过突触连接(或简称“突触”)网络104来实现，如图1所解说的。突触104可从级102的神经元接收输出信号(即，尖峰)，根
据可调节突触权重w^+1)来缩放那些信号(其中P是级102的神经元与级106
的神经元之间的突触连接的总数)，并且将经缩放的信号组合为级106中的每一个神经元的输入信号。级106中的每个神经元可以基于对应的经组合的输入信号来生成输出尖峰110。随后可以使用另一突触连接网络(图1中未示出)将这些输出尖峰110传递到另一级神经
J Li ο
[0027]神经系统100可以通过电路来仿真并且可以在大范围的应用中使用，诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例如对流经其的电流进行积分的电容器。
[0028]在一方面，电容器作为神经元电路的电流积分设备可以被除去，并且可以使用较小的忆阻器(memristor)元件来替代之。这种办法可以应用于神经元电路中，以及其中大容量电容器被用作电流积分器的各种其他应用中。另外，突触104中的每一个可以基于忆阻器元件来实现，其中突触权重改变可以与忆阻器电阻的变化相关。使用纳米特征尺寸的忆阻器，可以显著地减小神经元电路和突触的面积，这可以使得实现超大规模神经系统硬件实现变得可行。
[0029]本公开提出了一种用于彩色视觉的初级视皮层(Vl)细胞和视网膜神经节细胞(RGC)的简化结构，其中这些Vl细胞和RGC可被实现为来自图1的神经系统100的神经元电路。在本公开的一方面，RGC可与神经元102相对应，而Vl细胞可与神经元106相对应。
[0030]Vl输入突触(例如，神经系统100的突触104)可要求以无监督方式被训练以实现简单细胞涌现。本公开提出了 一种训练Vl细胞层和RGC细胞层之间的连通性的高效方法，该方法可导致在Vl层内自主形成特征检测器(简单细胞)。所提出的办法可使得能对图像识别和运动检测系统进行硬件高效的且生物学似真的实现。
[0031]所提出的无监督训练方法可对RGC层和Vl层两者利用简单神经元模型。该模型简单地加总每一细胞的加权输入，其中这些输入可具有正值或负值。所得的输入加权总和被称为激活，其中这些激活也可以是正的或负的。在本公开的一方面，每一个Vl细胞的各权重可取决于相对应的RGC输出的符号以及与该Vl细胞相关联的激活的符号在增加该激活的绝对值的方向上来调节。这些Vl权重可以是正的或负的。
[0032]所提出的突触权重训练方法可适于用软件和硬件的高效实现。而且，该方法运行起来可比依赖于尖峰定时的可塑性(STDP)训练办法快得多。
[0033]对初级视皮层细胞的输入突触的无监督训练方法
[0034]根据某些方面，RG细胞(RGC)可被划分为ON (开)细胞和OFF (关)细胞。ON细胞可以区分比背景亮的对象。例如，外围视觉全都基于ON细胞，从而人类能够更好地看见暗背景上的亮点。另一方面，RG OFF细胞可区分比背景暗的对象。应该注意，点亮包括RG ON细胞和RG OFF细胞两者的整个感受域对RGC激发速率具有有限影响。
[0035]图2解说了根据本公开的某些方面的在光受体202和RG ON细胞204之间的连接的示例模型200a以及在光受体206和RG OFF细胞208之间的连接的示例模型200b。受体电路202和206可被组织为图像像素的正交阵列。因此，ON细胞和OFF细胞的感受域可具有矩形形状(而非圆形)。[0036]在一方面,每一个RGC可从九个受体接收输入,其中与各受体相关联的输入权重可形成拉普拉斯滤波器(即，可对来自这些受体的信号施加拉普拉斯窗函数)，如图2中所解说的。这些权重可取决于各受体是连接到ON-RG细胞还是连接到OFF-RG细胞，如模型200a和200b中所解说的。应该注意到，图2中所解说的RG细胞204和208可以不与巨神经节细胞相对应，巨神经节细胞能够从多得多的受体接收输入。
[0037]在本公开的一方面，作为在RGC阵列中混合ON细胞和OFF细胞的替代，每一个RG细胞(例如，图3中所解说的模型300中从受体302接收输入的RG细胞304)或可为ON细胞或可为OFF细胞。这可取决于与将该RG细胞304连接到Vl简单细胞310的突触308相关联的权重306的符号。
[0038]如图3中所解说的，Vl细胞310的输入y可通过对来自受体302的、可被输入到RG细胞304中的输入信号Xy施加权重w来获得:
[0039]
【权利要求】
1.一种电路,包括: 多个视网膜神经节细胞(RGC)电路，其中所述RGC电路中的每一个RGC电路在输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和； 多个初级视皮层细胞(Vl)电路，其中所述Vl电路中的每一个Vl电路生成所述RGC电路的子集的加权输出的另一总和；以及 配置成调节对用以生成所述另一总和的输出施加的权重的电路，其中对所述权重之一的调苄基于以下各项中的至少一者:所述输出中被施加以该权重的一个输出或者所述另一总和。
2.如权利要求1所述的电路，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的符号。
3.如权利要求1所述的电路，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的值。
4.如权利要求1所述的电路，其特征在于: 在该输出和所述另一总和两者均为正或均为负的情况下，增加该权重，以及 在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
5.如权利要求1所述的电路，其特征在于，在由该Vl电路生成的所述另一总和超过一阈值的情况下，该Vl电路输出一信号。
6.如权利要求1所述的电路，其特征在于，所述电路还被配置成通过执行二进制移位运算来调节所述权重中的每一个权重。
7.如权利要求1所述的电路，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
8.一种用于实现神经系统的方法，包括: 在所述神经系统中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处，生成来自与该RGC电路相关联的各受体电路的加权输入的总和； 由所述神经系统中的多个初级视皮层细胞(Vl)电路中的每一个Vl电路生成所述RGC电路的子集的加权输出的另一总和；以及 调节对用以生成所述另一总和的输出施加的权重， 其中对所述权重之一的调苄基于以下各项中的至少一者:所述输出中被施加以该权重的一个输出或者所述另一总和。
9.如权利要求8所述的方法，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的符号。
10.如权利要求8所述的方法，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的值。
11.如权利要求8所述的方法，其特征在于: 在该输出以及所述另一总和两者均为正或均为负的情况下，增加该权重，以及 在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
12.如权利要求8所述的方法，其特征在于，进一步包括: 在由该Vl电路生成的所述另一总和超过一阈值的情况下，在该Vl电路的输出处生成一信号。
13.如权利要求8所述的方法，其特征在于，调节所述权重中的每一个权重包括: 执行二进制移位运算。
14.如权利要求8所述的方法，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
15.一种设备，包括: 用于在所述设备中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和的装置； 用于由所述设备中的多个初级视皮层细胞(Vl)电路中的每一个Vl电路生成所述RGC电路的子集的加权输出的另一总和的装置；以及 用于调节对用以生成所述另一 总和的输出施加的权重的装置， 其中对所述权重之一的调苄基于以下各项中的至少一者:所述输出中被施加以该权重的一个输出或者所述另一总和。
16.如权利要求15所述的设备，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的符号。
17.如权利要求15所述的设备，其特征在于，对该权重的调苄基于该输出的符号以及所述另一总和的值。
18.如权利要求15所述的设备，其特征在于: 在该输出以及所述另一总和两者均为正或均为负的情况下，增加该权重，以及 在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
19.如权利要求15所述的设备，其特征在于，还包括: 用于在由该Vl电路生成的所述另一总和超过一阈值的情况下在该Vl电路的输出处生成一信号的装置。
20.如权利要求15所述的设备，其特征在于，用于调节所述权重中的每一个权重的装置包括: 用于执行二进制移位运算的装置。
21.如权利要求15所述的设备，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
【文档编号】G06N3/063GK103548042SQ201280024956
【公开日】2014年1月29日 申请日期:2012年5月25日 优先权日:2011年5月25日
【发明者】V·阿帕林 申请人:高通股份有限公司