数据处理装置、方法、电子设备和存储介质与流程

xiaoxiao18小时前  5


本公开涉及人工智能,尤其涉及芯片、混合精度计算、分布式计算平台等。更具体地,本公开提供了一种数据处理装置、方法、电子设备和存储介质。


背景技术:

1、随着人工智能技术的发展,大模型的应用场景不断增加。在大模型运行时所进行的矩阵运算,难以同时兼顾性能和精度。


技术实现思路

1、本公开提供了一种数据处理装置、方法、电子设备和存储介质。

2、根据本公开的一方面,提供了一种数据处理装置,该装置包括:量化单元,配置为:根据与待处理浮点数据对应的第一最值,将待处理浮点数据量化为第一定点数据;根据与待处理浮点数据对应的第二最值,将第二浮点数据量化为第二定点数据,其中,第二浮点数据是根据待处理浮点数据和第一浮点数据得到的,第一浮点数据是对第一定点数据进行反量化得到的;第一计算单元,配置为:根据待处理定点数据和第一定点数据,得到第一计算结果;根据待处理定点数据和第二定点数据,得到第二计算结果;根据第一计算结果和第二计算结果,得到目标计算结果。

3、根据本公开的另一方面,提供了一种电子设备,包括本公开提供的装置。

4、根据本公开的另一方面,提供了一种数据处理方法,该方法包括:根据与待处理浮点数据对应的第一最值,利用量化单元将待处理浮点数据量化为第一定点数据;根据与待处理浮点数据对应的第二最值,利用量化单元将第二浮点数据量化为第二定点数据,其中,第二浮点数据是根据待处理浮点数据和第一浮点数据得到的,第一浮点数据是对第一定点数据进行反量化得到的;根据待处理定点数据和第一定点数据,利用第一计算单元得到第一计算结果;根据待处理定点数据和第二定点数据,利用第一计算单元得到第二计算结果;根据第一计算结果和第二计算结果,利用第一计算单元得到目标计算结果。

5、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。

6、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。

7、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种数据处理装置,包括:

2.根据权利要求1所述的装置,还包括第二计算单元,配置为:

3.根据权利要求1所述的装置,其中,所述待处理浮点数据包括至少一个待处理浮点数值,所述量化单元与目标精度对应,所述目标精度可表示的最大值为目标最大值。

4.根据权利要求3所述的装置,其中,所述第一最值是通过以下操作确定的:

5.根据权利要求4所述的装置,其中,所述第一定点数据包括至少一个第一定点数值,

6.根据权利要求3所述的装置,其中,所述第二最值是通过以下操作确定的:

7.根据权利要求6所述的装置,其中,所述第一浮点数据包括至少一个第一浮点数值,所述第二浮点数据包括至少一个第二浮点数值,所述第二定点数据包括至少一个第二定点数值,

8.根据权利要求1所述的装置,其中,所述量化单元与数据搬运单元相集成。

9.根据权利要求8所述的装置,其中,所述数据搬运单元配置为:

10.一种电子设备,包括权利要求1至9任一项所述的装置。

11.一种数据处理方法,包括:

12.根据权利要求11所述的方法,还包括:

13.根据权利要求11所述的方法,其中,所述待处理浮点数据包括至少一个待处理浮点数值,所述量化单元与目标精度对应,所述目标精度可表示的最大值为目标最大值。

14.根据权利要求13所述的方法,其中,所述第一最值是通过以下操作确定的:

15.根据权利要求14所述的方法,其中,所述第一定点数据包括至少一个第一定点数值,

16.根据权利要求13所述的方法,其中,所述第二最值是通过以下操作确定的:

17.根据权利要求16所述的方法,其中,所述第一浮点数据包括至少一个第一浮点数值,所述第二浮点数据包括至少一个第二浮点数值,所述第二定点数据包括至少一个第二定点数值,

18.根据权利要求11所述的方法,其中,所述量化单元与数据搬运单元相集成。

19.根据权利要求18所述的方法,还包括:

20.一种电子设备,包括:

21.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求11至19中任一项所述的方法。

22.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求11至19中任一项所述的方法。


技术总结
本公开提供了一种数据处理装置,涉及人工智能技术领域,尤其涉及芯片、大模型和分布式技术领域。该装置包括:量化单元,配置为:根据与待处理浮点数据对应的第一最值,将待处理浮点数据量化为第一定点数据;根据与待处理浮点数据对应的第二最值,将第二浮点数据量化为第二定点数据,其中,第二浮点数据是根据待处理浮点数据和第一浮点数据得到的,第一浮点数据是对第一定点数据进行反量化得到的;第一计算单元,配置为:根据待处理定点数据和第一定点数据,得到第一计算结果;根据待处理定点数据和第二定点数据,得到第二计算结果;根据第一计算结果和第二计算结果,得到目标计算结果。本公开还提供了一种数据处理方法、电子设备和存储介质。

技术研发人员:王丙楠,王磊磊,单良,李宇鹏
受保护的技术使用者:昆仑芯(北京)科技有限公司
技术研发日:
技术公布日:2024/9/23

最新回复(0)