大模型微调方法、装置、设备、介质及程序产品

本申请涉及人工智能，尤其涉及一种大模型微调方法、装置、设备、介质及程序产品。

背景技术：

1、语言和图文大模型依托于从互联网上获取的大量文本和图像资料进行训练。这些资料在训练前需经过精心的清洗过程，以确保数据的质量。尽管如此，大模型在某些垂直领域或具体场景下的表现通常还是不尽如人意。为了解决这一问题，通常需要对模型进行进一步的微调训练，以适应具体的应用场景。微调一个拥有海量参数的大模型会面临多个挑战，其中包括训练速度缓慢以及对训练内存需求过高等问题。针对这些挑战，学术界和工业界都在寻求如何能够全面、快速又高效地对大模型进行微调的方法。

技术实现思路

1、本申请提供一种大模型微调方法、装置、设备、介质及程序产品，用以解决现有技术中难以全面又高效地进行大模型微调的缺陷。

2、第一方面，本申请提供一种大模型微调方法，包括：

3、对大模型中的每个自注意力层，构建重参数化因子；所述重参数化因子的数量为多个；所述重参数化因子为多头权重；

4、基于所述重参数化因子，构建静态多头自注意力权重；

5、基于所述静态多头自注意力权重与初始自注意力图，确定第一微调模块；

6、基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块；所述低秩适配器参数包括多个低秩矩阵；

7、基于所述第一微调模块与所述第二微调模块，在训练数据上进行所述大模型部分参数的调整。

8、可选地，所述基于所述静态多头自注意力权重与初始自注意力图，确定第一微调模块，包括：

9、通过随机初始化方法对所述静态多头自注意力权重进行初始化，得到初始化后的静态多头自注意力权重；

10、对所述初始化后的静态多头自注意力权重截断，得到目标权重；

11、基于所述目标权重与所述初始自注意力图，确定所述第一微调模块。

12、可选地，所述目标权重包括第一权重与第二权重；

13、所述基于所述目标权重与所述初始自注意力图，确定所述第一微调模块，包括：

14、对所述第一权重与所述第二权重进行内积运算，得到目标自注意力图；

15、将所述目标自注意力图与所述初始自注意力图的值向量进行内积运算，得到运算结果；

16、基于所述运算结果与所述初始自注意力图的和，确定所述第一微调模块。

17、可选地，所述方法还包括：

18、基于微调目标，筛选数据源；

19、基于所述数据源提取数据，并进行数据清洗，得到清洗数据；

20、对所述清洗数据进行数据增强，得到扩增数据；

21、对所述扩增数据进行数据标注，得到所述训练数据。

22、可选地，所述低秩矩阵的数量为2；

23、所述基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块，包括：

24、将两个低秩矩阵相乘，得到参数空间；

25、基于所述参数空间与所述目标前馈神经网络层的权重矩阵，确定所述第二微调模块。

26、可选地，所述基于所述第一微调模块与所述第二微调模块，在训练数据上进行所述大模型部分参数的调整，包括：

27、固定所述大模型的原始参数，基于所述第一微调模块与所述第二微调模块，在所述训练数据上通过反向传播对所述重参数化因子与所述低秩适配器参数进行梯度更新，得到微调后的大模型。

28、第二方面，本申请还提供一种大模型微调装置，包括：

29、第一构建模块，用于对大模型中的每个自注意力层，构建重参数化因子；所述重参数化因子的数量为多个；所述重参数化因子为多头权重；

30、第二构建模块，用于基于所述重参数化因子，构建静态多头自注意力权重；

31、第一确定模块，用于基于所述静态多头自注意力权重与初始自注意力图，确定第一微调模块；

32、第二确定模块，用于基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块；所述低秩适配器参数包括多个低秩矩阵；

33、微调模块，用于基于所述第一微调模块与所述第二微调模块，在训练数据上进行所述大模型部分参数的调整。

34、第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

35、第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。

36、第五方面，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

37、本申请提供的大模型微调方法、装置、设备、介质及程序产品，通过对自注意力图进行重参数化，并在前馈神经网络层引入低秩适配器，然后基于两个微调模块对大模型进行微调，可以将线性层的重参数化手段和注意力机制的微调结合起来，优化了自注意力图的表示，提高了处理效率，能够全面又高效地进行大模型微调。

技术特征：

1.一种大模型微调方法，其特征在于，包括：

2.根据权利要求1所述的大模型微调方法，其特征在于，所述基于所述静态多头自注意力权重与初始自注意力图，确定第一微调模块，包括：

3.根据权利要求2所述的大模型微调方法，其特征在于，所述目标权重包括第一权重与第二权重；

4.根据权利要求1所述的大模型微调方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的大模型微调方法，其特征在于，所述低秩矩阵的数量为2；

6.根据权利要求1所述的大模型微调方法，其特征在于，所述基于所述第一微调模块与所述第二微调模块，在训练数据上进行所述大模型部分参数的调整，包括：

7.一种大模型微调装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述大模型微调方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述大模型微调方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述大模型微调方法。

技术总结
本申请提供一种大模型微调方法、装置、设备、介质及程序产品，涉及人工智能技术领域。所述方法包括：对大模型中的每个自注意力层，构建重参数化因子；重参数化因子的数量为多个；重参数化因子为多头权重；基于重参数化因子，构建静态多头自注意力权重；基于静态多头自注意力权重与初始自注意力图，确定第一微调模块；基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块；低秩适配器参数包括多个低秩矩阵；基于第一微调模块与第二微调模块，在训练数据上进行大模型部分参数的调整。本申请提供的大模型微调方法、装置、设备、介质及程序产品，可以将线性层的重参数化手段和注意力机制的微调结合起来，能够全面又高效地进行大模型微调。

技术研发人员：胡庆浩,李章明,王培松,程健
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/9/23