基于量化的数据处理方法、装置、设备及介质与流程
本技术涉及计算机，具体而言，涉及一种基于量化的数据处理方法、基于量化的数据处理装置、电子设备，以及计算机可读介质。
背景技术：
1、相关技术中通常采用两种方案确定模型不同功能网络对应的量化比特方式，方案一中是用户根据人工经验为每个功能网络选择量化比特方式，方案二中是针对功能网络的任务类型为每个功能网络选择量化比特方式，例如针对任务类型要求精度较高的功能网络为其选择较高比特位的量化比特方式(例如fp16或int8)，针对任务类型要求精度较低的功能网络为其选择较低比特位的量化比特方式(例如int4或int2)。
2、其中，方案一中可能会因人工经验不足导致功能网络的量化比特方式选择错误的现象，降低了量化处理的准确性，进而影响到模型性能；方案二中因模型不同或模型的训练阶段不同，即使针对同一任务类型，功能网络的敏感度也会发生变化，因此通过功能网络的任务类型为其选择量化比特方式较为固定，同样存在量化比特方式选择错误的现象，降低了量化处理的准确性，进而影响到模型性能。
3、因此，如何提升量化处理的准确性，以提升模型性能是亟待解决的问题。
技术实现思路
1、本技术的实施例提供了一种基于量化的数据处理方法、装置、设备及介质，提升了量化处理的准确性，模型性能好。
2、第一方面，本技术实施例提供了一种基于量化的数据处理方法，所述方法包括：通过多个量化比特方式分别对模型功能网络对应的原始模型参数进行量化处理，得到每个量化比特方式对应的量化模型参数；获取所述模型功能网络在所述原始模型参数下的第一输出结果，以及获取所述模型功能网络在每个量化模型参数下的第二输出结果；基于所述第一输出结果和多个第二输出结果，从所述多个量化比特方式中选取目标量化比特方式，所述目标量化比特方式用于在所述模型功能网络的推理阶段对所述原始模型参数进行量化处理。
3、第二方面，本技术实施例提供了一种基于量化的数据处理装置，所述装置包括：量化处理模块，配置为通过多个量化比特方式分别对模型功能网络对应的原始模型参数进行量化处理，得到每个量化比特方式对应的量化模型参数；获取模块，配置为获取所述模型功能网络在所述原始模型参数下的第一输出结果，以及获取所述模型功能网络在每个量化模型参数下的第二输出结果；选取模块，配置为基于所述第一输出结果和多个第二输出结果，从所述多个量化比特方式中选取目标量化比特方式，所述目标量化比特方式用于在所述模型功能网络对应的推理阶段对所述原始模型参数进行量化处理。
4、在本技术的一个实施例中，基于前述方案，所述选取模块，具体配置为：计算所述第一输出结果与每个第二输出结果之间的差异值；从所述多个量化比特方式中选取最小的差异值对应的量化比特方式，并将所选取的量化比特方式作为目标量化比特方式。
5、在本技术的一个实施例中，基于前述方案，所述选取模块，还具体配置为：针对每个第二输出结果，对所述第一输出结果和所述第二输出结果进行求差运算得到差值，并对所得到的差值进行求指定次方运算，得到所述第一输出结果与所述第二输出结果之间的差异值。
6、在本技术的一个实施例中，基于前述方案，所述选取模块，还具体配置为：针对每个第二输出结果，基于所述第二输出结果计算得到信号功率值，基于所述第一输出结果和所述第二输出结果计算得到噪声功率值，并基于所述信号功率值和所述噪声功率值计算得到信噪比，以及基于所述信噪比计算得到所述第一输出结果与所述第二输出结果之间的差异值。
7、在本技术的一个实施例中，基于前述方案，所述原始模型参数包括原始权重值，所述量化模型参数包括量化权重值；所述获取模块，具体配置为：获取所述模型功能网络的激活输入值；对所述激活输入值和所述原始权重值进行求乘积运算，得到所述模型功能网络的第一输出结果，以及对所述激活输入值和每个量化权重值进行求乘积运算，得到所述模型功能网络的多个第二输出结果。
8、在本技术的一个实施例中，基于前述方案，所述模型功能网络对应多个数据通道，每个数据通道对应有通道值；所述获取模块，还具体配置为：若检测到存在离群的通道值，则将离群中最大的通道值对应的数据通道作为目标数据通道，并将所述目标数据通道对应的通道值作为所述模型功能网络的激活输入值，以及获取所述目标数据通道对应的原始权重值和量化权重值；对所述目标数据通道对应的通道值和原始权重值进行求乘积运算，得到所述模型功能网络的第一输出结果，以及对所述目标数据通道对应的通道值和每个量化权重值进行求乘积运算，得到所述模型功能网络的多个第二输出结果。
9、在本技术的一个实施例中，基于前述方案，所述获取模块，还具体配置为：计算所述目标数据通道与所述目标数据通道对应的相邻数据通道之间的相似度；基于所述相似度对所述目标数据通道中离群的通道值进行缩小处理，得到目标通道值；将所述目标通道值和所述目标数据通道中除离群的通道值之外的通道值，作为所述模型功能网络的激活输入值。
10、在本技术的一个实施例中，基于前述方案，所述获取模块，还具体配置为：基于所述目标数据通道的通道值和所述目标数据通道对应的相邻数据通道的通道值进行求距离运算，得到距离值，所述距离值大于0且小于1，并将所述距离值作为所述目标数据通道与所述相邻数据通道之间的相似度；对所述距离值和所述目标数据通道中离群的通道值进行求乘积运算，得到目标通道值。
11、在本技术的一个实施例中，基于前述方案，所述装置还包括：生成模块，配置为基于所述目标量化比特方式生成目标量化缩放因子；存储模块，配置为将所述目标量化比特方式、所述目标量化缩放因子，以及所述模型功能网络对应的标识信息关联存储到指定区域中；推理模块，配置为若检测到在所述模型功能网络的推理阶段，则从所述指定区域中获取所述目标量化比特方式和所述目标量化缩放因子对所述原始模型参数进行量化处理。
12、在本技术的一个实施例中，基于前述方案，所述模型功能网络包括多个；所述生成模块，具体配置为：若多个模型功能网络中存在目标量化比特方式的量化精度大于预设精度阈值的第一模型功能网络，则生成所述第一模型功能网络中每个数据通道对应的目标量化缩放因子；若所述多个模型功能网络中存在目标量化比特方式的量化精度小于或等于所述预设精度阈值的第二模型功能网络，则对所述第二模型功能网络中每个数据通道的通道值进行分组，并生成每个组合对应的目标量化缩放因子。
13、在本技术的一个实施例中，基于前述方案，所述生成模块，还具体配置为： 获取所述第一模型功能网络对应的目标量化比特方式；针对所述第一模型功能网络中每个数据通道，基于所获取到的目标量化比特方式、所述数据通道对应的激活输入值，以及每个量化缩放因子进行运算，得到所述每个量化缩放因子对应的运算结果，并将多个运算结果中绝对值最大的运算结果对应的量化缩放因子作为所述数据通道的目标量化缩放因子。
14、在本技术的一个实施例中，基于前述方案，所述生成模块，还具体配置为：遍历第一缩放因子列表中的首个量化缩放因子，并基于所获取到的目标量化比特方式、所述数据通道对应的激活输入值，以及所遍历到的量化缩放因子进行运算，得到所遍历到的量化缩放因子对应的运算结果；对所述数据通道对应的激活输入值进行更新，并遍历所述首个量化缩放因子的下一个相邻量化缩放因子，以及基于所获取到的目标量化比特方式、所更新的激活输入值，以及所遍历到的量化缩放因子进行运算，得到所遍历到的量化缩放因子对应的运算结果，直至遍历完所述第一缩放因子列表，得到所述第一缩放因子列表中每个量化缩放因子对应的运算结果。
15、在本技术的一个实施例中，基于前述方案，所述生成模块，还具体配置为：获取所述第二模型功能网络对应的目标量化比特方式；针对所述第二模型功能网络中每个数据通道对应的每个组合，基于所获取到的目标量化比特方式、所述组合对应的激活输入值，以及每个量化缩放因子进行运算，得到所述每个量化缩放因子对应的运算结果，并将多个运算结果中绝对值最大的运算结果对应的量化缩放因子作为所述组合的目标量化缩放因子。
16、在本技术的一个实施例中，基于前述方案，所述生成模块，还具体配置为：遍历第二缩放因子列表中的首个量化缩放因子，并基于所获取到的目标量化比特方式、所述组合对应的激活输入值，以及所遍历到的量化缩放因子进行运算，得到所遍历到的量化缩放因子对应的运算结果；对所述组合对应的激活输入值进行更新，并遍历所述首个量化缩放因子的下一个相邻量化缩放因子，以及基于所获取到的目标量化比特方式、所更新的激活输入值，以及所遍历到的量化缩放因子进行运算，得到所遍历到的量化缩放因子对应的运算结果，直至遍历完所述第二缩放因子列表，得到所述第二缩放因子列表中每个量化缩放因子对应的运算结果。
17、在本技术的一个实施例中，基于前述方案，所述生成模块，还具体配置为：通过部署有混合比特模型的多个设备分别得到所述目标量化比特方式对应的量化缩放因子；从多个量化缩放因子中选取最大的量化缩放因子作为目标量化缩放因子。
18、第三方面，本技术实施例提供了一种电子设备，包括一个或多个处理器；存储器，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的基于量化的数据处理方法。
19、第四方面，本技术实施例提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于量化的数据处理方法。
20、第五方面，本技术实施例提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上所述的基于量化的数据处理方法。
21、在本技术的实施例提供的技术方案中：
22、通过多个量化比特方式对模型对应的原始模型参数进行量化处理，以得到每个量化比特方式对应的量化模型参数，并利用模型功能网络在原始模型参数下的第一输出结果，以及模型功能网络在每个量化模型参数下的第二输出结果，从多个量化比特方式中选取出目标量化比特方式；由此，实现了模型功能网络的量化比特方式的准确选取，量化处理的准确性高，并且量化处理准确性高有助于提升模型在训练数据以外的泛化能力，能够更好地适应新的数据分布和场景，同时也增强了模型的稳定性和鲁棒性，能够在复杂条件下保持良好表现，另外还能进行更快速地进行推理，减少不必要的资源消耗，提升了资源利用率，所以在极大程度上提升了模型性能，使得各种应用场景下的任务能够通过模型很好地被执行。
23、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
技术特征：
1.一种基于量化的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一输出结果和多个第二输出结果，从所述多个量化比特方式中选取目标量化比特方式，包括：
3.根据权利要求2所述的方法，其特征在于，所述计算所述第一输出结果与每个第二输出结果之间的差异值，包括：
4.根据权利要求2所述的方法，其特征在于，所述计算所述第一输出结果与每个第二输出结果之间的差异值，包括：
5.根据权利要求1所述的方法，其特征在于，所述原始模型参数包括原始权重值，所述量化模型参数包括量化权重值；所述获取所述模型功能网络在所述原始模型参数下的第一输出结果，以及获取所述模型功能网络在每个量化模型参数下的第二输出结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述模型功能网络对应多个数据通道，每个数据通道对应有通道值；所述获取所述模型功能网络的激活输入值，包括：
7.根据权利要求6所述的方法，其特征在于，所述将所述目标数据通道对应的通道值作为所述模型功能网络的激活输入值，包括：
8.根据权利要求7所述的方法，其特征在于，所述计算所述目标数据通道与所述目标数据通道对应的相邻数据通道之间的相似度，包括：
9.根据权利要求1至8中任一项所述的方法，其特征在于，在所述基于所述第一输出结果和多个第二输出结果，从所述多个量化比特方式中选取目标量化比特方式之后，所述方法还包括：
10.根据权利要求9所述的方法，其特征在于，所述模型功能网络包括多个；所述基于所述目标量化比特方式生成目标量化缩放因子，包括：
11.根据权利要求10所述的方法，其特征在于，所述生成所述第一模型功能网络中每个数据通道对应的目标量化缩放因子，包括：
12.根据权利要求11所述的方法，其特征在于，所述基于所获取到的目标量化比特方式、所述数据通道对应的激活输入值，以及每个量化缩放因子进行运算，得到所述每个量化缩放因子对应的运算结果，包括：
13.根据权利要求10所述的方法，其特征在于，所述生成每个组合对应的目标量化缩放因子，包括：
14.根据权利要求13所述的方法，其特征在于，所述基于所获取到的目标量化比特方式、所述组合对应的激活输入值，以及每个量化缩放因子进行运算，得到所述每个量化缩放因子对应的运算结果，包括：
15.根据权利要求9所述的方法，其特征在于，所述基于所述目标量化比特方式生成目标量化缩放因子，包括：
16.一种基于量化的数据处理装置，其特征在于，包括：
17.一种电子设备，其特征在于，包括：
18.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的基于量化的数据处理方法。
19.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1至15中任一项所述的基于量化的数据处理方法。
技术总结
本申请的实施例公开了一种基于量化的数据处理方法、装置、设备及介质。该方法包括：通过多个量化比特方式分别对模型功能网络对应的原始模型参数进行量化处理，得到每个量化比特方式对应的量化模型参数；之后获取模型功能网络在原始模型参数下的第一输出结果，以及获取模型功能网络在每个量化模型参数下的第二输出结果；之后基于第一输出结果和多个第二输出结果，从多个量化比特方式中选取目标量化比特方式，目标量化比特方式用于在模型功能网络的推理阶段对原始模型参数进行量化处理。本申请技术方案提升了量化处理的准确性，模型性能好。
技术研发人员：于广华
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/9/23