本说明书涉及计算机，尤其涉及一种混合精度量化方法、装置、介质及设备。
背景技术：
1、近年来，随着互联网技术的发展，深度神经网络模型越来越成熟，应用领域也越来越多，为了避免部署成本阻碍深度神经网络模型的应用，目前可通过模型量化方法，降低深度神经网络模型的部署难度。在各类模型量化方法中，混合精度量化方法可将模型中的各层量化到不同的位宽，在降低部署成本的基础上减少模型精度的损失，成为了深度神经网络模型部署的关键技术。例如，在图像处理任务中，由于图像数据相对数据量较大，对应的图像处理模型结构和模型参数也较多，因此通常部署在服务器中。不仅导致需要额外的前后端传输耗时，且模型处理耗时也较长，导致任务响应较慢。而由于模型本身部署要求，也难以部署在前端。因此通过对模型量化，可以实现在前端部署图像处理模型，减少任务响应时间。
2、然而，混合精度量化方法通常需要一定数量的标注样本输入模型才能针对深度神经网络模型的各层量化，所以，混合精度量化方法难以应用在无标签或小样本场景下。
3、为此，本说明书提供了一种混合精度量化方法。
技术实现思路
1、本技术提供一种混合精度量化方法，以部分的解决现有技术存在的上述问题。
2、本技术提供了一种混合精度量化方法，包括：
3、将训练好的深度神经网络模型作为标准模型，针对所述标准模型中的每个参数量化层，确定该参数量化层对应的输出量化层，不同参数量化层对应的输出量化层不同；
4、根据预设的量化位宽范围，确定该参数量化层的第一量化位宽，以及确定该参数量化层对应的该输出量化层的第二量化位宽，并根据确定出的第一量化位宽以及第二量化位宽，对所述标准模型进行量化，确定候选量化模型；
5、将样本分别输入所述标准模型以及所述候选量化模型，根据所述标准模型与所述候选量化模型的输出结果之差，确定所述候选量化模型的适应度；
6、在所述量化位宽范围内，调整所述标准模型中参数量化层的量化位宽，确定各先验模型，并确定所述各先验模型所述标准模型的量化误差，建立所述各先验模型的量化位宽与量化误差的各对应关系，根据所述各对应关系构建量化知识库；
7、按照预设的进化算法，根据所述候选量化模型的适应度以及所述量化知识库，调整所述第一量化位宽以及所述第二量化位宽，重新确定候选量化模型，直至满足进化结束条件为止，从得到的各候选量化模型中，确定所述标准模型的目标量化模型。
8、可选地，将样本分别输入所述标准模型以及所述候选量化模型，根据所述标准模型与所述候选量化模型的输出结果之差，确定所述候选量化模型的适应度，具体包括，具体包括：
9、分别将待处理的图像样本输入所述标准模型以及所述候选量化模型，得到所述标准模型的标准输出，确定得到所述标准输出的标准耗时，得到所述候选量化模型的候选输出，确定得到所述候选输出的候选耗时；
10、根据所述标准输出与所述候选输出的差异，确定量化误差，作为适应度参数；
11、根据所述标准耗时与所述候选耗时的差异，确定加速比，作为适应度参数；
12、根据各参数量化层的第一量化位宽的第一均值在所述量化范围中的占比，各输出量化层的第二量化位宽的第二均值在所述量化范围中的占比，确定压缩效果，作为适应度参数；
13、根据所述各适应度参数，确定所述候选量化模型的适应度。
14、可选地，在所述量化位宽范围内，调整所述标准模型中参数量化层的量化位宽，确定各先验模型，并确定所述各先验模型所述标准模型的量化误差，建立所述各先验模型的量化位宽与量化误差的各对应关系，根据所述各对应关系构建量化知识库，具体包括：
15、在所述量化位宽范围中，确定先验值，并针对所述标准模型的每个参数量化层，根据所述先验值，对该参数量化层进行量化，得到先验模型；
16、确定各先验模型与所述标准模型之间的所述量化误差；
17、将基于所述各先验模型确定的各量化误差，确定所述各先验模型的各敏感度，并根据所述各先验模型的所述各敏感度，构建量化知识库；
18、根据所述候选量化模型的适应度以及所述量化知识库，调整所述第一量化位宽以及所述第二量化位宽，具体包括：
19、根据所述候选量化模型的适应度，对照所述量化知识库中各参数量化层的各敏感度，调整所述第一量化位宽以及所述第二量化位宽。
20、可选地，根据所述候选量化模型的适应度以及所述量化知识库，调整所述第一量化位宽以及所述第二量化位宽，具体包括：
21、根据量化知识库中所述各量化误差，确定所述第一量化位宽的变异参数以及第二量化位宽的变异参数；
22、根据所述候选量化模型的适应度以及各变异参数，参照所述标准模型，调整所述第一量化位宽以及第二量化位宽。
23、可选地，根据预设的量化位宽范围，确定该参数量化层的第一量化位宽，以及确定该参数量化层对应的输出量化层的第二量化位宽，具体包括：
24、根据预设的该参数量化层的第三位宽，确定小于所述第三位宽的第一量化位宽；
25、确定该参数量化层对应的输出量化层，根据预设的所述输出量化层的第四位宽，确定小于所述第四位宽的第二量化位宽。
26、可选地，根据各参数量化层的第一量化位宽的第一均值在所述量化范围中的占比，各输出量化层的第二量化位宽的第二均值在所述量化范围中的占比，确定压缩效果，具体包括：
27、根据所述候选量化模型中各参数量化层的第一量化位宽，确定该候选量化模型的第一均值，并根据该候选量化模型中的各所述输出量化层的第二量化位宽，确定该候选量化模型的第二均值；
28、计算所述第一均值与所述量化范围上限的比，确定第一比值，计算所述第二均值与所述量化范围上限的比，确定第二比值；
29、根据所述第一比值以及所述第二比值之和，确定压缩效果。
30、可选地，所述样本为少量无标签样本。
31、一种混合精度量化的装置，包括：
32、设定模块，将训练好的深度神经网络模型作为标准模型，针对所述标准模型中的每个参数量化层，确定该参数量化层对应的输出量化层，不同参数量化层对应的输出量化层不同；
33、量化模块，根据预设的量化位宽范围，确定该参数量化层的第一量化位宽，以及确定该参数量化层对应的该输出量化层的第二量化位宽，并根据确定出的第一量化位宽以及第二量化位宽，对所述标准模型进行量化，确定候选量化模型；
34、对比模块，将样本分别输入所述标准模型以及所述候选量化模型，根据所述标准模型与所述候选量化模型的输出结果之差，确定所述候选量化模型的适应度；
35、构建模块，在所述量化位宽范围内，调整所述标准模型中参数量化层的量化位宽，确定各先验模型，并确定所述各先验模型所述标准模型的量化误差，建立所述各先验模型的量化位宽与量化误差的各对应关系，根据所述各对应关系构建量化知识库；
36、进化模块，按照预设的进化算法，根据所述候选量化模型的适应度以及所述量化知识库，调整所述第一量化位宽以及所述第二量化位宽，重新确定候选量化模型，直至满足进化结束条件为止，从得到的各候选量化模型中，确定所述标准模型的目标量化模型。
37、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述混合精度量化方法。
38、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
39、在本说明书提供的一种混合精度量化方法，通过确定深度神经网络模型中的各层的量化位宽，对深度神经网络模型进行量化，确定候选量化模型，并将样本分别输入标准模型以及候选量化模型，确定标准模型与候选量化模型的量化误差、加速比以及压缩效果，进而确定候选量化模型的适应度，最后，根据预设的进化算法以及候选量化模型的适应度，确定标准模型的目标量化模型。
40、从上述方法可以看出，通过适应度反复确定新的候选量化模型，使得混合精度量化方法能够根据小样本或无标签的样本，准确的确定深度神经网络模型的目标量化模型，大幅提高了混合精度量化方法的实用性以及泛用性。
1.一种混合精度量化方法，其特征在于，所述方法用于量化的标准模型为用于图像处理的模型，所述图像处理至少包括图像分类、目标物检测、语义分割以及图像识别中的一种，所述方法包括：
2.如权利要求1所述的方法，其特征在于，将待处理的图像样本分别输入所述标准模型以及所述候选量化模型，根据所述标准模型与所述候选量化模型的图像处理结果的差异，确定所述候选量化模型的适应度，具体包括：
3.如权利要求1所述的方法，其特征在于，在所述量化位宽范围内，调整所述标准模型中参数量化层的量化位宽，确定各先验模型，并确定所述各先验模型所述标准模型的量化误差，建立所述各先验模型的量化位宽与量化误差的各对应关系，根据所述各对应关系构建量化知识库，具体包括：
4.如权利要求1所述的方法，其特征在于，根据所述候选量化模型的适应度以及所述量化知识库，调整所述第一量化位宽以及所述第二量化位宽，具体包括：
5.如权利要求1所述的方法，其特征在于，根据预设的量化位宽范围，确定该参数量化层的第一量化位宽，以及确定该参数量化层对应的输出量化层的第二量化位宽，具体包括：
6.如权利要求2所述的方法，其特征在于，根据各参数量化层的第一量化位宽的第一均值在所述量化范围中的占比，各输出量化层的第二量化位宽的第二均值在所述量化范围中的占比，确定压缩效果，具体包括：
7.如权利要求1~6任一所述的方法，其特征在于，所述待处理的图像样本为少量无标签样本。
8.一种混合精度量化的装置，其特征在于，所述装置用于量化的标准模型为用于图像处理的模型，所述图像处理至少包括图像分类、目标物检测、语义分割以及图像识别中的一种，所述装置包括：
9.一种计算机存储介质，其特征在于，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
