数据处理方法及装置与流程

本技术涉及数据处理领域，尤其涉及一种数据处理方法及装置

背景技术：

1、随着当前网络规模的不断增大、网络复杂度的不断增加，通常需要通过对网络中流量进行检测，以便达到验证网络质量、量化网络使用和行为方式等效果。

2、例如，在一个传输网络中，通常需要在多个测量节点上分别测量数据，然后通过分析测量到的数据，进而实现验证网络质量、量化网络使用和行为方式等效果。其中，在实际应用过程中，各测量节点可以为传输网络中的路由器、交换机等传输设备。

3、在实际应用过程中，一方面，由于持续测量任务会带来巨大的计算和存储开销，因此测量过程中一般会主动通过采样的方式对测量过程稀疏化；另一方面，各测量节点在运行过程中，由于设备自身算力不足等因素，测量节点中也可能被动放弃测量任务，以便将算力用于数据流的传输。这样一来，就导致获取到的测量数据存在缺失。

4、因此，如何对测量数据进行补全，这是目前需要解决的技术问题。

技术实现思路

1、本技术提供一种数据处理方法及装置，用于对测量数据进行补全。

2、第一方面，提供一种数据处理方法，应用于数据处理装置，包括：获取第一数据。第一数据中包括在预设时间段内多个测量节点分别获取到的数据。确定第一数据的数据特征。根据数据特征，确定第一数据对应的数据补全算法。本技术所提供方法中，可以根据第一数据的数据特征，确定第一数据对应的数据补全算法。这样一来，在后续的处理过程中，便可以利用第一数据对应的数据补全算法，对第一数据进行数据补全，从而提高数据补全的效率。

3、在一种实现方式中，确定第一数据的数据特征，包括：确定第一数据是否满足扩散性标准，以及确定第一数据对应的矩阵或张量是否满足低秩性。根据数据特征，确定第一数据对应的数据补全算法，包括：在确定第一数据满足扩散性标准的情况下，确定第一数据补全算法为第一数据对应的数据补全算法。在确定第一数据对应的矩阵或张量满足低秩性的情况下，确定第二数据补全算法为第一数据对应的数据补全算法。在确定第一数据不满足扩散性标准，并且第一数据对应的矩阵或张量不满足低秩性的情况下，确定第三数据补全算法为第一数据对应的数据补全算法；第一数据补全算法、第二数据补全算法和第三数据补全算法不同。

4、上述实现方式中，根据第一数据的数据特征的不同类型(具体可以包括三种类型：第一数据满足扩散性标准、第一数据对应的矩阵或张量满足低秩性，以及第一数据不满足扩散性标准并且第一数据对应的矩阵或张量不满足低秩性)，能够确定不同的数据补全算法，以便对数据进行补全。

5、在一种实现方式中，第一数据补全算法包括：利用神经网络模型的数据补全算法。

6、上述实现方式中，当数据满足扩散性标准时，可以利用神经网络模型进行数据补全，从而更加高效实现数据补全。

7、在一种实现方式中，第二数据补全算法包括：矩阵/张量分解算法。

8、上述实现方式中，当数据对应的矩阵/张量满足低秩性时，可以利用矩阵/张量分解算法进行数据补全，从而更加高效实现数据补全。

9、在一种实现方式中，第三数据补全算法包括：插值法、利用移动平均法或动态线性系统的数据补全算法，或者利用将数据转换到频域的数据补全算法中的一项或多项。

10、上述实现方式中，当数据不满足扩散性并且数据对应的矩阵/张量不满足低秩性时，可以利用插值法、利用移动平均法或动态线性系统的数据补全算法，或者利用将数据转换到频域的数据补全算法中的一项或多项进行数据补全，从而可以实现对数据的补全。

11、在一种实现方式中，该方法还包括：利用第一数据对应的数据补全算法，对第一数据进行数据补全。

12、上述实现方式中，数据处理装置在确定第一数据对应的数据补全算法后，可以利用该数据补全算法实现对数据的补全。

13、在一种实现方式中，该方法还包括：将第一数据对应的数据补全算法的类型和参数发送至测量节点，测量节点用于获取第一数据以及第二数据，第二数据为第一数据的后续数据。

14、通过上述实现方式，可以由测量节点按照第一数据对应的数据补全算法对第一数据进行补全。

15、第二方面，提供一种数据处理方法，应用于测量节点，该方法包括：获取第一数据；第一数据中包括在预设时间段内测量到的数据。将第一数据发送至数据处理装置。接收来自数据处理装置反馈的数据补全算法的类型和数据补全算法的参数。根据数据补全算法的类型和数据补全算法的参数，对第一数据进行数据补全。

16、在一种实现方式中，该数据补全算法的类型，包括：利用神经网络模型的数据补全算法；数据补全算法的参数包括：关联测量节点的标识，以及神经网络模型的参数。或者，数据补全算法的类型，包括：矩阵/张量分解算法；数据补全算法的参数包括：矩阵/张量分解算法的参数，以及测量节点的低秩向量。或者，数据补全算法的类型，包括：k最近邻knn插值法；数据补全算法的参数包括：k个近邻测量节点的标识。或者，数据补全算法的类型，包括：多项式插值法；数据补全算法的参数包括：多项式插值法的参数。或者，数据补全算法的类型，包括：移动平均法；数据补全算法的参数包括：移动窗口大小。或者，数据补全算法的类型，包括：快速傅里叶变化fft；数据补全算法的参数包括：fft对应的频域信息。

17、第三方面，提供一种数据处理装置，包括：获取单元，用于获取第一数据；第一数据中包括在预设时间段内多个测量节点分别测量到的数据。处理单元，用于确定第一数据的数据特征。处理单元，还用于根据数据特征，确定第一数据对应的数据补全算法。

18、在一种实现方式中，处理单元，用于确定第一数据的数据特征，包括：处理单元，用于确定所述第一数据是否满足符合扩散性标准，以及确定所述第一数据对应的矩阵或张量是否满足低秩性。处理单元，还用于根据数据特征，确定第一数据对应的数据补全算法，包括：处理单元，还用于在确定所述第一数据满足符合扩散性标准的情况下，确定第一数据补全算法为所述第一数据对应的数据补全算法。处理单元，还用于在确定所述第一数据对应的矩阵或张量满足低秩性的情况下，确定第二数据补全算法为所述第一数据对应的数据补全算法。处理单元，还用于在确定所述第一数据不满足符合扩散性标准，并且所述第一数据对应的矩阵或张量不满足低秩性的情况下，确定第三数据补全算法为所述第一数据对应的数据补全算法；所述第一数据补全算法、所述第二数据补全算法和所述第三数据补全算法不同。

19、在一种实现方式中，第一数据补全算法包括：利用神经网络模型的数据补全算法。

20、在一种实现方式中，第二数据补全算法包括：矩阵/张量分解算法。

21、在一种实现方式中，第三数据补全算法包括：插值法、利用移动平均法或动态线性系统的数据补全算法，或者利用将数据转换到频域的数据补全算法中的一项或多项。

22、在一种实现方式中，处理单元，还用于利用所述第一数据对应的数据补全算法，对所述第一数据进行数据补全。

23、在一种实现方式中，数据处理装置还包括：通信单元，用于将所述第一数据对应的数据补全算法的类型和参数发送至测量节点，所述测量节点用于获取所述第一数据以及所述第二数据，所述第二数据为所述第一数据的后续数据

24、第四方面，提供一种测量节点，包括：获取单元，用于获取第一数据；第一数据中包括在预设时间段内测量到的数据。通信单元，用于将第一数据发送至数据处理装置。通信单元，还用于接收来自数据处理装置反馈的数据补全算法的类型和数据补全算法的参数。处理单元，用于根据数据补全算法的类型和数据补全算法的参数，对第一数据进行数据补全。

25、在一种实现方式中，数据补全算法的类型，包括：利用神经网络模型的数据补全算法；所述数据补全算法的参数包括：关联测量节点的标识，以及神经网络模型的参数。或者，所述数据补全算法的类型，包括：矩阵/张量分解算法；所述数据补全算法的参数包括：所述矩阵/张量分解算法的参数，以及所述测量节点的低秩向量。或者，所述数据补全算法的类型，包括：k最近邻knn插值法；所述数据补全算法的参数包括：k个近邻测量节点的标识。或者，所述数据补全算法的类型，包括：多项式插值法；所述数据补全算法的参数包括：所述多项式插值法的参数。或者，所述数据补全算法的类型，包括：移动平均法；所述数据补全算法的参数包括：移动窗口大小。或者，所述数据补全算法的类型，包括：快速傅里叶变化fft；所述数据补全算法的参数包括：所述fft对应的频域信息。

26、第五方面，提供一种通信装置，包括存储器和处理器，存储器用于存储计算机指令，处理器用于从存储器中调用并运行计算机指令，以实现如上述第一方面或第一方面中任一实现方式的方法，或者以实现如上述第二方面或第二方面中任一实现方式的方法。

27、第六方面，提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有指令，当指令在处理器上运行时，以实现如上述第一方面或第一方面中任一实现方式的方法，或者以实现如上述第二方面或第二方面中任一实现方式的方法。

28、第七方面，提供一种计算机程序产品，其特征在于，计算机程序产品包括指令，当指令在处理器上运行时，以实现如上述第一方面或第一方面中任一实现方式的方法，或者以实现如上述第二方面或第二方面中任一实现方式的方法。

技术特征：

1.一种数据处理方法，其特征在于，应用于数据处理装置，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一数据的数据特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一数据补全算法包括：利用神经网络模型的数据补全算法。

4.根据权利要求2或3所述的方法，其特征在于，所述第二数据补全算法包括：矩阵/张量分解算法。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述第三数据补全算法包括：插值法、利用移动平均法或动态线性系统的数据补全算法，或者利用将数据转换到频域的数据补全算法中的一项或多项。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据处理方法，其特征在于，应用于测量节点，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述数据补全算法的类型，包括：利用神经网络模型的数据补全算法；所述数据补全算法的参数包括：关联测量节点的标识，以及神经网络模型的参数；

10.一种数据处理装置，其特征在于，包括：

11.一种测量节点，其特征在于，包括：

12.一种通信装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用并运行所述计算机指令，以实现如权利要求1-7中任一项所述的方法，或者以实现如权利要求8或9所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在处理器上运行时，以实现如权利要求1-7中任一项所述的方法，或者以实现如权利要求8或9所述的方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，当所述指令在处理器上运行时，以实现如权利要求1-7中任一项所述的方法，或者以实现如权利要求8或9所述的方法。

技术总结
本申请提供一种数据处理方法及装置，该方法包括：获取第一数据。第一数据中包括在预设时间段内多个测量节点分别获取到的数据。确定第一数据的数据特征。根据数据特征，确定第一数据对应的数据补全算法。本申请应用于数据补全。

技术研发人员：王瑶菁,缪丽华,朱夏,程剑,孙超
受保护的技术使用者：华为技术有限公司
技术研发日：
技术公布日：2024/9/23