一种冷热数据智能识别和存储空间预测方法及系统与流程

本发明涉及勘探开发领域，尤其涉及一种冷热数据智能识别和存储空间预测方法及系统。

背景技术：

1、石油勘探是数据密集型行业，在勘探研究中产生了大量不同类型的数据，对于最终石油的发现均会产生一定的影响；在勘探综合研究时，不同的工区都会使用、产生大量的专业数据，数据类型多样，包含井数据、测井数据、地震数据、层位及断层数据等；通过主流的勘探分析软件帮助，这些数据可以形成地震剖面，寻找到可能含油的区域；在这个过程当中，工区中存储的各个数据都会对最终的结果产生影响，数据之间相关度高，系统处理复杂；如果对所有勘探数据采用相同的存储方式，或是会产生巨大的存储开销，或是会对应用性能产生影响；因此对数据进行智能化管理已经是一项必不可少的工作；数据智能管理技术的优劣直接影响了数据的价值能否得到充分的获取和利用；为实现数据的智能管理，冷热数据的识别和存储空间的预测是其中较为重要的一环。

2、将经常访问的“热数据”放在访存速率较高的存储介质中，将不常访问的“冷数据”放在访存速率较低的存储介质中，可以尽可能的实现存储成本和系统性能的统一；因此如何准确的识别数据的冷热成了关键的一步；在划分冷热数据的方法中，lru(leastrecentlyused)是最为常见的一种，并且许多算法也在此基础上进行了一些简单的改进。

3、时序预测方法被广泛的应用于各种领域，通过时间序列预测数据的增长规律对于提前规划存储空间的使用有着重要意义；传统时序预测模型如自回归滑动平均模型，对于具有平稳时间序列特点的数据问题预测效果良好，差分自回归滑动平均模型对k次差分后能具有平稳时间序列的数据也能有不错的效果；但是这种时间序列预测方法对于现实中常遇到的非线性时间序列预测问题预测效果难以满足应用的需求。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种冷热数据智能识别和存储空间预测方法及系统。

2、根据本发明的一个方面，提供了一种冷热数据智能识别和存储空间预测方法，所述预测方法包括：

3、将工区数据文件的属性切分成不同维度的信息；

4、根据不同的应用场景，文件不同维度的信息对热度的影响程度也不同；

5、根据每个维度的信息，用一个系数表示对应信息对热度的贡献度；

6、根据应用场景形成具体的冷热数据识别方法；

7、根据文件不同维度的信息采用综合性的热度策略。

8、可选的，所述根据文件不同维度的信息采用综合性的热度策略具体包括：

9、将文件采集到的信息划分为六类，采用不同系数表示各类信息对冷热数据的热度产生的影响。

10、可选的，所述采用不同系数表示各类信息对冷热数据的热度产生的影响具体包括：

11、根据最近访问的频率facc，获得因最近访问频率产生的热度值计算公式如式(1)所示：

12、tacc＝aaccfacc (1)

13、其中aacc为最近访问频率对热度值产生影响的系数；

14、根据最近写入和新建的频率和为fadd-mod，获得因最近写入和新建的频率产生的热度值计算公式如式(2)所示：

15、tadd-mod＝aadd-modfadd-mod (2)

16、其中aadd-mod为最近写入和新建的频率对热度值产生影响的系数；

17、根据最近删除的频率fdel，获得因最近删除的频率产生的热度值计算公式如式(3)所示：

18、tdel＝adelfdel (3)

19、其中adel为最近写入和新建的频率对热度值产生影响的系数；

20、根据文件的大小s，文件的大小和再次使用的概率存在相关性，获得因文件大小产生的热度值计算公式如式(4)所示：

21、tsize＝asizes (4)

22、当文件第一次被操作时其操作时间为t0，文件与时间相关的热度值的初始值为式(1)到式(4)获得的热度值之和，计算公式如式(5)所示：

23、

24、其中atime为热度值初始偏移系数；

25、物理模型为温度冷却模型，其中温度和e-kt呈正比；随着时间t的变化，热度的变化如式(6)所示：

26、

27、其中tn表示最新一次的操作时间，通过与上一次操作的时间tn-1相减，得到新的热度值；

28、指数运算的计算时间是乘除运算的5-10倍，开销略大；

29、在进行操作时文件之间会有相关性，获得因文件关联度产生的热度值计算公式如式(7)所示：

30、tcorr＝αcorrc (7)

31、其中，αcorr为文件关联度对热度值产生影响的系数；

32、最后将温度相关的热度值和文件关联度相关的热度值tcorr相加，得到文件最终的热度t，计算公式如式(8)所示：

33、

34、比较热度t，t越大数据越热。

35、可选的，所述数据划分为热、温、冷三种数据类型，所述热数据以lru策略淘汰数据，数据从热数据中被剔除时先变为温数据，通过ct策略对数据的热度进行判断；从温数据中淘汰的数据再变为冷数据。

36、可选的，所述通过ct策略对数据的热度进行判断；从温数据中淘汰的数据再变为冷数据具体包括：

37、如果操作一个在温数据和热数据中的数据，更新单个数据的热度，不涉及数据的迁移；

38、如果操作的是一个新的数据或冷数据，则将数据先存放到温数据中；

39、如果温数据已满，则将温数据中较热的数据放入热数据中，空出位置留给新的数据；

40、如果热数据也已放满，则比较热数据末尾和温数据中最冷的数据，将更冷的数据放入冷数据中。

41、可选的，所述数据存储空间预测模型，是根据过去各个时间点的空间使用情况对于未来的空间使用进行预测，模型预测的方法步骤：

42、线性预测模型，最小二乘回归线性预测模型；

43、非线性预测模型，采用支持向量机svm在神经网络算法；

44、长短期记忆lstm预测模型，在循环神经网络rnn基础上发展而来的，在rnn进行的自我调节的基础上，通过引入门结构去除或增加信息。

45、可选的，所述支持向量机svr预测模型具体包括：

46、在线性回归的基础上，在回归线周围引入阈值ε，小于这个阈值的点不会对平面的建立产生影响，在实现最优分类的同时找到了回归线；

47、可选的，所述支持向量机svr预测模型还包括：

48、为了实现非线性，引入了高斯核函数，如公式(11)所示，实现更加高维的线性分离：

49、f(x)＝wtθ(x)+μ (11)

50、其中θ是核函数，wt是超平面的法向量，μ是超平面到原点的距离；支持向量回归通过在n维空间中拟合出了一个超平面使得偏差最小。

51、可选的，所述线性预测模型包括：

52、所述线性预测模型由公式(9)表示：

53、y＝a0+a1x1+a2x2+a3x3+...+anxn   (9)

54、其中x＝(1,x1,x2,x3,...,xn)为自变量，y为因变量，a为模型的一组系数；当得到一组a，其中：

55、a＝(a0,a1,a2,...,an)

56、使得||xa-y||2最小时，就获得了由自变量x到因变量y的模型；

57、根据偏导矩阵公式，结果由公式(10)得到：

58、xtxa＝xty   (10)。

59、本发明还提供了一种冷热数据智能识别和存储空间预测系统，其特征在于，所述预测系统包括：

60、文件属性切分模块，用于将工区数据文件的属性切分成不同维度的信息；根据不同的应用场景，文件不同维度的信息对热度的影响程度也不同；

61、维度贡献度对应模块，用于根据每个维度的信息，用一个系数表示对应信息对热度的贡献度；

62、数据识别模块，用于根据应用场景形成具体的冷热数据识别方法；

63、热度策略模块，用于根据文件不同维度的信息采用综合性的热度策略。

64、本发明提供的一种冷热数据智能识别和存储空间预测方法及系统，所述预测方法包括：将工区数据文件的属性切分成不同维度的信息；根据不同的应用场景，文件不同维度的信息对热度的影响程度也不同；根据每个维度的信息，用一个系数表示对应信息对热度的贡献度；根据应用场景形成具体的冷热数据识别方法；根据文件不同维度的信息采用综合性的热度策略。通过对温数据进行最为严格的冷热判断，可以使热度更高的文件尽量留在内存中，而热度相对较低的数据存于外存中，提高每次访问的内存命中率，提高访问的效率。

65、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种冷热数据智能识别和存储空间预测方法，其特征在于，所述预测方法包括：

2.根据权利要求1所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述根据文件不同维度的信息采用综合性的热度策略具体包括：

3.根据权利要求2所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述采用不同系数表示各类信息对冷热数据的热度产生的影响具体包括：

4.根据权利要求1所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述数据划分为热、温、冷三种数据类型，所述热数据以lru策略淘汰数据，数据从热数据中被剔除时先变为温数据，通过ct策略对数据的热度进行判断；从温数据中淘汰的数据再变为冷数据。

5.根据权利要求4所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述通过ct策略对数据的热度进行判断；从温数据中淘汰的数据再变为冷数据具体包括：

6.根据权利要求1所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述数据存储空间预测模型，是根据过去各个时间点的空间使用情况对于未来的空间使用进行预测，模型预测的方法步骤：

7.根据权利要求6所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述支持向量机svr预测模型具体包括：

8.根据权利要求7所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述支持向量机svr预测模型还包括：

9.根据权利要求6所述的一种冷热数据智能识别和存储空间预测方法，其特征在于，所述线性预测模型包括：

10.一种冷热数据智能识别和存储空间预测系统，其特征在于，所述预测系统包括：

技术总结
本发明提供的一种冷热数据智能识别和存储空间预测方法及系统，所述预测方法包括：将工区数据文件的属性切分成不同维度的信息；根据不同的应用场景，文件不同维度的信息对热度的影响程度也不同；根据每个维度的信息，用一个系数表示对应信息对热度的贡献度；根据应用场景形成具体的冷热数据识别方法；根据文件不同维度的信息采用综合性的热度策略。通过对温数据进行最为严格的冷热判断，可以使热度更高的文件尽量留在内存中，而热度相对较低的数据存于外存中，提高每次访问的内存命中率，提高访问的效率。

技术研发人员：彭英,杨澎涛,范永合,湛林福,孙友凯,朱应科,陈柱泽,戴猛,张俊威,郑建军
受保护的技术使用者：中国石油化工股份有限公司
技术研发日：
技术公布日：2024/9/23