数据处理方法、装置、计算机程序产品、设备及存储介质与流程

本技术涉及数据处理技术，尤其涉及数据处理方法、装置、计算机程序产品、电子设备及存储介质。

背景技术：

1、随着互联网的大规模普及和应用，数据量的t级增长让传统的数据存储以及查询方法已不能再满足对这样大规模的数据存储以及实时查询需求。例如目前对于圈定的视频点击或图文浏览数据，按照各种维度聚合分析已经达到亿级别的数据量。

2、相关数据存储或数据查询技术，通常适用于特定数据的存储，如长度固定、类型固定的数据等，如此，限制了数据存储或查询业务的应用场景，同时在存储或查询数据量达到t级甚至亿级时，内存占用大，加重了用户使用时所需要的硬件成本。

技术实现思路

1、有鉴于此，本技术实施例提供一种数据处理方法、装置、计算机程序产品、电子设备及存储介质，能够实现提供一种新的数据存储引擎，可以实现实时数据整理，有效减少磁盘空间的开销，同时，利用哈希索引对数据访问请求进行处理，能够提高内存的利用率，减少内存碎片和内存开销，保证数据的安全性和准确性的情况下不需要占用数据库系统的硬件开销，减少了用户的使用成本。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供了一种数据处理方法，所述方法包括：

4、在数据库系统中获取数据存储引擎的结构信息；基于所述结构信息为所述数据存储引擎配置数据格式信息；

5、基于所述数据格式信息，确定所述数据存储引擎中的数据文件结构；

6、为所述数据存储引擎配置哈希索引；

7、响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果；

8、根据所述数据访问请求的处理结果，对所述数据存储引擎进行数据整理，删除无效的数据记录。

9、本技术实施例还提供了一种数据处理装置，所述装置包括：

10、信息传输模块，用于在数据库系统中获取数据存储引擎的结构信息；基于所述结构信息为所述数据存储引擎配置数据格式信息；

11、信息处理模块，基于所述数据格式信息，确定所述数据存储引擎中的数据文件结构；

12、所述信息处理模块，用于为所述数据存储引擎配置哈希索引；

13、所述信息处理模块，用于响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果；

14、所述信息处理模块，用于根据所述数据访问请求的处理结果，对所述数据存储引擎进行数据整理，删除无效的数据记录。

15、上述方案中，

16、所述信息处理模块，用于根据所述数据库的使用需求，确定所述数据存储引擎的数据写操作标准，其中，所述数据写操作标准为：以日志型信息写入数据并禁止删除数据；

17、所述信息处理模块，用于根据所述数据库的使用需求，确定所述数据存储引擎的数据整理标准，其中，所述数据整理标准为：删除所述数据存储引擎中的无效数据，并对所述数据存储引擎中的数据文件进行合并。

18、上述方案中，

19、所述信息处理模块，用于基于所述结构信息确定数据存储引擎配置记录结构的版本信息；

20、所述信息处理模块，用于根据所述记录结构的版本信息，配置所述数据存储引擎中不同维度的格式信息，其中所述不同维度的格式信息包括：

21、所述信息处理模块，用于循环冗余校验码、记录的修改时间、记录的版本信息、关键值的哈希值和大小、记录的生存时间；

22、所述信息处理模块，用于为所述数据格式信息配置魔数，其中，所述魔数用于通过数据的后缀名保证数据的可用性。

23、上述方案中，

24、所述信息处理模块，用于基于所述数据格式信息，确定所述数据存储引擎中的数据存储体积；

25、所述信息处理模块，用于基于所述数据格式信息，确定所述数据存储引擎中的数据的对齐方式。

26、上述方案中，

27、所述信息处理模块，用于当所述数据访问请求为读请求时，根据所述读请求的关键字计算哈希值；

28、所述信息处理模块，用于根据所述哈希值，确定对应的哈希桶；

29、所述信息处理模块，用于利用所述哈希桶，根据所述数据文件结构中的偏移量和记录大小确定所述读请求所需要的数据块；

30、所述信息处理模块，用于根据所述读请求所需要的数据块，执行所述读请求，得到所述的读请求的处理结果。

31、上述方案中，

32、所述信息处理模块，用于当所述数据访问请求为写请求时，对所述写请求进行序列化处理；

33、所述信息处理模块，用于将所述写请求的记录进行对齐，并配置缓冲区；

34、根据所述数据文件结构将所述写请求写入所述数据存储引擎的缓冲区中；

35、根据所述哈希索引，对哈希桶中地址进行更新。

36、上述方案中，

37、所述信息处理模块，用于当所述数据访问请求为删除请求时，查找哈希冲突数组中所述删除请求对应的记录；

38、所述信息处理模块，用于对所述哈希冲突数组中的记录进行删除。

39、上述方案中，

40、所述信息处理模块，用于根据所述数据访问请求的处理结果，对所述数据存储引擎所有数据文件进行遍历，得到所有数据文件中的有效记录和无效记录；

41、所述信息处理模块，用于将所有数据文件中的有效记录进行合并，删除所有数据文件中的无效记录，得到有效记录的合并结果。

42、上述方案中，

43、所述信息处理模块，用于根据所述数据库系统的数据的标识信息，确定所述数据库系统对应的云服务器网络；

44、所述信息处理模块，用于将所述数据库系统的数据的更新结果，保存在所述云服务器网络中；

45、所述信息处理模块，用于当所述数据库系统出现数据丢失时，通过所述云服务器网络将所述更新结果发送至所述数据库系统。

46、本技术实施例还提供了一种电子设备，所述电子设备包括：

47、存储器，用于存储可执行指令；

48、处理器，用于运行所述存储器存储的可执行指令时，实现前序的数据处理方法。

49、本技术实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的数据处理方法。

50、本技术实施例具有以下有益效果：

51、1)本技术通过在数据库系统中获取数据存储引擎的结构信息；基于所述结构信息为所述数据存储引擎配置数据格式信息；基于所述数据格式信息，确定所述数据存储引擎中的数据文件结构；为所述数据存储引擎配置哈希索引；响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果；利用哈希索引对数据访问请求进行处理，能够提高内存的利用率，减少内存碎片和内存开销。

52、2)根据所述数据访问请求的处理结果，对所述数据存储引擎进行数据整理，删除无效的数据记录，可以实现实时数据整理，有效减少磁盘空间的开销，保证数据的安全性和准确性的情况下不需要占用数据库系统的硬件开销，减少了用户的使用成本。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述结构信息为所述数据存储引擎配置数据格式信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述数据格式信息，确定所述数据存储引擎中的数据文件结构，包括：

5.根据权利要求1所述的方法，其特征在于，所述响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果包括：

6.根据权利要求1所述的方法，其特征在于，所述响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果包括：

7.根据权利要求1所述的方法，其特征在于，所述响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述数据访问请求的处理结果，对所述数据存储引擎进行数据整理，删除无效的数据记录，包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.一种数据处理装置，其特征在于，所述装置包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，实现权利要求1至9任一项所述的数据处理方法。

13.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至9任一项所述的数据处理方法。

技术总结
本申请提供了一种数据处理方法，包括：在数据库系统中获取数据存储引擎的结构信息；基于所述结构信息为所述数据存储引擎配置数据格式信息；基于所述数据格式信息，确定所述数据存储引擎中的数据文件结构；为所述数据存储引擎配置哈希索引；响应于所接收的数据访问请求，根据所述数据文件结构和所述哈希索引，执行与所述数据访问请求相匹配的操作，得到所述数据访问请求的处理结果；根据所述数据访问请求的处理结果，对所述数据存储引擎进行数据整理，删除无效的数据记录。本申请还提供了数据处理装置、计算机程序产品、电子设备及存储介质。本申请能够减少数据库系统的硬件开销，减少了用户的使用成本。

技术研发人员：温志豪,杨绍鹏,高绍涵,江铭
受保护的技术使用者：深圳市腾讯网络信息技术有限公司
技术研发日：
技术公布日：2024/9/23