数据存储方法和数据存储装置与流程

本申请涉及存储，尤其涉及一种数据存储方法和数据存储装置。

背景技术：

1、随着车联网技术的快速发展，车辆产生的数据量呈现爆炸式增长。车机会向云端服务器上报各个组件的上万种不同的信号数据，这些数据不仅用于实时指标分析和短期、中长期的数据统计，还常常需要用于历史数据的个性化查询。由于车机的组件复杂，信号量大，且数据传输存在补发机制，传统的数据存储方案要么成本高昂，要么无法满足实时查询和长期存储的需求。因此，如何在保证存储成本可控的前提下，实现车联网数据的高效存储，成为当前亟待解决的问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据存储方法和数据存储装置，以解决现有技术中海量数据存储成本高、查询不便的问题。

2、本申请实施例的第一方面，提供了一种数据存储方法，包括：

3、获取待存储数据，确定待存储数据的唯一标识和时间戳；

4、基于待存储数据的唯一标识和时间戳确定第一存储路径，第一存储路径至少包括一级目录、二级目录以及目标第i数据存储文件，目标第i数据存储文件为i级目录中的数据存储文件，且目标第i数据存储文件包括数据描述和时间信息，i为大于1的正整数；

5、响应于确定目标第i数据存储文件满足预设存储条件，将待存储数据存储至目标第i数据存储文件；

6、其中，预设存储条件包括目标第i数据存储文件的时间信息不满足时间拆分条件，且目标第i数据存储文件的数据容量不满足容量拆分条件。

7、本申请实施例的第二方面，提供了一种数据存储装置，包括：

8、获取模块，被配置为获取待存储数据，确定待存储数据的唯一标识和时间戳；

9、确定模块，被配置为基于待存储数据的唯一标识和时间戳确定第一存储路径，第一存储路径至少包括一级目录、二级目录以及目标第i数据存储文件，目标第i数据存储文件为i级目录中的数据存储文件，且目标第i数据存储文件包括数据描述和时间信息，i为大于1的正整数；

10、存储模块，被配置为响应于确定目标第i数据存储文件满足预设存储条件，将待存储数据存储至目标第i数据存储文件；

11、其中，预设存储条件包括目标第i数据存储文件的时间信息不满足时间拆分条件，且目标第i数据存储文件的数据容量不满足容量拆分条件。

12、本申请实施例与现有技术相比存在的有益效果是：本申请实施例通过获取的待存储数据中的唯一标识和时间戳，确定待存储数据的第一存储路径，该第一存储路径至少包括一级目录、二级目录以及目标第i数据存储文件，在判断确定的目标第i数据存储文件的时间信息不满足时间拆分条件且目标第i数据存储文件的数据容量不满足容量拆分条件时，将待存储数据存储至该目标第i数据存储文件，实现了数据分级存储，且在数据存储文件中，除保存的数据外还额外保存数据描述，使得存储的数据具有较高的可迁移性，实现了存储成本可控情况下的待存储数据高效存储。

13、进一步的，本身器实施例还提供了多级数据存储中的各层级目录的文件存储和目录扩展方法，即数据在二级及以下的各目录中，优先以文件的形式进行存储，当目录中的文件总容量超过预设容量阈值，或者满足其他用户规定的条件时，将目录拆分为下一级目录组，由下一级目录组中的各目录继续对文件进行存储，且数据存储系统的层级、目录组中的目录数量、目录中的文件数量以及目录拆分的条件等都可以动态调整，从而能够提供清晰简要的分级存储结构，保证数据写入效率节省存储空间的同时，还能加快数据更新和查询速度。

14、更进一步的，待存储数据在临时态文件中保存，临时态文件可以在满足第一转换条件时转换为稳定态文件，稳定态文件可以在满足第二转换条件时转换为休眠态文件，且休眠态文件还可以被唤醒。即，存储文件的状态可以在不同状态中转换，降低了数据存储成本，达到了存储成本和查询效率的平衡。

15、再进一步的，本申请的数据存储方法，无论在数据存储还是存储数据的文件状态转换时，都能实现读写分离，所有操作保证粒子性，与其他操作互不影响，增加数据存储系统的健壮性。

技术特征：

1.一种数据存储方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述一级目录位于数据存储系统的第一层，所述二级目录位于数据存储系统的第二层；

3.根据权利要求2所述的方法，其特征在于，响应于i等于2，所述基于所述待存储数据的唯一标识和时间戳确定第一存储路径，包括：

4.根据权利要求2所述的方法，其特征在于，响应于i大于2，所述第一存储路径还包括三级至i级目录；

5.根据权利要求4所述的方法，其特征在于，所述基于所述待存储数据的唯一标识和时间戳确定第一存储路径，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至6中任意一项所述的方法，其特征在于，数据存储系统的最大层数、各层最大目录组数量、各目录组中的最大目录数量、各目录中的最大数据存储文件数量和各目录的目录拆分条件根据预设动态调整策略更新；

8.根据权利要求7所述的方法，其特征在于，在将待存储数据存储至各数据存储文件之前，所述方法还包括：

9.根据权利要求7所述的方法，其特征在于，数据存储文件包括临时态文件、稳定态文件和休眠态文件，所述临时态文件和稳定态文件存储于第一类存储介质，所述休眠态文件存储于第二类存储介质；

10.根据权利要求9所述的方法，其特征在于，目标临时态文件通过如下方式被转换为目标稳定态文件：

11.根据权利要求10所述的方法，其特征在于，所述将所述目标临时态文件中的数据写入所述第一稳定态文件，包括：

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

13.根据权利要求9所述的方法，其特征在于，目标稳定态文件通过如下方式被转换为目标休眠态文件：

14.根据权利要求13所述的方法，其特征在于，所述目标休眠态文件采用如下方式被唤醒：

15.一种数据存储装置，其特征在于，包括：

技术总结
本申请涉及存储技术领域，提供了一种数据存储方法和数据存储装置。该方法基于获取的待存储数据中的唯一标识和时间戳，确定待存储数据的第一存储路径，该第一存储路径至少包括一级目录、二级目录以及目标第i数据存储文件，在判断确定的目标第i数据存储文件的时间信息不满足时间拆分条件且目标第i数据存储文件的数据容量不满足容量拆分条件时，将待存储数据存储至该目标第i数据存储文件，实现了数据分级存储，且在数据存储文件中，除保存的数据外还额外保存数据描述，使得存储的数据具有较高的可迁移性，实现了存储成本可控情况下的待存储数据高效存储。

技术研发人员：刘婵,范仲禹,李伟
受保护的技术使用者：成都赛力斯科技有限公司
技术研发日：
技术公布日：2024/9/23