面向对象存储的异构算力资源管理系统存储融合方法

本技术涉及存储，尤其涉及一种面向对象存储的异构算力资源管理系统存储融合方法。

背景技术：

1、随着数字经济的发展和万物互联的推进，数据量呈爆炸式增长，一方面促进了高性能计算、大数据、人工智能等应用的发展，这些应用需要处理越来越大规模的数据；另一方面催生了具备不同特性的文件系统，可以满足不同的应用场景和性能、容量、成本需求。

2、目前，超级计算中心、智能计算中心和云计算等算力平台可以采用不同架构的计算集群，并通过异构算力资源管理系统为不同类型的应用和作业提供支持，且异构算力资源管理系统接入的存储系统通常是并行文件系统和分布式文件系统。然而，在各算力平台采用华为云中的异构计算集群时，华为云中的异构计算集群使用的对象存储系统无法直接接入到异构算力资源管理系统中。

3、因此，如何将对象存储系统接入异构算力资源管理系统，以通过异构算力资源管理系统为华为云中的异构计算集群提供存储服务，是目前亟需解决的一个问题。

技术实现思路

1、本技术的主要目的在于提供一种面向对象存储的异构算力资源管理系统存储融合方法，旨在将对象存储系统接入异构算力资源管理系统，以通过异构算力资源管理系统为华为云中的异构计算集群提供存储服务。

2、为实现上述目的，本技术提供一种面向对象存储的异构算力资源管理系统存储融合方法，所述面向对象存储的异构算力资源管理系统存储融合方法应用于异构算力资源管理系统，所述异构算力资源管理系统包括存储管理平台和文件网关，所述文件网关与对象存储系统通信连接；

3、所述面向对象存储的异构算力资源管理系统存储融合方法包括：

4、响应于基于所述存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作；

5、在所述目标存储系统为所述对象存储系统的情况下，基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果；

6、基于所述查找结果对所述待操作文件进行所述待执行操作。

7、在一实施例中，在所述待执行操作为文件新增的情况下，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤包括：

8、若所述查找结果为不存在所述对象元数据，则通过所述文件网关调用对象操作接口以在所述对象存储系统中新增所述待操作文件；

9、若所述查找结果为存在所述对象元数据，则通过所述文件网关返回第一提示至所述存储管理平台，其中，所述第一提示表征所述对象存储系统中已存在所述待操作文件。

10、在一实施例中，在所述待执行操作为文件访问或者文件修改的情况下，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤包括：

11、若所述查找结果为不存在所述对象元数据，则通过所述文件网关返回第二提示至所述存储管理平台，其中，所述第二提示表征所述对象存储系统中不存在所述待操作文件；

12、若所述查找结果为存在所述对象元数据，则通过所述文件网关调用对象操作接口以访问或者修改所述对象存储系统中所述对象元数据对应的至少一个对象。

13、在一实施例中，所述基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果的步骤，包括：

14、对所述存储路径进行解析得到所述待操作文件的桶名和对象名；

15、基于所述桶名和所述对象名在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果。

16、在一实施例中，所述基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果的步骤之后，所述方法还包括：

17、在所述查找结果为存在所述对象元数据的情况下，获取所述对象元数据中的第一用户信息；

18、比对所述第一用户信息和触发所述文件操作事件的第二用户信息，得到比对结果；

19、在所述比对结果为比对一致的情况下，执行所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤。

20、在一实施例中，所述存储管理平台与所述文件网关通信连接，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤之后，所述方法还包括：

21、通过所述文件网关接收所述对象存储系统返回的文件操作结果，并将所述文件操作结果返回至所述存储管理平台。

22、在一实施例中，所述文件网关与文件存储系统通信连接，所述响应于基于所述存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作的步骤之后，所述方法还包括：

23、在所述目标存储系统为所述文件存储系统的情况下，通过所述文件网关调用文件操作接口，以在所述文件存储系统中基于存储路径对所述待操作文件进行所述待执行操作。

24、此外，为实现上述目的，本技术还提供一种存储融合装置，所述存储融合装置应用于异构算力资源管理系统，所述异构算力资源管理系统包括存储管理平台和文件网关，所述文件网关与对象存储系统通信连接；

25、所述存储融合装置包括：

26、获取模块，用于响应于基于所述存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作；

27、查找模块，用于在所述目标存储系统为所述对象存储系统的情况下，基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果；

28、操作模块，用于基于所述查找结果对所述待操作文件进行所述待执行操作。

29、此外，为实现上述目的，本技术还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现面向对象存储的异构算力资源管理系统存储融合方法的程序，所述实现面向对象存储的异构算力资源管理系统存储融合方法的程序被处理器执行以实现如上所述面向对象存储的异构算力资源管理系统存储融合方法的步骤。

30、此外，为实现上述目的，本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的面向对象存储的异构算力资源管理系统存储融合方法的步骤。

31、本技术提供了一种面向对象存储的异构算力资源管理系统存储融合方法，该方法应用于异构算力资源管理系统，异构算力资源管理系统包括存储管理平台和文件网关，且该文件网关与对象存储系统通信连接，本技术响应于基于存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作，在目标存储系统为对象存储系统的情况下，基于存储路径在对象存储系统中查找待操作文件的对象元数据，得到查找结果，然后基于该查找结果对待操作文件进行待执行操作。

32、如此，本技术通过在异构算力资源管理系统中设立文件网关，通过文件网关建立与对象存储系统之间的通信连接，以响应于用户基于存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作，并在目标存储系统是对象存储系统时，在对象存储系统中查找当前待操作文件的对象元数据，得到查找结果，从而基于查找结果对待操作文件进行待执行操作，实现了将对象存储系统接入异构算力资源管理系统，以通过异构算力资源管理系统为华为云中的异构计算集群提供存储服务。

技术特征：

1.一种面向对象存储的异构算力资源管理系统存储融合方法，其特征在于，所述面向对象存储的异构算力资源管理系统存储融合方法应用于异构算力资源管理系统，所述异构算力资源管理系统包括存储管理平台和文件网关，所述文件网关与对象存储系统通信连接；

2.如权利要求1所述的方法，其特征在于，在所述待执行操作为文件新增的情况下，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤包括：

3.如权利要求1所述的方法，其特征在于，在所述待执行操作为文件访问或者文件修改的情况下，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤包括：

4.如权利要求1所述的方法，其特征在于，所述基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果的步骤，包括：

5.如权利要求1所述的方法，其特征在于，所述基于所述存储路径在所述对象存储系统中查找所述待操作文件的对象元数据，得到查找结果的步骤之后，所述方法还包括：

6.如权利要求1至5中任一项所述的方法，其特征在于，所述存储管理平台与所述文件网关通信连接，所述基于所述查找结果对所述待操作文件进行所述待执行操作的步骤之后，所述方法还包括：

7.如权利要求1所述的方法，其特征在于，所述文件网关与文件存储系统通信连接，所述响应于基于所述存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作的步骤之后，所述方法还包括：

8.一种存储融合装置，其特征在于，所述存储融合装置应用于异构算力资源管理系统，所述异构算力资源管理系统包括存储管理平台和文件网关，所述文件网关与对象存储系统通信连接；

9.一种存储融合设备，其特征在于，所述存储融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的面向对象存储的异构算力资源管理系统存储融合方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的面向对象存储的异构算力资源管理系统存储融合方法的步骤。

技术总结
本申请公开了一种面向对象存储的异构算力资源管理系统存储融合方法，本申请涉及存储技术领域，所述面向对象存储的异构算力资源管理系统存储融合方法应用于异构算力资源管理系统；该方法包括：响应于基于存储管理平台触发的文件操作事件，获取待操作文件的目标存储系统、存储路径和待执行操作；在目标存储系统为对象存储系统的情况下，基于存储路径在对象存储系统中查找待操作文件的对象元数据，得到查找结果；基于查找结果对待操作文件进行待执行操作。本申请能够将对象存储系统接入异构算力资源管理系统，以通过异构算力资源管理系统为华为云中的异构计算集群提供存储服务。

技术研发人员：卢宇彤,曾楚轩,黄聃,胡宇杰,杨泓桢,杜量,潘小健,李飞鹏
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/9/23