本发明属于超算软件,具体涉及基于共享架构的超算软件运营管理系统及方法。
背景技术:
1、共享存储架构允许多个主机通过高速网络同时访问同一块存储区域,从而实现数据共享和负载均衡。在传统的存储区域网络(san)或网络附加存储(nas)环境中,这种架构有助于提高存储资源的利用率和灵活性;与普通的个人电脑和服务器相比,超级计算机是一种计算力极强的计算机,学术界通常称这一领域为高性能计算。超级计算机主要为最顶尖的科学研究服务,包括核聚变模拟、石油勘探、量子力学、气候模拟、癌症研究、基因组学、分子动力学、飞机和航天器空气动力学、量化金融、计量经济和当前火热的各类民用人工智能,超算软件及时超级计算上的软件,为了实现远程或者本地运行超算软件,就需要共享架构进行操作,然而市面上各种的超算软件在共享上仍存在各种各样的问题。
2、如授权公告号为cn111159752a所公开的一种机构间信息共享方法和装置,其虽然实现了利用了现有机构自身的权限等级机制,并且因地适宜的设计了一套与所述权限对等的分级信息共享架构,对于操作人员而言只需要设定生成摘要的参数项,自动化实现现有的机构数据到本发明所提出的分级信息共享架构的转移,从而提高了现有机构平台中数据转换到信息共享平台的效率,但是并未解决现有的超算软件由于软件和硬件资源的多样性和复杂性,往往难以实现资源的统一管理和有效共享,以及不便于灵活适配等的问题,为此我们提出基于共享架构的超算软件运营管理系统及方法。
技术实现思路
1、本发明的目的在于提供基于共享架构的超算软件运营管理系统及方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:基于共享架构的超算软件运营管理系统,包括中央服务器,所述中央服务器将超算软件及其依赖的软硬件环境打包成一个独立的单元,即先通过硬件抽象对硬件进行抽象处理,再通过软件抽象对软件进行抽象处理,最后在通过抽象封装将软硬件抽象后的单元进行封装处理,通过软硬件抽象,不是直接与硬件设备通信的程序,将程序传达给操作系统设备应执行的操作,然后,操作系统会向设备生成硬件相关的指令;
3、所述硬件抽象形成底层硬件和操作系统的上一层之间提供统一的接口,从而隐藏了具体的底层硬件与上一层之间的硬件差异,消除硬件差异,为操作系统提供一致的硬件,统一的操作系统及应用层的代码用于所有硬件;
4、所述软件抽象把超算软件的计算逻辑进行分析,把事物从逻辑上分开,解偶逻辑之间的联系,把接口拉高,向高层抽象,忽视平台逻辑;
5、包括有节点服务器,所述节点服务器通过高速互联网与所述中央服务器进行通讯连接,所述中央服务器将软件件抽象封装的单元进行压缩传输,将独立单元克隆给所述节点服务器,所述节点服务器通过运行驱动器运行虚拟机,使得虚拟机通过接口运行独立单元,实现在本地或远程环境中快速部署和运行超算软件,无需关注底层的软硬件配置和细节;
6、所述节点服务器上设有后台运行管理,所述后台运行管理通过集成监控、调度和优化算法,实时收集和分析计算资源的运行状态和使用情况,从而实现对计算任务的智能调度和管理。
7、较佳的,所述硬件抽象包括有接口标准化、硬件无关性和驱动封装;
8、所述接口标准化为不同硬件平台提供统一的api,即使底层硬件发生变化,上层软件也能通过相同的接口访问硬件资源;
9、所述硬件无关性是上层应用程序无需考虑具体的硬件型号或特性,只需要调用统一的接口函数,降低了应用程序对硬件的依赖;
10、所述驱动封装将底层硬件驱动的功能进行封装,简化了对硬件的操作。
11、较佳的,所述抽象封装用于隐藏实现细节,使得代码模块化,继承扩展已存在的代码模块,实现代码重用;
12、所述抽象封装就是将数据或函数等集合在一个个的单元中,被封装的对象通常被称为抽象数据类型;
13、所述抽象封装是对象含有完整的属性和与之对应的方法时称为封装。
14、较佳的,所述压缩传输的压缩路径包括有数据分流模块,所述数据分流模块用于实现对数据信息进行分段,将长数据分割成相同大小字节的数据流,包括有数据压缩模块,所述数据压缩模块用于对数据信息进行压缩处理,降低数据信息在存储时占用的资源空间,包括有数据打包模块,所述数据打包模块用于对压缩后的数据信息进行打包存储。
15、较佳的,所述虚拟机是在计算机中模拟出一个或多个虚拟的计算机环境,虚拟环境像真实的计算机一样运行操作系统、应用程序,通过软件模拟硬件功能,为上层应用程序提供一个与真实硬件环境隔离、但又功能完备的虚拟运行环境。
16、较佳的,所述虚拟机通过虚拟化技术将物理硬件资源抽象为虚拟资源,分为全虚拟化、半虚拟化、操作系统级虚拟化;
17、所述虚拟机通过虚拟机管理程序创建、管理和调度虚拟机;
18、所述虚拟机通过虚拟机镜像文件,用于存储虚拟机的虚拟硬盘,包含了虚拟机操作系统、应用程序、配置信息和用户数据,虚拟机镜像文件方便地进行备份、迁移和复制操作;
19、所述虚拟机通过资源调度算法提高资源的利用率和满足服务质量要求,需要使用有效的资源调度算法,如负载均衡算法、资源预留算法和节能调度算法。
20、较佳的,所述后台运行管理通过集成监控、调度和优化算法;
21、所述监控对数据流、数据存储和数据处理进行实时监测,及时发现数据异常和错误,提高数据的可靠性和准确性,及时采取措施进行修复和纠正,以保证数据的可靠性和完整性,对数据访问进行实时监测和管理,以确保数据安全和保密性,防止数据泄露、数据丢失等风险,从而提高数据的可靠性和准确性;
22、所述调度是系统根据任务的优先级、资源利用率和能耗情况因素,动态调整计算资源的分配和调度策略,确保高优先级的任务能够得到优先处理,同时优化整体计算性能和能耗表现;
23、所述优化算法采用ai算法对资源的调度进行计算分配。
24、较佳的,所述ai算法的计算如下:
25、神经网络输入神经元信息和对应的权重矩阵w来决定的,wtxt,x是一个向量,w是一个权重矩阵,通过w来将x转换成另外的向量;
26、前一个时刻的隐藏层神经元向当前时刻的神经元的信息传递,其值有st-1和对应的权重矩阵u来决定,utst-1,st-1是一个向量,u是一个权重矩阵,通过u来将st-1转换成另外的向量;
27、主要是当前时刻的神经元ht,将上述两个部分的输入整合,激活生成当前时刻隐藏层神经元的输出,整合的过程就是向量相加:wtxt+utst-1;
28、在假设激活函数为f,则激活后生成当前时刻神经元的值:st=f(wtxt+utst-1);
29、信息传递主要是将当前时刻隐藏层神经元的值传递到当前时刻的输出神经元中去:
30、ot=g(vtst);
31、则向前的公式如下:
32、st=f(wtxt+utst-1),ot=g(vtst)=g(vtf(wtxt+utst-1));
33、在整个神经网络中,一共包含的三中权重矩阵,第一个矩阵是w,给矩阵的维度为(n,k),n表示隐藏层神经元值的向量维度,k表示输入神经单元的向量的维度,第二个权重矩阵是v,该矩阵的维度为(l,n),其中p表示输出层的神经元的向量维度,第三个是权重矩阵u,该矩阵的维度是(n,n)。
34、较佳的,所述节点服务器上设有权限管理,所述权限管理用于所述节点服务器访问中央服务器,所述节点服务器采用身份认证技术进行身份确定,主要有pki体系和非pki体系,所述pki体系主要用于信息认证,所述非pki体系主要用于用户身份认证,采用数字签名和哈希函数保证信息的可靠性和完整性。
35、基于共享架构的超算软件运营管理系统的使用方法,包括有以下步骤:
36、s1、节点服务器与中央服务器通讯连接:节点服务器在需要下载超算软件的时候,通过高速互联网与中央服务器通讯连接,建立网络连接通道;
37、s2、中央服务器对节点服务器进行认证:在网络连接的时候,中央服务器对节点服务器进行连接认证,即节点服务器通过权限管理实现登录,并且在通讯连接的时候,与中央服务器连接的时候通过身份认证技术进行身份确定;
38、s3、中央服务器进行软硬件封装:中央服务器将超算软件进行软件抽象处理,然后再进行封装处理,使得超算软件形成一个独立的单元,并且在节点服务器进行通讯连接之后,通过克隆将单元进行复制,再通过压缩传输进行发送给节点服务器;
39、s4、节点服务器进行运行使用:节点服务器在接收到传输的单元后,运行驱动器和虚拟机通过接口对单元进行运行,实现在本地或远程环境中快速部署和运行超算软件,无需关注底层的软硬件配置和细节;
40、s5、运行过程的后台管理:后台运行管理支持动态资源调度和负载均衡,能够根据实际需求对计算资源进行动态分配和调整,从而进一步提高计算资源的利用率和运营效率;通过集成先进的监控、调度和优化算法,系统能够实时收集和分析计算资源的运行状态和使用情况,从而实现对计算任务的智能调度和管理;即根据任务的优先级、资源利用率和能耗情况等因素,动态调整计算资源的分配和调度策略,确保高优先级的任务能够得到优先处理,同时优化整体计算性能和能耗表现;还提供了丰富的数据可视化工具和分析报告,更好地了解计算资源的使用情况和性能表现,为后续的优化和改进提供有力支持。
41、与现有技术相比,本发明的有益效果是:
42、本发明通过采用共享架构设计,将软件和硬件资源进行抽象和封装,实现了资源的打包共享,即将超算软件及其依赖的软硬件环境打包成一个独立的单元,单元可以作为一个整体进行共享和传输,当用户需要使用某个超算软件时,只需从系统中获取相应的打包单元,即可在本地或远程环境中快速部署和运行该软件,无需关注底层的软硬件配置和细节;不仅简化了软件部署和使用的流程,还降低了对硬件环境的依赖,使得超算软件能够更加灵活地适应不同的应用场景和用户需求;
43、通过引入虚拟化技术,实现了对不同软硬件配置的兼容,系统可以自动识别并适配不同的硬件环境,自动调整软件配置参数,以确保软件能够在各种环境下稳定运行;
44、通过集成的监控、调度和优化算法,系统能够实时收集和分析计算资源的运行状态和使用情况,从而实现对计算任务的智能调度和管理;根据任务的优先级、资源利用率和能耗情况等因素,动态调整计算资源的分配和调度策略,确保高优先级的任务能够得到优先处理,同时优化整体计算性能和能耗表现;
45、有效提升了后台计算运营管理的效率和便捷性,为超算软件的应用和发展提供了有力支持。
1.基于共享架构的超算软件运营管理系统,包括中央服务器,其特征在于:所述中央服务器将超算软件及其依赖的软硬件环境打包成一个独立的单元,即先通过硬件抽象对硬件进行抽象处理,再通过软件抽象对软件进行抽象处理,最后在通过抽象封装将软硬件抽象后的单元进行封装处理,通过软硬件抽象,不是直接与硬件设备通信的程序,将程序传达给操作系统设备应执行的操作,然后,操作系统会向设备生成硬件相关的指令;
2.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述硬件抽象包括有接口标准化、硬件无关性和驱动封装;
3.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述抽象封装用于隐藏实现细节,使得代码模块化,继承扩展已存在的代码模块,实现代码重用;
4.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述压缩传输的压缩路径包括有数据分流模块,所述数据分流模块用于实现对数据信息进行分段,将长数据分割成相同大小字节的数据流,包括有数据压缩模块,所述数据压缩模块用于对数据信息进行压缩处理,降低数据信息在存储时占用的资源空间,包括有数据打包模块,所述数据打包模块用于对压缩后的数据信息进行打包存储。
5.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述虚拟机是在计算机中模拟出一个或多个虚拟的计算机环境,虚拟环境像真实的计算机一样运行操作系统、应用程序,通过软件模拟硬件功能,为上层应用程序提供一个与真实硬件环境隔离、但又功能完备的虚拟运行环境。
6.根据权利要求5所述的基于共享架构的超算软件运营管理系统,其特征在于:所述虚拟机通过虚拟化技术将物理硬件资源抽象为虚拟资源,分为全虚拟化、半虚拟化、操作系统级虚拟化;
7.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述后台运行管理通过集成监控、调度和优化算法;
8.根据权利要求7所述的基于共享架构的超算软件运营管理系统,其特征在于:所述ai算法的计算如下:
9.根据权利要求1所述的基于共享架构的超算软件运营管理系统,其特征在于:所述节点服务器上设有权限管理,所述权限管理用于所述节点服务器访问中央服务器,所述节点服务器采用身份认证技术进行身份确定,主要有pki体系和非pki体系,所述pki体系主要用于信息认证,所述非pki体系主要用于用户身份认证,采用数字签名和哈希函数保证信息的可靠性和完整性。
10.基于共享架构的超算软件运营管理系统的使用方法,其特征在于,包括有以下步骤:
