一种多层分类数据体系的数据更新方法
一种多层分类数据体系的数据更新方法
【技术领域】
:
[0001]本发明涉及大数据的分类和处理技术领域，具体讲是一种多层分类数据体系的数据更新方法。
【背景技术】
:
[0002]在数据处理特别是大数据的分类和处理领域中，存在大量的数据需要进行分类，而往往这些数据的分类依据多种分类标准由多个主体独立进行维护，这些独立维护的分类数据无法保证数据的一致性从而影响数据的更新和同步。
[0003]通常，我们把数据的分类和数据的处理统称为体系数据。把由主体数据维护责任人发布的体系数据称为主体系数据，由部分数据维护责任人发布的体系数据称为部分体系数据。这样上述问题可以描述为主体系数据和部分体系数据的更新和同步问题。
[0004]传统的分层数据体系更新方法是主动将主体系数据往各分体系推送以达到各分体系数据更新，主要使用的技术手段包括使用数据库自带的触发器机制和数据同步复制机制向各分体系进行推送或者通过文件Web service服务直接从主体系中读取数据来更新各分体系数据。通常数据库管理软件都带有触发器机制，比如在实际操作中，表A数据变化同时，表B同时需要变化，这时候可以在表A中添加一个触发器，只要对表A数据进行操作，立刻会按照触发器预先设置的操作要求对表B数据进行处理。上述传统分层数据体系更新方法在实际应用中存在以下缺陷:1、上述技术主要针对同源数据库，对于异构数据库由于数据格式定义的差异无法完成数据同步更新；2、对于各分体系同时从主体系中读取更新数据时会造成主体系数据访问压力；3、主体系数据跟各分体系数据进行同步交互时对于网络要求也较高。
【发明内容】
:
[0005]本发明要解决的技术问题是，提供一种不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新的多层分类数据体系的数据更新方法。
[0006]本发明的技术解决方案是，提供一种多层分类数据体系的数据更新方法，该数据更新方法包括以下步骤:
[0007]①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表；
[0008]②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
[0009]③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。
[0010]采用上述方法后，与现有技术相比，本发明的有益技术效果是:
[0011]1、本发明中的主体系数据与各分体系数据是通过一个映射表进行建立管理的，当主体系表更新时，先更新主体系数据表，主体系数据表根据触发器同步更新各分体系数据，换句话说，只要主体系数据更新，各分体系数据就会同步更新，从而保证主体系和分体系数据相一致。
[0012]2、各分体系端从主体系端定时将数据同步到分体系端，这样分体系端就相当于从本地读取主体系端数据，从而可以减少分体系所在端对主体系所在端的访问压力。
[0013]3、本发明中主体系端和分体系端不需要实时连接，可以设置具体的连接时间，比如默认一个小时会同步一次主体系数据和分体系数据，这样减少分体系向主体系访问量，不需要太大的宽带服务，因此本发明的实施过程中对网络的要求比较低。
[0014]4、本发明可以通过程序定时执行数据同步，无需人工手动操作，因此其过程比较简单。
[0015]5、所有更新数据都是经过加密处理，保证了数据的安全，同时在数据传输完成后会检验更新文件的完整型，保证每次更新数据的有效性。
【附图说明】
:
[0016]图1是分类名称和URI说明示意图；
[0017]图2主体系与分体系之间的映射关系示意图；
[0018]图3是主体系数据更新到分体系的流程图；
[0019]图4是分体系数据上传到主体系的流程图。
具体实施例:
[0020]下面结合附图和具体实施例对本发明一种多层分类数据体系的数据更新方法作进一步说明:
[0021]多层分类数据主要是指以树形结构进行存储和展示的数据，通过URI资源定位进行层级定位区分，如图1所示，技术标准的URI为JSBZ，技术标准下面的分类综合标准的URI为JSBZ.ZHBZ,技术标准下面的信息技术为JSBZ.XXJS,这样可通过URI对多层分类数据进行解析，实现以树形结构进行展示。多层分类数据体系的数据更新涉及到两个方面的数据同步更新，一个是分体系从主体系获取最新分层数据并进行更新，另一个是分体系主动将自建数据同步到主体系中。通过这两种步骤后可以达到主体系和分体系数据进行同步更新，以及将各分体系自建数据同步到主体系中。
[0022]在本具体实施例中，本发明一种多层分类数据体系的数据更新方法包括以下步骤:、
[0023]①、先建立一个公共的主体系表，然后各分体系数据副本表通过主体系表派生出来，由于每个分体系数据不同，所以派生出来的结果也不相同，主体系表与分体系表之间通过映射关系表，如图1所示，来确定对应关系；
[0024]②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密处理，并生成更新文件的hash值检验码，如果生成更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
[0025]③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，然后实现定时同步更新主体系数据和上传分体系数据。
[0026]其中，映射关系表的映射原理是:主体系端保存的数据包括主体系表A和各分体系表BI，B2...，表A和各分体系表B的关系就是通过映射表来建立对应关系，该映射表存放的分别对应主体系表关键字和各分体系表关键字，如主体系表A —个分类数据为技术标准，对应 的URI为M.JSBZ.同时各分体系数据也要有技术标准分类那么，各分体系URI对应的为C.B1.JSBZ、C.B2.JSBZ、C.B3.JSBZ,这样通过映射表，可以找到主体系表A总共派生了多少分体系数据，同时也可以根据分体系数据找到对应的主体系数据。
[0027]本发明中在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表的目的为了解决目前由于分体系同时对主体系数据的集中访问而造成的服务器访问压力以及对各分体系异构数据源的支持，对主体系表的任何操作都可以通过映射关系来对各分体系数据进行同步操作，这样可以保持主体系数据与分体系数据相一致。
[0028]如图2所示，利用本发明一种多层分类数据体系的数据更新方法，主体系数据更新到分体系中的具体步骤如下:
[0029]①、主体系更新数据时利用触发器机制和根据映射关系表的映射关系，通过URI来同步更新各分体系数据副本；
[0030]②、主体系数据所在端会定时扫描各分体系数据副本，并将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存并替换各分体系最新更新文件，保存hash值校验码，
[0031]③、各分体系所在端通过文件服务的Web service从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。
[0032]如图3所示，利用本发明一种多层分类数据体系的数据更新方法，分体系数据上传到主体系中的具体步骤如下:
[0033]①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中；
[0034]②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，若相同则不更新。
[0035]以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【主权项】
1.一种多层分类数据体系的数据更新方法，其特征在于:该数据更新方法包括以下步骤: ①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表; ②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码； ③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。2.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于:主体系数据更新到分体系中的具体步骤如下: ①、主体系更新数据时根据映射关系表的映射关系，通过URI来更新各分体系数据副本； ②、主体系数据所在端会定时扫描各分体系数据副本，将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存最新更新文件并更新hash值校验码， ③、各分体系所在端通过文件服务的Webservice从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。3.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于:分体系数据上传到主体系中的具体步骤如下: ①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中； ②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，并修改hash值校验码，若相同则不更新。
【专利摘要】一种多层分类数据体系的数据更新方法，该方法的步骤是首先在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表，然后对主体系和各分体系进行定时扫描，将扫描数据结果格式化为json格式并加密保存，并生成更新文件的hash值检验码，接着分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。本发明的优点是不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新。
【IPC分类】G06F17/30
【公开号】CN104899312
【申请号】CN201510329665
【发明人】孙建, 邵奎先, 张敏
【申请人】国家电网公司, 国网安徽省电力公司电力科学研究院
【公开日】2015年9月9日
【申请日】2015年6月15日
【技术领域】
:
[0001]本发明涉及大数据的分类和处理技术领域，具体讲是一种多层分类数据体系的数据更新方法。
【背景技术】
:
[0002]在数据处理特别是大数据的分类和处理领域中，存在大量的数据需要进行分类，而往往这些数据的分类依据多种分类标准由多个主体独立进行维护，这些独立维护的分类数据无法保证数据的一致性从而影响数据的更新和同步。
[0003]通常，我们把数据的分类和数据的处理统称为体系数据。把由主体数据维护责任人发布的体系数据称为主体系数据，由部分数据维护责任人发布的体系数据称为部分体系数据。这样上述问题可以描述为主体系数据和部分体系数据的更新和同步问题。
[0004]传统的分层数据体系更新方法是主动将主体系数据往各分体系推送以达到各分体系数据更新，主要使用的技术手段包括使用数据库自带的触发器机制和数据同步复制机制向各分体系进行推送或者通过文件Web service服务直接从主体系中读取数据来更新各分体系数据。通常数据库管理软件都带有触发器机制，比如在实际操作中，表A数据变化同时，表B同时需要变化，这时候可以在表A中添加一个触发器，只要对表A数据进行操作，立刻会按照触发器预先设置的操作要求对表B数据进行处理。上述传统分层数据体系更新方法在实际应用中存在以下缺陷:1、上述技术主要针对同源数据库，对于异构数据库由于数据格式定义的差异无法完成数据同步更新；2、对于各分体系同时从主体系中读取更新数据时会造成主体系数据访问压力；3、主体系数据跟各分体系数据进行同步交互时对于网络要求也较高。
【发明内容】
:
[0005]本发明要解决的技术问题是，提供一种不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新的多层分类数据体系的数据更新方法。
[0006]本发明的技术解决方案是，提供一种多层分类数据体系的数据更新方法，该数据更新方法包括以下步骤:
[0007]①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表；
[0008]②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
[0009]③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。
[0010]采用上述方法后，与现有技术相比，本发明的有益技术效果是:
[0011]1、本发明中的主体系数据与各分体系数据是通过一个映射表进行建立管理的，当主体系表更新时，先更新主体系数据表，主体系数据表根据触发器同步更新各分体系数据，换句话说，只要主体系数据更新，各分体系数据就会同步更新，从而保证主体系和分体系数据相一致。
[0012]2、各分体系端从主体系端定时将数据同步到分体系端，这样分体系端就相当于从本地读取主体系端数据，从而可以减少分体系所在端对主体系所在端的访问压力。
[0013]3、本发明中主体系端和分体系端不需要实时连接，可以设置具体的连接时间，比如默认一个小时会同步一次主体系数据和分体系数据，这样减少分体系向主体系访问量，不需要太大的宽带服务，因此本发明的实施过程中对网络的要求比较低。
[0014]4、本发明可以通过程序定时执行数据同步，无需人工手动操作，因此其过程比较简单。
[0015]5、所有更新数据都是经过加密处理，保证了数据的安全，同时在数据传输完成后会检验更新文件的完整型，保证每次更新数据的有效性。
【附图说明】
:
[0016]图1是分类名称和URI说明示意图；
[0017]图2主体系与分体系之间的映射关系示意图；
[0018]图3是主体系数据更新到分体系的流程图；
[0019]图4是分体系数据上传到主体系的流程图。
具体实施例:
[0020]下面结合附图和具体实施例对本发明一种多层分类数据体系的数据更新方法作进一步说明:
[0021]多层分类数据主要是指以树形结构进行存储和展示的数据，通过URI资源定位进行层级定位区分，如图1所示，技术标准的URI为JSBZ，技术标准下面的分类综合标准的URI为JSBZ.ZHBZ,技术标准下面的信息技术为JSBZ.XXJS,这样可通过URI对多层分类数据进行解析，实现以树形结构进行展示。多层分类数据体系的数据更新涉及到两个方面的数据同步更新，一个是分体系从主体系获取最新分层数据并进行更新，另一个是分体系主动将自建数据同步到主体系中。通过这两种步骤后可以达到主体系和分体系数据进行同步更新，以及将各分体系自建数据同步到主体系中。
[0022]在本具体实施例中，本发明一种多层分类数据体系的数据更新方法包括以下步骤:、
[0023]①、先建立一个公共的主体系表，然后各分体系数据副本表通过主体系表派生出来，由于每个分体系数据不同，所以派生出来的结果也不相同，主体系表与分体系表之间通过映射关系表，如图1所示，来确定对应关系；
[0024]②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密处理，并生成更新文件的hash值检验码，如果生成更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码；
[0025]③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，然后实现定时同步更新主体系数据和上传分体系数据。
[0026]其中，映射关系表的映射原理是:主体系端保存的数据包括主体系表A和各分体系表BI，B2...，表A和各分体系表B的关系就是通过映射表来建立对应关系，该映射表存放的分别对应主体系表关键字和各分体系表关键字，如主体系表A —个分类数据为技术标准，对应 的URI为M.JSBZ.同时各分体系数据也要有技术标准分类那么，各分体系URI对应的为C.B1.JSBZ、C.B2.JSBZ、C.B3.JSBZ,这样通过映射表，可以找到主体系表A总共派生了多少分体系数据，同时也可以根据分体系数据找到对应的主体系数据。
[0027]本发明中在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表的目的为了解决目前由于分体系同时对主体系数据的集中访问而造成的服务器访问压力以及对各分体系异构数据源的支持，对主体系表的任何操作都可以通过映射关系来对各分体系数据进行同步操作，这样可以保持主体系数据与分体系数据相一致。
[0028]如图2所示，利用本发明一种多层分类数据体系的数据更新方法，主体系数据更新到分体系中的具体步骤如下:
[0029]①、主体系更新数据时利用触发器机制和根据映射关系表的映射关系，通过URI来同步更新各分体系数据副本；
[0030]②、主体系数据所在端会定时扫描各分体系数据副本，并将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存并替换各分体系最新更新文件，保存hash值校验码，
[0031]③、各分体系所在端通过文件服务的Web service从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。
[0032]如图3所示，利用本发明一种多层分类数据体系的数据更新方法，分体系数据上传到主体系中的具体步骤如下:
[0033]①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中；
[0034]②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，若相同则不更新。
[0035]以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【主权项】
1.一种多层分类数据体系的数据更新方法，其特征在于:该数据更新方法包括以下步骤: ①、在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表; ②、对主体系和各分体系进行定时扫描，并将扫描结果以json的方式进行格式化，同时进行加密保存，并生成更新文件的hash值检验码，如果更新文件的hash值检验码与本地已经存在的数据文件hash值检验码相同，则不替换更新文件，若生成的hash值检验码不同，则将保存最新更新文件并更新hash值校验码； ③、分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。2.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于:主体系数据更新到分体系中的具体步骤如下: ①、主体系更新数据时根据映射关系表的映射关系，通过URI来更新各分体系数据副本； ②、主体系数据所在端会定时扫描各分体系数据副本，将扫描数据结果格式化为json格式并加密保存，同时生成该更新文件的hash值校验码，如果生成的hash值校验码与本地已经存在的数据文件hash值校验码相同，则不替换更新文件，若生成的hash值校验码不同则将保存最新更新文件并更新hash值校验码， ③、各分体系所在端通过文件服务的Webservice从主体系所在端读取对应的数据副本，若读取的更新文件hash值校验码跟分体系所在端存在的更新文件hash值校验码相同，则不处理，若不同，则读取最新数据副本，解密和解析更新文件数据并更新到分体系中，同时更新分体系所在端最新的更新文件和文件的hash值校验码。3.根据权利要求1所述的一种多层分类数据体系的数据更新方法，其特征在于:分体系数据上传到主体系中的具体步骤如下: ①、各分体系所在端定时扫描自建数据，将扫描结果进行json格式化后加密保存，同时生成文件对应的hash值校验码，如果生成的校验码与本地已经存在的数据文件校验码相同，则不替换更新文件，若生成的校验码不同则将保存并更新hash值校验码，同时通过文件服务的Web service将数据文件上传至主体系所在端对应的各分体系更新文件目录中； ②、主体系所在端定时扫描保存的各分体系更新目录中最新更新文件的校验码，若最新数据文件的校验码与最近一次更新的校验码不同，则解密和解析数据文件并生成更新脚本进行数据更新，并修改hash值校验码，若相同则不更新。
【专利摘要】一种多层分类数据体系的数据更新方法，该方法的步骤是首先在主体系表中添加各分体系数据副本表以及主体系表与分体系表之间的映射关系表，然后对主体系和各分体系进行定时扫描，将扫描数据结果格式化为json格式并加密保存，并生成更新文件的hash值检验码，接着分体系所在端定时扫描主体系端是否有最新文件和定时扫描自身是否有最新更新内容，并生成对应的更新文件，最后实现定时同步更新主体系数据和上传分体系数据。本发明的优点是不但可以减少分体系所在端对主体系所在端的访问压力，保证主体系和分体系数据相一致，而且对网络要求低，过程简单，能够保证数据的安全传递、有效更新。
【IPC分类】G06F17/30
【公开号】CN104899312
【申请号】CN201510329665
【发明人】孙建, 邵奎先, 张敏
【申请人】国家电网公司, 国网安徽省电力公司电力科学研究院
【公开日】2015年9月9日
【申请日】2015年6月15日
最新回复(0)