本发明涉及数据处理，具体涉及数据管控平台的数据安全增强型元数据整合方法。
背景技术：
1、随着企业业务的不断发展，数据资产日益庞大和复杂，对数据的需求也日益增长，包括来自不同系统、不同格式、不同结构的数据源，为了有效地管理异源数据资产，需要对其中的元数据进行整合，以便对数据进行统一的描述、分类、索引和检索，在此过程中，数据安全是无法忽视的关键问题，特别是对于敏感和重要的业务数据，需要在数据整合过程中提供全方位的安全保障，确保数据在传输、存储和处理过程中的机密性、完整性和可用性。
2、现有技术中，由于需要处理来自不同平台、不同格式、不同结构的异构数据源，数据整合过程较为复杂，而在此基础上为保证数据安全，还需要加入数据安全增强措施，会进一步增加技术的复杂性，而且数据安全增强措施的操作也会增加数据的处理时间，进而出现性能瓶颈，影响整个数据管控平台的性能，并且对于大数据量和高并发的场景，性能瓶颈更为明显，因此，如何整合来自不同源的元数据，并提升数据的安全性，是我们要解决的问题，为此，现提出数据管控平台的数据安全增强型元数据整合方法。
技术实现思路
1、本发明目的在于提供数据管控平台的数据安全增强型元数据整合方法，以解决上述背景技术中提出的问题。
2、为解决上述技术问题，本发明所采用的技术方案是：
3、数据管控平台的数据安全增强型元数据整合方法，包括以下步骤：
4、步骤1，明确各种数据源类型并针对异构数据源进行需求分析，确定异构数据源的元数据信息；
5、步骤2，基于确定的异构数据源的元数据信息配置元数据采集任务，从异构数据源中提取元数据，并对其进行临时存储；
6、步骤3，对采集的元数据进行清洗及标准化处理，并引入数据安全增强措施；
7、步骤4，通过分析元数据的属性和语义构建语义模型，进行数据匹配和映射，建立异构数据源中相似数据对象的关联关系，并对异构数据源的元数据进行整合，将其存储进元数据存储库中；
8、步骤5，实时监控元数据整合过程的性能指标，并根据监控结果进行性能调优和拓展。
9、本发明技术方案的进一步改进在于：所述步骤1中，异构数据源需求分析的过程包括：步骤101，识别并提取异构数据源类型，包括但不限于关系型数据库、nosql数据库、文件系统、api接口、日志文件等，并收集每种数据源的相关信息，包括数据格式、结构、存储位置、访问权限、数据量，需要说明的是，数据源相关信息的获取，若涉及敏感性要求需获取授权；
10、步骤102，基于收集的异构数据源相关信息，分析异构数据源的使用场景，确定异构数据源的数据需求，数据需求包括分析异构数据源的数据格式、结构、评估数据质量和完整性、分析数据源的安全性以及明确数据的更新频率，以便确定元数据整合的时机和频率；
11、步骤103，根据异构数据源的类型和分析结果，定义每种数据源所需的元数据信息。
12、本发明技术方案的进一步改进在于：所述步骤2中，元数据采集任务的配置及提取过程包括：
13、步骤201，根据异构数据源的类型和元数据信息的需求，确定需采集的元数据项，元数据项包括表结构、字段名、数据类型、数据量、数据来源以及更新频率；
14、步骤202，根据数据源类型，调用元数据采集工具，如hive、多源异构数据采集管理系统，创建新的元数据采集任务，键入采集基本信息，并设置数据源连接关系、采集频率以及采集范围的参数，其中，采集基本信息包括任务名称、描述、采集目标，采集目标即为异构数据源；
15、步骤203，对采集参数进行验证，连接数据源并获取所需元数据，保存采集任务配置，并执行采集任务；
16、步骤204，根据采集任务中定义的参数，连接相应的异构数据源，如：对于关系型数据库，建立数据库连接；对于api接口，发送请求并接收响应；对于文件系统，打开并读取文件，并根据元数据需求，从异构数据源中提取所需的元数据，如：对于关系型数据库，可查询数据字典或系统表来获取表结构、字段名、数据类型信息；对于nosql数据库，可使用相应的查询语言来获取集合、文档结构；对于文件系统，可解析文件内容来获取元数据；
17、步骤205，构建临时数据仓库，将提取的元数据临时存储到临时数据仓库中。
18、本发明技术方案的进一步改进在于：所述步骤3中，元数据清洗及标准化处理的过程包括：
19、步骤301，清洗提取的元数据，进行缺失值处理、异常值处理、噪声处理以及重复数据处理，具体为，使用元数据唯一标识符来判断是否存在重复元数据并移除重复的元数据，确保数据的唯一性，再对缺失的元数据采取填充、删除或使用默认值的方式进行处理，异常值的检测和处理，采用截断、替换或删除的方式进行处理，元数据的噪声数据，如数据抖动、错误输入等，使用平滑处理或滤波方法进行处理；
20、步骤302，对于不同格式的元数据，进行格式转换，并将元数据统一到特定的标准格式；
21、步骤303，使用加密算法对敏感及重要的元数据进行加密存储，并设置访问控制策略，根据用户权限和角色，限制对敏感数据的访问权限，选择aes加密算法，生成加密和解密所需的密钥，确保密钥的安全性，对敏感及重要的元数据进行加密处理，将加密后的元数据存储到数据库中，确保即使数据泄露，攻击者也无法轻易读取其内容；定义用户角色和权限，区分不同用户对敏感数据的访问权限，根据用户角色和权限设置访问控制列表，规定用户可访问的数据类型，设定用户在访问敏感数据之前进行身份验证，使用用户名/密码方式，在用户成功身份验证后，验证用户的角色和权限，确保用户只能访问其被授权的数据，在数据访问过程中，根据用户的角色和权限实施访问控制，防止未经授权的访问和操作；
22、步骤304，基于云储存服务技术定期备份元数据，制定恢复计划，并记录元数据的访问和操作日志，方便追踪和审计元数据的使用情况。
23、本发明技术方案的进一步改进在于：所述步骤4中，语义模型的构建及异构数据源中相似数据对象关联关系的建立过程包括：
24、步骤401，基于异构数据源的类型、提取的元数据和确定的元数据信息需求，对元数据的属性和语义进行理解和解析，提取关键词、实体信息，并定义词汇表，用于表示数据的语义概念；
25、步骤402，根据定义的词汇表和提取的元数据，使用自然语言处理技术(nlp)构建语义模型；步骤403，使用语义模型解析元数据的属性和内容，并对元数据进行标注，为元数据的每个元素分配语义标签；
26、步骤404，基于语义标签，比较异构数据源的元数据，使用相似度算法评估元数据之间的相似性，识别相似或相同的数据对象，并建立元数据间的关联关系；
27、步骤405，根据建立的关联关系，将异构数据源的元数据进行整合，并对整合后元数据的数据完整性和数据一致性进行评估，基于整合后元数据提取非空字段的数量和总字段数量，得到数据完整性评估指数，对整合后元数据的完整性进行评估，基于整合后元数据提取不一致值的数量和总值的数量，得到数据一致性评估指数，对整合后元数据的一致性进行评估；
28、步骤406，结合数据完整性评估指数和数据一致性评估指数，综合分析得到数据质量评估系数，获取元数据的数据质量评估结果，并设定评估阈值结合划分质量等级，与整合后的元数据相匹配存储进元数据存储库中。
29、本发明技术方案的进一步改进在于：所述步骤404中，元数据间关联关系的建立过程包括：
30、步骤4041，将清洗及标准化处理后的异构数据源元数据转换为基于语义标签频率的向量表示；步骤4042，为每个元数据构建一个向量，其中每个维度对应于一个语义标签，向量的值为语义标签在元数据中出现的频率；
31、步骤4043，使用余弦相似度算法计算两个元数据向量之间的相似性，并根据相似度得分，识别相似或相同的数据对象；
32、步骤4044，对于识别为相似的元数据，建立异构数据源元数据间的关联关系；
33、其中，余弦相似度算法的计算公式为：
34、
35、其中，c为余弦相似度，a和b为两个元数据项的向量表示，a·b为两个向量的点积，表示对应元素相乘后求和，||a||和||b||分别为两个向量的模，表示向量中所有元素平方和的平方根，c的取值范围为[0，1]，需要说明的是，当两个向量完全相同时，余弦相似度为1，当两个向量正交(即垂直)时，余弦相似度为0。
36、本发明技术方案的进一步改进在于：所述数据完整性评估指数基于整合后元数据的非空字段的数量和总字段数量而获取，其计算公式为：
37、
38、其中，cw为数据完整性评估指数，nf为非空字段的数量，nz为总字段数量，cw的取值范围为[0，1]；
39、所述数据一致性评估指数基于整合后元数据的不一致值的数量和总值的数量而获取，其计算公式为：
40、
41、其中，cy为数据一致性评估指数，nv为不一致值的数量，nzv为总值的数量，cy的取值范围为[0，1]。
42、本发明技术方案的进一步改进在于：所述数据质量评估系数基于数据完整性评估指数和数据一致性评估指数分析而获取，其计算公式为：
43、
44、其中，dz为数据质量评估系数，用于表示数据的整体质量，为数据完整性评估指数，w1为数据完整性评估指数的权重，为数据一致性评估指数，w2为数据一致性评估指数的权重，w1+w2＝1，dz的取值范围为[0，1]，需要说明的是，dz的值越接近1，表示数据的整体质量越高，dz的值越接近0，表示数据的整体质量越低。
45、本发明技术方案的进一步改进在于：所述质量等级划分为四个，分别为高级质量等级、良好质量等级、中等质量等级以及低级质量等级；
46、多个所述质量等级对应多个所述评估阈值，其中，所述评估阈值包括上限阈值和下限阈值；多个所述质量等级与多个所述评估阈值满足如下关系：
47、高级质量等级dzl≤dz≤1；
48、良好质量等级dzz≤dz＜dzl；
49、中等质量等级dzd≤dz＜dzz；
50、低级质量等级0≤dz＜dzd；
51、其中，dz为数据质量评估系数，dzl为高级质量等级对应的下限阈值与良好质量等级对应的上限阈值，dzz为良好质量等级对应的下限阈值与中等质量等级对应的上限阈值，dzd为中等质量等级对应的下限阈值与低级质量等级对应的上限阈值，dzl＝0.9，dzz＝0.7，dzd＝0.5。
52、本发明技术方案的进一步改进在于：所述步骤5中，元数据整合过程性能指标的实时监控过程包括：
53、步骤501，实时监控数据管控平台的性能指标，性能指标包括吞吐量、延迟、错误率以及可用性，其中吞吐量指单位时间内处理的元数据数量，延迟指从接收元数据到完成整合所需的时间，错误率指在整合过程中出现的错误数量与总处理量的比例，可用性指数据管控平台能够正常提供服务的时间比例；
54、步骤502，使用prometheus监控工具实时收集性能指标的数据，并对采集到的性能指标数据进行趋势分析，结合数据需求和性能指标的历史数据，识别出存在的性能瓶颈及问题区域；步骤503，根据分析结果，定位到具体的性能瓶颈及问题，优化数据处理流程并调整硬件资源配置，其中，若性能瓶颈在于硬件，考虑升级处理器、增加内存容量、更换存储设备或优化网络设备，并确保新硬件与其他组件的兼容性；若对软件进行优化，通过数据压缩和归档减少存储空间占用，提高数据读写效率，通过调整系统配置，调整缓存大小、文件打开数量，适应系统的实际需求；若元数据整合涉及数据库操作，对数据库进行优化，通过创建适当的索引、优化查询语句以提高查询和处理速度；若数据管控平台负载较高，采用负载均衡策略将负载平均分摊到多台服务器上进行处理，避免单个服务器过载。
55、由于采用了上述技术方案，本发明相对现有技术来说，取得的技术进步是：
56、1、本发明提供数据管控平台的数据安全增强型元数据整合方法，通过对元数据进行细致的分类、加密和权限控制，确保了敏感数据在整合过程中的机密性和完整性，同时，通过对元数据进行智能化的识别和分类，自动将相关数据整合到相应的数据集中，减少了人工干预和错误率，极大地优化数据处理效率。
57、2、本发明提供数据管控平台的数据安全增强型元数据整合方法，通过构建语义模型进行数据匹配和映射，并建立元数据间的关联关系，可有效提升数据的质量和一致性，并且语义模型的构建和数据匹配过程有助于识别相似或相同的数据对象，将它们整合到一个统一的元数据模型中，可以避免数据重复和冗余，减少数据不一致性的发生，提高数据的准确性和完整性。
58、3、本发明提供数据管控平台的数据安全增强型元数据整合方法，通过对元数据进行标注和语义标签分配，可更好地理解和管理数据，确保数据符合相关要求，同时，对整合后元数据的数据质量进行评估和等级划分，有助于识别数据质量问题并及时处理，保障数据的合规性和可信度。
1.数据管控平台的数据安全增强型元数据整合方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤1中，异构数据源需求分析的过程包括：
3.根据权利要求2所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤2中，元数据采集任务的配置及提取过程包括：
4.根据权利要求3所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤3中，元数据清洗及标准化处理的过程包括：
5.根据权利要求4所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤4中，语义模型的构建及异构数据源中相似数据对象关联关系的建立过程包括：
6.根据权利要求5所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤404中，元数据间关联关系的建立过程包括：
7.根据权利要求5所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述数据完整性评估指数基于整合后元数据的非空字段的数量和总字段数量而获取，其计算公式为：
8.根据权利要求1所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述数据质量评估系数基于数据完整性评估指数和数据一致性评估指数分析而获取，其计算公式为：
9.根据权利要求8所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述质量等级划分为四个，分别为高级质量等级、良好质量等级、中等质量等级以及低级质量等级；
10.根据权利要求1所述的数据管控平台的数据安全增强型元数据整合方法，其特征在于：所述步骤5中，元数据整合过程性能指标的实时监控过程包括：
