电力大数据预处理的属性约简方法
电力大数据预处理的属性约简方法
【技术领域】
[0001] 本发明涉及一种基于偏序的电力大数据属性约简方法，属电力技术领域。
【背景技术】
[0002] 随着智能电网建设和物联网技术在电力行业中的广泛应用，电力数据的体量以爆 炸性的速度增长。为了从这些海量数据中挖掘出对电网管控起决定性作用的信息，就需要 对这些海量数据进行层层筛选，但这类操作需要耗费大量的时间；行之有效的方法就是对 这些海量数据进行预处理，而属性约简是其中的一个重要环节，现有的启发式属性约简算 法，诸如基于正区域的、基于边界域的及基于信息熵的算法都是粗糙集算法的延伸，这些算 法通过计算得到属性核，再把其余属性按照重要程度从高到低的顺序依次添加到属性核 中。传统的启发式约简算法在处理小数据集时效率显著，但由于其处理方式是将要处理的 数据集一次性装入内存，随着数据规模的增大，出现了内存瓶颈问题，导致算法的效率严重 下降，而且，其在约简过程中要删除一些重要性比较低的属性，容易造成决策表的部分有价 值信息丢失。有的学者将上述这些启发式算法应用在MapReduce框架下，虽然克服了内存 瓶颈问题，算法的效率有所提升，但依旧存在决策表有价值信息易丢失的问题。传统的基于 遗传算法的约简方法，又由于遗传算法本身的复杂度，导致约简的效率偏低，即使将其应用 在MapReduce框架下，虽然在处理大规模数据集时具有可行性，但算法的效率依旧没有得 到很好的改善。
[0003]总之，现有的约简算法存在着效率偏低、容易丢失信息等不足，而电力系统的运 行、监测信息具有显著的并行性，传统约简方法不能完全解决电力大数据属性约简的预处 理问题，急需寻找新的适应并行化处理的约简方法。
【发明内容】
[0004] 本发明的目的在于针对现有技术之弊端，提供一种效率高且能够确保电力数据集 的原有信息不丢失的电力大数据预处理的属性约简方法。
[0005] 本发明所述问题是以下述技术方案实现的：
[0006] -种电力大数据预处理的属性约简方法，所述方法首先将电力系统中的属性视作 变迀关系，属性值作为在相应变迀关系作用下的转换状态；然后把在某一顺序变迀关系组 的转换下到达相同终止状态的一些变迀序列去掉中间的冗余状态，仅保留关键路径；最后 将关键路径上的变迀关系解码为相应的属性输出。
[0007] 上述电力大数据预处理的属性约简方法，所述方法包括以下步骤：
[0008]a.把电力大数据集看作一个由三元组S= (U,A,V)表示的电力系统信息决策表， 其中U作为论域，表示全体对象的有限非空集合；
，c是条件属性构成的 集合，D是决策属性：
'V是属性a的值域，即Vae儿VaeV，假设该决策表含有n 个对象，每个对象又包括m个条件属性，一个决策属性D;
[0009]b.把电力大数据集根据其决策属性D的不同取值划分等价类，若决策属性D有k 种不同取值匕~匕t，则根据决策属性D的值划分等价类如下：
[0011] 其中，&表示第j个对象在第i个属性上的取值；
[0012] C.将上述的k个不同等价类内的数据集分别再进行划分，根据其数据量的大小依 次划分为知n2，…，nk个数据分片；
[0013] d.把步骤c划分好的各个数据分片内电力数据集中的每条记录视作一个对象，各 属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用（叫+巧+… +nk)台worker(集群中的计算机），分别将各数据分片内数据集的各个对象在相应的 worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换：
[0015] 其中〇j表示第j个对象的初始状态且所有对象的初始状态量相同，匕#表示第j 个对象在变迀关系Ci的作用下转换到的相应中间状态，为初始状态h经各变迀关系Cl，c2，…，cn，D，变换之后的终止状态；
[0016] e.针对步骤C划分好的各个数据分片内电力数据集中的所有对象在步骤d所调用 的相应worker中定义一个整型变量k，调用步骤d的状态转换程序，执行以下循环：
[0017] 定义k值从1到i:
[0019]f.若步骤e中相应数据分片内的各个对象，从初始状态向决策状态转换的过程中 存在多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所 历经的相同状态；
[0020] g.针对步骤f的处理结果，在相应worker中，把从相同状态量经同样的变迀关系 转换之后又得到相同状态量的所有对象只保留一个；
[0021]h?根据步骤g的处理结果，若各worker中存在多个对象，贝在相应worker中，求 这些对象所历经状态的并集，否则，处理结果为步骤g中由各worker中所求得的单个对象 历经状态的集合（初始状态与决策状态除外）；
[0022] i.在相应worker中对步骤h的处理结果进行统计，若不存在步骤f中所提及的情 况，则约简结果为全部条件属性，否则遍历步骤h的约简结果，把中间状态量的集合解码为 其所对应的属性集合，作为约简结果输出。
[0023] 上述电力大数据预处理的属性约简方法，步骤b把电力大数据集根据其决策属性 D的不同取值划分等价类后，若决策属性的取值种类超过设定值，则后续的约简过程可按照 以下步骤进行：
[0024] ①把步骤b划分好的各个等价类内电力数据集中的每条记录视作一个对象， 各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k台worker(集群中的计算机），分别将各等价类内数据集的各个对象在相应的worker中从初 始状态〇在各变迀关系的作用下朝着决策状态进行变换：
[0026] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j 个对象在变迀关系Ci的作用下转换到的相应中间状态，&为初始状态h经各变迀关系Cl，c2，…，cn，D，变换之后的终止状态；
[0027] ②针对步骤b划分好的各个等价类内电力数据集中的所有对象，在步骤①所调用 的相应worker中定义一个整型变量k，调用步骤①的状态转换程序，执行以下循环：
[0028] 定义k值从1到i :
[0030] ③若步骤②中相应等价类内的各个对象，从初始状态向决策状态转换的过程中存 在多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历 经的相同状态；
[0031] ④对步骤③的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转 换之后又得到相同状态量的所有对象只保留一个；
[0032] ⑤根据步骤④的处理结果，若各worker中存在多个对象，贝在相应worker中，求 这些对象所历经状态的并集，否则，处理结果为步骤④中由各worker中所求得的单个对象 历经状态的集合（初始状态与决策状态除外）；
[0033] ⑥在相应worker中对步骤⑤的处理结果进行统计，若不存在步骤③中所提及的 情况，则约简结果为全部条件属性，否则遍历步骤⑤的约简结果，把中间状态量的集合解码 为其所对应的属性集合，作为约简结果输出，算法结束。
[0034] 本发明将偏序理论与MapReduce框架有机结合在一起，不仅略过了传统启发式约 简算法的求核过程，提高了约简算法的效率，而且能够确保电力数据集的原有信息不丢失， 特别适于电力行业海量数据的并行化预处理。
【附图说明】
[0035] 下面结合附图对本发明作进一步说明。
[0036] 图1是Map函数流程图（图中Y表示判断条件成立，N表示判断条件不成立）；
[0037] 图2是整体算法流程图。
[0038] 文中各符号清单为：。U为论域，C是条件属性构成的集合，D是决策属性，V是属 性a的值域，表示第j个对象在第i个属性上的取值，表示第j个对象的初始状态， 表示第j个对象在变迀关系q的作用下转换到的相应中间状态，为初始状态h经各变 迀关系Ci,c2，…，cn,D变换之后的终止状态。
【具体实施方式】
[0039] 本发明提出了一种基于偏序的电力大数据的属性约简方法，通过利用偏序约简算 法的并行化优势，对其进行适应性改进，结合MapReduce框架给出一种新的适用于电力大 数据的并行化约简算法。该方法首先将电力系统中的属性视作变迀关系，属性值作为在相 应变迀关系作用下的转换状态；然后把针对在某一顺序变迀关系组的转换下到达相同终止 状态的一些变迀序列去掉中间的冗余状态，仅保留关键路径；最后将关键路径上的变迀关 系解码为相应的属性输出。
[0040] 电力大数据属性偏序约简下map函数的算法流程图详见附图1，整体算法的流程 图详见附图2。
[0041] 为了便于理解，以下给出本发明方案的形式化描述：
[0042] 定义1设三元组S= (U，A，V)表示 一个电力系统的运行状态，也可以叫作电力系 统信息决策表。其中U作为论域，表示全体对象的有限非空集合
是条件属性构成的集合，D是决策属性：
'V是属性a的值域，即vaeV。
[0043] 定义2假设电力系统信息决策表中eL/，初始状态为〇，
&是在条件属性即变迀关系Ci作用下的中间转换状态， 相应的&为初始状态〇经各变迀关系c1>C2，…，cn，D，变换之后的终止状态，即
[0044] 定义3假设在电力系统信息决策表中，存在多个对象使得它们从同一状态量 经过若干个变迀关系ci+1，ci+2，…，Ci+k变换之后得到的状态量相同（所谓的状态量相 同，即是根据决策表中数据的实际情况，这些对象的状态值相同或其状态值都属于某一 特定范围，决策属性所对应的状态除外），并且在转换过程的中间不存在相同的状态量， 即存在多个UfU，使得
，满足上述条件，则可以去掉 \丨，&:，?'?'?丨)这些冗余状态。
[0045] 定义4假设在电力系统信息决策表中存在多个对象，在同一状态量经 一个或多个相同变迀关系转换之后得到的状态量相同，即存在多个u#U使得
满足上述条件，则只保留其中一个对象，删 去其他冗余对象。
[0046] 定理1把电力系统信息决策表S中的所有对象根据决策属性D的值划分成等价类 他，D2，…，DJ，Di={ui，u2，…，ut}，（tGZ)，若存在多个数据分片DSk(k= 1，2,…，n)同 属于一个等价类，则对于该等价类内属性集的约简结果为各数据分片内约简结果的并集即
(Ak为第k个数据分片内求得的约简属性集，Akj为由第k个数据分片求得的第 j个属性，j= 1，2,…，r)。
[0047] 本发明方案的具体执行步骤如下所示：
[0048] 第1步：根据定义1，把电力大数据集看作一个由三元组S= (U,A,V)表示的电力 系统信息决策表，假设该决策表含有n个对象，每个对象又包括m个条件属性，一个决策属 性D。如表1所示：
[0049]表1电力系统f目息决策表
[0051]第2步：本发明考虑到偏序约简方法在处理并发事件时相互独立的特征，结合 MapReduce模型的并行化优势，把电力大数据集根据其决策属性D的不同取值划分等价类。 若决策属性D有k种不同取值，则根据决策属性D的值划分等价类如下（其中\表示第j个对象在第i个属性上的取值）：
[0053] 第3步：本发明根据电力数据集中决策属性不同取值个数多少的实际情况，有两 种约简方案可供选择。方案1 :如果决策属性的取值种类较多，则顺序执行第4步；方案2 : 如果决策属性的取值种类较少，则跳转至第10步。但是，为了提高数据预处理的效率，在决 策属性值种类较多的情况下，也可以选择跳转至第10步继续往下执行。
[0054] 第4步：把第2步划分好的各个等价类内电力数据集中的每条记录视作一个对 象，各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k 台worker(集群中的计算机）按照定义2,分别将各等价类内数据集的各个对象在相应的 worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换，如下所示：
[0056] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j个 对象在变迀关系Ci的作用下转换到的相应中间状态。
[0057] 第5步：针对第2步划分好的各个等价类内电力数据集中的所有对象，在第4步所 调用的相应worker中定义一个整型变量k，调用步骤4的状态转换程序，执行以下循环：
[0058] 定义k值从1到i:
[0060] 第6步：根据定义3,若第5步中相应等价类内的各个对象从初始状态在向决策状 态转换的过程中存在类似以下情况：
[0062] (j+1)G[1，i]，1为大于等于〇的整数。
[0063] p，qe[1，m]且p〈q，& = =…=1,)且二 ％丨.=…二 1丨,+,.，则在相应 worker中可简化成
[0065] S卩：各个对象由初始状态向决策状态转换的过程中，假如存在多个对象都经过若 干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的相同状态。
[0066] 第7步：对第6步的处理结果，依据定义4在相应worker中，把从相同状态量经同 样的变迀关系转换之后又得到相同状态量的所有对象只保留一个。
[0067] 第8步：根据第7步的处理结果，若各worker中存在多个对象，则根据定理1在相 应worker中，求这些对象所历经状态的并集，否则，处理结果为第7步中由各worker中所 求得的单个对象历经状态的集合（初始状态与决策状态除外）。
[0068] 第9步：在相应worker中对第8步的处理结果进行统计，若不存在第6步中所提及 的情况，则约简结果为全部条件属性，否则遍历第8步的约简结果，根据各个中间状态量的 下标还原其所对应的变迀关系，也就是把中间状态量的集合解码为其所对应的属性集合， 作为约简结果输出，算法结束。
[0069] 第10步：将上述的k个不同等价类内的数据集分别再进行划分，为充分发挥计算 机集群的优势，根据计算机集群的规模和以往经验确定每台worker(集群中的计算机）所 要处理的数据集规模，使得各节点之间通信、调度等开销，达到最小值，又由于各等价类内 数据集规模的不同，依次划分为h，n2，…，nk个数据分片；
[0070] 第11步：把第10步划分好的各个数据分片内电力数据集中的每条记录视作一 个对象，各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用 0^+]^+…+nk)台worker(集群中的计算机）按照定义2,分别将各数据分片内数据集的各 个对象在相应的worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换，如 下所示：
[0072] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同^表示第j个 对象在变迀关系Ci的作用下转换到的相应中间状态。
[0073] 第12步：针对第10步划分好的各个数据分片内电力数据集中的所有对象在第11 步所调用的相应worker中定义一个整型变量k，调用步骤11的状态转换程序，执行以下循 环：
[0074]定义k值从1到i:
[0076]第13步：根据定义3,若第12步中相应数据分片内的各个对象从初始状态在向决 策状态转换的过程中存在类似以下情况：
[0078] (j+1)G[1，i]，1为大于等于〇的整数。
[0079]p，qE[1，m]且p〈q，i= =…==F￡i(+|)=…=，则在相应 worker中可简化成
[0081]即：各个对象由初始状态向决策状态转换的过程中，假如存在多个对象都经过若 干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的相同状态。
[0082] 第14步：针对第13步的处理结果，依据定义4在相应worker中，把从相同状态量 经同样的变迀关系转换之后又得到相同状态量的所有对象只保留一个。
[0083] 第15步：根据第14步的处理结果，若各worker中存在多个对象，则根据定理1在 相应worker中，求这些对象所历经状态的并集，否则，处理结果为第14步中由各worker中 所求得的单个对象历经状态的集合（初始状态与决策状态除外）。
[0084] 第16步：在相应worker中对第15步的处理结果进行统计，若不存在第13步中所 提及的情况，则约简结果为全部条件属性，否则遍历第15步的约简结果，根据各个中间状 态量的下标还原其所对应的变迀关系，也就是把中间状态量的集合解码为其所对应的属性 集合，作为约简结果输出，算法结束。
[0085] 表2当前几种主要的并行化约简算法的性能对比
[0086]
[0087] 偏序理论介绍
[0088] 偏序约简算法的初衷是通过减少系统模型中的状态数目，以降低模型检测算法所 搜索的状态空间规模。其依据是系统中可并发执行的变迀关系具有交换性，即当这些变迀 关系以不同的顺序执行时，都会到达一个相同的状态，对于这些不同组合顺序的变迀关系 组只需选择其中之一即可。以下给出适应电力系统大数据属性偏序约简的相关概念。
[0089] (1)给定一个四元组的初始状态变迀系统（S，T，SQ，L)，其中S是所有状态的集合， SQ是初始状态的集合，L为标记函数，T是变迀的集合，对于每一个aGT,都有ae5x5'。
[0090] 对于变迀aeT，如果有一个状态S'，使得a(S，S'）成立，则a在S'处是激活 的，反之，则称a在S'处是非激活的，在S'处所有激活的变迀集合记为enabled(S)。对 于每一个状态S'，只选择所有激活变迀的集合enabled(S)的 一个子集一充足集ample(S)， 而非整个enabled(S)，这是因为从enabled(S)出发将构建全状态图，而非约简状态图。
[0091] (2)若两条无限路径
是stuttering等价的，当且仅当它们满足条件：存在两个无限的正整数 序列〇 =iQ<i:<…和〇 =j。<j:<…使得对于每一个k彡0，都有
记为〇~stp。称具有相同 标记集合的连续状态序列为块，在两条路径被划分为无限个块后，如果其中一条路径的第k块的标记集合和另一条路径第k块的标记集合相同，则称这两条路径是stuttering等价 的。
[0092] (3)若独立关系/[TxT是一个对称的，反自反的关系，对于任意的状态 sGS，（每一个（a，0)GI)，满足下面两个条件：
[0093]激活性：如果（a，|3)Genabled(s)，那么aGenabled(0 (s))〇
[0094]交换性：如果（a，|3)Genabled(s)，那么a(|3 (s))=|3(a(s))。
[0095] 依赖关系D是独立关系I的补，表示为D=(T X T) I。
[0096] (4)用L:S-2AP表示将状态映射到原子命题集合上的标记函数；给定一个命题集 合g/i/3和一个变迀aGT，如果对于每一对s，s'GS，都有s' = (a(s))，L(s)nAP' =L(s'）nAP'则称变迀aGT是不可见的。
[0097] 当给定的刻画在stuttering下不变时，利用交换性和不可见性可以避免生成一 些状态，基于这个原理可以得到任意状态的充足集一ample，偏序约简算法利用这些ample 集来构建约简的状态图，因此，对于每一条没有被偏序约简算法考虑的路径，在约简图内都 有一条路径与之stuttering等价，这就确保了约简状态图和全状态图是stuttering等价 的。以下给出四个选择ample集的限制条件：
[0099] Q在全状态图中，每一条从s出发的路径，都有下面的条件成立：一个变迀与 ample(s)中的某个变迀具有依赖关系，那么这个变迀不能在ample(s)中的那个变迀之前 执行。
[0100]C2如果s不是完全展开的，那么每一个aGample(S)都是不可见的。
[0101] c3如果一个回路包含一个状态，在这个状态上的某个变迀a是激活的，但是在这 个回路上的所有状态s，都没有包含在amp1e(s)中，这个回路是不存在的。
[0102] 技术方案中出现的专业术语解释
[0103] MapReduce :是由Google推出的一种用于分布式处理超大规模数据集的并行软件 编程模型，其通过分而治之的思想对数据集进行处理。
[0104] 变迀关系：指的是促使状态之间相互转换的某种关系或性质。
[0105] 论域：指的是特定对象或数据的有限非空集合。
[0106] 条件属性：指的是促成某种结果的相关因素。
[0107] 决策属性：指的是由某些相关因素所促成的结果。
【主权项】
1. 一种电力大数据预处理的属性约简方法，其特征是，所述方法首先将电力系统中的 属性视作变迀关系，属性值作为在相应变迀关系作用下的转换状态；然后把在某一顺序变 迀关系组的转换下到达相同终止状态的一些变迀序列去掉中间的冗余状态，仅保留关键路 径；最后将关键路径上的变迀关系解码为相应的属性输出。2. 根据权利要求1所述的一种电力大数据预处理的属性约简方法，其特征是，所述方 法具体按如下步骤进行： a. 把电力大数据集看作一个由三元组S= (U，A，V)表示的电力系统信息决策表，其中 U作为论域，表示全体对象的有限非空集合;A = C U {D}，D g Γ，C是条件属性构成的集合， D是决策属性；' V是属性a的值域，即w e i Vae V，假设该决策表含有η个对 象，每个对象又包括m个条件属性，一个决策属性D ; b. 把电力大数据集根据其决策属性D的不同取值划分等价类，若决策属性D有k种不 同取值4 ~ ，则根据决策属性D的值划分等价类如下：其中，1,.表示第j个对象在第i个属性上的取值； c. 将上述的k个不同等价类内的数据集分别再进行划分，根据其数据量的大小依次划 分为Ii1, n2，…，nk个数据分片； d. 把步骤c划分好的各个数据分片内电力数据集中的每条记录视作一个对象，各属性 视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用（ηι+η2+…+n k) 台集群中的计算机worker，分别将各数据分片内数据集的各个对象在相应的worker中从 初始状态〇在各变迀关系的作用下朝着决策状态进行变换：其中表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j个对象 在变迀关系Ci的作用下转换到的相应中间状态，匕,为初始状态h经各变迀关系c i，C2，… ，cn，D，变换之后的终止状态； e. 针对步骤c划分好的各个数据分片内电力数据集中的所有对象在步骤d所调用的相 应worker中定义一个整型变量k，调用步骤d的状态转换程序，执行以下循环： 定义k值从1到i :f. 若步骤e中相应数据分片内的各个对象，从初始状态向决策状态转换的过程中存在 多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经 的相同状态； g. 针对步骤f的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转换 之后又得到相同状态量的所有对象只保留一个； h. 根据步骤g的处理结果，若各worker中存在多个对象，则在相应worker中，求这些 对象所历经状态的并集，否则，处理结果为步骤g中由各worker中所求得的单个对象历经 状态的集合（初始状态与决策状态除外）； i. 在相应worker中对步骤h的处理结果进行统计，若不存在步骤f中所提及的情况， 则约简结果为全部条件属性，否则遍历步骤h的约简结果，把中间状态量的集合解码为其 所对应的属性集合，作为约简结果输出。3.根据权利要求2所述的一种电力大数据预处理的属性约简方法，其特征是，步骤b把 电力大数据集根据其决策属性D的不同取值划分等价类后，若决策属性的取值种类超过设 定值，则后续的约简过程可按照以下步骤进行： ① 把步骤b划分好的各个等价类内电力数据集中的每条记录视作一个对象，各属性视 为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k台worker (集群 中的计算机），分别将各等价类内数据集的各个对象在相应的worker中从初始状态0在各 变迀关系的作用下朝着决策状态进行变换：其中表示第j个对象的初始状态且所有对象的初始状态量相同，L表示第j个对象 在变迀关系Ci的作用下转换到的相应中间状态，为初始状态h经各变迀关系c i，C2，… ，cn，D，变换之后的终止状态； ② 针对步骤b划分好的各个等价类内电力数据集中的所有对象，在步骤①所调用的相 应worker中定义一个整型变量k，调用步骤①的状态转换程序，执行以下循环： 定义k值从1到i :③ 若步骤②中相应等价类内的各个对象，从初始状态向决策状态转换的过程中存在多 个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的 相同状态； ④ 对步骤③的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转换之 后又得到相同状态量的所有对象只保留一个； ⑤ 根据步骤④的处理结果，若各worker中存在多个对象，则在相应worker中，求这些 对象所历经状态的并集，否则，处理结果为步骤④中由各worker中所求得的单个对象历经 状态的集合（初始状态与决策状态除外）； ⑥ 在相应worker中对步骤⑤的处理结果进行统计，若不存在步骤③中所提及的情况， 则约简结果为全部条件属性，否则遍历步骤⑤的约简结果，把中间状态量的集合解码为其 所对应的属性集合，作为约简结果输出，算法结束。
【专利摘要】一种电力大数据预处理的属性约简方法，用于解决电力大数据属性约简的预处理问题。所述方法首先将电力系统中的属性视作变迁关系，属性值作为在相应变迁关系作用下的转换状态；然后把在某一顺序变迁关系组的转换下到达相同终止状态的一些变迁序列去掉中间的冗余状态，仅保留关键路径；最后将关键路径上的变迁关系解码为相应的属性输出。本发明将偏序理论与MapReduce框架有机结合在一起，不仅略过了传统启发式约简算法的求核过程，提高了约简算法的效率，而且能够确保电力数据集的原有信息不丢失，特别适于电力行业海量数据的并行化预处理。
【IPC分类】G06Q50/06, G06F19/00
【公开号】CN104899447
【申请号】CN201510310151
【发明人】李刚, 焦谱, 宋雨, 申金波
【申请人】华北电力大学（保定）
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明涉及一种基于偏序的电力大数据属性约简方法，属电力技术领域。
【背景技术】
[0002] 随着智能电网建设和物联网技术在电力行业中的广泛应用，电力数据的体量以爆 炸性的速度增长。为了从这些海量数据中挖掘出对电网管控起决定性作用的信息，就需要 对这些海量数据进行层层筛选，但这类操作需要耗费大量的时间；行之有效的方法就是对 这些海量数据进行预处理，而属性约简是其中的一个重要环节，现有的启发式属性约简算 法，诸如基于正区域的、基于边界域的及基于信息熵的算法都是粗糙集算法的延伸，这些算 法通过计算得到属性核，再把其余属性按照重要程度从高到低的顺序依次添加到属性核 中。传统的启发式约简算法在处理小数据集时效率显著，但由于其处理方式是将要处理的 数据集一次性装入内存，随着数据规模的增大，出现了内存瓶颈问题，导致算法的效率严重 下降，而且，其在约简过程中要删除一些重要性比较低的属性，容易造成决策表的部分有价 值信息丢失。有的学者将上述这些启发式算法应用在MapReduce框架下，虽然克服了内存 瓶颈问题，算法的效率有所提升，但依旧存在决策表有价值信息易丢失的问题。传统的基于 遗传算法的约简方法，又由于遗传算法本身的复杂度，导致约简的效率偏低，即使将其应用 在MapReduce框架下，虽然在处理大规模数据集时具有可行性，但算法的效率依旧没有得 到很好的改善。
[0003]总之，现有的约简算法存在着效率偏低、容易丢失信息等不足，而电力系统的运 行、监测信息具有显著的并行性，传统约简方法不能完全解决电力大数据属性约简的预处 理问题，急需寻找新的适应并行化处理的约简方法。
【发明内容】
[0004] 本发明的目的在于针对现有技术之弊端，提供一种效率高且能够确保电力数据集 的原有信息不丢失的电力大数据预处理的属性约简方法。
[0005] 本发明所述问题是以下述技术方案实现的：
[0006] -种电力大数据预处理的属性约简方法，所述方法首先将电力系统中的属性视作 变迀关系，属性值作为在相应变迀关系作用下的转换状态；然后把在某一顺序变迀关系组 的转换下到达相同终止状态的一些变迀序列去掉中间的冗余状态，仅保留关键路径；最后 将关键路径上的变迀关系解码为相应的属性输出。
[0007] 上述电力大数据预处理的属性约简方法，所述方法包括以下步骤：
[0008]a.把电力大数据集看作一个由三元组S= (U,A,V)表示的电力系统信息决策表， 其中U作为论域，表示全体对象的有限非空集合；
，c是条件属性构成的 集合，D是决策属性：
'V是属性a的值域，即Vae儿VaeV，假设该决策表含有n 个对象，每个对象又包括m个条件属性，一个决策属性D;
[0009]b.把电力大数据集根据其决策属性D的不同取值划分等价类，若决策属性D有k 种不同取值匕~匕t，则根据决策属性D的值划分等价类如下：
[0011] 其中，&表示第j个对象在第i个属性上的取值；
[0012] C.将上述的k个不同等价类内的数据集分别再进行划分，根据其数据量的大小依 次划分为知n2，…，nk个数据分片；
[0013] d.把步骤c划分好的各个数据分片内电力数据集中的每条记录视作一个对象，各 属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用（叫+巧+… +nk)台worker(集群中的计算机），分别将各数据分片内数据集的各个对象在相应的 worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换：
[0015] 其中〇j表示第j个对象的初始状态且所有对象的初始状态量相同，匕#表示第j 个对象在变迀关系Ci的作用下转换到的相应中间状态，为初始状态h经各变迀关系Cl，c2，…，cn，D，变换之后的终止状态；
[0016] e.针对步骤C划分好的各个数据分片内电力数据集中的所有对象在步骤d所调用 的相应worker中定义一个整型变量k，调用步骤d的状态转换程序，执行以下循环：
[0017] 定义k值从1到i:
[0019]f.若步骤e中相应数据分片内的各个对象，从初始状态向决策状态转换的过程中 存在多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所 历经的相同状态；
[0020] g.针对步骤f的处理结果，在相应worker中，把从相同状态量经同样的变迀关系 转换之后又得到相同状态量的所有对象只保留一个；
[0021]h?根据步骤g的处理结果，若各worker中存在多个对象，贝在相应worker中，求 这些对象所历经状态的并集，否则，处理结果为步骤g中由各worker中所求得的单个对象 历经状态的集合（初始状态与决策状态除外）；
[0022] i.在相应worker中对步骤h的处理结果进行统计，若不存在步骤f中所提及的情 况，则约简结果为全部条件属性，否则遍历步骤h的约简结果，把中间状态量的集合解码为 其所对应的属性集合，作为约简结果输出。
[0023] 上述电力大数据预处理的属性约简方法，步骤b把电力大数据集根据其决策属性 D的不同取值划分等价类后，若决策属性的取值种类超过设定值，则后续的约简过程可按照 以下步骤进行：
[0024] ①把步骤b划分好的各个等价类内电力数据集中的每条记录视作一个对象， 各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k台worker(集群中的计算机），分别将各等价类内数据集的各个对象在相应的worker中从初 始状态〇在各变迀关系的作用下朝着决策状态进行变换：
[0026] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j 个对象在变迀关系Ci的作用下转换到的相应中间状态，&为初始状态h经各变迀关系Cl，c2，…，cn，D，变换之后的终止状态；
[0027] ②针对步骤b划分好的各个等价类内电力数据集中的所有对象，在步骤①所调用 的相应worker中定义一个整型变量k，调用步骤①的状态转换程序，执行以下循环：
[0028] 定义k值从1到i :
[0030] ③若步骤②中相应等价类内的各个对象，从初始状态向决策状态转换的过程中存 在多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历 经的相同状态；
[0031] ④对步骤③的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转 换之后又得到相同状态量的所有对象只保留一个；
[0032] ⑤根据步骤④的处理结果，若各worker中存在多个对象，贝在相应worker中，求 这些对象所历经状态的并集，否则，处理结果为步骤④中由各worker中所求得的单个对象 历经状态的集合（初始状态与决策状态除外）；
[0033] ⑥在相应worker中对步骤⑤的处理结果进行统计，若不存在步骤③中所提及的 情况，则约简结果为全部条件属性，否则遍历步骤⑤的约简结果，把中间状态量的集合解码 为其所对应的属性集合，作为约简结果输出，算法结束。
[0034] 本发明将偏序理论与MapReduce框架有机结合在一起，不仅略过了传统启发式约 简算法的求核过程，提高了约简算法的效率，而且能够确保电力数据集的原有信息不丢失， 特别适于电力行业海量数据的并行化预处理。
【附图说明】
[0035] 下面结合附图对本发明作进一步说明。
[0036] 图1是Map函数流程图（图中Y表示判断条件成立，N表示判断条件不成立）；
[0037] 图2是整体算法流程图。
[0038] 文中各符号清单为：。U为论域，C是条件属性构成的集合，D是决策属性，V是属 性a的值域，表示第j个对象在第i个属性上的取值，表示第j个对象的初始状态， 表示第j个对象在变迀关系q的作用下转换到的相应中间状态，为初始状态h经各变 迀关系Ci,c2，…，cn,D变换之后的终止状态。
【具体实施方式】
[0039] 本发明提出了一种基于偏序的电力大数据的属性约简方法，通过利用偏序约简算 法的并行化优势，对其进行适应性改进，结合MapReduce框架给出一种新的适用于电力大 数据的并行化约简算法。该方法首先将电力系统中的属性视作变迀关系，属性值作为在相 应变迀关系作用下的转换状态；然后把针对在某一顺序变迀关系组的转换下到达相同终止 状态的一些变迀序列去掉中间的冗余状态，仅保留关键路径；最后将关键路径上的变迀关 系解码为相应的属性输出。
[0040] 电力大数据属性偏序约简下map函数的算法流程图详见附图1，整体算法的流程 图详见附图2。
[0041] 为了便于理解，以下给出本发明方案的形式化描述：
[0042] 定义1设三元组S= (U，A，V)表示 一个电力系统的运行状态，也可以叫作电力系 统信息决策表。其中U作为论域，表示全体对象的有限非空集合
是条件属性构成的集合，D是决策属性：
'V是属性a的值域，即vaeV。
[0043] 定义2假设电力系统信息决策表中eL/，初始状态为〇，
&是在条件属性即变迀关系Ci作用下的中间转换状态， 相应的&为初始状态〇经各变迀关系c1>C2，…，cn，D，变换之后的终止状态，即
[0044] 定义3假设在电力系统信息决策表中，存在多个对象使得它们从同一状态量 经过若干个变迀关系ci+1，ci+2，…，Ci+k变换之后得到的状态量相同（所谓的状态量相 同，即是根据决策表中数据的实际情况，这些对象的状态值相同或其状态值都属于某一 特定范围，决策属性所对应的状态除外），并且在转换过程的中间不存在相同的状态量， 即存在多个UfU，使得
，满足上述条件，则可以去掉 \丨，&:，?'?'?丨)这些冗余状态。
[0045] 定义4假设在电力系统信息决策表中存在多个对象，在同一状态量经 一个或多个相同变迀关系转换之后得到的状态量相同，即存在多个u#U使得
满足上述条件，则只保留其中一个对象，删 去其他冗余对象。
[0046] 定理1把电力系统信息决策表S中的所有对象根据决策属性D的值划分成等价类 他，D2，…，DJ，Di={ui，u2，…，ut}，（tGZ)，若存在多个数据分片DSk(k= 1，2,…，n)同 属于一个等价类，则对于该等价类内属性集的约简结果为各数据分片内约简结果的并集即
(Ak为第k个数据分片内求得的约简属性集，Akj为由第k个数据分片求得的第 j个属性，j= 1，2,…，r)。
[0047] 本发明方案的具体执行步骤如下所示：
[0048] 第1步：根据定义1，把电力大数据集看作一个由三元组S= (U,A,V)表示的电力 系统信息决策表，假设该决策表含有n个对象，每个对象又包括m个条件属性，一个决策属 性D。如表1所示：
[0049]表1电力系统f目息决策表
[0051]第2步：本发明考虑到偏序约简方法在处理并发事件时相互独立的特征，结合 MapReduce模型的并行化优势，把电力大数据集根据其决策属性D的不同取值划分等价类。 若决策属性D有k种不同取值，则根据决策属性D的值划分等价类如下（其中\表示第j个对象在第i个属性上的取值）：
[0053] 第3步：本发明根据电力数据集中决策属性不同取值个数多少的实际情况，有两 种约简方案可供选择。方案1 :如果决策属性的取值种类较多，则顺序执行第4步；方案2 : 如果决策属性的取值种类较少，则跳转至第10步。但是，为了提高数据预处理的效率，在决 策属性值种类较多的情况下，也可以选择跳转至第10步继续往下执行。
[0054] 第4步：把第2步划分好的各个等价类内电力数据集中的每条记录视作一个对 象，各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k 台worker(集群中的计算机）按照定义2,分别将各等价类内数据集的各个对象在相应的 worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换，如下所示：
[0056] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j个 对象在变迀关系Ci的作用下转换到的相应中间状态。
[0057] 第5步：针对第2步划分好的各个等价类内电力数据集中的所有对象，在第4步所 调用的相应worker中定义一个整型变量k，调用步骤4的状态转换程序，执行以下循环：
[0058] 定义k值从1到i:
[0060] 第6步：根据定义3,若第5步中相应等价类内的各个对象从初始状态在向决策状 态转换的过程中存在类似以下情况：
[0062] (j+1)G[1，i]，1为大于等于〇的整数。
[0063] p，qe[1，m]且p〈q，& = =…=1,)且二 ％丨.=…二 1丨,+,.，则在相应 worker中可简化成
[0065] S卩：各个对象由初始状态向决策状态转换的过程中，假如存在多个对象都经过若 干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的相同状态。
[0066] 第7步：对第6步的处理结果，依据定义4在相应worker中，把从相同状态量经同 样的变迀关系转换之后又得到相同状态量的所有对象只保留一个。
[0067] 第8步：根据第7步的处理结果，若各worker中存在多个对象，则根据定理1在相 应worker中，求这些对象所历经状态的并集，否则，处理结果为第7步中由各worker中所 求得的单个对象历经状态的集合（初始状态与决策状态除外）。
[0068] 第9步：在相应worker中对第8步的处理结果进行统计，若不存在第6步中所提及 的情况，则约简结果为全部条件属性，否则遍历第8步的约简结果，根据各个中间状态量的 下标还原其所对应的变迀关系，也就是把中间状态量的集合解码为其所对应的属性集合， 作为约简结果输出，算法结束。
[0069] 第10步：将上述的k个不同等价类内的数据集分别再进行划分，为充分发挥计算 机集群的优势，根据计算机集群的规模和以往经验确定每台worker(集群中的计算机）所 要处理的数据集规模，使得各节点之间通信、调度等开销，达到最小值，又由于各等价类内 数据集规模的不同，依次划分为h，n2，…，nk个数据分片；
[0070] 第11步：把第10步划分好的各个数据分片内电力数据集中的每条记录视作一 个对象，各属性视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用 0^+]^+…+nk)台worker(集群中的计算机）按照定义2,分别将各数据分片内数据集的各 个对象在相应的worker中从初始状态0在各变迀关系的作用下朝着决策状态进行变换，如 下所示：
[0072] 其中h表示第j个对象的初始状态且所有对象的初始状态量相同^表示第j个 对象在变迀关系Ci的作用下转换到的相应中间状态。
[0073] 第12步：针对第10步划分好的各个数据分片内电力数据集中的所有对象在第11 步所调用的相应worker中定义一个整型变量k，调用步骤11的状态转换程序，执行以下循 环：
[0074]定义k值从1到i:
[0076]第13步：根据定义3,若第12步中相应数据分片内的各个对象从初始状态在向决 策状态转换的过程中存在类似以下情况：
[0078] (j+1)G[1，i]，1为大于等于〇的整数。
[0079]p，qE[1，m]且p〈q，i= =…==F￡i(+|)=…=，则在相应 worker中可简化成
[0081]即：各个对象由初始状态向决策状态转换的过程中，假如存在多个对象都经过若 干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的相同状态。
[0082] 第14步：针对第13步的处理结果，依据定义4在相应worker中，把从相同状态量 经同样的变迀关系转换之后又得到相同状态量的所有对象只保留一个。
[0083] 第15步：根据第14步的处理结果，若各worker中存在多个对象，则根据定理1在 相应worker中，求这些对象所历经状态的并集，否则，处理结果为第14步中由各worker中 所求得的单个对象历经状态的集合（初始状态与决策状态除外）。
[0084] 第16步：在相应worker中对第15步的处理结果进行统计，若不存在第13步中所 提及的情况，则约简结果为全部条件属性，否则遍历第15步的约简结果，根据各个中间状 态量的下标还原其所对应的变迀关系，也就是把中间状态量的集合解码为其所对应的属性 集合，作为约简结果输出，算法结束。
[0085] 表2当前几种主要的并行化约简算法的性能对比
[0086]
[0087] 偏序理论介绍
[0088] 偏序约简算法的初衷是通过减少系统模型中的状态数目，以降低模型检测算法所 搜索的状态空间规模。其依据是系统中可并发执行的变迀关系具有交换性，即当这些变迀 关系以不同的顺序执行时，都会到达一个相同的状态，对于这些不同组合顺序的变迀关系 组只需选择其中之一即可。以下给出适应电力系统大数据属性偏序约简的相关概念。
[0089] (1)给定一个四元组的初始状态变迀系统（S，T，SQ，L)，其中S是所有状态的集合， SQ是初始状态的集合，L为标记函数，T是变迀的集合，对于每一个aGT,都有ae5x5'。
[0090] 对于变迀aeT，如果有一个状态S'，使得a(S，S'）成立，则a在S'处是激活 的，反之，则称a在S'处是非激活的，在S'处所有激活的变迀集合记为enabled(S)。对 于每一个状态S'，只选择所有激活变迀的集合enabled(S)的 一个子集一充足集ample(S)， 而非整个enabled(S)，这是因为从enabled(S)出发将构建全状态图，而非约简状态图。
[0091] (2)若两条无限路径
是stuttering等价的，当且仅当它们满足条件：存在两个无限的正整数 序列〇 =iQ<i:<…和〇 =j。<j:<…使得对于每一个k彡0，都有
记为〇~stp。称具有相同 标记集合的连续状态序列为块，在两条路径被划分为无限个块后，如果其中一条路径的第k块的标记集合和另一条路径第k块的标记集合相同，则称这两条路径是stuttering等价 的。
[0092] (3)若独立关系/[TxT是一个对称的，反自反的关系，对于任意的状态 sGS，（每一个（a，0)GI)，满足下面两个条件：
[0093]激活性：如果（a，|3)Genabled(s)，那么aGenabled(0 (s))〇
[0094]交换性：如果（a，|3)Genabled(s)，那么a(|3 (s))=|3(a(s))。
[0095] 依赖关系D是独立关系I的补，表示为D=(T X T) I。
[0096] (4)用L:S-2AP表示将状态映射到原子命题集合上的标记函数；给定一个命题集 合g/i/3和一个变迀aGT，如果对于每一对s，s'GS，都有s' = (a(s))，L(s)nAP' =L(s'）nAP'则称变迀aGT是不可见的。
[0097] 当给定的刻画在stuttering下不变时，利用交换性和不可见性可以避免生成一 些状态，基于这个原理可以得到任意状态的充足集一ample，偏序约简算法利用这些ample 集来构建约简的状态图，因此，对于每一条没有被偏序约简算法考虑的路径，在约简图内都 有一条路径与之stuttering等价，这就确保了约简状态图和全状态图是stuttering等价 的。以下给出四个选择ample集的限制条件：
[0099] Q在全状态图中，每一条从s出发的路径，都有下面的条件成立：一个变迀与 ample(s)中的某个变迀具有依赖关系，那么这个变迀不能在ample(s)中的那个变迀之前 执行。
[0100]C2如果s不是完全展开的，那么每一个aGample(S)都是不可见的。
[0101] c3如果一个回路包含一个状态，在这个状态上的某个变迀a是激活的，但是在这 个回路上的所有状态s，都没有包含在amp1e(s)中，这个回路是不存在的。
[0102] 技术方案中出现的专业术语解释
[0103] MapReduce :是由Google推出的一种用于分布式处理超大规模数据集的并行软件 编程模型，其通过分而治之的思想对数据集进行处理。
[0104] 变迀关系：指的是促使状态之间相互转换的某种关系或性质。
[0105] 论域：指的是特定对象或数据的有限非空集合。
[0106] 条件属性：指的是促成某种结果的相关因素。
[0107] 决策属性：指的是由某些相关因素所促成的结果。
【主权项】
1. 一种电力大数据预处理的属性约简方法，其特征是，所述方法首先将电力系统中的 属性视作变迀关系，属性值作为在相应变迀关系作用下的转换状态；然后把在某一顺序变 迀关系组的转换下到达相同终止状态的一些变迀序列去掉中间的冗余状态，仅保留关键路 径；最后将关键路径上的变迀关系解码为相应的属性输出。2. 根据权利要求1所述的一种电力大数据预处理的属性约简方法，其特征是，所述方 法具体按如下步骤进行： a. 把电力大数据集看作一个由三元组S= (U，A，V)表示的电力系统信息决策表，其中 U作为论域，表示全体对象的有限非空集合;A = C U {D}，D g Γ，C是条件属性构成的集合， D是决策属性；' V是属性a的值域，即w e i Vae V，假设该决策表含有η个对 象，每个对象又包括m个条件属性，一个决策属性D ; b. 把电力大数据集根据其决策属性D的不同取值划分等价类，若决策属性D有k种不 同取值4 ~ ，则根据决策属性D的值划分等价类如下：其中，1,.表示第j个对象在第i个属性上的取值； c. 将上述的k个不同等价类内的数据集分别再进行划分，根据其数据量的大小依次划 分为Ii1, n2，…，nk个数据分片； d. 把步骤c划分好的各个数据分片内电力数据集中的每条记录视作一个对象，各属性 视为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用（ηι+η2+…+n k) 台集群中的计算机worker，分别将各数据分片内数据集的各个对象在相应的worker中从 初始状态〇在各变迀关系的作用下朝着决策状态进行变换：其中表示第j个对象的初始状态且所有对象的初始状态量相同，表示第j个对象 在变迀关系Ci的作用下转换到的相应中间状态，匕,为初始状态h经各变迀关系c i，C2，… ，cn，D，变换之后的终止状态； e. 针对步骤c划分好的各个数据分片内电力数据集中的所有对象在步骤d所调用的相 应worker中定义一个整型变量k，调用步骤d的状态转换程序，执行以下循环： 定义k值从1到i :f. 若步骤e中相应数据分片内的各个对象，从初始状态向决策状态转换的过程中存在 多个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经 的相同状态； g. 针对步骤f的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转换 之后又得到相同状态量的所有对象只保留一个； h. 根据步骤g的处理结果，若各worker中存在多个对象，则在相应worker中，求这些 对象所历经状态的并集，否则，处理结果为步骤g中由各worker中所求得的单个对象历经 状态的集合（初始状态与决策状态除外）； i. 在相应worker中对步骤h的处理结果进行统计，若不存在步骤f中所提及的情况， 则约简结果为全部条件属性，否则遍历步骤h的约简结果，把中间状态量的集合解码为其 所对应的属性集合，作为约简结果输出。3.根据权利要求2所述的一种电力大数据预处理的属性约简方法，其特征是，步骤b把 电力大数据集根据其决策属性D的不同取值划分等价类后，若决策属性的取值种类超过设 定值，则后续的约简过程可按照以下步骤进行： ① 把步骤b划分好的各个等价类内电力数据集中的每条记录视作一个对象，各属性视 为变迀关系，各属性值看作在相应变迀关系作用下转换的中间状态，调用k台worker (集群 中的计算机），分别将各等价类内数据集的各个对象在相应的worker中从初始状态0在各 变迀关系的作用下朝着决策状态进行变换：其中表示第j个对象的初始状态且所有对象的初始状态量相同，L表示第j个对象 在变迀关系Ci的作用下转换到的相应中间状态，为初始状态h经各变迀关系c i，C2，… ，cn，D，变换之后的终止状态； ② 针对步骤b划分好的各个等价类内电力数据集中的所有对象，在步骤①所调用的相 应worker中定义一个整型变量k，调用步骤①的状态转换程序，执行以下循环： 定义k值从1到i :③ 若步骤②中相应等价类内的各个对象，从初始状态向决策状态转换的过程中存在多 个对象都经过若干个相同状态的转换，到达相同的决策状态，则只保留这些对象所历经的 相同状态； ④ 对步骤③的处理结果，在相应worker中，把从相同状态量经同样的变迀关系转换之 后又得到相同状态量的所有对象只保留一个； ⑤ 根据步骤④的处理结果，若各worker中存在多个对象，则在相应worker中，求这些 对象所历经状态的并集，否则，处理结果为步骤④中由各worker中所求得的单个对象历经 状态的集合（初始状态与决策状态除外）； ⑥ 在相应worker中对步骤⑤的处理结果进行统计，若不存在步骤③中所提及的情况， 则约简结果为全部条件属性，否则遍历步骤⑤的约简结果，把中间状态量的集合解码为其 所对应的属性集合，作为约简结果输出，算法结束。
【专利摘要】一种电力大数据预处理的属性约简方法，用于解决电力大数据属性约简的预处理问题。所述方法首先将电力系统中的属性视作变迁关系，属性值作为在相应变迁关系作用下的转换状态；然后把在某一顺序变迁关系组的转换下到达相同终止状态的一些变迁序列去掉中间的冗余状态，仅保留关键路径；最后将关键路径上的变迁关系解码为相应的属性输出。本发明将偏序理论与MapReduce框架有机结合在一起，不仅略过了传统启发式约简算法的求核过程，提高了约简算法的效率，而且能够确保电力数据集的原有信息不丢失，特别适于电力行业海量数据的并行化预处理。
【IPC分类】G06Q50/06, G06F19/00
【公开号】CN104899447
【申请号】CN201510310151
【发明人】李刚, 焦谱, 宋雨, 申金波
【申请人】华北电力大学（保定）
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)