一种基于大数据的电力通信设备性能分析方法及装置的制造方法

一种基于大数据的电力通信设备性能分析方法及装置的制造方法
【技术领域】
[0001] 本发明设及电力通信技术领域，尤其设及一种基于大数据的电力通信设备性能分 析方法及装置。
【背景技术】
[0002] 现有技术中，电力通信网具有多制式、结构复杂、设备数量众多、性能运行数据多 元化的特点，由于电力系统间需要进行协作，因此电力通信网也将承载越来越多的电网控 审IJ、自动化等业务。因此需要对大数据环境下的电力通信网进行运行态势分析，W发现电力 通信网运行时的故障隐患。
[0003] 电力通信网中的设备性能数据是评估网络运行状态的重要基础。在传统的电力通 信网络中，通过对特定设备性能数据设置一定口限，比较性能值与口限值来判定网络设备 或者链路的运行情况。首先，上述方法不能判断是否为虚假性能告警；其次，上述方案也不 能动态预警，而且性能分析的对象也仅通过经验模式获取，缺乏足够的数据支撑，所得到的 结论不能应用于分析电力通信网的运行安全可靠性。
[0004] 现有技术中，首先是通过设备或者网管的采集来对电力通信网的设备性能数据进 行存储，之后采用基于S化数据库技术等传统方法对数据筛选分析。在上述过程中，由于电 力通信网络设备性能数据的规模较大，传统方法效率较低，不能充分挖掘电力通信网的性 能特征。并且整个分析过程没有参考有效的规则库，不能对网络运行维护决策提供有效的 数据支撑。

【发明内容】

[0005] 针对现有技术中的缺陷，本发明提供一种基于大数据的电力通信设备性能分析方 法及装置，用于在大数据场景中充分挖掘电力通信设备的性能特征，提高数据分析效率；并 建立有效的特征库为电力通信网络运行维护提供数据支撑。
[0006] 第一方面，本发明提供了一种基于大数据的电力通信设备性能分析方法，包括：
[0007] 获取电力通信设备的设备性能数据并进行预处理；
[000引对预处理后的设备性能数据进行分组，得到设备性能分组数据；
[0009] 根据电力通信设备的设备性能数据时间分布建立分类特征库；
[0010] 比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备 的设备性能状态。
[0011] 可选地，对所述设备性能数据进行预处理的步骤，具体包括：
[0012] 删除设备性能数据中的缺失值数据，填充异常值数据。
[0013] 可选地，所述对所述预处理后的设备性能数据进行分组的过程，具体包括：
[0014] 利用预处理后的设备性能数据构造设备性能特征向量；
[0015] 根据设备标识号对设备性能特征向量进行分组。
[0016] 可选地，采用数据库或者哈希算法对设备性能特征向量进行分组。
[0017] 可选地，对数据库信息分配不同的权重，对设备性能数据进行迁移，优先存储在权 重较高的数据库中。
[001引可选地，所述分类特征库中包括平稳分类信息函数、渐变分类信息函数和突变分 类信息函数。
[0019] 可选地，所述平稳分类信息函数的方差计算式为：
[0020] cr:2 =巧(三,-//)2] =P(2' -/〇2的之)出
[0021] 其中，〇z为方差，E□为期望，zt为t时刻性的能观测值Z，y为均值，P(z)是任 意时刻t能观测值的概率分布。
[0022] 可选地，所述渐变分类信息函数的方差计算式为：
[0023] 打：=k,
[0024] 其中，。Z为方差，k是常数。
[0025] 可选地，所述突变分类信息函数的序列偏差为：
[0026]写=+托马_2 + …+餐与-p + A
[0027]其中，為=/,-//为关于y的序列偏差，y为Zt的平均值，4i为多项式参数。
[002引第二方面，本发明还提供了一种基于大数据的电力通信设备性能分析装置，包 括：
[0029] 数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预 处理；
[0030] 数据分组模块，用于对预处理后的设备性能数据进行分组；
[0031] 数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量；
[0032] 特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行 状态。
[0033] 由上述技术方案可知，本发明通过对电力通信设备的性能数据进行预处理，构造 设备性能特征向量后进行分组，然后分布不同的工作节点中。通过建立分类特征库，在分类 特征库中分类匹配设备性能数据的特征，得到所述电力通信设备的性能趋势分类，为电力 通信网的运行维护提供依据。与现有技术相比，本发明的技术方案分析效率高，且有有效的 数据支撑。
【附图说明】
[0034] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根 据该些附图获得其他的附图。
[0035]图1是本发明提供的一种基于大数据的电力通信性能分析方法流程图；
[0036] 图2是本发明一实施例中，电力通信设备性能分析方法示意图；
[0037]图3是本发明一实施例中，电力通信设备满足平稳规则的分类趋势示意图；
[003引图4是本发明一实施例中，电力通信设备满足渐变分类规则的分类趋势示意图；
[0039] 图5是本发明一实施例中，电力通信设备满足突变规则的分类趋势示意图；
[0040] 图6是本发明提供的一种基于大数据的电力通信性能分析装置框图。
【具体实施方式】
[0041] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 本发明提供了一种基于大数据的电力通信设备性能分析方法，如图1所示，包括：
[0043] S100、获取电力通信设备的设备性能数据并进行预处理；
[0044]S200、对预处理后的设备性能数据进行分组，得到设备性能分组数据；
[0045] S300、根据电力通信设备的设备性能数据时间分布建立分类特征库；
[0046]S400、比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通 信设备的设备性能状态。
[0047] 本发明通过对电力通信设备的性能数据进行预处理，在构造设备性能特征向量后 进行分组得到设备性能分组数据；然后将上述设备性能分组数据分布在不同工作节点中。 通过建立分类特征库，在分类特征库中分类匹配设备性能数据的特征，得到电力通信设备 的性能趋势分类，为电力通信网的运行维护提供依据。与现有技术相比，本发明的技术方案 分析效率高，且有有效的数据支撑。
[0048] 首先，介绍S100、获取电力通信设备的设备性能数据并进行预处理的步骤。
[0049] 本发明中，将每个电力通信设备在一定历史时间内的性能数据作为该电力通信设 备性能分析的时间窗口W，W=巧，E]，其中B表示每个设备性能分析的开始时间，E表示每 个设备性能分析的结束时间。该时间窗口可为全部历史数据，该时可获得最大数据量。 [0化0] 由于设备性能数据存在缺失值和异常值，因此本发明对该些数据进行处理。通过 对每个时间窗口内大量性能数据的规整，删除缺失值数据，填充异常值数据，方便后续建立 分类特征库。抽象为选定时间范围内的测量数据，进行特征提取、映射数据到新的空间和特 征构造，形成设备性能数据特征向量。该设备性能数据特征向量为每个通信设备性能数据 的集合。
[0化1] 其次，介绍步骤S200、对预处理后的设备性能数据进行分组，得到设备性能分组数 据的步骤。
[0化2] 为提高性能数据分析效率，本发明对设备性能特征向量进行分组，形成设备性能 分组数据。首选地，采用设备标识号来实现分组。通常情况下，可W采用数据库值B)或者 哈希化ash)算法来实现。实际应用中，本发明利用多个数据库，优选地，采用关系型数据库 (RDB)来实现。其中，每个数据库都独立起作用，不会影响其他数据库处理设备性能分组数 据。
[0053] 实际应用中，本发明将每个设备标识号对应的数据库标识号记录下来。当应用程 序启动时，将所有的设备与数据库的对应关系数据放在内存缓存中。当用户进行数据访问 时，从内存缓存中取得该设备标识号与对应的数据库标识号之间的对应关系，然后再进行 相应的访问。
[0054] 本发明中，给所有数据库分配不同的权重，可W对设备性能数据进行迁移，优先存 储在权重较高的数据库中。最后，将预处理后的设备性能数据分布到不同的工作节点中。通 过上述步骤，完成性能数据的分布式分组过程。
[0055] 再次，介绍S300、根据电力通信设备的设备性能数据时间分布建立分类特征库的 步骤。
[0化6]目前，建立分类特征库，理论上没有明确的规则，往往需要根据设计者的经验和多 次实验来确定。本发明中基于设备性能数据时间分布的特点，建立了 =种分类函数。
[0化7] 本发明所建立的分类特征库在形式上为一个信息系统，是四元组S=扣，A，V，F)， 其中U为论域，即设备的非空有限集合;A为属性的非空有限集合，即设备的性能数据；V为 属性A的值域，即经过预处理的性能数据取值区间；F是一个分类信息函数。本发明中基于 设备性能数据时间分布的特点，建立了 =种分类函数，但是在应用中可W根据实际的需要， 建立其他类型的分类规则，本发明不作限定。
[0化引根据随机现象的不确定性，模糊概念的不确定性W及信息系统中知识和概念的不 确定性，并结合电力通信网络中时间窗口内的性能数据，构造如下分类信息函数：
[0化9] 1)平稳分类信息函数：
[0060] 假设任意时刻点ti，t2,…，tm的性能观测值…，马。的联合概率与分布时间 点ti吨t2吨…，tm +k的观测值马A一的联合概率分布相同，并且如果把所有 观测时刻都向前或者向后推移任意整数k，相应设备性能观测值的联合分布是不会受到影 响的，则认为该段时间窗口内的性能趋势符合平稳规则。
[0061] 设备性能的联合概率分布满足式（1):
[0062]
[0063] 平稳分类信息函数意味着对于任何时刻t的概率分布p(Zt)都是相同的，可W将 其记为P(z)。所W，该分类信息函数具有常数均值，见式（2)。
[0064]
( 2 )
[0065] 式（2)定义了一个平均水平，设备性能趋势围绕该平均水平上下波动，并且该分 类函数具有常数方差，该值用来描述设备性能参数在平均值附近的离散程度，如式（3):
[0066]
( 3 )
[0067] 在实际应用过程中，只有当该值满足一定的误差范围内才有实际意义。
[0068] 2)渐变分类信息函数：
[0069] 电力通信网中设备性能状态不能保证平稳波动，尤其是不围绕一个固定的性能均 值而变化，因此合理地分析出设备在某段时间内的渐变特性可W为未来设备可能出现的缺 陷提供警示。
[0070] 本发明中，取任意两个时刻点t和t-T，可W得到如下均值关系：
[007Uyt_y=T?k(4)
[0072]同样该渐变分类信息函数具有常数方差，用来描述设备性能参数在平均值 附近的离散程度。
[0073] 3)突变分类信息函数：
[0074] 电力通信网中的设备性能状态并不能保证渐变波动，可能在某几个时刻出现很大 幅度变化，该就要求构造的特征库中包含该种跳变情况，为分析设备是否发生虚假性能告 警或者性能稳定问题情况，提供理论支撑，使分析性能参数的突变更具有现实意义，因此需 要构造设备性能参数的突变分类信息函数。
[0075] 本发明中，该分类信息函数由有限的、过程先前值的线性组合和一个冲击at构成。 利用Z。Zt_i，Zt_2,…来记等间隔时间t，t-1，t-2,…上的该时间窗口t设备性能值。且记 1马为关于y的序列偏差（y为Zt的平均值），
[0076]
( 5 )
[0077] 该模型包含P+2个未知参数//，如爲，…，换，式，在实际应用中该些参数必须由性 能数据来估计。当观测的时间窗口内的性能数据满足上式巧），则认为该时间窗口内性能趋 势满足突变规则。
[007引上述=类分类信息函数为本发明中的优选实施方式，实际应用中可根据需求，对 上述分类信息函数进行修改或者增加新的分类信息函数。通过建立不同的分类信息函数， 形成适用于电力通信设备性能数据分析的分类特征库，本领域的技术人员应该了解，改进 的技术方案也落入了本发明技术方案的保护范围。
[0079]最后，介绍S400、在分类特征库中分类匹配设备性能分组数据的特征，得到所述电 力通信设备的性能趋势分类的步骤。
[0080] 在分类特征库了对设备性能特征数据进行分类匹配，得到该设备在选定时间窗口 的性能趋势分类。
[0081] 实施例
[0082] 为验证本发明所提供的一种基于大数据的电力通信设备性能分析方法的有效性， 本发明分析处理国内某电力通信网下不同类型设备光功率历史性能数据进行验证。
[0083] 首先，删除设备的输出光功率和接收光功率为缺失值的数据条目，然后修改异常 值数据，如输入光功率和接收光功率条目中为零值、负数的数据，之后计算每种类型设备的 输出光功率与接收光功率的差值作为新的性能参数，即光功率衰耗，如式（6)所示。
[0084] OpLoss=OpPt-OpPr (6)
[0085] 进一步修改异常值，即光功率衰耗为负数的数据条目，得到该设备在选定时间段 内的光功率衰耗数据并进行规整，最后得到经过预处理后的数据大小为3T。
[0086] 实际应用中，如图2所示，本发明一实施中采用6台主机搭建实验环境，其中一台 主机作为控制节点（图2中控制节点0)，其他五台主机作为工作节点（工作节点1-5)。其中 =台主机进行Map操作，用于将分组数据分布到不同的工作节点中；两台主机进行Re化ce 操作，用于将处理过的分组数据重新组合。W64MB为分组单位，将3TB的输入数据进行分 组处理，分割成多个分组数据。
[0087] 在对电力通信设备进行性能表征的过程中，采用上述=种分类信息函数，W设备 标识号为主键，在分类特征库中进行分类匹配，可w得到不同设备在光功率趋势分类，为未 来可能出现的缺陷提供性能数据支撑。
[008引在链路设备端口发送功率稳定的情况下，接收功率的性能特征直接表示该条链路 的光功率衰耗特征，参见图3,可W看出，该电力通信设备的光功率在-2(Mbm上下波动，即 该设备满足平稳分类信息函数的分类趋势。因此，该设备的性能特征一切正常。
[0089] 如图4所示，在第220天的时刻点，该设备的光功率衰耗逐渐增大，光功率满足递 减的特征，即满足渐变分类信息函数的特征，此设备的光功率出现问题。如果继续保持该趋 势，光功率降低至一定阀值时，该设备会出现故障。因此当设备满足该分类趋势时，可W提 示用户注意。
[0090] 如图5所示，在第50天时的某时刻，设备的光功率发生突变，光功率衰减减少 1〇化。经过分析，该突变时刻点突变的原因是由于工程31接，站距缩短，导致光功率衰耗减 少约10地。在第350天时，该设备的光功率衰耗增加如b，其突变原因是由于对侧板卡故 障，更换板卡后，尾纤未清洁导致衰耗增加。因此，该设备的光功率特征满足突变分类信息 函数。
[0091] 通过上述实施例说明，本发明的电力通信设备性能分析方法是有效的，可W对设 备的性能趋势作出直观有效的分析。通过对大数据进行分组，可W提高分析效率；通过增加 分析特征库，可W弥补需要经验的缺陷，并且分析结果有数据支撑。
[0092] 基于上述的发明构思，本发明还提供了一种基于大数据的电力通信设备性能分析 装置，如图6所示，包括：
[0093] 数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预 处理；
[0094] 数据分组模块，用于对预处理后的设备性能数据进行分组；
[0095] 数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量；
[0096] 特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行 状态。
[0097] 本发明所提供的装置可W解决同样的技术问题，并取得相同的技术效果，在此不 再详述。
[009引 W上实施例仅用W说明本发明的技术方案，而非对其限制；尽管参照前述实施例 对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可W对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而该些修改或者 替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种基于大数据的电力通信设备性能分析方法，其特征在于，包括： 获取电力通信设备的设备性能数据并进行预处理； 对预处理后的设备性能数据进行分组，得到设备性能分组数据； 根据电力通信设备的设备性能数据时间分布特征建立分类特征库； 比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设 备性能状态。2. 如权利要求1所述的电力通信设备性能分析方法，其特征在于，对所述设备性能数 据进行预处理的步骤，具体包括： 删除设备性能数据中的缺失值数据，填充异常值数据。3. 如权利要求1所述的电力通信性能分析方法，其特征在于， 所述对所述预处理后的设备性能数据进行分组的过程，具体包括： 利用预处理后的设备性能数据构造设备性能特征向量； 根据设备标识号对设备性能特征向量进行分组。4. 如权利要求3所述的电力通信设备性能分析方法，其特征在于， 采用数据库或者哈希算法对设备性能特征向量进行分组。5. 如权利要求3所述的电力通信设备性能分析方法，其特征在于， 对数据库信息分配不同的权重，对设备性能数据进行迀移，优先存储在权重较高的数 据库中。6. 如权利要求1所述的电力通信设备性能分析方法，其特征在于， 所述分类特征库中包括平稳分类信息函数、渐变分类信息函数和突变分类信息函数。7. 如权利要求6所述的电力通信性能分析方法，其特征在于， 所述平稳分类信息函数的方差计算式为：其中，^为方差，E□为期望，Zt为t时刻性的能观测值Ζ，μ为％的平均值，P(Z)是 任意时刻t能观测值的概率分布。8. 如权利要求6所述的电力通信性能分析方法，其特征在于， 所述渐变分类信息函数的方差计算式为： σ:=^2 其中，〇2为方差，k是常数。9. 如权利要求6所述的电力通信性能分析方法，其特征在于， 所述突变分类信息函数的序列偏差为： \ = Φ么Φ各-1+ …+ Φβ" + at 其中，^=Z1-/Z为关于μ的序列偏差，μ为Zt的平均值，Φ 多项式参数。10. -种基于大数据的电力通信设备性能分析装置，其特征在于，包括： 数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预处 理； 数据分组模块，用于对预处理后的设备性能数据进行分组； 数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量； 特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行状 O
【专利摘要】本发明公开了一种基于大数据的电力通信设备性能分析方法，包括：获取电力通信设备的设备性能数据并进行预处理；对预处理后的设备性能数据进行分组，得到设备性能分组数据；根据电力通信设备的设备性能数据时间分布特征建立分类特征库；比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。与现有技术相比，本发明的技术方案分析效率高，且有有效的数据支撑。
【IPC分类】G06F17/30, G06Q50/06
【公开号】CN104881436
【申请号】CN201510225259
【发明人】杨志敏, 洪丹轲, 赵晗褀, 张思拓, 吴斌, 王力, 舒然, 陈新南
【申请人】中国南方电网有限责任公司
【公开日】2015年9月2日
【申请日】2015年5月4日