一种网络高维大数据异常入侵的检测方法
一种网络高维大数据异常入侵的检测方法
【技术领域】
[0001] 本发明涉及一种网络数据异常检测方法，具体涉及网络高维大数据异常入侵的检 测方法。
【背景技术】
[0002] 近年来网络发展日新月异，从网络流量异常检测中可以检测到恶意的网络入侵， 而来自于网络的数据规模越来越大，一个被入侵的计算机网络将威胁到网络的稳定和安 全，甚至导致私人信息和财产的丢失。为了保证网络的安全，目前用于检测网络异常入侵所 的方法主要有两类，分别为误用检测方法和异常检测方法。误用检测方法是从流数据中提 取特征并与已知的签名、模式或者规格做比较，如果某个特征违反了一个或者多个签名，这 个入侵就会被发现，这种误用检测方法是由该领域的专家提出的，在检测已知入侵类型的 方法中相对简单和准确，但是，由于该领域专家的知识的有限性，误用检测方法不能有效的 检测当前的未知的入侵。相反，异常检测方法建立了模型和正常数据的配置文件，并认为 明显偏离模型和正常数据的配置文件即为入侵，可以有效的检测新的入侵，然而，异常检测 方法通常具有较高的错误率，并且大部分没有相关错误处理机制，从而完全的依赖于人类 (安全专家）去进一步的检测异常，因此异常检测方法容易产生错误和需要浪费时间去进 一步辨别。
[0003] 异常检测方法非常类似于异常点检测方法，因此，近年来，所提出的利用异常值检 测的方法大部分都解决了异常检测的问题，但大多数常规的异常值/奇异点检测方法只能 够检测出相对低维和静态数据集（没有频域变化的数据）中的异常，在处理高维数据和数 据流的异常检测时由于对这两个活跃的交互领域缺乏实质性的研宄工作，导致不能有效的 处理大的网络原始数据。在高维空间中关于子空间异常值检测方法，利用估计异常的测量 方法并不能实时更新，导致他们无法处理快速的数据流，在数据流中检测异常的技术依赖 于完整的数据空间，同时这些技术不能发现子空间的异常，也就不能实现对网络高维大数 据进行异常检测。
【发明内容】
[0004] 本发明旨在至少在一定程度上解决现有网络异常检测方法不能适应网络高维大 数据异常入侵的异常检测的问题。为此，本发明的一个目的在于提出一种网络高维大数据 异常入侵的检测方法，针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下 也能进一步提升网络异常入侵的检测效率和准确率。
[0005] 为达到上述目的，本发明提出了一种网络高维大数据异常入侵的检测方法，所述 种网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段，其中学习阶段首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个 SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空 间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离 群子空间的全部或特定数量的异常值反馈给用户。
[0006] 本发明提供的网络高维大数据异常入侵的检测方法中的学习阶段包括首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，从而形成了检测数据的异常点的多重准则，且每一个网络数据到来后数据所 属于的每个SST子空间的概要PCS将会被更新，最后将异常的细胞的PCS值和包括异常的 离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间，使得SST空间在持 续更新异常点数据，因此能够快速的发现子空间的各种新的异常，达到自适应处理高维网 络数据异常检测的目的。
[0007] 进一步的，建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有 监督的SST子空间（SS)的SST空间的过程包括
[0008] S1 :组建固定的SST子空间（FS)，固定的SST子空间（FS)包含在满的晶格中由用 户指定的参数约束的所有子空间，FS满足
[0009] S2 :离线学习构建无监督的SST子空间（US)过程，首先向一组历史数据中输入 未标记的训练数据，所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中， 超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持，当所有 的训练数据映射到相应的细胞中后，采用多目标遗传算法（M0GA)从训练数据集中找到 子空间中更高数目的异常，这些子空间将被添加到初始的US中；在获得最初的US后， 再进一步获得更多有用的子空间，并在训练数据中找到最无关的子空间，其中训练数 据的整体无关程度在无监督方式下采用聚类分析方法获得，定义通过多目标遗传算法 (M0GA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离（0D)，则
，式中m是M0GA返回的最稀少子空间的数目七是返回该集 合的子空间，Pl、P2为子空间的两个点；
[0010] S3:监督的SST子空间（SS)是指在一些应用中，一些小数量的异常可以由该领域 专家或早期的检测方法中获得，包括采用多目标遗传算法（M0GA)应用到每一个这些异常 的例子，找到最稀疏的子空间，这些子空间被定义为监督的SST子空间（SS)，这些异常的例 子可以被视为该领域的知识，可以有效的改进SST空间使其能更好的检测。
[0011] 进一步的，所述的细胞的PCS属于至少一个预定义阈值的SST子空间的所述细胞 的PCS为异常点，则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间。
[0012] 进一步的，所述网络高维大数据异常入侵的检测方法是通过多目标遗传算法搜索 SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个种群（即子空 间）进行子空间搜索。
[0013] 进一步的，所述子空间的第一代的子空间为随机产生，而随后的多代子空间是利 用交叉和变异搜索算子在他们上一代的子空间中产生，每一代子空间的个数定位在目标函 数空间的不同权衡表面，将位于最佳子空间的表面定义为ParetoFront，则将逐步产生越 来越多的位于ParetoFront的从非最优子空间变化而来的最优子空间。
[0014] 进一步的，所述聚类分析方法为固定宽度的聚集方法，首先数据集中已经聚集的 每个点P将会被分配到C'簇中，即OD(p,c' ) <d。，Vc，c'，〇D(p,c')彡OD(p, Ci)，这样cQ与已有m点的质心将在p的集群分配中更新，
[0016] 如果Vc,.，有〇D(p，Ci)彡d。，然后一个新的簇形成，并且P成为这个簇的新质心；如 此重复形成新的族，直到所述所有数据集中的数据被聚集。
[0017] 进一步的，所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间 (US)，并在SST无监督子空间（US)内合并相关性反馈产生新的子空间，实现SST空间的动 态更新。
[0018] 进一步的，所述合并相关性反馈过程为首先是将每个在SST中的子空间设置权重 为1 ;当SST中的子空间是正确离群子空间的时候权重增加，当SST中的子空间是错误信息 的离群子空间的时候权重将减少；每次经过特定数量的网络数据处理，在SST中的子空间 的权重将低于从SST得到的调整权重阈值；产生的新的子空间的权重将高于阈值。
[0019] 本发明提供的网络高维大数据异常入侵的检测方法利用多重准则来检测数据的 异常点，并利用多目标遗传算法搜索存在异常值的子空间，实现多重准则的在线更新，能够 处理网络环境中的高维数据问题，且能有效的搜索子空间从而检测到子空间的异常，能够 利用动态子空间集适应数据的动力特性，加快检测的过程，降低检测结果的错误率。
【附图说明】
[0020] 图1是本发明网络高维大数据异常入侵的检测方法的流程示意图；
【具体实施方式】
[0021] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0022] 下面参考附图来描述本发明实施例提出的网络高维大数据异常入侵的检测方法， 如图1所示，网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段，其中学习阶 段包括首先建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的 SST子空间（SS)的S ST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到 达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于 至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常 的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈 至SST空间。
[0023] 固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 之间相铺相成，从而形成了检测数据的异常点的多重准则，其中，主要部分的异常检测是通 过FS，US和SS被用于补充FS从而增加可以检测异常的概率；且每一个网络数据到来后数 据所属于的每个SST子空间的概要PCS将会被更新，最后将异常的细胞的PCS值和包括异 常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间，使得SST空间 在持续更新异常点数据，因此能够快速的发现子空间的各种新的异常，达到自适应处理高 维网络数据异常检测的目的。如果细胞的PCS属于一个或者更多的属于预定义阈值的SST 子空间，这些子空间是异常的离群子空间，所有的异常包括他们的离群子空间和细胞的PCS 值都属于离群子空间，最终，全部的或者特定数量的异常的异常值都返回给使用者。由于大 量的网络数据流和时间临界形成了检测过程，上述的过程能够快速的执行。
[0024]建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST 子空间（SS)的SST空间的过程包括S1 :组建固定的SST子空间（FS)，固定的SST子空间 (FS)包含在满的晶格中由用户指定的参数约束的所有子空间，这里最大尺寸是由用户指定 的参数，FS满足：
；S2 :离线学习构建无监督的SST子 空间（US)过程，首先向一组历史数据中输入未标记的训练数据，所有的训练数据被扫描并 被唯一的指定在超立方体的一个细胞中，超立方体中的各个已占有统计信息的细胞在数据 分配过程其数据将会被保持，当所有的训练数据映射到相应的细胞中后，采用多目标遗传 算法（M0GA)从训练数据集中找到子空间中更高数目的异常，这些子空间将被添加到初始 的US中；在获得最初的US后，再进一步获得更多有用的子空间，并在训练数据中找到最无 关的子空间，其中训练数据的整体无关程度在无监督方式下采用聚类分析方法获得，定义 通过多目标遗传算法（M0GA)所获得整体训练数据的最稀少的子空间中两个点的距离为无 关的距离（0D)，则
，式中m是M0GA返回的最稀少子空间的数 目，Si是返回该集合的子空间，ppp2为子空间的两个点；S3 :监督的SST子空间（SS)是指 在一些应用中，一些小数量的异常可以由该领域专家或早期的检测方法中获得，包括采用 多目标遗传算法（M0GA)应用到每一个这些异常的例子，找到最稀疏的子空间，这些子空间 被定义为监督的SST子空间（SS)，这些异常的例子可以被视为该领域的知识可以有效的改 进SST空间使其能更好的检测。
[0025] 基于上述三个构成子空间的组织，SST的整个训练数据集Dt
[0026] 可以表示如下：
[0027]SST(Dt) =FSUUSUSS
[0028] 其中每个构成子空间的群组可以表示为：
[0029] FS = U jSj, | Sj | MaxDimension
[0030] US = TSS (Dt) U j.TSS (pj)
[0031] SS = U tTSS(ot)
[0032] 这里Si表示第i个Max Dimension-dimensiona完整晶格子空间，TSS(Dt)表示整 个训练数据Dt的最稀疏子空间，TSS(pp表示第j个顶部训练数据最稀疏空间具有的最边 远的因子。TSS(〇t)表示第t个可用的异常样本的最稀疏子空间。
[0033] 训练数据可以自动检测到子空间集合中较高数目子空间的异常，训练数据通常在 尺寸上比原来的数据流小得多，因此应该完全配合主存储器使得I/O开销最小；多目标遗 传算法（M0GA)被用来搜索空间点阵以发现整个训练数据无关的子空间来构建US，为了更 加适应M0GA的计算，所有的训练数据被扫描和指定在超立方体的一个（只有一个）细胞 中；被挑选出来的训练数据很可能被视为异常，可以用此在数据集中检测更多类似的异常； 训练数据的整体无关程度在无监督方式下采用聚类分析方法，在聚类分析方法中一个关键 的问题是如何准确的测量训练空间中两个点的距离，预计该距离度量能够较好的反映整体 数据的无关相似性，尤其是那些有可能被检测到的异常，无关的距离（0D)作为一种新的距 离度量方法实现了聚集训练数据的目标。本方法中，PCS的一个预期的特征可以递增的更 新，而且他的计算速递很快，因此，每一个数据的异常估计也非常有效；它仅包括数据点的 映射到一个合适的细胞和PCS的异常检测过程。
[0034] 根据本发明的一个实施例，所述属于至少一个预定义阈值的SST子空间的所述细 胞的PCS为异常点，则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间，具体 为搜索SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个种群 (即子空间）进行子空间搜索。其目标是使SST子空间的结构最小化。
[0035] 根据本发明的一个实施例，所述子空间的第一代的子空间为随机产生，而随后的 多代子空间是利用交叉和变异搜索算子在他们上一代的子空间中产生，每一代子空间的个 数定位在目标函数空间的不同权衡表面，将位于最佳子空间的表面定义为ParetoFront， 则将逐步产生越来越多的位于ParetoFront的从非最优子空间变化而来的最优子空间。
[0036] 多目标遗传算法（M0GA)指导一个子空间的搜索，通过几代和每一代产生包含几 个个体的一个种群（即，子空间），第一代的子空间通常是随机产生的，而随后的几代子空 间是利用诸如交叉和变异搜索算子在他们上一代的这些子空间中产生的，在多目标最小化 的问题中，每一代子空间的个数可以定位在目标函数空间的不同权衡表面，位于上表面并 靠近原点的子空间最好是远离原点，在同一表面子空间的优势（劣势）没有区别。位于最佳 子空间的表面叫做ParetoFront，M0GA的目标是逐步产生越来越多的位于ParetoFront， 从非最优子空间变化而来的最优子空间。为了找到这些最优子空间，M0GA将多目标优化 问题分解为单目标各个优化，这一点可以在整个基于其它解决方案的数量中占主导地位。 M0GA提供了一个很好的处理多目标搜索问题的整体框架，此外，Elitism加入M0GA中，通过 一直应对解决方案的特定数，直接从一代到下一代，以改善M0GA的收敛性。
[0037] 根据本发明的一个具体实施例，聚类分析方法为固定宽度的聚集方法，首先 数据集中已经聚集的每个点P将会被分配到。簇中，即〇D(p，c' 0D(p, y) <0D(p,cj，这样q与已有m点的质心将在p的集群分配中更新，
[0039] 如果Vc,，有〇D(p，Ci)>d。，然后一个新的簇形成，并且P成为这个簇的新质心；如 此重复形成新的族，直到所述所有数据集中的数据被聚集。
[0040]由于其渐近线的特点，使得聚类方法的特征是关于例子的数目以及培训样本的维 数具有线性可缩性，然而，其结果对训练数据的聚集次序是敏感的，为了解决这个问题，一 个具体实施例是在最主要的聚集多线程下执行不同的数据命令以减少其对数据次序的灵 敏度，因此即使一个异常可以被分配到不同的簇中，而该异常被分配到一个小团簇的机会 更高。这是因为成簇的点的平均尺寸是它的一个无关度的有用指标，而不是该数据的次序。 训练数据的无关度称为无关因子（0F)，被定义为：
，其中 clustei^sizei(p)表示集群中第i个运行集群p的大小，n表示集群运行的数量。由MOGA获得的最稀疏的训练数据子空间也被添加到SST中的US中。需要进行一些测试来获得类 聚d。的数据，在最主要的类聚d。可选的参数中，所获得的簇的个数记为K。簇的个数K显 然比类聚d。更容易指定，具体的可以使用一些不同的、合理的数据，其下类聚的数据和每个 无关的训练数据可以被量化。
[0041] 根据本发明的一个实施例，所述反馈的异常值也被相关性反馈到SST空间的SST 无监督子空间（US)，并在SST无监督子空间（US)内合并相关性反馈产生新的子空间，实现 SST空间的动态更新。
[0042]如此进行反馈并合并相关性反馈 既可以满足网络数据的概念漂移（概念漂移是 大数据的一个重要特征，它更有可能包含数据的突变特征），还可以减少SST的大小，得到 更高的效率，适用于人工干预和反馈的场景，在实践中，这样的自反馈能够在线或者离线影 响SST的三个子集。
[0043]根据本发明的一个实施例，合并相关性反馈过程为首先是将每个在SST中的子空 间设置权重为1 ;当SST中的子空间是正确离群子空间的时候权重增加，当SST中的子空间 是错误信息的离群子空间的时候权重将减少；每次经过特定数量的网络数据处理，在SST 中的子空间的权重将低于从SST得到的调整权重阈值；产生的新的子空间的权重将高于阈 值。
[0044]合并相关性反馈后最终得到动态的SST在精确检测正确率和错误率的时候更重 要。因此对子空间的权重进行归一化是为了对权重阈值进行规范化处理；在SST中的所有 子空间的权重重置为1，是为了保持当前数据的实时性；为了使概念漂移更具有统计意义， 数据量的大小决定了SST更新的频率应该大于30。
[0045]需要指出的是，概念漂移并不是导致SST变化的关键，因为，尽管在数据集中数据 的整体特征突然改变，但对异常检测将仅仅造成很少的影响，从这个意义上来说，当处理概 念漂移的异常检测的时候本发明是有优势的，因为SST只有在异常检测导致概念漂移的时 候更新，这是本发明和其他基于度量和密度计算的概念漂移检测方法的重大区别。
[0046]同时本发明最后利用理论和实证分析来评估计算复杂度。具体的说，复杂性分析 是在学习阶段进行的，为了简单起见此处只分析A-SP0T的静态的状态。先定义一些符号来 有助于复杂性分析，N代表在数据流中的实例数，，Nt代表在训练（历史）数据集中的实例 数，No代表在该组离群范例中的实例数，巾是维数，k是用于计算逆K的相对距离，Gn和Gs 分别代表世代的数目和子空间中每代M0GA评估的数目。
[0047]上面的复杂性分析表明（没有复杂性分析过程）：（1)检测阶段的复杂性是与数据 流的大小线性相关的，这将能够更有效的处理大数据流（2)训练阶段的复杂性比检测检测 更重要，然而，训练阶段是离线的，不能影响整个方法的效率。
[0048]在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0049] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶 段包括首先建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的 SST子空间（SS)的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到 达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于 至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常 的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈 至SST空间。2. 如权利要求1所述的网络高维大数据异常入侵的检测方法，其特征在于建立一个包 括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS)的SST 空间的过程包括： 51 :组建固定的SST子空间（FS)，固定的SST子空间（FS)包含在满的晶格中由用户指 定的参数约束的所有子空间，FS满足：FS=丨S 最大尺寸，S e声}; 52 :离线学习构建无监督的SST子空间（US)过程：首先向一组历史数据中输入未标记 的训练数据，所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中，超立方体 中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持，当所有的训练数据映 射到相应的细胞中后，采用多目标遗传算法（MOGA)从训练数据集中找到子空间中更高数 目的异常，这些子空间将被添加到初始的US中；在获得最初的US后，再进一步获得更多有 用的子空间，并在训练数据中找到最无关的子空间，其中训练数据的整体无关程度在无监 督方式下采用聚类分析方法获得，定义通过多目标遗传算法（MOGA)所获得整体训练数据 的最稀少的子空间中两个点的距离为无关的距离（OD)，则，式中m是MOGA返回的最稀少子空间的数目，Si是返回 该集合的子空间，Pl、P2为子空间的两个点； S3:监督的SST子空间（SS)是指在一些应用中，一些小数量的异常可以由该领域专家 或早期的检测方法获得，包括采用多目标遗传算法（MOGA)应用到每一个这些异常的例子， 找到最稀疏的子空间，这些子空间被定义为监督的SST子空间（SS)。3. 如权利要求2所述的网络高维大数据异常入侵的检测方法，其特征在于所述属于至 少一个预定义阈值的SST子空间的所述细胞的PCS为异常点，则进一步通过多目标遗传算 法搜索存在所述异常点的SST子空间。4. 如权利要求3所述的网络高维大数据异常入侵的检测方法，其特征在于通过多目标 遗传算法搜索SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个 种群（即子空间）进行子空间搜索。5. 如权利要求4所述的网络高维大数据异常入侵的检测方法，其特征在于所述子空间 的第一代的子空间为随机产生，而随后的多代子空间是利用交叉和变异搜索算子在他们上 一代的子空间中产生，每一代子空间的个数定位在目标函数空间的不同权衡表面，将位于 最佳子空间的表面定义为Pareto Front，则将逐步产生越来越多的位于Pareto Front的从 非最优子空间变化而来的最优子空间。6. 如权利要求2所述的网络高维大数据异常入侵的检测方法，其特征在于所述聚类分 析方法为固定宽度的聚集方法，首先数据集中已经聚集的每个点P将会被分配到C'簇中， 即OD(p，c' Xd。，％#'，〇D(p，c')彡OD(p，Ci)，这样Ctl与已有m点的质心将在p的 集群分配中更新，如果Vq，有OD (p，Ci)彡d。，然后一个新的簇形成，并且P成为这个簇的新质心；如此重 复形成新的族，直到所述所有数据集中的数据被聚集。7. 如权利要求1所述的网络高维大数据异常入侵的检测方法，其特征在于所述反馈的 异常值也被相关性反馈到SST空间的SST无监督子空间（US)，并在SST无监督子空间（US) 内合并相关性反馈产生新的子空间，实现SST空间的动态更新。8. 如权利要求7所述的网络高维大数据异常入侵的检测方法，其特征在于所述合并相 关性反馈过程为首先是将每个在SST中的子空间设置权重为1 ;当SST中的子空间是正确 离群子空间的时候权重增加，当SST中的子空间是错误信息的离群子空间的时候权重将减 少；每次经过特定数量的网络数据处理，在SST中的子空间的权重将低于从SST得到的调整 权重阈值；产生的新的子空间的权重将高于阈值。
【专利摘要】本发明公开了一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶段包括首先建立一个包括有固定的SST子空间、无监督的SST子空间、有监督的SST子空间的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。本发明针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下也能进一步提升网络异常入侵的检测效率和准确率。
【IPC分类】G06F21/55
【公开号】CN104899507
【申请号】CN201510307300
【发明人】李宏周, 张吉, 庞雪燕, 刘建明, 陈天宁
【申请人】桂林电子科技大学
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明涉及一种网络数据异常检测方法，具体涉及网络高维大数据异常入侵的检 测方法。
【背景技术】
[0002] 近年来网络发展日新月异，从网络流量异常检测中可以检测到恶意的网络入侵， 而来自于网络的数据规模越来越大，一个被入侵的计算机网络将威胁到网络的稳定和安 全，甚至导致私人信息和财产的丢失。为了保证网络的安全，目前用于检测网络异常入侵所 的方法主要有两类，分别为误用检测方法和异常检测方法。误用检测方法是从流数据中提 取特征并与已知的签名、模式或者规格做比较，如果某个特征违反了一个或者多个签名，这 个入侵就会被发现，这种误用检测方法是由该领域的专家提出的，在检测已知入侵类型的 方法中相对简单和准确，但是，由于该领域专家的知识的有限性，误用检测方法不能有效的 检测当前的未知的入侵。相反，异常检测方法建立了模型和正常数据的配置文件，并认为 明显偏离模型和正常数据的配置文件即为入侵，可以有效的检测新的入侵，然而，异常检测 方法通常具有较高的错误率，并且大部分没有相关错误处理机制，从而完全的依赖于人类 (安全专家）去进一步的检测异常，因此异常检测方法容易产生错误和需要浪费时间去进 一步辨别。
[0003] 异常检测方法非常类似于异常点检测方法，因此，近年来，所提出的利用异常值检 测的方法大部分都解决了异常检测的问题，但大多数常规的异常值/奇异点检测方法只能 够检测出相对低维和静态数据集（没有频域变化的数据）中的异常，在处理高维数据和数 据流的异常检测时由于对这两个活跃的交互领域缺乏实质性的研宄工作，导致不能有效的 处理大的网络原始数据。在高维空间中关于子空间异常值检测方法，利用估计异常的测量 方法并不能实时更新，导致他们无法处理快速的数据流，在数据流中检测异常的技术依赖 于完整的数据空间，同时这些技术不能发现子空间的异常，也就不能实现对网络高维大数 据进行异常检测。
【发明内容】
[0004] 本发明旨在至少在一定程度上解决现有网络异常检测方法不能适应网络高维大 数据异常入侵的异常检测的问题。为此，本发明的一个目的在于提出一种网络高维大数据 异常入侵的检测方法，针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下 也能进一步提升网络异常入侵的检测效率和准确率。
[0005] 为达到上述目的，本发明提出了一种网络高维大数据异常入侵的检测方法，所述 种网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段，其中学习阶段首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个 SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空 间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离 群子空间的全部或特定数量的异常值反馈给用户。
[0006] 本发明提供的网络高维大数据异常入侵的检测方法中的学习阶段包括首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，从而形成了检测数据的异常点的多重准则，且每一个网络数据到来后数据所 属于的每个SST子空间的概要PCS将会被更新，最后将异常的细胞的PCS值和包括异常的 离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间，使得SST空间在持 续更新异常点数据，因此能够快速的发现子空间的各种新的异常，达到自适应处理高维网 络数据异常检测的目的。
[0007] 进一步的，建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有 监督的SST子空间（SS)的SST空间的过程包括
[0008] S1 :组建固定的SST子空间（FS)，固定的SST子空间（FS)包含在满的晶格中由用 户指定的参数约束的所有子空间，FS满足
[0009] S2 :离线学习构建无监督的SST子空间（US)过程，首先向一组历史数据中输入 未标记的训练数据，所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中， 超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持，当所有 的训练数据映射到相应的细胞中后，采用多目标遗传算法（M0GA)从训练数据集中找到 子空间中更高数目的异常，这些子空间将被添加到初始的US中；在获得最初的US后， 再进一步获得更多有用的子空间，并在训练数据中找到最无关的子空间，其中训练数 据的整体无关程度在无监督方式下采用聚类分析方法获得，定义通过多目标遗传算法 (M0GA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离（0D)，则
，式中m是M0GA返回的最稀少子空间的数目七是返回该集 合的子空间，Pl、P2为子空间的两个点；
[0010] S3:监督的SST子空间（SS)是指在一些应用中，一些小数量的异常可以由该领域 专家或早期的检测方法中获得，包括采用多目标遗传算法（M0GA)应用到每一个这些异常 的例子，找到最稀疏的子空间，这些子空间被定义为监督的SST子空间（SS)，这些异常的例 子可以被视为该领域的知识，可以有效的改进SST空间使其能更好的检测。
[0011] 进一步的，所述的细胞的PCS属于至少一个预定义阈值的SST子空间的所述细胞 的PCS为异常点，则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间。
[0012] 进一步的，所述网络高维大数据异常入侵的检测方法是通过多目标遗传算法搜索 SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个种群（即子空 间）进行子空间搜索。
[0013] 进一步的，所述子空间的第一代的子空间为随机产生，而随后的多代子空间是利 用交叉和变异搜索算子在他们上一代的子空间中产生，每一代子空间的个数定位在目标函 数空间的不同权衡表面，将位于最佳子空间的表面定义为ParetoFront，则将逐步产生越 来越多的位于ParetoFront的从非最优子空间变化而来的最优子空间。
[0014] 进一步的，所述聚类分析方法为固定宽度的聚集方法，首先数据集中已经聚集的 每个点P将会被分配到C'簇中，即OD(p,c' ) <d。，Vc，c'，〇D(p,c')彡OD(p, Ci)，这样cQ与已有m点的质心将在p的集群分配中更新，
[0016] 如果Vc,.，有〇D(p，Ci)彡d。，然后一个新的簇形成，并且P成为这个簇的新质心；如 此重复形成新的族，直到所述所有数据集中的数据被聚集。
[0017] 进一步的，所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间 (US)，并在SST无监督子空间（US)内合并相关性反馈产生新的子空间，实现SST空间的动 态更新。
[0018] 进一步的，所述合并相关性反馈过程为首先是将每个在SST中的子空间设置权重 为1 ;当SST中的子空间是正确离群子空间的时候权重增加，当SST中的子空间是错误信息 的离群子空间的时候权重将减少；每次经过特定数量的网络数据处理，在SST中的子空间 的权重将低于从SST得到的调整权重阈值；产生的新的子空间的权重将高于阈值。
[0019] 本发明提供的网络高维大数据异常入侵的检测方法利用多重准则来检测数据的 异常点，并利用多目标遗传算法搜索存在异常值的子空间，实现多重准则的在线更新，能够 处理网络环境中的高维数据问题，且能有效的搜索子空间从而检测到子空间的异常，能够 利用动态子空间集适应数据的动力特性，加快检测的过程，降低检测结果的错误率。
【附图说明】
[0020] 图1是本发明网络高维大数据异常入侵的检测方法的流程示意图；
【具体实施方式】
[0021] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0022] 下面参考附图来描述本发明实施例提出的网络高维大数据异常入侵的检测方法， 如图1所示，网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段，其中学习阶 段包括首先建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的 SST子空间（SS)的S ST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到 达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于 至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常 的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈 至SST空间。
[0023] 固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 之间相铺相成，从而形成了检测数据的异常点的多重准则，其中，主要部分的异常检测是通 过FS，US和SS被用于补充FS从而增加可以检测异常的概率；且每一个网络数据到来后数 据所属于的每个SST子空间的概要PCS将会被更新，最后将异常的细胞的PCS值和包括异 常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间，使得SST空间 在持续更新异常点数据，因此能够快速的发现子空间的各种新的异常，达到自适应处理高 维网络数据异常检测的目的。如果细胞的PCS属于一个或者更多的属于预定义阈值的SST 子空间，这些子空间是异常的离群子空间，所有的异常包括他们的离群子空间和细胞的PCS 值都属于离群子空间，最终，全部的或者特定数量的异常的异常值都返回给使用者。由于大 量的网络数据流和时间临界形成了检测过程，上述的过程能够快速的执行。
[0024]建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST 子空间（SS)的SST空间的过程包括S1 :组建固定的SST子空间（FS)，固定的SST子空间 (FS)包含在满的晶格中由用户指定的参数约束的所有子空间，这里最大尺寸是由用户指定 的参数，FS满足：
；S2 :离线学习构建无监督的SST子 空间（US)过程，首先向一组历史数据中输入未标记的训练数据，所有的训练数据被扫描并 被唯一的指定在超立方体的一个细胞中，超立方体中的各个已占有统计信息的细胞在数据 分配过程其数据将会被保持，当所有的训练数据映射到相应的细胞中后，采用多目标遗传 算法（M0GA)从训练数据集中找到子空间中更高数目的异常，这些子空间将被添加到初始 的US中；在获得最初的US后，再进一步获得更多有用的子空间，并在训练数据中找到最无 关的子空间，其中训练数据的整体无关程度在无监督方式下采用聚类分析方法获得，定义 通过多目标遗传算法（M0GA)所获得整体训练数据的最稀少的子空间中两个点的距离为无 关的距离（0D)，则
，式中m是M0GA返回的最稀少子空间的数 目，Si是返回该集合的子空间，ppp2为子空间的两个点；S3 :监督的SST子空间（SS)是指 在一些应用中，一些小数量的异常可以由该领域专家或早期的检测方法中获得，包括采用 多目标遗传算法（M0GA)应用到每一个这些异常的例子，找到最稀疏的子空间，这些子空间 被定义为监督的SST子空间（SS)，这些异常的例子可以被视为该领域的知识可以有效的改 进SST空间使其能更好的检测。
[0025] 基于上述三个构成子空间的组织，SST的整个训练数据集Dt
[0026] 可以表示如下：
[0027]SST(Dt) =FSUUSUSS
[0028] 其中每个构成子空间的群组可以表示为：
[0029] FS = U jSj, | Sj | MaxDimension
[0030] US = TSS (Dt) U j.TSS (pj)
[0031] SS = U tTSS(ot)
[0032] 这里Si表示第i个Max Dimension-dimensiona完整晶格子空间，TSS(Dt)表示整 个训练数据Dt的最稀疏子空间，TSS(pp表示第j个顶部训练数据最稀疏空间具有的最边 远的因子。TSS(〇t)表示第t个可用的异常样本的最稀疏子空间。
[0033] 训练数据可以自动检测到子空间集合中较高数目子空间的异常，训练数据通常在 尺寸上比原来的数据流小得多，因此应该完全配合主存储器使得I/O开销最小；多目标遗 传算法（M0GA)被用来搜索空间点阵以发现整个训练数据无关的子空间来构建US，为了更 加适应M0GA的计算，所有的训练数据被扫描和指定在超立方体的一个（只有一个）细胞 中；被挑选出来的训练数据很可能被视为异常，可以用此在数据集中检测更多类似的异常； 训练数据的整体无关程度在无监督方式下采用聚类分析方法，在聚类分析方法中一个关键 的问题是如何准确的测量训练空间中两个点的距离，预计该距离度量能够较好的反映整体 数据的无关相似性，尤其是那些有可能被检测到的异常，无关的距离（0D)作为一种新的距 离度量方法实现了聚集训练数据的目标。本方法中，PCS的一个预期的特征可以递增的更 新，而且他的计算速递很快，因此，每一个数据的异常估计也非常有效；它仅包括数据点的 映射到一个合适的细胞和PCS的异常检测过程。
[0034] 根据本发明的一个实施例，所述属于至少一个预定义阈值的SST子空间的所述细 胞的PCS为异常点，则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间，具体 为搜索SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个种群 (即子空间）进行子空间搜索。其目标是使SST子空间的结构最小化。
[0035] 根据本发明的一个实施例，所述子空间的第一代的子空间为随机产生，而随后的 多代子空间是利用交叉和变异搜索算子在他们上一代的子空间中产生，每一代子空间的个 数定位在目标函数空间的不同权衡表面，将位于最佳子空间的表面定义为ParetoFront， 则将逐步产生越来越多的位于ParetoFront的从非最优子空间变化而来的最优子空间。
[0036] 多目标遗传算法（M0GA)指导一个子空间的搜索，通过几代和每一代产生包含几 个个体的一个种群（即，子空间），第一代的子空间通常是随机产生的，而随后的几代子空 间是利用诸如交叉和变异搜索算子在他们上一代的这些子空间中产生的，在多目标最小化 的问题中，每一代子空间的个数可以定位在目标函数空间的不同权衡表面，位于上表面并 靠近原点的子空间最好是远离原点，在同一表面子空间的优势（劣势）没有区别。位于最佳 子空间的表面叫做ParetoFront，M0GA的目标是逐步产生越来越多的位于ParetoFront， 从非最优子空间变化而来的最优子空间。为了找到这些最优子空间，M0GA将多目标优化 问题分解为单目标各个优化，这一点可以在整个基于其它解决方案的数量中占主导地位。 M0GA提供了一个很好的处理多目标搜索问题的整体框架，此外，Elitism加入M0GA中，通过 一直应对解决方案的特定数，直接从一代到下一代，以改善M0GA的收敛性。
[0037] 根据本发明的一个具体实施例，聚类分析方法为固定宽度的聚集方法，首先 数据集中已经聚集的每个点P将会被分配到。簇中，即〇D(p，c' 0D(p, y) <0D(p,cj，这样q与已有m点的质心将在p的集群分配中更新，
[0039] 如果Vc,，有〇D(p，Ci)>d。，然后一个新的簇形成，并且P成为这个簇的新质心；如 此重复形成新的族，直到所述所有数据集中的数据被聚集。
[0040]由于其渐近线的特点，使得聚类方法的特征是关于例子的数目以及培训样本的维 数具有线性可缩性，然而，其结果对训练数据的聚集次序是敏感的，为了解决这个问题，一 个具体实施例是在最主要的聚集多线程下执行不同的数据命令以减少其对数据次序的灵 敏度，因此即使一个异常可以被分配到不同的簇中，而该异常被分配到一个小团簇的机会 更高。这是因为成簇的点的平均尺寸是它的一个无关度的有用指标，而不是该数据的次序。 训练数据的无关度称为无关因子（0F)，被定义为：
，其中 clustei^sizei(p)表示集群中第i个运行集群p的大小，n表示集群运行的数量。由MOGA获得的最稀疏的训练数据子空间也被添加到SST中的US中。需要进行一些测试来获得类 聚d。的数据，在最主要的类聚d。可选的参数中，所获得的簇的个数记为K。簇的个数K显 然比类聚d。更容易指定，具体的可以使用一些不同的、合理的数据，其下类聚的数据和每个 无关的训练数据可以被量化。
[0041] 根据本发明的一个实施例，所述反馈的异常值也被相关性反馈到SST空间的SST 无监督子空间（US)，并在SST无监督子空间（US)内合并相关性反馈产生新的子空间，实现 SST空间的动态更新。
[0042]如此进行反馈并合并相关性反馈 既可以满足网络数据的概念漂移（概念漂移是 大数据的一个重要特征，它更有可能包含数据的突变特征），还可以减少SST的大小，得到 更高的效率，适用于人工干预和反馈的场景，在实践中，这样的自反馈能够在线或者离线影 响SST的三个子集。
[0043]根据本发明的一个实施例，合并相关性反馈过程为首先是将每个在SST中的子空 间设置权重为1 ;当SST中的子空间是正确离群子空间的时候权重增加，当SST中的子空间 是错误信息的离群子空间的时候权重将减少；每次经过特定数量的网络数据处理，在SST 中的子空间的权重将低于从SST得到的调整权重阈值；产生的新的子空间的权重将高于阈 值。
[0044]合并相关性反馈后最终得到动态的SST在精确检测正确率和错误率的时候更重 要。因此对子空间的权重进行归一化是为了对权重阈值进行规范化处理；在SST中的所有 子空间的权重重置为1，是为了保持当前数据的实时性；为了使概念漂移更具有统计意义， 数据量的大小决定了SST更新的频率应该大于30。
[0045]需要指出的是，概念漂移并不是导致SST变化的关键，因为，尽管在数据集中数据 的整体特征突然改变，但对异常检测将仅仅造成很少的影响，从这个意义上来说，当处理概 念漂移的异常检测的时候本发明是有优势的，因为SST只有在异常检测导致概念漂移的时 候更新，这是本发明和其他基于度量和密度计算的概念漂移检测方法的重大区别。
[0046]同时本发明最后利用理论和实证分析来评估计算复杂度。具体的说，复杂性分析 是在学习阶段进行的，为了简单起见此处只分析A-SP0T的静态的状态。先定义一些符号来 有助于复杂性分析，N代表在数据流中的实例数，，Nt代表在训练（历史）数据集中的实例 数，No代表在该组离群范例中的实例数，巾是维数，k是用于计算逆K的相对距离，Gn和Gs 分别代表世代的数目和子空间中每代M0GA评估的数目。
[0047]上面的复杂性分析表明（没有复杂性分析过程）：（1)检测阶段的复杂性是与数据 流的大小线性相关的，这将能够更有效的处理大数据流（2)训练阶段的复杂性比检测检测 更重要，然而，训练阶段是离线的，不能影响整个方法的效率。
[0048]在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0049] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶 段包括首先建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的 SST子空间（SS)的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到 达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于 至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常 的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈 至SST空间。2. 如权利要求1所述的网络高维大数据异常入侵的检测方法，其特征在于建立一个包 括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS)的SST 空间的过程包括： 51 :组建固定的SST子空间（FS)，固定的SST子空间（FS)包含在满的晶格中由用户指 定的参数约束的所有子空间，FS满足：FS=丨S 最大尺寸，S e声}; 52 :离线学习构建无监督的SST子空间（US)过程：首先向一组历史数据中输入未标记 的训练数据，所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中，超立方体 中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持，当所有的训练数据映 射到相应的细胞中后，采用多目标遗传算法（MOGA)从训练数据集中找到子空间中更高数 目的异常，这些子空间将被添加到初始的US中；在获得最初的US后，再进一步获得更多有 用的子空间，并在训练数据中找到最无关的子空间，其中训练数据的整体无关程度在无监 督方式下采用聚类分析方法获得，定义通过多目标遗传算法（MOGA)所获得整体训练数据 的最稀少的子空间中两个点的距离为无关的距离（OD)，则，式中m是MOGA返回的最稀少子空间的数目，Si是返回 该集合的子空间，Pl、P2为子空间的两个点； S3:监督的SST子空间（SS)是指在一些应用中，一些小数量的异常可以由该领域专家 或早期的检测方法获得，包括采用多目标遗传算法（MOGA)应用到每一个这些异常的例子， 找到最稀疏的子空间，这些子空间被定义为监督的SST子空间（SS)。3. 如权利要求2所述的网络高维大数据异常入侵的检测方法，其特征在于所述属于至 少一个预定义阈值的SST子空间的所述细胞的PCS为异常点，则进一步通过多目标遗传算 法搜索存在所述异常点的SST子空间。4. 如权利要求3所述的网络高维大数据异常入侵的检测方法，其特征在于通过多目标 遗传算法搜索SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个 种群（即子空间）进行子空间搜索。5. 如权利要求4所述的网络高维大数据异常入侵的检测方法，其特征在于所述子空间 的第一代的子空间为随机产生，而随后的多代子空间是利用交叉和变异搜索算子在他们上 一代的子空间中产生，每一代子空间的个数定位在目标函数空间的不同权衡表面，将位于 最佳子空间的表面定义为Pareto Front，则将逐步产生越来越多的位于Pareto Front的从 非最优子空间变化而来的最优子空间。6. 如权利要求2所述的网络高维大数据异常入侵的检测方法，其特征在于所述聚类分 析方法为固定宽度的聚集方法，首先数据集中已经聚集的每个点P将会被分配到C'簇中， 即OD(p，c' Xd。，％#'，〇D(p，c')彡OD(p，Ci)，这样Ctl与已有m点的质心将在p的 集群分配中更新，如果Vq，有OD (p，Ci)彡d。，然后一个新的簇形成，并且P成为这个簇的新质心；如此重 复形成新的族，直到所述所有数据集中的数据被聚集。7. 如权利要求1所述的网络高维大数据异常入侵的检测方法，其特征在于所述反馈的 异常值也被相关性反馈到SST空间的SST无监督子空间（US)，并在SST无监督子空间（US) 内合并相关性反馈产生新的子空间，实现SST空间的动态更新。8. 如权利要求7所述的网络高维大数据异常入侵的检测方法，其特征在于所述合并相 关性反馈过程为首先是将每个在SST中的子空间设置权重为1 ;当SST中的子空间是正确 离群子空间的时候权重增加，当SST中的子空间是错误信息的离群子空间的时候权重将减 少；每次经过特定数量的网络数据处理，在SST中的子空间的权重将低于从SST得到的调整 权重阈值；产生的新的子空间的权重将高于阈值。
【专利摘要】本发明公开了一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶段包括首先建立一个包括有固定的SST子空间、无监督的SST子空间、有监督的SST子空间的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。本发明针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下也能进一步提升网络异常入侵的检测效率和准确率。
【IPC分类】G06F21/55
【公开号】CN104899507
【申请号】CN201510307300
【发明人】李宏周, 张吉, 庞雪燕, 刘建明, 陈天宁
【申请人】桂林电子科技大学
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)