一种网页主题的标注方法和装置的制造方法

一种网页主题的标注方法和装置的制造方法
【技术领域】
[0001] 本发明设及数据处理技术领域，特别是设及一种网页主题的标注方法和装置。
【背景技术】
[0002] 通过分析互联网网页内容，来提取并标注网页主题是互联网数据管理和挖掘等应 用的重要基础。目前，网页主题标注多采用关键词匹配方法，通过将网页标题和部分预设关 键词进行匹配实现网页的标注。但是，该种直接匹配的做法过于简单，而且，如果网页标题 中的关键词发生变化，则该方法将无法准确标注主题，网页标准的准确率将无法保证。另一 种网页主题标注是采用聚类的方法，对网页进行聚类，从聚为一类的网页中提取关键词作 为该一类网页的标注。但是，由于聚类算法较为耗时，当待标注的网页数量较多时，该类算 法的实用性较差，而且仅使用无监督学习算法的网页标注准确率不高。

【发明内容】

[0003] 本发明提供一种网页主题的标注方法和装置，用W解决现有技术中网页主题标注 准确率低的问题。
[0004] 基于上述技术问题，本发明是通过W下技术方案来解决的。
[0005] 本发明提供了一种网页主题的标注方法，包括：基于网页的标题和正文，获得所述 网页的主题特征向量；利用预先训练获得的分类器，对所述主题特征向量进行分类处理； 判断是否存在所述主题特征向量所属的类型；若是，则将所述网页标注为所述主题特征向 量所属的类型；若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行 聚类处理；分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型。
[0006] 其中，基于网页的标题和正文，获得所述网页的主题特征向量，包括：分别提取网 页中的标题和正文；根据所述标题，构建标题特征向量；根据所述正文，构建正文特征向 量；将所述标题特征向量和所述正文特征向量拼接为所述主题特征向量。
[0007] 其中，根据所述标题构建网页标题特征向量，包括：利用预先构建的标题词典，对 所述标题进行分词处理，获得标题分词；将所述标题分词映射到所述标题词典中；基于所 述标题分词的加权值，对所述标题词典进行加权处理，构建出所述网页的标题特征向量。 [000引其中，根据所述正文构建网页正文特征向量，包括：利用预先构建的正文词典，对 所述正文进行分词处理，获得多个正文分词，并记录每个所述正文分词在所述正文中的出 现顺序；将多个所述正文分词分别映射到所述正文词典中；基于每个正文分词的加权值和 出现顺序，对所述正文词典进行加权处理，构建所述网页的正文特征向量。
[0009] 其中，利用预先训练获得的分类器，对所述主题特征向量进行分类处理，包括：预 先定义多种网页类型；所述分类器针对每种类型，对所述网页的主题特征向量进行一次评 分；将每种类型的对应的评分分值分别与预设的标注阔值进行比较；将大于所述标注阔值 的评分分值对应的类型，判定为所述主题特征向量所属的类型；其中，所述主题特征向量所 属的类型为一个或多个。
[0010] 其中，分析聚类集合的类型，包括：分别提取聚类集合中每个待标注网页的标题和 正文；利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词；利用预先 构建的正文词典，对所有正文进行分词处理，获得多个正文分词；在多个所述标题分词和多 个所述正文分词中，获取出现频率最多的分词，W作为所述聚类集合的类型。
[0011] 本发明还提供了一种网页主题的标注装置，包括：获得模块，用于基于网页的标题 和正文，获得所述网页的主题特征向量；分类模块，用于利用预先训练获得的分类器，对所 述主题特征向量进行分类处理；判断模块，用于判断是否存在所述主题特征向量所属的类 型；标注模块，用于在所述判断模块判定存在所述主题特征向量所属的类型的情况下，将所 述网页标注为所述主题特征向量所属的类型；标记模块，用于在所述判断模块判定不存在 所述主题特征向量所属的类型的情况下，将所述网页标记为待标注网页；聚类模块，用于对 多个待标注网页进行聚类处理；分析模块，用于分析出每个聚类集合的类型；所述标注模 块，还用于将待标注网页标注为其所属的聚类集合的类型。
[0012] 其中，所述获得模块包括：提取单元，用于分别提取网页中的标题和正文；第一构 建单元，用于根据所述标题，构建标题特征向量；第二构建单元，用于根据所述正文，构建正 文特征向量；拼接单元，用于将所述标题特征向量和所述正文特征向量拼接为所述主题特 征向量。
[0013] 其中，所述第一构建单元具体用于；利用预先构建的标题词典，对所述标题进行分 词处理，获得标题分词；将所述标题分词映射到所述标题词典中；基于所述标题分词的加 权值，对所述标题词典进行加权处理，构建出所述网页的标题特征向量；所述第二构建单元 具体用于；利用预先构建的正文词典，对所述正文进行分词处理，获得多个正文分词，并记 录每个所述正文分词在所述正文中的出现顺序；将多个所述正文分词分别映射到所述正文 词典中；基于每个正文分词的加权值和出现顺序，对所述正文词典进行加权处理，构建所述 网页的正文特征向量。
[0014] 其中，分类模块具体用于：预先定义多种网页类型；调用所述分类器，W便使所述 分类器针对每种类型，对所述网页的主题特征向量进行一次评分；将每种类型的对应的评 分分值分别与预设的标注阔值进行比较；将大于所述标注阔值的评分分值对应的类型，判 定为所述主题特征向量所属的类型；其中，所述主题特征向量所属的类型为一个或多个； 分析模块具体用于；分别提取聚类集合中每个待标注网页的标题和正文；利用预先构建的 标题词典，对所有标题进行分词处理，获得多个标题分词；利用预先构建的正文词典，对所 有正文进行分词处理，获得多个正文分词；在多个所述标题分词和多个所述正文分词中，获 取出现频率最多的分词，W作为所述聚类集合的类型。本发明有益效果如下：
[0015] 本发明采用有监督的分类方法和无监督的聚类方法级联的方式，自动的从网页中 获取主题并标注网页，有效提高了网页主题标注的效率和准确性。
【附图说明】
[0016] 图1是根据本发明一实施例的网页主题的标注方法的流程图；
[0017] 图2是根据本发明另一实施例的网页主题的标注方法的流程图；
[0018] 图3是根据本发明一实施例的构建网页标题特征向量的步骤流程图；
[0019] 图4是根据本发明一实施例的构建网页正文特征向量的步骤流程图；
[0020] 图5是根据本发明一实施例的标题特征向量和正文特征向量的拼接示意图；
[0021] 图6是根据本发明一实施例的对主题特征向量进行分类的步骤流程图；
[0022] 图7是根据本发明一实施例的网页主题的标注装置的结构图；
[0023] 图8是根据本发明一实施例的获取模块的结构图。
【具体实施方式】
[0024]W下结合附图W及实施例，对本发明进行进一步详细说明。应当理解，此处所描述 的具体实施例仅仅用W解释本发明，并不限定本发明。
[0025] 本实施例提供了一种网页主题的标注方法，如图1所示，为根据本发明一实施例 的网页主题的标注方法的流程图。本实施例是针对每个网页执行的步骤。
[0026]步骤S110，基于网页的标题和正文，获得该网页的主题特征向量。
[0027] 由于网页标题和正文的长度、语言风格不同，本实施例分 别提取网页中的标题和 正文；根据标题，构建标题特征向量；根据正文，构建正文特征向量；将标题特征向量和正 文特征向量拼接成网页的主题特征向量。其中，标题特征向量和正文特征向量都包含用于 体现网页的主题的词语向量。
[002引采用不同的词典，分别构造特征向量，该样可W更准确地描述网页内容，进而提高 网页主题标注的准确性。
[0029] 步骤S120,利用预先训练获得的分类器，对该主题特征向量进行分类处理。
[0030] 分类器用于对主题特征向量进行分类，确定主题特征向量的类型。主题特征向量 能够体现网页主题，那么确定主题特征向量的类型也即是确定网页的类型。该类型包括：新 闻类、经济类、娱乐类、科技类等。
[0031] 为了提高网页分类的准确性，本实施例采用有监督的分类方法，分类器是利用预 先准备的分类标注体系和训练数据，通过训练获得的。
[0032] 分类标注体系是指预先定义的多种网页类型。例如；新闻类、经济类、娱乐类、科技 类。训练数据包括；基于分类标注体系，已经被分析出类型的多个网页。基于分类标注体系 和训练数据，采用支持向量机SVM来训练分类器。
[003引步骤S130,判断是否存在该主题特征向量所属的类型。若是，则执行步骤S140;若 否，则执行步骤S150。
[0034] 根据分类器的分类处理结果，判断是否存在该主题特征向量所属的类型。如果存 在主题特征向量所属的类型，则该分类处理结果为主题特征向量所属的类型；如果不存在 主题特征向量所属的类型，则该分类处理结果为空值。
[0035] 步骤S140,将该网页标注为该主题特征向量所属的类型。
[0036] 步骤S150,将该网页标记为待标注网页。
[0037] 对于分类器能够确定类型的网页，标注相应的类别。对于分类器不能够确定类型 的网页，放入待标注网页集合中，使用后续的方法进行处理，W便保证网页标注的准确性。 [003引如图2所示，为根据本发明另一实施例的网页主题的标注方法的流程图。本实施 例是针对待标注网页进行的处理。
[0039] 步骤S210,对多个待标注网页进行聚类处理。
[0040] 每个预设时间段，确定被标记为待标注网页的网页数量，如果该网页数量大于预 设的数量阔值，则对待标注网页进行聚类处理，如果该网页数量小于等于数量阔值，则间隔 预设时间段，再次进行网页数量确定。
[004U 本实施例采用无监督的聚类方法，因此，在进行聚类处理时，利用预先设置的相似 度算法，例如，采用kmeans算法，对多个待标注网页进行两两之间的相似度计算，将相似度 大于预设的相似度阔值的两个待标注网页划分到同一聚类集合中。
[0042] 步骤S220,分析出每个聚类集合的类型。
[0043] 可W采用canopy算法，来分析出每个聚类集合的类型。
[0044] 在一个实施例中，针对每个聚类集合可W执行如下步骤：分别提取聚类集合中每 个待标注网页的标题和正文；利用标题词典，对所有标题进行分词处理，获得多个标题分 词；利用正文词典，对所有正文进行分词处理，获得多个正文分词；在多个标题分词和多个 正文分词中，获取出现频率最多的分词，W作为该聚类集合的类型。其中，出现频率最多的 分词可W是标题分词、也可W是正文分词。
[0045] 步骤S230,将待标注网页标注为其所属的聚类集合的类型。
[0046] 换言之，聚类集合的类型是什么，则类型就是什么，该聚类集合中的待标注网页的 标注就是什么。
[0047] 在一个实施例中，每隔一段时间，利用聚类结果，对分类器进行再次训练，W便增 加分类的精准度。进一步地，在标注完成后，可W将该通过聚类获得的新的类型、及该新的 类型的网页添加到分类标注体系和训练数据中。进而可W增加对新的类型、及该新的类型 的网页进行训练。
[0048] 通过分类器和聚类处理相结合的方式来确定网页的类型，可W提高网页标注的准 确性和标准效率。
[0049] 针对步骤S110而言，
[0化0] 图3为根据本发明一实施例的构建网页标题特征向量的步骤流程图。
[0化1] 步骤S310,预先构建标题词典。
[0化2] 步骤1，收集网页的标题，形成标题语料库。
[0053] 步骤2,对标题语料库中的标题文本进行分词，仅保留分词结果中符合条件的词 语。例如，该分词结果具有实际意义。可W利用预设的分词算法，分词算法通常包含一个词 典，该词典将标题文本划分成一个或多个分词词语。
[0054] 步骤3,计算被保留的词语的IDF(Inve;rtedDocumentRrequen巧）值，并将IDF值 大于预设第一IDF阔值的词语组成标题词典。IDF值越大的词语代表性越强，IDF值越小的 词语代表性越弱。
[0055] 词语W的IDF值的计算方式如下式所示：
[0056]
(1.1)
[0057] 式（1. 1)中，N表示整个语料库收集的标题的数量，叫表示出现过词语W的标题数 量。log表示对数，其底数取10或者e，具体根据需求确定。
[0化引步骤S320,利用标题词典，对标题进行分词处理，获得标题分词。
[0化9] 利用标题词典中的词语，对标题进行分词处理，获得一个或多个标题分词。
[0060] 步骤S330,将标题分词映射到标题词典中。
[0061] 将多个标题分词分别映射到标题词典中。进一步地，标题词典中包括多个词语；在 标题分词和标题词典中的词语之间建立映射关系。其中，存在映射关系的标题分词和词语 相同。
[0062] 在映射关系建立之后，可W获得一个长度等于标题词典长度的向量，向量的维数 等于标题词典中词语的数量，每个维度对应词典中的一个词语。
[0063] 步骤S340,基于标题分词的加权值，对标题词典进行加权处理，构建出网页的标题 特征向量。
[0064] 对标题词典进行加权处理，也即是对上述长度等于标题词典长度的向量进行加权 处理。对于标题词典中存在映射关系的词语，即向量中与标题分词存在映射关系的词语，使 用TFIDF(termfrequen巧-inversedo州mentfrequency)值加权，加权后获得的向量即 为标题特征向量。其中，TFIDF是一种用于资讯检索与资讯勘探的常用加权技术。
[0065] 在加权时，向量的每个维度的取值为该维度对应的词语在该标题中的TFIDF值。 词语W的TFIDF值的计算方式如下式所示：
[0066]
(1.2)
[0067] 式（1.。中，IDF值的计算同（1. 1)式，TF值表示词语W在当前标题中出现的频 率，C，表示词语W在当前标题中出现的次数，C表示当前标题词语（分词）的个数。
[0068] 图4为根据本发明一实施例的构建网页正文特征向量的步骤流程图。
[0069] 步骤S410,预先构建的正文词典。
[0070] 收集正文内容为正文语料库，通过对正文语料库中的正文文本进行分词，仅保留 分词结果中符合条件的词语，如；有实际意义的词语；计算被保留的词语的IDF值；将IDF 值大于预设第二IDF阔值的词语组成正文词典。正文词典的构建方式与标题词典的构建相 同。IDF值的计算参考式（1.1)。< br>[007U 步骤S420,利用构建的正文词典，对正文进行分词处理，获得多个正文分词，并记 录每个正文分词在正文中的出现顺序。
[0072] 利用正文词典中的词语，对正文进行分词；按照正文从前向后的顺序，记录每个分 词（词语）的出现顺序，第一个出现的分词记为1，第二个出现的分词记为2,W此类推，重 复出现的分词不记录。
[0073] 步骤S430,将多个正文分词分别映射到正文词典中。
[0074] 网页的正文倾向于利用开头简短的文字突出主题、吸引眼球，即重要的词语倾向 于出现在正文的前面。
[0075] 正文词典中包括多个词语；在正文分词和正文词典中的词语之间建立映射关系。 其中，存在映射关系的正文分词和词语相同。
[0076] 在映射关系建立之后，可W获得一个长度等于正文词典长度的向量，向量的维数 等于正文词典中词语的数量，每个维度对应词典中的一个词语。
[0077] 步骤S440,基于每个正文分词的加权值和出现顺序，对正文词典进行加权处理，构 建网页的正文特征向量。
[007引对正文词典进行加权处理，也即是对上述长度等于正文词典长度的向量进行加权 处理。对于正文词典中存在映射关系的词语，即向量中与正文分词存在映射关系的词语，使 用TFIDF值和映射的正文分词的出现顺序加权，加权后获得的向量即为正文特征向量。正 文特征向量的每个维度对应词典中的一个词语，每个维度的取值为根据该维度对应的词语 在该正文中的出现顺序、W及该词语的TFIDF值，获得的权重值wei曲t":
[0079]
(1.3)
[0080] 式（1.扣中，wei曲tz,(w)表示正文特征向量中词语W的权重值（维度取值）， rank(w)为W在正文中出现的顺序号，E,ewrank(w)为所有词语顺序号的总和，TFIDF(w) 可W参考式（1.2)，将与标题相关的描述更换为正文相关的描述即可。采用上述方法可W获 得正文特征向量。式（1.3)中词语的符号采用与式（1.2)中词语的符号一致，都使用W，仅 为方便理解式（1.3)中TFIDF(w)的计算过程。
[0081] 一般而言，标题使用简短的语句标明了网页的内容、主题。因此，标题较短、正文较 长，本实施例考虑到标题特征向量的长度通常小于正文特征向量的长度，但标题特征向量 的重要性却大于正文特征向量，本实施例提出将标题特征向量和正文特征向量采用加权的 方式拼接成表达该网页主题的特征向量，即主题特征向量。例如附图5所示的拼接方式。通 过本实施例可W避免造成标题特征向量、正文特征向量在学习中发挥作用失衡的偏差。
[0082] 在拼接之前，对于标题特征向量中的词语W的维度取值TFIDF(w)值，使用标题权 重Wbt进行加权，即；
[008引 wei曲tbt(W) =Wbt*TFIDF(W) (1.4)
[0084] 在拼接之前，对于正文特征向量中的词语的维度取值不使用权重值。
[0085] 在拼接时，将加权后的标题特征向量和未加权的正文特征向量进行拼接。本实施 例采用首尾相接的方式进行拼接，组成一个长度等于标题特征向量和正文特征向量之和的 向量，其中，加权后的标题特征向量位于未加权的正文特征向量的前面。
[0086] 本实施例采用网格捜索的方式获得Wbt，Wbt的选择范围参考式（1.5)。在每个Wbt 下，分类器对训练数据进行交叉验证，计算分类正确率，取最高正确率对应的Wbt作为最终 使用的Wbt值。
[0087]
(1.5)
[008引式（1. 5)中，Nbt表示标题特征向量的维数，N"表示正文特征向量维数。
[0089] 针对步骤S120具体而言，
[0090] 图6为根据本发明一实施例的对主题特征向量进行分类的步骤流程图。
[0091] 步骤S610,分类器针对每种类型，对网页的主题特征向量进行一次评分。
[009引每种类型，网页的主题特征向量都有一个评分分值。目P，如果有多种类型，则有多 个评分分值。评分分值用于衡量网页是否符合该评分分值对应的类型。
[0093] 分类器包括多个分类器函数，每个分类器函数对应一个类型；将主题特征向量分 别代入各个分类器函数，就可W得到每个类型的评分分值。
[0094] 例如，a= [al,a2,a3]为分类器，y=al*xl+a2*x2+a3*x3为新闻类分类器函数； 当然还可W有其他类型的分类器函数；将标题特征向量代入新闻类分类器函数，可W得到 y值，即评分分值，当该评分分值大于0时，表示标题特征向量对应的网页为新闻类，反之不 是新闻类；假设a= [1，-2, 3]，将维度为3的标题特征向量x= [1，2, 3]代入新闻类分类 器函数，可W得到y=6,那么y〉0,标题特征向量X= [1，2,3]对应的网页是新闻网页。
[0095] 步骤S620,将每种类型的对应的评分分值分别与预设的标注阔值进行比较。
[0096] 步骤S630,将大于标注阔值的评分分值对应的类型，判定为主题特征向量所属的 类型；其中，所述主题特征向量所属的类型为一个或多个。
[0097] 具体的，可W按照值从大到小的顺序，对多个评分分值进行排序；判断最大的评 分分值是否大于预设的标注阔值，若是，则将网页标注为该最大的评分分值对应的类型，若 否，则将网页标记为待标注网页；然后，判断大小仅次于最大的评分分值是否大于预设的标 注阔值，若是，则将网页标注为该大小仅次于最大的评分分值对应的类型，若否，则将网页 标记为待标注网页；W此类推，直至每个评分分值都和标注阔值进行过比较。
[009引本发明还提供了一种网页主题的标注装置，如图7所示，为根据本发明一实施例 的网页主题的标注装置的结构图。
[0099] 该装置包括；
[0100] 获得模块710,用于基于网页的标题和正文，获得网页的主题特征向量。
[0101] 分类模块720,用于利用预先训练获得的分类器，对主题特征向量进行分类处理。
[0102] 判断模块730,用于判断是否存在主题特征向量所属的类型。
[0103] 标注模块740,用于在判断模块判定存在主题特征向量所属的类型的情况下，将网 页标注为主题特征向量所属的类型。
[0104] 标记模块750,用于在判断模块判定不存在主题特征向量所属的类型的情况下，将 网页标记为待标注网页。
[01化]聚类模块760,用于对多个待标注网页进行聚类处理。
[0106] 分析模块770,用于分析出每个聚类集合的类型。
[0107] 标注模块780,还用于将待标注网页标注为其所属的聚类集合的类型。
[0108] 在一个实施例中，获得模块710包括；提取单元711，用于分别提取网页中的标题 和正文；第一构建单元712,用于根据标题，构建标题特征向量；第二构建单元713,用于根 据正文，构建正文特征向量；拼接单元714,用于将标题特征向量和正文特征向量拼接为主 题特征向量。如图8所示。
[0109] 第一构建单元712用于；利用预先构建的标题词典，对标题进行分词处理，获得标 题分词；将标题分词映射到标题词典中；基于标题分词的加权值，对标题词典进行加权处 理，构建出网页的标题特征向量。
[0110] 第二 构建单元713用于；利用预先构建的正文词典，对正文进行分词处理，获得多 个正文分词，并记录每个正文分词在正文中的出现顺序；将多个正文分词分别映射到正文 词典中；基于每个正文分词的加权值和出现顺序，对正文词典进行加权处理，构建网页的正 文特征向量。
[0111] 在另一实施例中，分类模块720具体用于；预先定义多种网页类型；调用分类器， W便使分类器针对每种类型，对网页的主题特征向量进行一次评分；将每种类型的对应的 评分分值分别与预设的标注阔值进行比较；将大于标注阔值的评分分值对应的类型，判定 为主题特征向量所属的类型；其中，主题特征向量所属的类型为一个或多个。
[0112] 在又一实施例中，分析模块770具体用于：分别提取聚类集合中每个待标注网页 的标题和正文；利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词； 利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词；在多个标题分词 和多个正文分词中，获取出现频率最多的分词，W作为聚类集合的类型。
[0113] 本实施例所述的装置的功能已经在图1-图6所示的方法实施例中进行了描述，故 本实施例的描述中未详尽之处，可W参见前述实施例中的相关说明，在此不做寶述。
[0114] 尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到 各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
【主权项】
1. 一种网页主题的标注方法，其特征在于，包括： 基于网页的标题和正文，获得所述网页的主题特征向量； 利用预先训练获得的分类器，对所述主题特征向量进行分类处理； 判断是否存在所述主题特征向量所属的类型； 若是，则将所述网页标注为所述主题特征向量所属的类型； 若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行聚类处理； 分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型。2. 如权利要求1所述的方法，其特征在于，基于网页的标题和正文，获得所述网页的主 题特征向量，包括： 分别提取网页中的标题和正文； 根据所述标题，构建标题特征向量； 根据所述正文，构建正文特征向量； 将所述标题特征向量和所述正文特征向量拼接为所述主题特征向量。3. 如权利要求2所述的方法，其特征在于，根据所述标题构建网页标题特征向量，包 括： 利用预先构建的标题词典，对所述标题进行分词处理，获得标题分词； 将所述标题分词映射到所述标题词典中； 基于所述标题分词的加权值，对所述标题词典进行加权处理，构建出所述网页的标题 特征向量。4. 如权利要求2所述的方法，其特征在于，根据所述正文构建网页正文特征向量，包 括： 利用预先构建的正文词典，对所述正文进行分词处理，获得多个正文分词，并记录每个 所述正文分词在所述正文中的出现顺序； 将多个所述正文分词分别映射到所述正文词典中； 基于每个正文分词的加权值和出现顺序，对所述正文词典进行加权处理，构建所述网 页的正文特征向量。5. 如权利要求1所述的方法，其特征在于，利用预先训练获得的分类器，对所述主题特 征向量进行分类处理，包括： 预先定义多种网页类型； 所述分类器针对每种类型，对所述网页的主题特征向量进行一次评分； 将每种类型的对应的评分分值分别与预设的标注阈值进行比较； 将大于所述标注阈值的评分分值对应的类型，判定为所述主题特征向量所属的类型； 其中，所述主题特征向量所属的类型为一个或多个。6. 如权利要求1所述的方法，其特征在于，分析聚类集合的类型，包括： 分别提取聚类集合中每个待标注网页的标题和正文； 利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词； 利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词； 在多个所述标题分词和多个所述正文分词中，获取出现频率最多的分词，以作为所述 聚类集合的类型。7. -种网页主题的标注装置，其特征在于，包括： 获得模块，用于基于网页的标题和正文，获得所述网页的主题特征向量； 分类模块，用于利用预先训练获得的分类器，对所述主题特征向量进行分类处理； 判断模块，用于判断是否存在所述主题特征向量所属的类型； 标注模块，用于在所述判断模块判定存在所述主题特征向量所属的类型的情况下，将 所述网页标注为所述主题特征向量所属的类型； 标记模块，用于在所述判断模块判定不存在所述主题特征向量所属的类型的情况下， 将所述网页标记为待标注网页； 聚类模块，用于对多个待标注网页进行聚类处理； 分析模块，用于分析出每个聚类集合的类型； 所述标注模块，还用于将待标注网页标注为其所属的聚类集合的类型。8. 如权利要求7所述的装置，其特征在于，所述获得模块包括： 提取单元，用于分别提取网页中的标题和正文； 第一构建单元，用于根据所述标题，构建标题特征向量； 第二构建单元，用于根据所述正文，构建正文特征向量； 拼接单元，用于将所述标题特征向量和所述正文特征向量拼接为所述主题特征向量。9. 如权利要求8所述的装置，其特征在于， 所述第一构建单元具体用于： 利用预先构建的标题词典，对所述标题进行分词处理，获得标题分词； 将所述标题分词映射到所述标题词典中； 基于所述标题分词的加权值，对所述标题词典进行加权处理，构建出所述网页的标题 特征向量； 所述第二构建单元具体用于： 利用预先构建的正文词典，对所述正文进行分词处理，获得多个正文分词，并记录每个 所述正文分词在所述正文中的出现顺序； 将多个所述正文分词分别映射到所述正文词典中； 基于每个正文分词的加权值和出现顺序，对所述正文词典进行加权处理，构建所述网 页的正文特征向量。10. 如权利要求7所述的装置，其特征在于， 分类模块具体用于： 预先定义多种网页类型；调用所述分类器，以便使所述分类器针对每种类型，对所述网 页的主题特征向量进行一次评分； 将每种类型的对应的评分分值分别与预设的标注阈值进行比较； 将大于所述标注阈值的评分分值对应的类型，判定为所述主题特征向量所属的类型； 其中，所述主题特征向量所属的类型为一个或多个； 分析模块具体用于： 分别提取聚类集合中每个待标注网页的标题和正文； 利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词； 利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词；
【专利摘要】本发明公开了一种网页主题的标注方法和装置。所述方法包括：基于网页的标题和正文，获得所述网页的主题特征向量；利用预先训练获得的分类器，对所述主题特征向量进行分类处理；判断是否存在所述主题特征向量所属的类型；若是，则将所述网页标注为所述主题特征向量所属的类型；若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行聚类处理；分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型。本发明采用有监督的分类方法和无监督的聚类方法级联的方式，自动的从网页中获取主题并标注网页，有效提高了网页主题标注的效率和准确性。
【IPC分类】G06F17/30
【公开号】CN104881458
【申请号】CN201510266108
【发明人】李扬曦, 杜翠兰, 李睿, 佟玲玲, 翟羽佳, 王晶, 刘洋, 秦韬, 付戈
【申请人】国家计算机网络与信息安全管理中心
【公开日】2015年9月2日
【申请日】2015年5月22日