伪静态url的筛除方法、系统及网页爬取方法、系统的制作方法
伪静态url的筛除方法、系统及网页爬取方法、系统的制作方法
【技术领域】
[0001]本发明涉及一种伪静态URL的筛除方法、系统及网页爬取方法、系统。
【背景技术】
[0002]随着互联网技术迅猛发展，静态网页的时代已然成为历史，如今WEB2.0模式的影响力使得越来越多的网站向着动态、交互性的方向快速转变。由于针对JS技术(JS即JavaScript，是一种基于对象和事件驱动的客户端脚本语言)和伪静态技术的应用愈发广泛，基于传统获取网页源码的爬虫已力不从心。
[0003]如今，大型网站的内容越来越多，为了提高访问速度和获得良好的搜索引擎优化，大部分网站都会使用伪静态技术。伪静态是相对真实静态而言的，伪静态技术实际上利用了动态脚本处理方法通，但展现方式是以静态页面的方式，从而在利用动态脚本的同时保持了对搜索引擎的友好面。采用伪静态技术的链接会按照规则生成一系列URL，而现有的爬虫技术由于没有网页相似度方面的检测，因而会将伪静态的URL作为新产生的URL收录在数据库中。如此就造成在安全检测等方面的应用中，爬虫会提取大部分相同或是同一个伪静态规则对应的同一个URL,导致扫描效率大幅下降。
【发明内容】
[0004]本发明要解决的技术问题是为了克服现有技术中的爬虫难以识别采用伪静态的URL，从而导致爬虫会提取大量相同的伪静态规则对应的URL，造成扫描效率大幅下降的缺陷，提出一种伪静态URL的筛除方法、系统及网页爬取方法、系统。
[0005]本发明是通过下述技术方案来解决上述技术问题的:
[0006]本发明提供了一种伪静态URL的筛除方法，其特点在于，包括以下步骤:
[0007]S1、获取记录有多个URL的一待测URL列表；
[0008]S2、读取一 URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库；
[0009]S3、从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ；
[0010]S41、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0011]S42、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ；
[0012]S43、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ；
[0013]S5、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S6，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0014]S6、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7 ；
[0015]S7、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3 ；
[0016]S8、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。
[0017]本领域技术人员应当理解，URL即统一资源定位符，其是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。完整的、带有授权部分的普通统一资源定位符语法大体如下:协议://用户名:密码@子域名.域名.顶级域名:端口号/目录/文件名.文件后缀？参数=值#标志。步骤&中读取的该URL正则列表实际上可以是人工导入的伪静态规则的识别逻辑，即以人工编写的若干正则表达式来实现伪静态规则的识别逻辑。举例来说，若某网站具有大量的类似WWW.XX.com/news_022.html、www.xx.com/news_81.html 路径的 URL,人工编写一正则表达式以识别此类以news+下划线+数字+.html为路径的网页为伪静态网页。步骤S2中建立的该数据库，既可以是预存入部分URL，也可以是建立初始状态为空的数据库。
[0018]步骤S3用于将URL与正则表达式进行匹配。如果与正则表达式匹配成功，则认定URL是伪静态URL，这时执行S8以将该URL与其相应的hash (即散列值，也称为哈希)存入该数据库，若相应的散列值在数据库中已经存有，则不再重复存储该URL和相应的散列值，以保证每一类伪静态URL在数据库中的唯一性。在上述筛除方法中，步骤S3优先执行，如果匹配成功则跳过后面的步骤，从而提高判别伪静态网页的速度。
[0019]URL根据参数的值分为数字型和非数字型以及GET和POST提交类型。在步骤S41?S43中，从该数据库中搜索和当前URL路径相同的URL分类进行遍历比较，比较参数和参数的值。其中该第一阈值可以由本领域技术人员根据实际情况进行设置，举例来说通常可以设置为3?5。根据参数和参数的值的比对情况确定该URL是否需要进行爬取和检测，相应地，如果判断该URL需要进行爬取和检测则对该URL设置爬虫标志位和检测标志位。在此种情况下还需要同该数据库中的和当前URL路径不同的URL进行遍历比较，即步骤S5?S6。反之，对于在该数据库中已经存储有和该URL相似度较高或者重复的URL，则不对该URL设置标志位。
[0020]在步骤S5中实质上是对URL本身，即对URL的字符串的相似度进行比较，在步骤S6则是对URL相对应的网页正文的相似度进行比较。其中，URL相似度定义为编辑距离，即相比较的两个URL的字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
[0021 ] 较佳地，该URL和任意一不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定，其中一类字符段的相同字符段频数通过下述步骤确定:
[0022]S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数；
[0023]S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数；
[0024]S5tl3、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0025]其中，每一类字符段对应一预设规则，预设规则可以根据字符段的分类要求进行预先设置。
[0026]较佳地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0027]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0028]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度；
[0029]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0030]较佳地，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7为预设的系数,在该URL的扩展名exi^为html >xml或htm时f (Gxt1)=Lext1为其他扩展名时f (exti) =0,在该URL的参数Par1为空时h (Par1) =0,在Par1不为空时h (Par1) =1。
[0031]较佳地，S6包括以下步骤:
[0032]S61、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分:
[0033]“br，，、“p，，、“font，，、“em，，、“laber，、“span，，、“strong，，、“b，，、“u，，、“i，，、“big，，、“small”、“sup”、“sub”；
[0034]S62、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度；
[0035]S63、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7。
[0036]本发明还提供了一种网页爬取方法，其特点在于，包括上述筛除方法，该网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤Stl ；
[0037]S0为:读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行S1 ；
[0038]S3为:判断该待测URL列表是否为空，若是则执行S 9,若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ；
[0039]S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。
[0040]本领域技术人员应当理解，实际上上述步骤Stl的执行分为两种情况。第一种情况下Stl相当于上述网页爬取方法中的初始步骤，这时的初始URL通常是由用户手动进行设置或者预设。第二种情况下则是在上述网页爬取方法的进行过程中执行步骤Stl，这时初始URL是由步骤S9从该数据库中选取的符合条件的URL，并不受用户的输入或者设置的控制。
[0041]较佳地，S0为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行S1。
[0042]其中，ajax是指Asynchronous JavaScript and XML,是一种用于创建快速动态网页的技术，QTWebkit引擎是一种现有的开源浏览器引擎。针对用户交互点击或滑动等操作才能触发的URL链接，通过调用QTWebkit API (应用程序编程接口)获取网页正文DOM (即文件对象模型)树，并对其遍历，筛选出可能存在交互的DOM对象，再通过QTWebkit API模拟操作JS触发DOM对象的逻辑，获得动态链接。对于ajax之类没有生成网页正文的链接，通过 HOOK QTffebkit 中的 QNetworkAccessManager 类的 Createrequest 方法，触发 HTTP 请求来获取动态链接。
[0043]本发明还提供了一种伪静态URL的筛除系统，其特点在于，包括:
[0044]URL列表模块，用于获取记录有多个URL的一待测URL列表；
[0045]正则列表模块，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式；
[0046]正则表达式匹配模块，用于在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块，其中在该待测URL列表发生变化时是指以下两种情况:读取了新的URL正则列表以及原有URL正则列表中的URL被删除；
[0047]URL路径分类模块，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0048]参数比对模块，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块；
[0049]第一判断模块，用于判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块；
[0050]URL相似度判断模块，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0051]网页结构相似度判断模块，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块；
[0052]第一更新模块，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；
[0053]第二更新模块，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。
[0054]较佳地，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度；
[0055]URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0056]较佳地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0057]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0058]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度；
[0059]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0060]较佳地，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7为预设的系数,在该URL的扩展名exi^为html >xml或htm时f (Gxt1)=Lext1为其他扩展名时f (exti) =0,在该URL的参数Par1为空时h (Par1) =0,在Par1不为空时h (Par1) =1。
[0061]较佳地，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元；
[0062]该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分:
[0063]“br，，、“p，，、“font，，、“em，，、“laber，、“span，，、“strong，，、“b，，、“u，，、“i，，、“big，，、“small”、“sup”、“sub”；
[0064]该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。
[0065]本发明还提供了一种网页爬取系统，其特点在于，包括了上述的筛除系统以及初始化模块和待爬取URL选取模块；
[0066]初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行URL列表模块；
[0067]该正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块；
[0068]待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。
[0069]本领域技术人员容易理解，该网页爬取系统中的正则表达式匹配模块和上述筛除系统中的是有所不同的。
[0070]较佳地，初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
[0071]在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0072]本发明的积极进步效果在于:
[0073]本发明的伪静态URL的筛除方法、系统及网页爬取方法、系统针对网站使用的伪静态技术，实现了对伪静态URL的自动识别，以过滤大量重复、无用的伪静态URL，提取有价值的URL进行安全检测，提高了爬行效率和爬行准确性。并且，还通过QTwebkit引擎模拟操作行为，实现了对JS、AJAX等动态链接的提取，增加了爬虫抓取网页的全面性。
【附图说明】
[0074]图1为本发明实施例1的伪静态URL的筛除方法的流程图。
[0075]图2为本发明实施例3的伪静态URL的筛除系统的示意图。
【具体实施方式】
[0076]下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案，但并不因此将本发明限制在所述的实施例范围之中。
[0077]实施例1
[0078]参考图1所示，本实施例的伪 静态URL的筛除方法,包括以下步骤:
[0079]S1、获取记录有多个URL的一待测URL列表；
[0080]S2、读取一 URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库；
[0081]S3、从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ；
[0082]S41、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0083]S42、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ；
[0084]S43、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ；
[0085]S5、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S6，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0086]S6、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7 ；
[0087]S7、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3 ；
[0088]S8、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。
[0089]其中，步骤S3用于将URL与正则表达式进行匹配。如果与正则表达式匹配成功，则认定URL是伪静态URL，这时执行S8以将该URL与其相应的散列值存入该数据库，若相应的散列值在数据库中已经存有，则不再重复存储该URL和相应的散列值，以保证每一类伪静态URL在数据库中的唯一性。在上述筛除方法中，步骤S3优先执行，如果匹配成功则跳过后面的步骤，从而提高判别伪静态网页的速度。
[0090]URL根据参数的值分为数字型和非数字型以及GET和POST提交类型。在步骤S41?S43中，从该数据库中搜索和当前URL路径相同的URL分类进行遍历比较，比较参数和参数的值。其中该第一阈值可以由本领域技术人员根据实际情况进行设置，本实施例中将其设置为3。根据参数和参数的值的比对情况确定该URL是否需要进行爬取和检测，相应地，如果判断该URL需要进行爬取和检测则对该URL设置爬虫标志位和检测标志位。在此种情况下还需要同该数据库中的和当前URL路径不同的URL进行遍历比较，即步骤S5?S6。反之，对于在该数据库中已经存储有和该URL相似度较高或者重复的URL，则不对该URL设置标志位。
[0091]在步骤S5中实质上是对URL本身，即对URL的字符串的相似度进行比较，在步骤S6则是对URL相对应的网页正文的相似度进行比较。其中，URL相似度定义为编辑距离，即相比较的两个URL的字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
[0092]本实施例中，该URL和不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定。一类字符段的相同字符段频数通过下述步骤确定:
[0093]S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数；
[0094]S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数；
[0095]S5tl3、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0096]每一类字符段对应一预设规则，预设规则根据字符段的分类要求进行预先设置。
[0097]具体来说，本实施例中该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0098]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0099]在这一公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12, num12、non12、per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度。其中以下标I标记仅和该URL自身的属性相关的参数，以下标12标记同时和该URL及该任意一不同路径URL相关的参数。
[0100]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0101]更进一步地，上述公式中g(cha12, num12, non12, Per12) —项可由下式定义:g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12o 式中 a4、a5、a6、a7 为预设的系数,在该URL的扩展名exh为html、xml或htm时f (extj =1, exh为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时Ii(Par1)=O,在Par1不为空时Ii(Par1)=I15
[0102]本实施例的筛除方法中，S6包括以下步骤:
[0103]S61、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签为以下html标签:
[0104]“br”、“p”、“font”、“em”、“laber，、“span”、“strong”、“b”、“u”、“i”、“big，，、“small”、“sup”、“sub，，。
[0105]S62、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度；
[0106]S63、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7。
[0107]实施例2
[0108]本实施例的网页爬取方法和实施例1的筛除方法相比，差别仅在于:
[0109]本实施例的网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤Stl,并且步骤S3相比于实施例1有所不同。
[0110]S0为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执彳丁 S:。
[0111]S3为:判断该待测URL列表是否为空，若是则执行S9，若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ；
[0112]S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。
[0113]本领域技术人员应当理解，上述步骤Stl的执行分为两种情况。第一种情况下Stl相当于上述网页爬取方法中的初始步骤，这时的初始URL通常是由用户手动进行设置或者预设。第二种情况下则是在上述网页爬取方法的进行过程中执行步骤Stl,这时初始URL是由步骤S9从该数据库中选取的符合条件的URL，并不受用户的输入或者设置的控制。
[0114]实施例3
[0115]如图2所示，本实施例的伪静态URL的筛除系统包括:
[0116]URL列表模块I，用于获取记录有多个URL的一待测URL列表；
[0117]正则列表模块2，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式；
[0118]正则表达式匹配模块3，用于在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块，其中在该待测URL列表发生变化时是指以下两种情况:读取了新的URL正则列表以及原有URL正则列表中的URL被删除；
[0119]URL路径分类模块4，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0120]参数比对模块5，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块；
[0121]第一判断模块6，用于判断同路径 URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块；
[0122]URL相似度判断模块7，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0123]网页结构相似度判断模块8，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块；
[0124]第一更新模块9，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；
[0125]第二更新模块10，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。
[0126]其中，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度。
[0127]URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0128]具体地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0129]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0130]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度。
[0131]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0132]上述公式中，g(cha12, num12, non12, per12) 一项由下式确定:g (cha12, num12, non12, per12)=a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数,在该 URL 的扩展名exh为html、xml或htm时f (ext^ =Lext1为其他扩展名时f (ext^ =0,在该URL的参数Par1 为空时 Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I15 本实施例中 a^afa^afadafapl,这7项系数的取值可由本领域技术人员根据实际需要进行设置。
[0133]并且，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元；
[0134]该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签为以下html标签:
[0135]“br”、“p”、“font”、“em”、“laber，、“span”、“strong”、“b”、“u”、“i”、“big，，、“small”、“sup”、“sub，，。
[0136]该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。
[0137]实施例4
[0138]本实施例的网页爬取系统和实施例3相比，差别仅在于，该网页爬取系统还包括初始化模块和待爬取URL选取模块，并且其中的正则表达式匹配模块和实施例3有所不同。
[0139]该初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
[0140]该正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块。
[0141]该待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。
[0142]虽然以上描述了本发明的【具体实施方式】，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
【主权项】
1.一种伪静态URL的筛除方法，其特征在于，包括以下步骤: 51、获取记录有多个URL的一待测URL列表； 52、读取一URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库； 53、从该待测URL列表中选取一URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ； 541、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ； 542、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5,在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43,在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ； 543、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ； 55、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S6 ； 其中，该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离； 56、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7 ； 57、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3； 58、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。2.如权利要求1所述的筛除方法，其特征在于，该URL和任意一不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定，其中一类字符段的相同字符段频数通过下述步骤确定: S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数； S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数； S503、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。3.如权利要求2所述的筛除方法，其特征在于，该URL和该任意一不同路径URL的URL相似度由以下公式定义: S12=a1*d12+a2*f (extj) +g (cha12, num12, non12, per12) +a3*h (Par1)； 上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，ext!为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、non12、per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度； 其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所 形成的字符段。4.如权利要求3所述的筛除方法,其特征在于，g(cha12, num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数,在该 URL 的扩展名 exh 为 html、xml或htm时f (Gxt1)=I, Gxt1为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I155.如权利要求1-4中任意一项所述的筛除方法，其特征在于，S6包括以下步骤: 561、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分: “ br ”、“ P ”、“ font ”、“ em ”、“ I abe I ”、“ span ”、“ strong ”、“ b ”、“ u ”、“ i ”、“ b i g ”、“ smal I，，、“sup”、“sub”； 562、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度； 563、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7。6.—种网页爬取方法，其特征在于，包括了如权利要求1-5中任意一项所述的筛除方法，该网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤S。； S0为:读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执彳丁 S1 ； S3为:判断该待测URL列表是否为空，若是则执行S9，若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ； S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。7.如权利要求6所述的网页爬取方法，其特征在于，Stl为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行Sp8.一种伪静态URL的筛除系统，其特征在于，包括: URL列表模块，用于获取记录有多个URL的一待测URL列表； 正则列表模块，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式； 正则表达式匹配模块，用于在该待测URL列表发生变化时从该待测URL列表中选取一URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块； URL路径分类模块，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL,将该数据库中的其他URL作为不同路径URL ； 参数比对模块，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块； 第一判断模块，用于判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块； URL相似度判断模块，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离； 网页结构相似度判断模块，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块； 第一更新模块，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；第二更新模块，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。9.如权利要求8所述的筛除系统，其特征在于，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度； URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。10.如权利要求9所述的筛除系统，其特征在于，该URL和该任意一不同路径URL的URL相似度由以下公式定义: Si2=ai；i<d12+a2;!<f (ext) +g (cha12，num12，non12，per12) +a3*h (par)； 上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，ext,为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度； 其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。11.如权利要求10所述的筛除系统,其特征在于，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数，在该 URL 的扩展名 exh 为html>xml或htm时f (ext^ =1, Gxt1为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时 Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I1512.如权利要求8-11任意一项所述的筛除系统，其特征在于，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元； 该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分: “ br ”、“ P ”、“ font ”、“ em ”、“ I abe I ”、“ span ”、“ strong ”、“ b ”、“ u ”、“ i ”、“ b i g ”、“ smal I，，、“sup”、“sub”； 该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。13.—种网页爬取系统，其特征在于，包括了如权利要求8-12中任意一项所述的筛除系统以及初始化模块和待爬取URL选取模块； 初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行URL列表模块； 正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块； 待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。14.如权利要求13所述的网页爬取系统，其特征在于，初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
【专利摘要】本发明公开了一种伪静态URL的筛除方法、系统及网页爬取方法、系统。该筛除方法包括以下步骤：获取待测URL列表；读取URL正则列表并建立一数据库；选取一URL与正则表达式逐一匹配；将数据库中的URL根据路径分类；比对该URL和同路径URL的参数及值以确定是否设标志位；根据URL相似度及网页结构相似度决定是否设标志位；将该URL存储至数据库中。本发明的伪静态URL的筛除方法、系统及网页爬取方法、系统针对网站使用的伪静态技术，实现了对伪静态URL的自动识别，以过滤大量重复、无用的伪静态URL，提取有价值的URL进行安全检测，提高了爬行效率和爬行准确性。
【IPC分类】G06F17/30
【公开号】CN104899219
【申请号】CN201410081110
【发明人】王笑天, 董晓琼, 罗启武
【申请人】携程计算机技术（上海）有限公司
【公开日】2015年9月9日
【申请日】2014年3月6日
【技术领域】
[0001]本发明涉及一种伪静态URL的筛除方法、系统及网页爬取方法、系统。
【背景技术】
[0002]随着互联网技术迅猛发展，静态网页的时代已然成为历史，如今WEB2.0模式的影响力使得越来越多的网站向着动态、交互性的方向快速转变。由于针对JS技术(JS即JavaScript，是一种基于对象和事件驱动的客户端脚本语言)和伪静态技术的应用愈发广泛，基于传统获取网页源码的爬虫已力不从心。
[0003]如今，大型网站的内容越来越多，为了提高访问速度和获得良好的搜索引擎优化，大部分网站都会使用伪静态技术。伪静态是相对真实静态而言的，伪静态技术实际上利用了动态脚本处理方法通，但展现方式是以静态页面的方式，从而在利用动态脚本的同时保持了对搜索引擎的友好面。采用伪静态技术的链接会按照规则生成一系列URL，而现有的爬虫技术由于没有网页相似度方面的检测，因而会将伪静态的URL作为新产生的URL收录在数据库中。如此就造成在安全检测等方面的应用中，爬虫会提取大部分相同或是同一个伪静态规则对应的同一个URL,导致扫描效率大幅下降。
【发明内容】
[0004]本发明要解决的技术问题是为了克服现有技术中的爬虫难以识别采用伪静态的URL，从而导致爬虫会提取大量相同的伪静态规则对应的URL，造成扫描效率大幅下降的缺陷，提出一种伪静态URL的筛除方法、系统及网页爬取方法、系统。
[0005]本发明是通过下述技术方案来解决上述技术问题的:
[0006]本发明提供了一种伪静态URL的筛除方法，其特点在于，包括以下步骤:
[0007]S1、获取记录有多个URL的一待测URL列表；
[0008]S2、读取一 URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库；
[0009]S3、从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ；
[0010]S41、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0011]S42、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ；
[0012]S43、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ；
[0013]S5、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S6，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0014]S6、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7 ；
[0015]S7、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3 ；
[0016]S8、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。
[0017]本领域技术人员应当理解，URL即统一资源定位符，其是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。完整的、带有授权部分的普通统一资源定位符语法大体如下:协议://用户名:密码@子域名.域名.顶级域名:端口号/目录/文件名.文件后缀？参数=值#标志。步骤&中读取的该URL正则列表实际上可以是人工导入的伪静态规则的识别逻辑，即以人工编写的若干正则表达式来实现伪静态规则的识别逻辑。举例来说，若某网站具有大量的类似WWW.XX.com/news_022.html、www.xx.com/news_81.html 路径的 URL,人工编写一正则表达式以识别此类以news+下划线+数字+.html为路径的网页为伪静态网页。步骤S2中建立的该数据库，既可以是预存入部分URL，也可以是建立初始状态为空的数据库。
[0018]步骤S3用于将URL与正则表达式进行匹配。如果与正则表达式匹配成功，则认定URL是伪静态URL，这时执行S8以将该URL与其相应的hash (即散列值，也称为哈希)存入该数据库，若相应的散列值在数据库中已经存有，则不再重复存储该URL和相应的散列值，以保证每一类伪静态URL在数据库中的唯一性。在上述筛除方法中，步骤S3优先执行，如果匹配成功则跳过后面的步骤，从而提高判别伪静态网页的速度。
[0019]URL根据参数的值分为数字型和非数字型以及GET和POST提交类型。在步骤S41?S43中，从该数据库中搜索和当前URL路径相同的URL分类进行遍历比较，比较参数和参数的值。其中该第一阈值可以由本领域技术人员根据实际情况进行设置，举例来说通常可以设置为3?5。根据参数和参数的值的比对情况确定该URL是否需要进行爬取和检测，相应地，如果判断该URL需要进行爬取和检测则对该URL设置爬虫标志位和检测标志位。在此种情况下还需要同该数据库中的和当前URL路径不同的URL进行遍历比较，即步骤S5?S6。反之，对于在该数据库中已经存储有和该URL相似度较高或者重复的URL，则不对该URL设置标志位。
[0020]在步骤S5中实质上是对URL本身，即对URL的字符串的相似度进行比较，在步骤S6则是对URL相对应的网页正文的相似度进行比较。其中，URL相似度定义为编辑距离，即相比较的两个URL的字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
[0021 ] 较佳地，该URL和任意一不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定，其中一类字符段的相同字符段频数通过下述步骤确定:
[0022]S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数；
[0023]S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数；
[0024]S5tl3、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0025]其中，每一类字符段对应一预设规则，预设规则可以根据字符段的分类要求进行预先设置。
[0026]较佳地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0027]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0028]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度；
[0029]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0030]较佳地，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7为预设的系数,在该URL的扩展名exi^为html >xml或htm时f (Gxt1)=Lext1为其他扩展名时f (exti) =0,在该URL的参数Par1为空时h (Par1) =0,在Par1不为空时h (Par1) =1。
[0031]较佳地，S6包括以下步骤:
[0032]S61、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分:
[0033]“br，，、“p，，、“font，，、“em，，、“laber，、“span，，、“strong，，、“b，，、“u，，、“i，，、“big，，、“small”、“sup”、“sub”；
[0034]S62、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度；
[0035]S63、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7。
[0036]本发明还提供了一种网页爬取方法，其特点在于，包括上述筛除方法，该网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤Stl ；
[0037]S0为:读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行S1 ；
[0038]S3为:判断该待测URL列表是否为空，若是则执行S 9,若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ；
[0039]S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。
[0040]本领域技术人员应当理解，实际上上述步骤Stl的执行分为两种情况。第一种情况下Stl相当于上述网页爬取方法中的初始步骤，这时的初始URL通常是由用户手动进行设置或者预设。第二种情况下则是在上述网页爬取方法的进行过程中执行步骤Stl，这时初始URL是由步骤S9从该数据库中选取的符合条件的URL，并不受用户的输入或者设置的控制。
[0041]较佳地，S0为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行S1。
[0042]其中，ajax是指Asynchronous JavaScript and XML,是一种用于创建快速动态网页的技术，QTWebkit引擎是一种现有的开源浏览器引擎。针对用户交互点击或滑动等操作才能触发的URL链接，通过调用QTWebkit API (应用程序编程接口)获取网页正文DOM (即文件对象模型)树，并对其遍历，筛选出可能存在交互的DOM对象，再通过QTWebkit API模拟操作JS触发DOM对象的逻辑，获得动态链接。对于ajax之类没有生成网页正文的链接，通过 HOOK QTffebkit 中的 QNetworkAccessManager 类的 Createrequest 方法，触发 HTTP 请求来获取动态链接。
[0043]本发明还提供了一种伪静态URL的筛除系统，其特点在于，包括:
[0044]URL列表模块，用于获取记录有多个URL的一待测URL列表；
[0045]正则列表模块，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式；
[0046]正则表达式匹配模块，用于在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块，其中在该待测URL列表发生变化时是指以下两种情况:读取了新的URL正则列表以及原有URL正则列表中的URL被删除；
[0047]URL路径分类模块，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0048]参数比对模块，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块；
[0049]第一判断模块，用于判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块；
[0050]URL相似度判断模块，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0051]网页结构相似度判断模块，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块；
[0052]第一更新模块，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；
[0053]第二更新模块，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。
[0054]较佳地，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度；
[0055]URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0056]较佳地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0057]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0058]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度；
[0059]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0060]较佳地，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7为预设的系数,在该URL的扩展名exi^为html >xml或htm时f (Gxt1)=Lext1为其他扩展名时f (exti) =0,在该URL的参数Par1为空时h (Par1) =0,在Par1不为空时h (Par1) =1。
[0061]较佳地，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元；
[0062]该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分:
[0063]“br，，、“p，，、“font，，、“em，，、“laber，、“span，，、“strong，，、“b，，、“u，，、“i，，、“big，，、“small”、“sup”、“sub”；
[0064]该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。
[0065]本发明还提供了一种网页爬取系统，其特点在于，包括了上述的筛除系统以及初始化模块和待爬取URL选取模块；
[0066]初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行URL列表模块；
[0067]该正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块；
[0068]待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。
[0069]本领域技术人员容易理解，该网页爬取系统中的正则表达式匹配模块和上述筛除系统中的是有所不同的。
[0070]较佳地，初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
[0071]在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0072]本发明的积极进步效果在于:
[0073]本发明的伪静态URL的筛除方法、系统及网页爬取方法、系统针对网站使用的伪静态技术，实现了对伪静态URL的自动识别，以过滤大量重复、无用的伪静态URL，提取有价值的URL进行安全检测，提高了爬行效率和爬行准确性。并且，还通过QTwebkit引擎模拟操作行为，实现了对JS、AJAX等动态链接的提取，增加了爬虫抓取网页的全面性。
【附图说明】
[0074]图1为本发明实施例1的伪静态URL的筛除方法的流程图。
[0075]图2为本发明实施例3的伪静态URL的筛除系统的示意图。
【具体实施方式】
[0076]下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案，但并不因此将本发明限制在所述的实施例范围之中。
[0077]实施例1
[0078]参考图1所示，本实施例的伪 静态URL的筛除方法,包括以下步骤:
[0079]S1、获取记录有多个URL的一待测URL列表；
[0080]S2、读取一 URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库；
[0081]S3、从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ；
[0082]S41、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0083]S42、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ；
[0084]S43、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ；
[0085]S5、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S6，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0086]S6、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7 ；
[0087]S7、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3 ；
[0088]S8、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。
[0089]其中，步骤S3用于将URL与正则表达式进行匹配。如果与正则表达式匹配成功，则认定URL是伪静态URL，这时执行S8以将该URL与其相应的散列值存入该数据库，若相应的散列值在数据库中已经存有，则不再重复存储该URL和相应的散列值，以保证每一类伪静态URL在数据库中的唯一性。在上述筛除方法中，步骤S3优先执行，如果匹配成功则跳过后面的步骤，从而提高判别伪静态网页的速度。
[0090]URL根据参数的值分为数字型和非数字型以及GET和POST提交类型。在步骤S41?S43中，从该数据库中搜索和当前URL路径相同的URL分类进行遍历比较，比较参数和参数的值。其中该第一阈值可以由本领域技术人员根据实际情况进行设置，本实施例中将其设置为3。根据参数和参数的值的比对情况确定该URL是否需要进行爬取和检测，相应地，如果判断该URL需要进行爬取和检测则对该URL设置爬虫标志位和检测标志位。在此种情况下还需要同该数据库中的和当前URL路径不同的URL进行遍历比较，即步骤S5?S6。反之，对于在该数据库中已经存储有和该URL相似度较高或者重复的URL，则不对该URL设置标志位。
[0091]在步骤S5中实质上是对URL本身，即对URL的字符串的相似度进行比较，在步骤S6则是对URL相对应的网页正文的相似度进行比较。其中，URL相似度定义为编辑距离，即相比较的两个URL的字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
[0092]本实施例中，该URL和不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定。一类字符段的相同字符段频数通过下述步骤确定:
[0093]S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数；
[0094]S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数；
[0095]S5tl3、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0096]每一类字符段对应一预设规则，预设规则根据字符段的分类要求进行预先设置。
[0097]具体来说，本实施例中该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0098]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0099]在这一公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12, num12、non12、per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度。其中以下标I标记仅和该URL自身的属性相关的参数，以下标12标记同时和该URL及该任意一不同路径URL相关的参数。
[0100]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0101]更进一步地，上述公式中g(cha12, num12, non12, Per12) —项可由下式定义:g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12o 式中 a4、a5、a6、a7 为预设的系数,在该URL的扩展名exh为html、xml或htm时f (extj =1, exh为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时Ii(Par1)=O,在Par1不为空时Ii(Par1)=I15
[0102]本实施例的筛除方法中，S6包括以下步骤:
[0103]S61、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签为以下html标签:
[0104]“br”、“p”、“font”、“em”、“laber，、“span”、“strong”、“b”、“u”、“i”、“big，，、“small”、“sup”、“sub，，。
[0105]S62、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度；
[0106]S63、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7。
[0107]实施例2
[0108]本实施例的网页爬取方法和实施例1的筛除方法相比，差别仅在于:
[0109]本实施例的网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤Stl,并且步骤S3相比于实施例1有所不同。
[0110]S0为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执彳丁 S:。
[0111]S3为:判断该待测URL列表是否为空，若是则执行S9，若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ；
[0112]S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。
[0113]本领域技术人员应当理解，上述步骤Stl的执行分为两种情况。第一种情况下Stl相当于上述网页爬取方法中的初始步骤，这时的初始URL通常是由用户手动进行设置或者预设。第二种情况下则是在上述网页爬取方法的进行过程中执行步骤Stl,这时初始URL是由步骤S9从该数据库中选取的符合条件的URL，并不受用户的输入或者设置的控制。
[0114]实施例3
[0115]如图2所示，本实施例的伪静态URL的筛除系统包括:
[0116]URL列表模块I，用于获取记录有多个URL的一待测URL列表；
[0117]正则列表模块2，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式；
[0118]正则表达式匹配模块3，用于在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块，其中在该待测URL列表发生变化时是指以下两种情况:读取了新的URL正则列表以及原有URL正则列表中的URL被删除；
[0119]URL路径分类模块4，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ；
[0120]参数比对模块5，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块；
[0121]第一判断模块6，用于判断同路径 URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块；
[0122]URL相似度判断模块7，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；
[0123]网页结构相似度判断模块8，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块；
[0124]第一更新模块9，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；
[0125]第二更新模块10，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。
[0126]其中，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度。
[0127]URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。
[0128]具体地，该URL和该任意一不同路径URL的URL相似度由以下公式定义:
[0129]S12=a1*d12+a2>l<f (extj +g (cha12, num12, non12, per12) +a3*h (Par1)；
[0130]上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，Mt1为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，B1, a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度。
[0131]其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。
[0132]上述公式中，g(cha12, num12, non12, per12) 一项由下式确定:g (cha12, num12, non12, per12)=a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数,在该 URL 的扩展名exh为html、xml或htm时f (ext^ =Lext1为其他扩展名时f (ext^ =0,在该URL的参数Par1 为空时 Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I15 本实施例中 a^afa^afadafapl,这7项系数的取值可由本领域技术人员根据实际需要进行设置。
[0133]并且，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元；
[0134]该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签为以下html标签:
[0135]“br”、“p”、“font”、“em”、“laber，、“span”、“strong”、“b”、“u”、“i”、“big，，、“small”、“sup”、“sub，，。
[0136]该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。
[0137]实施例4
[0138]本实施例的网页爬取系统和实施例3相比，差别仅在于，该网页爬取系统还包括初始化模块和待爬取URL选取模块，并且其中的正则表达式匹配模块和实施例3有所不同。
[0139]该初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
[0140]该正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块。
[0141]该待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。
[0142]虽然以上描述了本发明的【具体实施方式】，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
【主权项】
1.一种伪静态URL的筛除方法，其特征在于，包括以下步骤: 51、获取记录有多个URL的一待测URL列表； 52、读取一URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库； 53、从该待测URL列表中选取一URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S8，若和所有正则表达式匹配失败则执行S41 ； 541、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL ； 542、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S5,在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S43,在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S7 ； 543、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S7，若否则对该URL设置爬虫标志位和检测标志位并执行S5 ； 55、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S6 ； 其中，该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离； 56、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7,若否则执行S7 ； 57、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S3； 58、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S3,若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S3。2.如权利要求1所述的筛除方法，其特征在于，该URL和任意一不同路径URL的URL相似度由该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定，其中一类字符段的相同字符段频数通过下述步骤确定: S5tll、根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数； S5tl2、根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数； S503、计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。3.如权利要求2所述的筛除方法，其特征在于，该URL和该任意一不同路径URL的URL相似度由以下公式定义: S12=a1*d12+a2*f (extj) +g (cha12, num12, non12, per12) +a3*h (Par1)； 上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，ext!为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、non12、per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度； 其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所 形成的字符段。4.如权利要求3所述的筛除方法,其特征在于，g(cha12, num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数,在该 URL 的扩展名 exh 为 html、xml或htm时f (Gxt1)=I, Gxt1为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I155.如权利要求1-4中任意一项所述的筛除方法，其特征在于，S6包括以下步骤: 561、从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分: “ br ”、“ P ”、“ font ”、“ em ”、“ I abe I ”、“ span ”、“ strong ”、“ b ”、“ u ”、“ i ”、“ b i g ”、“ smal I，，、“sup”、“sub”； 562、采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度； 563、判断S62计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S7，若否则执行S7。6.—种网页爬取方法，其特征在于，包括了如权利要求1-5中任意一项所述的筛除方法，该网页爬取方法还包括步骤S9和在该筛除方法执行前进行的步骤S。； S0为:读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执彳丁 S1 ； S3为:判断该待测URL列表是否为空，若是则执行S9，若否则从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配,若和任意一正则表达式匹配成功则执行S8,若和所有正则表达式匹配失败则执行S41 ； S9为:从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并返回S。。7.如权利要求6所述的网页爬取方法，其特征在于，Stl为:读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行Sp8.一种伪静态URL的筛除系统，其特征在于，包括: URL列表模块，用于获取记录有多个URL的一待测URL列表； 正则列表模块，用于建立一数据库以及读取一 URL正则列表，该URL正则列表包括若干正则表达式； 正则表达式匹配模块，用于在该待测URL列表发生变化时从该待测URL列表中选取一URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块； URL路径分类模块，用于在该数据库中搜索和该URL具有相同路径的URL作为同路径URL,将该数据库中的其他URL作为不同路径URL ； 参数比对模块，用于将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并启用相似度判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下启用第一判断模块，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下启用第一更新模块； 第一判断模块，用于判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则启用第一更新模块，若否则对该URL设置爬虫标志位和检测标志位并启用URL相似度判断模块； URL相似度判断模块，用于计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用网页结构相似度判断模块，其中该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离； 网页结构相似度判断模块，用于采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块； 第一更新模块，用于将该URL存储至该数据库，从该待测URL列表中删除该URL ；第二更新模块，用于通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL。9.如权利要求8所述的筛除系统，其特征在于，URL相似度判断模块用于根据该URL的扩展名、该URL的参数以及该URL和该任意一不同路径URL中至少一类字符段的相同字符段频数确定该URL和任意一不同路径URL的URL相似度； URL相似度判断模块包括一相同字符段频数单元，该相同字符段频数单元用于首先根据该类字符段相对应的预设规则分别从该URL和该任意一不同路径URL中提取满足该预设规则的字符段，并记录该URL包含的字符段个数，然后根据在URL中的先后顺序对比从该URL和该任意一不同路径URL中提取的字符段，并记录两者中提取的相一致的字符段的个数作为一致字符段个数，最后计算一致字符段个数和该URL对应的字符段个数的比值作为该类字符段的相同字符段频数，每一类字符段为满足相应预设规则的URL中的字符段，该URL中任意一类字符段的相同字符段频数。10.如权利要求9所述的筛除系统，其特征在于，该URL和该任意一不同路径URL的URL相似度由以下公式定义: Si2=ai；i<d12+a2;!<f (ext) +g (cha12，num12，non12，per12) +a3*h (par)； 上述公式中，d12为该URL和该任意一不同路径URL的编辑距离，ext,为该URL的扩展名、f为预设的扩展名集至数集的映射，Par1为该URL的参数、h为预设的参数集至数集的映射，Cha12、Mim12、n0n12、Per12依次分别为该URL中字母类字符段、数字类字符段、第三类字符段和第四类字符段的相同字符段频数，g为预设的一函数，a1、a2、a3为预设的系数，S12为该URL和该任意一不同路径URL的URL相似度； 其中，字母类字符段、数字类字符段及第三类字符段分别对应的预设规则分别为将URL中的所有字母、数字及第三类字符划分为字母、数字及第三类字符连续排列的字符段，且划分形成的字符段的个数最少，第三类字符为除字母、数字和百分号以外的所有字符，第四类字符段对应的预设规则为从URL中提取所有由百分号及其后连续排列的两个数字所形成的字符段。11.如权利要求10所述的筛除系统,其特征在于，g(cha12,num12, non12, per12) =a4*cha12+a5*num12+a6*non12+a7*per12,其中 a4、a5、a6、a7 为预设的系数，在该 URL 的扩展名 exh 为html>xml或htm时f (ext^ =1, Gxt1为其他扩展名时f (Gxt1)=O,在该URL的参数Par1为空时 Ii(Par1)=O,在 Par1 不为空时 Ii(Par1)=I1512.如权利要求8-11任意一项所述的筛除系统，其特征在于，网页结构相似度判断模块包括一噪声标签移除单元和一子树匹配单元； 该噪声标签移除单元用于从该URL和各个不同路径URL对应的网页正文中去除所有噪声标签，其中噪声标签包括以下html标签中的全部或部分: “ br ”、“ P ”、“ font ”、“ em ”、“ I abe I ”、“ span ”、“ strong ”、“ b ”、“ u ”、“ i ”、“ b i g ”、“ smal I，，、“sup”、“sub”； 该子树匹配单元用于采用基于子树最优有序匹配规则的相似度度量方法或者基于子树最优自由匹配规则的相似度度量方法计算去除噪声标签后的该URL和各个不同路径URL对应的网页正文的相似度，然后判断计算得到的网页正文的相似度的最大值是否大于该第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并启用第一更新模块，若否则启用第一更新模块。13.—种网页爬取系统，其特征在于，包括了如权利要求8-12中任意一项所述的筛除系统以及初始化模块和待爬取URL选取模块； 初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，从中提取URL并将提取的URL加入到该待测URL列表中，然后执行URL列表模块； 正则表达式匹配模块用于判断该待测URL列表是否为空，若是则启用待爬取URL选取模块，若否则在该待测URL列表发生变化时从该待测URL列表中选取一 URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则启用第二更新模块，若和所有正则表达式匹配失败则启用URL路径分类模块； 待爬取URL选取模块用于从该数据库中选取一个设置有爬虫标志位和检测标志位的URL作为该初始URL，并启用初始化模块。14.如权利要求13所述的网页爬取系统，其特征在于，初始化模块用于读取初始URL，并爬取该初始URL对应的网页正文，识别其中是否有ajax或js动态生成的URL链接，若否则直接从中提取URL并将提取的URL加入到该待测URL列表中，若是则采用QTWebkit引擎动态模拟浏览器行为以抓取动态URL并将抓取的URL加入到待测URL列表中，然后执行URL列表模块。
【专利摘要】本发明公开了一种伪静态URL的筛除方法、系统及网页爬取方法、系统。该筛除方法包括以下步骤：获取待测URL列表；读取URL正则列表并建立一数据库；选取一URL与正则表达式逐一匹配；将数据库中的URL根据路径分类；比对该URL和同路径URL的参数及值以确定是否设标志位；根据URL相似度及网页结构相似度决定是否设标志位；将该URL存储至数据库中。本发明的伪静态URL的筛除方法、系统及网页爬取方法、系统针对网站使用的伪静态技术，实现了对伪静态URL的自动识别，以过滤大量重复、无用的伪静态URL，提取有价值的URL进行安全检测，提高了爬行效率和爬行准确性。
【IPC分类】G06F17/30
【公开号】CN104899219
【申请号】CN201410081110
【发明人】王笑天, 董晓琼, 罗启武
【申请人】携程计算机技术（上海）有限公司
【公开日】2015年9月9日
【申请日】2014年3月6日
最新回复(0)