帝国CMS7.2如何采集内容分页教程

技术分享1 字数 1231阅读模式

大鸟觉得还是说下采集分页吧,因为不少的同学在采集过程中,列表页和内容页都能可以很好地设定正则,但往往失败在内容分页正则上,主要是对内容分页正则不了解。帝国的内容分页形式有两种:(1)全部列出式(2)上下页导航式,但是这两种内容分页形式有什么区别,采集内容分页时该用哪种,官方说得比较模糊,对此有些同学感到很头大,好的,我们先看下例子:

大鸟三篇帝国后台采集教程系列

  1. 帝国7.2后台CMS采集代码采集规则编写教程
  2. 帝国7.2后台采集的过滤与替换技巧
  3. 帝国CMS7.2如何采集内容分页教程

一、全部列出式

全部列表式只需看第一页的页面HTML代码,这一页的所有分页链接都列出来了。

1、我们以“中华网内容分页(http://auto.china.com/dongtai/yejie/11012724/20120309/17081442.html)”为例:

帝国CMS7.2如何采集内容分页教程

可以看到这条新闻总共有3条分页。

2、查看源代码:

帝国CMS7.2如何采集内容分页教程

这一页里除了已经采集到的第1条分页外,还包括了第2条和第3条分页,所有的分页都列出来了。

3、取得 分页区域正则([!--smallpageallzz--]):

帝国CMS7.2如何采集内容分页教程

4、取得 分页链接正则([!--pageallzz--]):

帝国CMS7.2如何采集内容分页教程

二、上下页导航式

上下页导航式是分页采集的难点,他需要所有页面都符合分页正则才行,在不熟悉的情况下,我们可以用第1页和第2页的代码来进行对比分析然后确定分页正则。

1、我们以下网站的内容分页为例:

帝国CMS7.2如何采集内容分页教程

可以看到这条新闻总共有20条分页。

2、查看源代码:

帝国CMS7.2如何采集内容分页教程

这一页里除了已经采集到的第1条分页外,还包括了第2,第3,第4,第5,第6,第7,第8,第20条分页,但是第9到第19条分页并没有列出来,这时候我们拿用第1页和第2页的代码来进行对比分析,来确定分页正则:

(1)第1页代码:

帝国CMS7.2如何采集内容分页教程

(2)第2页代码:

帝国CMS7.2如何采集内容分页教程

从这两幅图片可以看到他们有着相同的“分页区域开始代码”,“分页链接”格式,“分页区域结束代码”,那么就可以确定“分页区域正则”,“分页链接正则”。

3、取得 分页区域正则([!--smallpageallzz--]):

帝国CMS7.2如何采集内容分页教程

4、取得 分页链接正则([!--pageallzz--]):

帝国CMS7.2如何采集内容分页教程

5、为了方便教程显示,newstext我采集了标题而不是采集内容,预览结果:

帝国CMS7.2如何采集内容分页教程

注意事项:

第一、在第一页的页面HTML代码里,内容分页链接全部列出来的情况下我们使用“全部列出式”。在第一页的页面HTML代码里,内容分页链接没有全部列出来的情况下我们使用“上下页导航式”。

第二、用全部列出式时,采集规则正确但是莫名其妙的出现重复的分页,这时可以利用替换法把它过滤掉(下一讲我们再说)。

第三、用上下页导航式时,老是采到第1页,其他页连个影子都没有见过,这是因为分页区域正则([!--smallpagezz--])截取错误。

第四、用上下页导航式时,可以采集到前几页了,但是接下来这前几页全部重复循环到底,这也是因为分页区域正则([!--smallpagezz--])截取错误,截取范围过大,导致重复截取前几个分页链接。

 

weinxin
我的微信
微信公众号
关注大鸟博客公众号
 
大鸟
  • 内容分页
  • 上下页导航式
  • 全部列出式
    • 54545
      54545 0

      三生三世

    匿名

    发表评论

    匿名网友

    :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

    确定