admin管理员组

文章数量:1573361

最近跟着老师学习,写了几个爬虫。写爬虫不可能只爬取一个页面,往往涉及到分页爬取。本文对自己在写爬虫的过程中关于分页爬取做一次小小的总结。

一、静态加载

如糗事百科,美股吧。这种网页url一般都带有页码信息,翻页的时候url会发生变化,页面内容全部刷新,分页爬取比较容易实现。

糗事百科

美股吧

方法一: 取得页码总数,根据url的结构来构造一个url列表,然后遍历列表中的url分别爬取信息即可。参考代码(来自Python爬虫—糗事百科@loading_miracle)如下:

#总页码

def totalUrl(self):

urls = [self.url+'page/{}/?s=4985075'.format(i) for i in range(1,36)]

for url in urls:

print u'正在获取:'+url.split('/')[-2]+u'页'

self.getInfo(url)

获取页码数

HTML页面中直接提取(页面中有最大页码数/共22页这些信息(如图图糗

本文标签: 爬虫分页自我论文Python