网络爬虫

admin管理员组

文章数量:1530845

2024年4月7日发(作者：)

目录

摘要 .................................................................................................................................................. 1

关键词 .............................................................................................................................................. 1

Abstract ............................................................................................................................................. 1

Key words .......................................................................................................................................... 2

1 Python语言介绍 .......................................................................................................................... 2

2 网络爬虫的定义及分类 ............................................................................................................... 3

2.1 网络爬虫的定义 ............................................................................................................... 3

2.2网络爬虫的分类 ................................................................................................................ 3

2.3爬虫的搜索策略 ................................................................................................................ 4

2.3.1广度优先策略 ........................................................................................................ 4

2.3.2深度优先策略 ........................................................................................................ 4

3简单爬虫架构 ................................................................................................................................ 4

3.1爬虫调度器 ........................................................................................................................ 5

3.2 URL管理器 ........................................................................................................................ 5

3.2.1 URL管理器工作流程 ............................................................................................ 5

3.2.2 URL管理器实现方式对比 .................................................................................. 5

3.3网页下载器 ........................................................................................................................ 6

3.4网页解析器 ........................................................................................................................ 6

4 爬虫的运行流程及实现 ............................................................................................................. 7

4.2爬虫程序设计及运行 ........................................................................................................ 7

4.2.1 爬虫总调度程序 ................................................................................................... 7

4.2.2 URL管理器程序 .................................................................................................. 8

4.2.3 网页下载器程序 ................................................................................................... 8

4.2.4 网页解析器程序 ................................................................................................... 8

4.2.5 网页输出器程序 ................................................................................................... 8

5结果分析展望 ................................................................................................................................ 9

5.1运行结果及分析 ........................................................................................................................ 9

5.2总结与展望 ........................................................................................................................ 9

致谢 .................................................................................................................................................. 9

参考文献......................................................................................................................................... 10

附录 12

0

基于Python的网络爬虫设计

通信工程专业 学生

指导教师

摘要：随着网络技术的发展，一方面网络上拥有越来越多的信息供人们进行选择，另一方面

使人们在网络上搜集信息时为不能快速精准的获取自己想要的信息而感到苦恼。从而针对有

关特定主题的网络爬虫应时而生。本课题是为人们人们可以快速、大量的获取自己想要的信

息而对网络爬虫进行的研究。首先定义了网络爬虫的意义和研究的目标；然后对近年来国内

外有关爬虫的研究方法和技术进行分析；比较各种爬虫方法的优缺点；对网络爬虫的流程图

进行设计得到到网络爬虫的简单架构图；分析介绍各个模块的功能，对模块进行对比分析；

编写程序代码，执行并调试程序，对结果进行分析总结。最后对未来有关爬虫技术发展研究

进行展望。

关键词：网络爬虫 python语言 URL 互联网

Based on the Python web crawler design

Student majoring in Communication engineering Name JiRuijuan

Tutor ZhouZili

Abstract：With the development of network technology, On the one hand, on the network have

more and more information for people to choose , On the other hand, people ofen fell upset for can

not collect information fastly and accuratly on the a web crawler about a particular

topic should be formed to solve this probelom. This topic is abot studying of web crawler so that

people can access the information what they want rapidily and largely.

Firstly, the meaning of

web crawler and the research goal are defined;

secondly,the relevant research methonds and

techniques of the crawler which from home and abroad recent years are analyzed;And then the

advantages and disadvantages of all kinds of crawler method are compared and

1

flowchart of web crawler are designed and get the simple architecture diagram of web

crawler;Analysis and introduces the function of each module and compare the adwantages of

them;And then write the program code , Implement and debug program, and analyze the

y,the paper points out the future about the crawler technology development research.

Key words: web crawler；python language；URL；Interne

引言：随着互联网技术的发展，网络上的信息呈现爆炸式的增长，人们在可以自

由从网上获取信息的同时也时常为难以在短时间搜索自己想要的信息而感到苦

恼从而对互联网进一步的发展提出了新的要求。为了给用户提供更好的上网体

验，网络爬虫顺势而生，网络爬虫可以根据特定主题进行个性化搜索。主题网络

爬虫可以快速的爬取和采集大量的和预先定义好的与主题有关的网页。这类爬虫

能够通过对整个网页按主题进行分块采集，然后将不同块的采集信息整合到一

起，从而提高整个网页的采集信息覆盖率和页面的利用率。爬虫的性能指标有三

个：规模的大小，只有搜索规模达到一定的数量级，搜索出的结果才能更好的满

足客户的需求；性能，网络爬虫必须在用户的时间内完成对目标网络的的信息的

搜集和结果反馈；搜索的质量，要求能够过滤掉一些无用信息的网页，比较准确

的返回网络用户想要得到的结果。爬虫的工作原理非常简单即：从给定的一个种

子URL集合中获取一个URL下载网页，再从网页中抽取出全部的URL和得到有价

值数据，然后将新得到的URL添加到待爬取URL队列中，再从中抽取另一个URL。

重复以上步骤直到达到预先设定的爬虫的停止标准为止

[1][2]

。

1 Python语言介绍

Python

[3]

是一种脚本语言，其语言核心包括文件、列表数字、字典、字符串等常见类型

的函数。Python具有大量和丰富的库函数，其标准库中还提供了文本处理、图形系统、系

统管理、xml处理、网络通信、数据库接口等额外功能从而Python可以进行各种工作包括

密码系统、正则表达式、图形用户界面、文档生成、HTML、XML、网页浏览器、单元测试、

数据库等其他和系统相关的操作。Python被称为“功能齐全”语言。Python有很多免费的

第三方库，使其功能更加强大。Python是开放源码软件之一，具有可移植性在包括Windows、

OS/2、Linux、FreeBSD、QNX、VMS、AROS、Palm OS等大量平台。Python具有可扩

展性、可嵌入性。Python 具有良好的可阅读性，采用空白符强制进行语句缩进使代码简洁、

优雅、能够用各个模块把各种语言连接起来，有胶水语言之称。Python中的urllib模块的

urlopen的方法可以轻松打开某网页，用read方法可以读取网页的内容，它re模块的findall

正则匹配方法可以匹配出网页中的自己想要的一些表达形式有规律的内容如一些网络链接。

基于Python的强大功能本网络爬虫设计采用Python作为编程语言。

2

2 网络爬虫的定义及分类

2.1 网络爬虫的定义

网络爬虫(Web Crawler)，是一段可以自动下载网页爬取互联网信息的程序,

又被称为蚂蚁、网络蜘蛛(Web Spider)、蠕虫或网络信息采集器，它是电脑搜索

引擎的组成部分。网络爬虫从给定的一个URL开始爬取其指向网页中的相关URL

并对这些URL进行分析判断,归类与不同的管理URL的集合中。不断的得到新的

URL补充到待爬取URL集合中,并不断的从待爬取URL集合中抽取URL进行网页

的爬取的到想要的数据。直到待爬取URL集合为空或者达到某个预设的阈值条件

为止,从而达到遍历网页的目的。上面的过程为网络爬取(Web Crawling)。具体

流程如图2-1 URL互联图。

图2-1 URL互联图

网络爬虫的好处：与人工上网搜索信息相比网络

爬虫可以从一个URL

出发自

动访问与其相关联的URL，搜索信息覆盖面大，把大量有关信息集中呈现在人

们的眼前，可以得到最全面的信息，省时省力，效率高。

2.2网络爬虫的分类

网络爬虫根据其系统结构设计和实现技术可以分为通用网络爬虫、主题网络

爬虫、深层网络爬虫、增量式网络爬虫等

[4]

。实际应用中的爬虫是这几种爬虫的

综合实现。下面主要介绍一些通用型网络爬虫和主题网络爬虫。

通用型网络爬虫：以给定的种子URL作为爬行对象然后在爬取过程中不断获

取新的URL直到访问完与种子URL内容相关的所有网页。优点：爬取范围广，爬

取内容数量庞大。对网页的爬行顺序要求较低，宜采用并行工作方式。缺点：运

行时间长，占用较大的空间资源。由于当代信息更新很快，通用型网络爬虫不能

及时发现最新发布信息，且它是基于关键词检索不能根据语义获取信息。

主题网络爬虫：是指定向爬取与设计主题相关的网页的内容，具有选择性。

优点：针对性强，只需对与预先设计好的话题有关的内容进行爬取，覆盖率不大，

节省了时间和资源，更新快可以满足人们对特定话题资源的需求。

3

2.3爬虫的搜索策略

目前国内外采用的网络爬虫抓取网页的主要两种策略有：广度优先策略和深

度优先策略

[5][6]

。

2.3.1广度优先策略

广度优先：是指爬虫爬取网页内容时按照网页目录层次从浅入深依次爬取，

即先爬取网页内容目录较浅的页面，再逐步深入爬取处于较深目录层次的页面。

如图所示。

该策略的优点为：①能够控制爬虫的爬取深度，从而可以避免出现因遇到无

穷深的爬虫而无法结束程序运行的情况。②一般情况下比较有用的URL位于较浅

层次的网页中，这样在较浅的爬取深度下就可以得到较多的有用URL。③不需要

存储大量的中间节点，节省空间资源。缺点：随着网页抓取的越来越多，将会有

大量的无关的网页会被下载然后需要被过滤掉，导致爬虫的速率降低。

2.3.2深度优先策略

深度优先策略：是指爬虫沿着一条URL的分支的方向从根节点开始依次访问

下一级网页链接直到末尾。然后爬取下一条URL链接分支，如此循环往复直到处

理完所有的URL或者在达到某一预设阈值条件时停止程序运行。优点：设计思路

简单。缺点：①由于一般情况下门户网页提供的网络链接更具有价值，网页排名

也比较高，而且随着网页的目录层次的深入，网页中提供的网络链接的价值就越

来越低。②该爬虫策略在爬取深度较深的情况下其抓取速率和命中率迅速减低且

爬取的网页价值也大幅度下降。

3简单爬虫架构

一个简单的爬虫架构主要有爬虫调度器、URL管理器、网页下载器、网页解

析器、网页输出器，五部分组成。

爬虫调度器启动一个爬虫后，网页下载器从URL管理器取出一个待爬取的

URL并将其传送给网页下载器，网页下载器将对应网页下载下了并将其存储为一

个字符串，该字符串被传送给网页解析器进行解析一方面得到有价值的数据，另

一方面每一个网页都有很多指向其他网页的URL这些URL被解析出来后可以补充

进URL管理器。URL管理器、网页下载器、网页解析器这三者就形成了一个循环

只要有相关联的URL就会一直运行下去，直到满足预先设定的爬虫停止指标。如

图3-1爬虫架构图。

4

3.1爬虫调度器

爬虫调度器：用来启动爬虫，终止爬虫，监视爬虫的运行情况。

3.2 URL管理器

URL管理器：管理待爬取URL集合和已经爬取过的URL集合，防止重复抓取和循环

抓取。

3.2.1 URL管理器工作流程

URL管理器的具体工作流程：

（1）添加新的URL到待抓取的URL集合中。该过程的实现首先要先判断该

URL是否已经在待爬取的和已经爬取的URL集合中，若已经存在则不添加。

（2）从待爬取URL集合中获取一个URL，并将其从待爬取URL集合中动

到已爬取URL集合中。

具体流程见图3-2URL管理器工作流程图：

添加新URL到待爬取集合中 判断是否还有待爬取的URL

URL管理器 获取待爬取的URL

判断待添加URL是否在容器中 将URL从待爬取移动到已爬取

图3-2 URL管理器工作流程图

3.2.2 URL管理器实现方式对比

URL管理器的实现方式有以下几种：

（1）.Python内存：分别给待爬取URL 集合建立一个和已爬取URL建立一个set（）。

方法简单，可以方便的添加、去除数据，功能较弱，适合个人小型公司使用。

（2）.关系数据库MySQL：建立表urls(url,is_crawled),ur和is_crawled分别表示待爬取和

已爬取即可，功能强大，数据可以永久保存；容量大

（3）.缓存数据库reais：分别建立待爬取URL集合set（）和已爬取URL集合set（），

功能强大，适合大公司使用；

5

3.3网页下载器

网页下载器:一种将互联网上URL对应的网页下载到本地的工具是网络爬虫的核心部

件。它类似于网络浏览器可以将URL对应的网页以HTML的形式下载到本地并存储为本地

文件或内存字符串。进而进行后续的分析和处理。如图3-4网页下载器工作流程图。

图3-4网页下载器工作流程图

网页下载器类型对比：

（1）urllib2:Python官方基础模块支持直接的URL下载或者向网页提交一

些需要用户向输入的数据，甚至支持需要登陆的cookie处理，需要代理访问的

代理处理；

（2） requests:第三方包功能更加强大，需要urllib2的引用；

3.4网页解析器

网页解析器：从网页中提取有价值信息的工具。它以下载好的Html网页字

符串作为输入然后从中提取出有价值的数据和新的待爬取的URL列表。

如图3-5网页解析器工作流程图：

图3-5网页解析器工作流程图

网页解析器类型对比：

（1）正则表达式：可以将整个网页当成一个字符串使用模糊匹配获取价值数据。比较直观

但若文档内容复杂时这种实现方式比较麻烦；

（2）Lxml:第三方插件，可以用来解析xml网页和html网页。

（3）：Python自带的模块来方便的解析网页。

（4）BeautifulSoup:第三方库功能强大可以使用和lxml作为它的解析器

第一种是模糊匹配，后三者会解析成DOM树进行结构化的解析，再进行一些操作。

本课题采用BeautifulSoup模块同时引用re模块对网页进行解析具体步骤是：

首先给出一个html网页地址作为种子URL，然后利用右键审查元素分别确定该网页的

各种节点，这里主要利用了findall和find方法，根据需要给定具体的参数就可以找到网

页中满足自己设定条件的节点，搜索过程中主要按照节点的属性和文字进行检索。DOM树样

6

式见图3-5 DOM树图。

图3-5 DOM树图

4 爬虫的运行流程及实现

4.1爬虫的运行流程

爬虫的运行流程为：

（1） 首先调度器向URL管理器询问有没有待爬取的URL，URL管理器返回是

或否，如果是的话调度器就要从URL管理器中取出一个待爬取的URL，

URL管理器将这个URL返回给调度器。

（2） 调度器得到了这个URL后再将其传送给下载器，下载器对网页的内容进

行下载之后将得到的内容返回给调度器。

（3） 然后调度器会将URL的内容传送给解析器，解析器对URL的内容进行解

析，解析之后返回新的价值数据和URL列表给调度器，一方面调度器会

将价值数据传送给应用进行数据的收集，另一方面会将新的URL补充给

URL管理器。

（4） 这时如果URL管理器中还有待爬取的URL，上述步骤会作为循环持续进

行直到处理完所有的待爬取的URL或者达到预先设定的阈值。

（5） 最后调度器将价值数据以我们想要的方式利用出输出器进行输出。

具体流程如图4-1网络爬虫工作流程图。

图4-1网络爬虫工作流程图

4.2爬虫程序设计及运行

一个简单的爬虫的爬虫总调度程序、URL管理器、网页下载器、网页解析器、

网页输出器五个模块的代码及实现。

4.2.1 爬虫总调度程序

爬虫总调度程序：要引入URL管理器、网页下载器、网页解析器、网页输出

器这四个模块。具体程序编码及解析见附录图1爬虫总调度程序及解析。

7

4.2.2 URL管理器程序

URL管理器程序实现：该部分主要是维护已爬取URL集合和待爬取URL集合，

具体实现要考虑到：①添加新的URL到待爬取的URL集合中要先判断，该URL

是否已经在待爬取的URL集合或者在已经爬取的URL集合中；②在待爬取的URL

集合中获取一个URL后要记得把它从待爬取的URL集合移动到已爬取的URL集合

中。具体程序代码及解析见附录图2 URL管理器程序与解析。

4.2.3 网页下载器程序

网页下载器程序实现：主要通过引入urllib模块，使用其urlopen的方法

以给定url作为参数来访问网页。具体程序代码见附录图3网页下载器程序与解

析。

4.2.4 网页解析器程序

网页解析器程序：该部分是网络爬虫的核心内容，要引用re模块、

BeautifulSoup模块、urlparser模块来实现网页解析的功能。需要分析网页源

代码，或者打开网页后利用右键审查元素来的到自己想要获得的参数信息。如要

爬取百度百科上有关孔子的五十条相关链接（具体多少条可以根据需要通过改变

程序参数来确定）和有关词条，上百度得到入口URL为：

/subview/2176/；在该网页任意链接上点

右键审查元素得到如接图4任意链审查元素结果图。分析得到词条页面的URL

格式为/view/的形式，程序中利用正则匹配的知识要写成

/view/d+.htm的形式，采用的是a标签。

在标题上审查元素得到标题格式为：

查询结果见附录图

查询结果见图5标题审查元素结果图。

在网页空白处右键审查元素可得到简介格式为：

“