admin管理员组文章数量:1531737
2024年2月28日发(作者:)
Scrapy的运作流程由引擎控制,其过程如下:
(1)引擎向Spiders请求第个要爬取的URL(s)。
(2)引擎从Spiders中获取到个要爬取的URL,装成Request并交给调度器。
(3)引擎向调度器请求下一个要爬取的Request。
(4)调度器返回下一个要爬取的Request给引擎,引擎将Request通过下载中间件转发给下载器。
(5)一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件给引擎。
(6)引擎从下载器中接收到Response并通过Spider中间件给Spider处理。
(7)Spider处理Response并返回爬取到的Item及新的Request给引擎。
(8)引擎将爬取到的Item给ItemPipeline,将Request给调度器。
(9)从第(2)步始重复,直到调度器中没有更多的Request。
为了帮助家更好地理解Scrapy的一次完整运行流程,把Scrapy的运作流程用拟人小剧场的进行表现,如下所示:
(1)引擎:Hi!Spider,你要处理哪一个?
(2)Spider:老要处理。
(3)引擎:你把个需要处理的URL给吧。
(4)Spider:给你,个。
(5)引擎:Hi!调度器,这有Request请求,你帮排序入队一下。
(6)调度器:好的,正在处理,你等一下。
(7)引擎:Hi!调度器,把你处理好的Request请求给。
(8)调度器:给你,这处理好的Requesto
(9)引擎:Hi!下载器,你按照老的下载中间件的设置帮下载一下这个Request请求。
(10)下载器:好的!给你,这下载好的东西。(如果失败:Sorry,这个Request下载失败了。然后引擎告诉调度器,这个Request下载失败了,你记录一下,们待会儿再下载)。
(11)引擎:Hi!Spider,这下载好的东西,并且已经按照老的下载中间件处理过了,你自己处理一下(注意!这儿Responses默认交给defparse(这个函数处理的)。
1
(12)Spider:(处理完毕数据之后对于需要跟进的URL),Hi!引擎,这里有两个结果,这个需要跟进的URL,还有这个获取到的Item数据。
(13)引擎:Hi!管道,这儿有个item你帮处理一下!调度器!这需要跟进的URL你帮处理下。
(14)管道,调度器:好的,现在就!
然后,从第(4)步始循环,直到获取完老需要的全部信息。
2
版权声明:本文标题:scrapy框架的工作流程介绍 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1709073326a219639.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论