admin管理员组

文章数量:1558091

在爬取数据的时候遇到会遇到很多各种各样的问题,但是有一个问题会经常出现,并且原因还很难发现,下面就给大家说下这个问题的原因,以及解决办法,开始运行会出现这样的一个错误:

[scrapy.core.scraper] ERROR: Spider error processing

爬取数据代码:

出现的报错问题详细信息:


这时显示的信息是有空值None出现,导致的,其实也不难理解,大家可以想想,当我们爬取完网页信息的时候,当爬到最后一页的页面时,接下来就没有下一页的信息,如果我们没有进行判断的话,就会继续爬下一页信息,会发现已经没有下一页了,就会出现这样一个错误,这是边界值的问题所造成,大家很容易忘记这一点,而出现这个问题。

看这个报错信息,好像是参数值中

本文标签: 解决办法数据corescrapy