admin管理员组文章数量:1666532
这是个系列文章，主要是能让大家快速的的做出一个小项目，主要是我现在在做计算机设计大赛，想把做过的东西记录下来，后续我会将整个计设的项目的制作过程写出来分享给大家。其中包括Django、mysql数据库、前端等。
这些文章主要是记录具体操作过程，具体的知识内容还请去刷视频，这里不做过多解释。如果有什么错误的地方还请各位大神指正。
安装scrapy框架
在终端里先后运行这个语句即可安装
pip install wheel
pip install scrapy
在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
以下是安装过后验证的情况，这样就说明安装成功了。
下面我们需要在pycharm终端里创建一个工程，代码如下：
scrapy startproject comment（comment为你的工程名称）
创建成功如下
（这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy）
紧接着执行下面提示的两段代码来创建我们的爬虫主文件
cd comment
注意这里的example我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务）
scrapy genspider news（这里的news为爬虫文件名称）www.xxx
然后配置成如下的形式
注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了）
在此之前我们需要在settings.py文件里完成如下配置：
然后在终端输入以下代码来运行爬虫文件：
scrapy crawl news
运行成功！
这样测试就完成了，可以进行后续的任务了。
版权声明：本文标题：安装scrapy框架并测试 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1730064945a1221288.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论