admin管理员组

文章数量:1531657

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

还记得童年的网页小游戏吗？今天带大家爬取4399小游戏网站的数据，游戏名字+链接地址

目标网站

http://www.4399/

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • csv

爬虫代码

导入需要用到的工具

1import requests
2import parsel
3import csv

请求网页

1    url = 'http://www.4399/flash_fl/5_{}.htm'.format(page)
2    headers = {
3        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
4    }
5    response = requests.get(url=url, headers=headers)
6    response.encoding = response.apparent_encoding

解析网页，爬取数据

1    for li in lis:
2        dit ={}
3        data_url = li.css('a::attr(href)').get()
4        new_url = 'http://www.4399' + data_url.replace('http://', '/')
5        dit['游戏地址'] = new_url
6        title = li.css('img::attr(alt)').get()
7        dit['游戏名字'] = title
8        print(new_url, title)

保存数据

1f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
2
3csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
4csv_writer.writeheader()
5f.close()
6# 想要源码的请关注公众号：松鼠爱吃饼干
7# 发送‘4399’即可免费获取

运行代码，效果如下图

每秒200条数据，超快的爬取速度

你玩过几种呢？

 

完整项目代码点这里即可！

本文标签： 还在小游戏带你童年代码

版权声明：本文标题：25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1725268289a1015695.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。