admin管理员组文章数量:1531470
使用python爬虫爬取4399小游戏
准备环境：
python环境，pycharm，requests库，csv库，lxml库
教程：
打开4399网站，打开开发者模式，搜索关键字
观察发现所有的东西都在页面源代码中
每一个游戏对应着每一个ul标签下的li下
思路：
拿到页面源码，提取出li标签的数据，再二次提取
上代码：
访问网站
url = 'https://www.4399/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.63'
}
response = requests.get(url\=url,headers\=headers)
可以看到这个页面使用的是gb2312编码格式
所以我们也改成gb2312
然后用xpath来提取出每一个li标签
response = requests.get(url\=url,headers\=headers)
response.encoding='gb2312'
page = response.text
html = etree.HTML(page)
lis = html.xpath('//\*\[@id="skinbody"\]/div\[10\]/div\[1\]/div\[1\]/ul/li')
for循环每一个li标签，二次提取出游戏名字和游戏地址
for li in lis:
href = ''.join(li.xpath('./a/@href'))
dit\['游戏地址'\] = 'https://www.4399/'+href
dit\['游戏名'\] = ''.join(li.xpath('./a/text()'))
w\_header.writerow(dit)
print(dit,'已保存！')
并且保存到csv
看效果：
感兴趣的小伙伴，完整源码和Python学习资料具体看下方。
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了，安装就可直接上手！
三、最新Python学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、面试宝典
简历模板
若有侵权，请联系删除版权声明：本文标题：用python爬虫带你爬取4399小游戏 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1725268269a1015693.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论