admin管理员组文章数量:1531661
都知道最近ChatGPT聊天机器人爆火,我也想方设法注册了账号,据说后面要收费了。
ChatGPT是一种基于大语言模型的生成式AI,换句话说它可以自动生成类似人类语言的文本,把梳理好的有逻辑的答案呈现在你面前,这完全不同于传统搜索工具。
ChatGPT不光可以回答人文、科学、情感等传统问题,还可以写代码、改bug,程序员可就急了,简直是在抢饭碗,所以网上出现各种ChatGPT让你失业的焦虑言论。
俗话说“百闻不如一见”,我试着让ChatGPT用Python去写爬虫脚本,看它到底行不行?
1、爬取知乎上的专栏文章
提问:
帮我用python写代码爬取这个网站的文章 https://zhuanlan.zhihu/p/595050104
ChatGPT:
把给到的代码放进PyCharm中跑一遍,发现没有报错,且打印出了内容。
import requests from bs4 import BeautifulSoup url = "https://zhuanlan.zhihu/p/595050104" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") title = soup.find("h1", class_="Post-Title").text.strip() body = soup.find("div", class_="Post-RichText").text.strip() print("Title:", title) print("Body:", body)
虽然说ChatGPT给出的代码可以执行,但它也提到由于爬取的网站会随时变更,也就是HTML会变动,所以代码可能需要调整才能正常工作。
凡是写过爬虫的同学应该都能理解,人工写的爬虫代码也没法一劳永逸,需要随时改。
这一点ChatGPT提示的很有道理。
后来我测试了medium、百家号上的文章,ChatGPT提供的代码形式几乎和上面一致,没法直接执行获取结果,需要微调后才能跑。
2. 爬取京东某商品的评论
为了给ChatGPT增加难度,我试着让它去爬取某电商网站的用户评论
提问:
请用python写代码爬取这个京东商品的所有用户评论 https://item.jd/13652780.html
ChatGPT:
可能这个网页是动态页面,ChatGPT提供的方法并不能爬取评论。
我接着问:
爬取的结果是空值怎么办?
ChatGPT:
ChatGPT提供了3种可能存在的原因,但并没有帮我修改代码。
于是我又问:
还是空值 请帮我重新写代码爬取
ChatGPT:
image.png
这次就牛掰了,它重新用Selenium写了爬虫代码,并告诉我爬取动态网页需要模拟浏览器行为,因此得用selenium技术。
我没有运行去测试代码正确与否,但ChatGPT确实惊艳到我了,能够前后关联对话内容,并给出正确的解决方法。
3.继续更多的测试
上面只是蜻蜓点水的玩玩,ChatGPT就已经吸引到我,
我准备多花时间去测试ChatGPT应对各种爬虫的解决方案,以及它对bug的修复能力。
仅仅从写代码层面看,ChatGPT已经可以媲美中高级程序员的水平了,而且它的知识范畴远超人类最厉害的程序员
ChatGPT能够根据对话生成人想要的内容,这是AI巨大的突破,未来它的应用之广难以想象。
因为爬虫这种技术,既不需要你系统地精通一门语言,也不需要多么高深的数据库技术。
我这里准备了详细的Python资料,除了为你提供一条清晰的学习路径,我甄选了最实用的学习资源以及庞大的实例库。短时间的学习,你就能够很好地掌握爬虫这个技能,获取你想得到的数据。
01 专为0基础设置,小白也能轻松学会
我们把Python的所有知识点,都穿插在了漫画里面。
在Python小课中,你可以通过漫画的方式学到知识点,难懂的专业知识瞬间变得有趣易懂。
你就像漫画的主人公一样,穿越在剧情中,通关过坎,不知不觉完成知识的学习。
02 无需自己下载安装包,提供详细安装教程
03 规划详细学习路线,提供学习视频
04 提供实战资料,更好巩固知识
05 提供面试资料以及副业资料,便于更好就业
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要也可以扫描下方csdn官方二维码或者点击主页和文章下方的微信卡片获取领取方式,【保证100%免费】
版权声明:本文标题:使用ChatGPT自动编写Python爬虫脚本 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1725412986a1022305.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论