admin管理员组文章数量:1660688
参考网站:http://blog.csdn/u011475134/article/details/70198533
目标:爬取热点新闻的标题,链接(图1)
图1---- 爬取目标
核心技术:所爬内容为JS加载,需要从网页响应中找到JS脚本返回的JSON数据
(1)找到JS请求的数据接口
1.打开网页调试工具
网页调试工具
2.发现所需要的数据在文件名含“?category“字段的文件中,筛选,只显示该种文件
(2)观察数据源文件的url构成规律
滚动滚动条,出现了几个新的目标文件。列表观察
四个目标文件的url
提取各参数,黄色部分是会改变的参数
观察上表得出,url地址中只有黄色部分的参数会改变。
①max_behot_time和max_behot_time_tmp的值相等
②点击首页中左边标题栏“热点”按钮时,max_behot_time和max_behot_time_tmp的值为0
③而每一个max_behot_time和max_behot_time_tmp的值都可以在上一个文件内容中得出
max_behot_time和max_behot_time_tmp的值
④AS和CP的值,每一次都发生改变,并没有规律。因此推测是根据一定加密算法算出的。参考的指出可以在网页HTML源码中找到加密算法。但是我并没有找到.....所以加密算法是直接使用参考网站所提供的函数:
计算AS和CP的算法
(3)编写代码:
由于看不懂参考网站的代码,自己写了个简单版的......
(4)测试
结果:每一次爬取的内容都是一样的
1.猜测A:网站自带反爬机制,需要降低爬取速度
实施:在get_item(url)中添加time.sleep(5)
结果:失败
2.猜测B:网站自带反爬机制,需要加header
实施:在get_item(url)中添加
结果:失败
3.猜测C:网站自带反爬机制,需要加cookies
实施:根据参考网站,只与cookies中的tt_webid参数有关
结果:成功
完整代码:"https://github/caiyingyi/toutiao.git"
版权声明:本文标题:python爬虫今日头条_Python爬取今日头条JS内容 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1729881358a1215960.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论