admin管理员组

文章数量:1616440

一.爬虫前言

        在我们爬取一些网页的时候可能会失败，因为这写网站为了防止恶意爬虫的访问，会设置一些爬虫机制，常见的爬虫机有：

（1）通过分析用户请求的Headers信息进行反爬虫

（2）通过检测用户行为进行爬虫，比如通过判断同一个IP在短时间内是否频繁地访问一个网站

（3）通过动态页面增加爬虫的难度，达到反爬虫的目的

第一中反爬虫机制可以通过设置好用户的Headers信息还实现浏览器的伪装，第二种反爬虫的网站可以通过使用代理服务器并经常切换代理服务器的方式解决，第三种可以通过一些工具软件实现，这里我们主要介绍第一种

二.头信息的常见字段

        但网络通过浏览器访问网站时，会向服务器发送一些Headers头信息，然后服务器根据用户的请求头信息生成一个网页内容，病将其返回给浏览器，所以服务器接受到这些头信息后可以根据头信息分析出该访问是不是爬虫

以下是Headers信息中常见的字段：

        1.Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

  • Accept 字段主要表示浏览器能够支持的内容类型有哪些
  • text/html 表示HTML文档
  • application/xhtml+xml 表示XHTML文档
  • application/xml 表示XML文档
  • q 代表权重系数，指介于0~9之间

所以这一行字段信息表示浏览器可以支持text/htm

本文标签： 爬虫浏览器网络Python

版权声明：本文标题：python网络爬虫--浏览器伪装 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1728737837a1171027.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。