admin管理员组

文章数量:1611147

今天用Python爬取豆瓣的时候，发现报错“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x83 in position 1:invalid start byte”。

然后发现不管我怎么转码都还是乱码，然后网上搜了下，发现好像是因为请求头的原因导致的。

错误原因竟然是我的 headers 中有一条:

html_header = {
    ……
    'Accept-Encoding': 'gzip, deflate, br',
    ……
}

这一条是我从web端请求抓过来的，为什么用浏览器可以正常浏览，而用Python模仿就不行呢?

看到网上的一种解释:

本地接收压缩格式的数据，服务器传过来压缩格式gzip的文件，而解压这种gzip文件只能用deflate算法，浏览器能够自动解压，程序却不能自动解压gzip，需要额外进行设置才行。

总结：写爬虫程序时候还是不要写 'Accept-Encoding': 'gzip, deflate' 了，就让服务器传原始文件过来吧，不用压缩了。

本文标签： 爬虫解决方案CodecDecodePython

版权声明：本文标题：Python爬虫‘utf-8‘ codec can‘t decode byte 0x83 in position 0: invalid start byte 的解决方案 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1728604697a1165303.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。