admin管理员组

文章数量:1531469

作为一个热爱学习的社会主义接班人,接下来一段时间我将持续更新python爬虫这一块的内容
在博客里将会持续并认真的记录我的学习过程
首先介绍一下我的学习环境: win10+Anaconda+Pycharm,默认会一些python的基础知识
希望我的博客能够给你带来帮助 - ̗̀(๑ᵔ⌔ᵔ๑)
下面进入正题:

爬取网站链接:https://hr.tencent/social.php

过程主要分为三部分:
1.获取整体页面数据
2.抽取想要的数据
3.数据存储

在开始之前,你要学会安装第三方库,pycharm的同学可以在终端(Terminal)里使用pip install + 库名进行安装

获取页面整体数据
1.初始化函数,使用请求头进行访问
大括号内输入你自己浏览器的请求头

获取请求头的方法:
打开一个网页,按F12(或者Fn+F12),刷新一下,选择network,在左侧随便选择一个(一般里面都可以找到,没有的话你就多换两个试试),右侧可以找到user-agent,这个就是你电脑浏览器的请求头啦~~


如下是我定义的请求头

def __init__(self):
	self.headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36" }

2.选择一个你喜欢的岗位和地区,然后翻页观察一下网址有什么变化吧~
第一页 : https://hr.tencent/position.php?key

本文标签: 爬虫腾讯招聘网站入门岗位