爬虫学的好，牢饭吃得好（爬虫实例）

admin管理员组

文章数量:1542430

鉴于本人喜欢爬虫，最近看了一些爬虫的基础，几个爬虫入门实例。下面给你们看，大佬勿喷

主要知识点:

1.标题web是如何交互的
2.requests库的get、post函数的应用
3.response对象的相关函数，属性
4.python文件的打开，保存

好，接下来先安装requests库
在pycharm命令行输入

pip install requests

安装好了以后咱先爬个baidu首页

# 爬虫示例,爬取百度页面

import requests #导入爬虫的库，不然调用不了爬虫的函数

response = requests.get("http://www.baidu")  #生成一个response对象

response.encoding = response.apparent_encoding #设置编码格式

print("状态码:"+ str( response.status_code ) ) #打印状态码

print(response.text)#输出爬取的信息

get方法实例

# get方法实例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

response = requests.get("http://httpbin/get")  #get方法

print( response.status_code ) #状态码

print( response.text )

post方法实例

# post方法实例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

response = requests.post("http://httpbin/post")  #post方法访问

print( response.status_code ) #状态码

print( response.text )

get传参方法实例

#  get传参方法实例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

response = requests.get("http://httpbin/get?name=hezhi&age=20")  # get传参

print( response.status_code ) #状态码

print( response.text )

post传参方法实例

#  post传参方法实例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin/post" , params=data )  # post传参

print( response.status_code ) #状态码

print( response.text )

绕过反爬机制，以zhihu为例

import requests #先导入爬虫的库，不然调用不了爬虫的函数

response = requests.get( "http://www.zhihu")  #第一次访问知乎，不设置头部信息

print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers，不能正常爬取，状态码不是 200

#下面是可以正常爬取的区别，更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#设置头部信息,伪装浏览器

response = requests.get( "http://www.zhihu" , headers=headers )  #get方法访问,传入headers参数，

print( response.status_code ) # 200！访问成功的状态码

print( response.text )

保存百度图片到本地

#保存百度图片到本地

import requests #先导入爬虫的库，不然调用不了爬虫的函数

response = requests.get("https://www.baidu/img/baidu_jgylogo3.gif")  #get方法的到图片响应

file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入

file.write(response.content) #写入文件

file.close()#关闭操作，运行完毕后去你的目录看一眼有没有保存成功

愿你早日成为爬虫大佬

如果大家对Python感兴趣，这套python学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python！

零基础Python学习资源介绍

① Python所有方向的学习路线图，清楚各个方向要学什么东西

② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论

④ 20款主流手游迫解 爬虫手游逆行迫解教程包

⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解

⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解

⑦ 超300本Python电子好书，从入门到高阶应有尽有

⑧ 华为出品独家Python漫画教程，手机也能学习

⑨ 历年互联网企业Python面试真题,复习时非常方便

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）

👉Python必备开发工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈

资料领取

这份完整版的Python全套学习资料已经上传网盘，朋友们如果需要可以点击下方微信卡片免费领取 ↓↓↓【保证100%免费】

本文标签： 爬虫饭吃实例