admin管理员组文章数量:1580180
一、基于Python面向对象实现
目录
一、基于Python面向对象实现
二、以下是全部完整代码
前言
天气预报大家都会关注,但是怎么获取天气预报的数据就是难点了,不可能一点一点的复制把,接下来就将告诉你们这样爬取某天气网站
首先,请求该2345网站地址,该网站没什么反爬机制,但是天气历史数据不在页面源代码里,属于动态数据,需要抓包得到数据,打开检查,点击网络,选中xhr,刷新页面就能抓到一下这个包,下图就是该包响应的数据。
1.导包
# coding=utf-8
import requests
import re
import csv
2.先创建一个天气预报(WeatherForecast)类,再创建一个类方法,定义我们的类属性,其中self.url是抓包得到的链接地址,self.headers是伪装成浏览器,self.data_list是定义的一个空列表
class WeatherForecast(object):
def __init__(self):
self.url = 'https://tianqi.2345/Pc/GetHistory?areaInfo%5BareaId%5D=59493&areaInfo%5BareaType%5D=2&date%5Byear%5D={0}&date%5Bmonth%5D={1}'
self.headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.24',
'accept-encoding': 'gzip, deflate, br'
}
self.data_list=[]
3.定义get_content方法来发送请求获取数据,这里如果是请求text和content得到的响应均是二进制数据,所以我们请求json得到响应是文本内容
def get_content(self,url):
res = requests.get(url=url,headers=self.headers)
content = res.json()
# print(content['data'])
return content['data']
4.定义parse_data方法,使用re解析来解析日期,最高气温,最低气温,天气,风力风向,空气质量这些字段,因为得到的是迭代器,所以需要遍历,然后将数据添加在之前定义的data_list这个空列表里面
def parse_data(self,content):
result = repile(r'<td>(?P<date>.*?)</td>.*?<td style="color:#ff5040;">(?P<max>.*?)</td>'
r'.*?<td style="color:#3097fd;" >(?P<min>.*?)</td>.*?<td>(?P<weather>.*?)</td>'
r'.*?<td>(?P<cloud>.*?)</td>.*?<td><span class="history-aqi wea-aqi.*?>(?P<sky>.*?)</span></td>',
re.S)
find_result = result.finditer(content)
for it in find_result:
data_dict=it.groupdict()
# print(data_dict)
self.data_list.append(data_dict)
return self.data_list
5.定义write_csv方法,将数据写入csv文件里,并将字段名写在第一行
def write_csv(self,data_list):
with open('./SenZheng.csv','w')as f:
writer=csv.writer(f)
writer.writerow(['日期','最高温度','最低温度','天气','风力风向','空气质量'])
for i in data_list:
writer.writerow(i.values())
print(i.values())
6.定义运行方法,用年份和月份来实现翻页功能,并将之前定义的各个功能函数进行调用
def run(self):
for year in range(2019, 2022, 1):
for month in range(1, 13, 1):
url = self.url.format(year, month)
print('正在爬取第{0}年{1}月的天气!'.format(year, month))
content = self.get_content(url)
data=self.parse_data(content)
self.write_csv(data)
print('全部爬取完毕!')
7.创建实例对象(weather)来调用WeatherForecast()类,并调用运行方法
if __name__ == '__main__':
weather = WeatherForecast()
weather.run()
二、以下是全部完整代码
# coding=utf-8
import requests
import re
import csv
class WeatherForecast(object):
def __init__(self):
self.url = 'https://tianqi.2345/Pc/GetHistory?areaInfo%5BareaId%5D=59493&areaInfo%5BareaType%5D=2&date%5Byear%5D={0}&date%5Bmonth%5D={1}'
self.headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.24',
'accept-encoding': 'gzip, deflate, br'
}
self.data_list=[]
def get_content(self,url):
res = requests.get(url=url,headers=self.headers)
content = res.json()
# print(content['data'])
return content['data']
def parse_data(self,content):
result = repile(r'<td>(?P<date>.*?)</td>.*?<td style="color:#ff5040;">(?P<max>.*?)</td>'
r'.*?<td style="color:#3097fd;" >(?P<min>.*?)</td>.*?<td>(?P<weather>.*?)</td>'
r'.*?<td>(?P<cloud>.*?)</td>.*?<td><span class="history-aqi wea-aqi.*?>(?P<sky>.*?)</span></td>',
re.S)
find_result = result.finditer(content)
for it in find_result:
data_dict=it.groupdict()
# print(data_dict)
self.data_list.append(data_dict)
return self.data_list
def write_csv(self,data_list):
with open('./SenZheng.csv','w')as f:
writer=csv.writer(f)
writer.writerow(['日期','最高温度','最低温度','天气','风力风向','空气质量'])
for i in data_list:
writer.writerow(i.values())
print(i.values())
def run(self):
for year in range(2019, 2022, 1):
for month in range(1, 13, 1):
url = self.url.format(year, month)
print('正在爬取第{0}年{1}月的天气!'.format(year, month))
content = self.get_content(url)
data=self.parse_data(content)
self.write_csv(data)
print('全部爬取完毕!')
if __name__ == '__main__':
weather = WeatherForecast()
weather.run()
版权声明:本文标题:Python爬取2345天气网 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1727867042a1134556.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论