admin管理员组文章数量:1531709
本次目的:
Python采集去哪儿旅游攻略(爬虫+数据分析)
内容介绍:
2021有哪些好玩的地方？今天用python分析适合年轻人的旅游攻略 (数据分析)
知识点：
requests 发送网络请求
parsel 解析数据
csv 保存数据
第三方库：
requests >>> pip install requests
parsel >>> pip install parsel
模块安装:
按住键盘 win + r, 输入cmd回车 打开命令行窗口, 在里面输入 pip install 模块名
开发环境：
版 本： python 3.8
+python安装包 安装教程视频
+pycharm 社区版 专业版 及 激活码私我免费领取
python学习方向:
爬虫开发: 批量采集网络当中数据内容(图片 文本 视频 音频)
数据分析: 对大量数据 进行处理分析, 做可视化, 预测
网站开发: 搭建网站服务 例如 淘宝 京东 豆瓣 知乎...
人工智能
案例思路分析:
1. 明确今天的目的, 我们需要什么数据
出发日期 天数 人均费用 人物 玩法 地点 浏览量...
2. 分析网页 确定我们的数据来源
静态页面
代码实现步骤:
1. 向目标网站发送网络请求
https://travel.qunar/travelbook/list.htm?order=hot_heat
2. 获取数据 网页源代码
3. 筛选我们需要的数据 所有的详情页链接
4. 向 每一个详情页 链接发送网络请求
5. 获取数据 网页源代码
6. 提取数据
出发日期 天数 人均费用 人物 玩法 地点 浏览量...
7. 保存数据
8. 多页爬取
9. 做一个可视化分析 旅游景点推荐
导入模块
import random
import time
import requests # 发送网络请求
import parsel # 筛选数据模块
import csv # 保存数据
爬取旅游网数据
1. 向目标网站发送网络请求
csv_qne = open('去哪儿.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_qne)
csv_writer.writerow(['地点', '短评', '出发时间', '天数','人均费用','人物','玩法','浏览量','详情页'])
for page in range(1, 201):
url = f'https://travel.qunar/travelbook/list.htm?page={page}&order=hot_heat'
# 写爬虫 没有太大区别
# post里面需要加一些请求参数
# 在网站开发当中 get请求不是很安全的请求 有长度限制的
# post 更加安全 提交表单数据内容 没有长度限制的
response = requests.get(url)
# <Response [200]>: 访问成功了, 接下来我们就只需要拿数据就行了
2. 获取数据 网页源代码
html_data = response.text
3. 筛选我们需要的数据 所有的详情页链接
selector = parsel.Selector(html_data)
# css选择器提取网页内容
# 需要有网页开发基础
url_list = selector.css('body > div.qn_mainbox > div > div.left_bar > ul > li > h2 > a::attr(href)').getall()
for detail_url in url_list:
detail_id = detail_url.replace('/youji/', '')
detail_url = 'https://travel.qunar/travelbook/note/' + detail_id
4. 向 每一个详情页 链接发送网络请求
response_1 = requests.get(detail_url)
5. 获取数据 网页源代码
data_html_1 = response_1.text
6. 提取数据
# 出发日期 天数 人均费用 人物 玩法 地点 浏览量...
selector_1 = parsel.Selector(data_html_1)
# ::text 提取标签里面文本内容 *所有
# 标题
title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get()
# 短评
comment = selector_1.css('.title.white::text').get()
# 浏览量
count = selector_1.css('.view_count::text').get()
# 出发日期
date = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get()
# 天数
days = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get()
# 人均费用
money = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get()
# 人物
character = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get()
# 玩法
play_list = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data span::text').getall()
play = ' '.join(play_list)
print(title, comment, date, days, money, character, play, count, detail_url)
csv_writer.writerow([title, comment, date, days, money, character, play, count, detail_url])
time.sleep(random.randint(3, 5))
csv_qne.close()
数据分析代码
#%%
import pandas as pd
from pyecharts.commons.utils import JsCode
from pyecharts.charts import *
from pyecharts import options as opts
#%%
data = pd.read_csv('去哪儿_数分.csv')
data
#%%
data.info()
#%%
data = data[~data['地点'].isin(['攻略'])]
data = data[~data['天数'].isin(['99+'])]
data
#%%
data.drop_duplicates(inplace=True)
#%%
data['人均费用'].fillna(0, inplace=True)
data['人物'].fillna('独自一人', inplace=True)
data['玩法'].fillna('没有', inplace=True)
#%%
data['天数'] = data['天数'].astype(int)
#%%
data = data[data['人均费用'].values>200]
data = data[data['天数']<=15]
data
#%%
data = data.reset_index(drop=True)
data
#%%
def Month(e):
m = str(e).split('/')[2]
if m=='01':
return '一月'
if m=='02':
return '二月'
if m=='03':
return '三月'
if m=='04':
return '四月'
if m==版权声明：本文标题：Python采集去哪儿旅游攻略(爬虫+数据分析),快过年了,这不得全家一起出去玩一次 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1725442268a1023715.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论