admin管理员组文章数量:1530845
爬虫
目录
📚链接爬取
🐇流程梳理
🐇代码实现
🐇结果
📚词云生成
🐇代码实现
🐇结果
📚链接爬取
🐇流程梳理
-
总体流程是：构建搜索链接 -> 发送HTTP请求 -> 解析网页内容 -> 提取标题和链接 -> 判断重复 -> 写入csv工作表 -> 保存csv工作簿。
-
循环遍历100页（暂定，实现翻页）的搜索结果，完成全部数据的提取和保存。
-
key：在百度搜索结果页面中，通常每个搜索结果都包含在一个<h3>标签内，并具有一个特定的CSS类名为"t"。
🐇代码实现
# 发送HTTP请求并处理URL
import urllib
from urllib import request, parse
# 管理和处理HTTP请求和响应中的Cookie信息
import http.cookiejar
# 解析和提取HTML/XML数据
from bs4 import BeautifulSoup
# 读取和编辑数据
import openpyxl
import random
import time# 随机等待时间的函数
# 避免以高频率向服务器发送请求造成宕机
def random_wait():# 生成一个随机的等待时间，范围为1到5秒wait_time = random.uniform(1, 5)time.sleep(wait_time)# 创建一个新的Excel工作簿对象
workbook = openpyxl.Workbook()
# 返回工作簿中的活动工作表对象，表明之后的代码对这个工作表进行操作
worksheet = workbook.active
# 添加标题
worksheet.append(['Titles', 'Links'])
# 标题集合，用于之后重复标题的处理
titles_set = set()word = input("请输入搜索的关键词：")
for page in range(1, 101):print("现在是第" + str(page) + "页")# quote()函数用于将字符串进行URL编码link = "="+urllib.parse.quote(word)url = f"{link}?page={page}"headers = {"Accept": "text/html, application/xhtml+xml, image/jxr, */*","Accept - Encoding": "gzip, deflate, br","Accept - Language": "zh - CN","Connection": "Keep - Alive","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/119.0",# 请求的来源页面"referer": "baidu"}# 创建一个CookieJar对象，用于保存网站返回的Cookie信息。Cookie = http.cookiejar.CookieJar()# 创建一个opener对象，使用CookieJar处理器来处理Cookie，实现Cookie的自动管理。opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(Cookie))# 将headers字典中的键值对转化为元组，并添加到headall列表中。pairs = []for key, value in headers.items():item = (key, value)pairs.append(item)# 将pairs列表设置为opener的请求头opener.addheaders = pairs# 将opener安装为全局默认的urlopen()函数的opener。urllib.request.install_opener(opener)# 发送请求并获取网页内容。data = urllib.request.urlopen(url).read().decode('utf-8')# 解析网页内容，生成BeautifulSoup对象。soup = BeautifulSoup(data, 'html.parser')# 查找名为'h3'，class属性为't'的HTML元素# 在百度搜索结果页面中，通常每个搜索结果都包含在一个<h3>标签内，并具有一个特定的CSS类名为"t"。for result_table in soup.find_all('h3', class_='t'):# 调用等待时间函数，防止宕机random_wait()a_click = result_table.find("a")# 获取标题title = a_click.get_text()# 获取链接link = str(a_click.get("href"))# 如果标题已经存在于集合中，跳过此条记录，而且不要视频大全if title in titles_set or "视频大全" in title:continue# 将标题添加到集合中titles_set.add(title)print("标题:" + title) # 标题print("链接:" + link) # 链接worksheet.append([title, link])workbook.save('AI换脸_法律_案件.csv')🐇结果
- 关键词设置为：AI换脸 法律 案件
📚词云生成
🐇代码实现
- 用爬取的全部标题来构建词云
# coding:utf-8
import jieba # 导入分词库
import collections # 导入collections库，用于词频统计
import wordcloud # 导入生成词云图的库
import matplotlib.pyplot as plt # 导入绘图库# 打开文件
with open(r"AI换脸_法律_案件.txt", encoding='utf-8') as f:data = f.read()# 使用jieba库进行分词，默认精确模式
w_cut = jieba.cut(data, cut_all=False)# 存储分词结果的列表
word_list = []
# 设置排除词
word_remove = [u'，', u' ', u'。', u'、', u'\n', u'', u'(', u')', u'“', u'”', u',', u'!', u'?', u'【', u'】', u'...', u'_', u':', '|', '-', u'的', u'是', u'了', u'我', u'我们', u'腾讯', u'哔哩', u'百度', u'新浪', u'你', u'又', u'被', u'他', u'谁', u'人']
# 遍历分词结果，过滤掉排除词，将有效词添加到word_list中
for x in w_cut:if x not in word_remove:word_list.append(x) # 使用Counter进行词频统计
word_counts = collections.Counter(word_list)
# 取出词频最高的前50个词
word_counts_top50 = word_counts.most_common(50)
# 打印出前50个词云及对应数量
print(word_counts_top50)
# 将词频结果转换为字符串形式
word_counts_top50 = str(word_counts_top50) w = wordcloud.WordCloud(# 设置词云生成时的中文字体font_path='C:\Windows\Fonts\STKAITI.TTF', # 设置词云的背景颜色为白色background_color='white', # 设置词云图片的宽度width=700, # 设置词云图片的高度height=600, # 设置词云中显示的最大字体大小max_font_size=180
)
# 根据词频生成词云图
w.generate_from_frequencies(word_counts)
# 创建一个绘图窗口
plt.figure(1, figsize=(10, 8))
# 显示词云图
plt.imshow(w)
# 不显示坐标轴
plt.axis("off")
# 展示图表
plt.show()
# 将词云图保存为图片文件
w.to_file("wordcloud_input.png") - 关于jieba.cut：除了 cut_all = False，jieba库还支持以下模式：
- cut_all = True：全模式，将文本中的所有可能是词的部分都进行分词，可能会产生冗余和不常见的词。
- cut_for_search = True：搜索引擎模式，将文本中可能是词的部分进行分词，同时使用了较多的细粒度切分，适用于搜索引擎构建索引或相关场景。
- HMM =True：开启隐式马尔可夫模型（Hidden Markov Model），用于在未登录词（out-of-vocabulary，OOV）的情况下进行中文分词，适用于处理未登录词较多的场景。
- 关于字体设置：font_path='C:\Windows\Fonts\STKAITI.TTF'，在控制面板 -> 外观与个性化 -> 字体处，可以找到心仪字体。
🐇结果
补报错杂货铺：
本文标签： 爬虫
版权声明：本文标题：爬虫 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1716889469a523591.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论