admin管理员组

文章数量:1530061

前言

        在使用 selenium 浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的 chrome 浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

        常用的控制行为有：

  1. 禁止图片和视频的加载：提升网页加载速度。
  2. 添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
  3. 使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
  4. 添加扩展：像正常使用浏览器一样的功能。
  5. 设置编码：应对中文站，防止乱码。
  6. 阻止JavaScript执行。

正文

        小编常用的功能就是：禁用浏览器启动，让 selenium 操作的就像 BeautifulSoup 那样后台执行。

1. 禁用前

        随便展示一段 selenium 操作的代码，流程如下：打开网页 → 输入搜索内容 → 触发搜索→ 滑动页面→ 关闭网页。

  • 代码展示
#_*_coding:utf-8_*_
import time
from selenium.webdrivermon.keys import Keys                     # 模仿键盘,操作下拉框的
from selenium import webdriver                                      # selenium驱动
from selenium.webdriver.support.wait import WebDriverWait           # 导入等待类
from selenium.webdriver.support import expected_conditions as EC    # 等待条件
from selenium.webdrivermon.by import By

本文标签： 爬虫后台参数页面程序

版权声明：本文标题：Python 中 selenium 设置参数，不打开可视化页面，后台执行爬虫程序 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1726625017a1078670.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。