Playwright|电子爱好者

admin管理员组
文章数量:1535375

文章目录

- Playwright
- - 介绍
  - 环境安装
  - - 屏幕录制
  - 保留记录cookie信息
  - 第一个Playwright脚本
  - 元素定位
  - - CSS选择器定位
    - xpath定位
  - 可见即可得爬取（重点）
  - Context上下文（重点）
  - 滑动验证（理解代码）
  - 文字点击验证码处理
  - 规避检测（重点）
  - 浏览器接管
  - - window版本
    - mac版本
  - JS注入

Playwright

介绍

Playwright 是一个用于自动化浏览器操作的开源工具，由 Microsoft 开发和维护。它支持多种浏览器（包括 Chromium、Firefox 和 WebKit）和多种编程语言（如 Python、JavaScript 和 C#），可以用于测试、爬虫、自动化任务等场景。

与 Selenium 和 pyppeteer 相比，Playwright 具有以下几个区别和优势：

多浏览器支持：支持所有主流浏览器。这使得开发人员可以根据需求选择最适合的浏览器进行自动化操作。（Playwright不支持旧版Microsoft Edge或IE11）
更快的执行速度：Playwright 通过使用浏览器的底层调试协议来进行操作，相比于 Selenium 和 pyppeteer，它具有更快的执行速度和更低的资源消耗。
可靠性和稳定性：Playwright 提供了更可靠和稳定的浏览器自动化操作，通过使用浏览器的原生 API 来模拟用户行为，避免了一些传统自动化工具的一些限制和不稳定性。
支持跨浏览器和跨平台：Playwright 可以在不同浏览器和不同操作系统上运行，这使得开发人员可以更方便地进行跨浏览器和跨平台的测试和自动化操作。
支持屏幕录制功能：根据屏幕录制指定生成相关操作代码。

在爬虫中使用 Playwright 的好处包括：

动态网页爬取：Playwright 可以模拟用户在浏览器中的操作，包括渲染 JavaScript、点击按钮、填写表单等，从而可以爬取包含动态内容的网页。
多浏览器支持：Playwright 支持多种浏览器，可以根据需求选择最适合的浏览器进行爬取，以确保爬取结果的准确性和一致性。
更高的稳定性和可靠性：Playwright 使用浏览器的原生 API 进行操作，避免了一些传统爬虫工具的一些限制和不稳定性，提供了更可靠和稳定的爬取能力。

总之，Playwright 是一个功能强大、跨浏览器、跨平台的浏览器自动化工具，相比于 Selenium 和 pyppeteer，它具有更快的执行速度、更高的稳定性和更广泛的浏览器支持，适用于多种自动化操作和爬虫场景。

**python版本的Playwright官网文档：**https://playwright.dev/python/docs/intro

环境安装

系统要求：
- Python 3.8 或更高版本。
- Windows 10+、Windows Server 2016+ 或适用于 Linux 的 Windows 子系统（WSL）。
- MacOS 12 Monterey 或 MacOS 13 Ventura。
- Debian 11、Debian 12、Ubuntu 20.04 或 Ubuntu 22.04。
安装playwright的python版本
- pip install playwright
安装Playwright所需的所有工具插件和所支持的浏览器
- playwright install
- 该步骤耗时较长

屏幕录制

创建一个py文件，比如：main.py

在终端中，执行如下指令：

**playwright codegen -o main.py **
- 将屏幕录制生成的代码保存到main.py文件中
- 可以通过如下设置，生成同步还是异步的代码：
**playwright codegen --viewport-size=800,600 www.baidu -o main.py **
访问指定网址，并且设置浏览器窗口大小

playwright codegen --device=“iPhone 13” -o main.py

模拟手机设备进行网络请求（只支持手机模拟器，无需单独安装）
支持的移动端设备如下：目前对安卓设备的覆盖率不高

"Blackberry PlayBook",  "Blackberry PlayBook landscape",  "BlackBerry Z30",  "BlackBerry Z30 landscape",  "Galaxy Note 3",  "Galaxy Note 3 landscape",  "Galaxy Note II",  "Galaxy Note II landscape",  "Galaxy S III",  "Galaxy S III landscape",  "Galaxy S5",  "Galaxy S5 landscape",  "Galaxy S8",  "Galaxy S8 landscape",  "Galaxy S9+",  "Galaxy S9+ landscape",  "Galaxy Tab S4",  "Galaxy Tab S4 landscape",  "iPad (gen 5)",  "iPad (gen 5) landscape",  "iPad (gen 6)",  "iPad (gen 6) landscape",  "iPad (gen 7)",  "iPad (gen 7) landscape",  "iPad Mini",  "iPad Mini landscape",  "iPad Pro 11",  "iPad Pro 11 landscape",  "iPhone 6",  "iPhone 6 landscape",  "iPhone 6 Plus",  "iPhone 6 Plus landscape",  "iPhone 7",  "iPhone 7 landscape",  "iPhone 7 Plus",  "iPhone 7 Plus landscape",  "iPhone 8",  "iPhone 8 landscape",  "iPhone 8 Plus",  "iPhone 8 Plus landscape",  "iPhone SE",  "iPhone SE landscape",  "iPhone X",  "iPhone X landscape",  "iPhone XR",  "iPhone XR landscape",  "iPhone 11",  "iPhone 11 landscape",  "iPhone 11 Pro",  "iPhone 11 Pro landscape",  "iPhone 11 Pro Max",  "iPhone 11 Pro Max landscape",  "iPhone 12",  "iPhone 12 landscape",  "iPhone 12 Pro",  "iPhone 12 Pro landscape",  "iPhone 12 Pro Max",  "iPhone 12 Pro Max landscape",  "iPhone 12 Mini",  "iPhone 12 Mini landscape",  "iPhone 13",  "iPhone 13 landscape",  "iPhone 13 Pro",  "iPhone 13 Pro landscape",  "iPhone 13 Pro Max",  "iPhone 13 Pro Max landscape",  "iPhone 13 Mini",  "iPhone 13 Mini landscape",  "iPhone 14",  "iPhone 14 landscape",  "iPhone 14 Plus",  "iPhone 14 Plus landscape",  "iPhone 14 Pro",  "iPhone 14 Pro landscape",  "iPhone 14 Pro Max",  "iPhone 14 Pro Max landscape",  "Kindle Fire HDX",  "Kindle Fire HDX landscape",  "LG Optimus L70",  "LG Optimus L70 landscape",  "Microsoft Lumia 550",  "Microsoft Lumia 550 landscape",  "Microsoft Lumia 950",  "Microsoft Lumia 950 landscape",  "Nexus 10",  "Nexus 10 landscape",  "Nexus 4",  "Nexus 4 landscape",  "Nexus 5",  "Nexus 5 landscape",  "Nexus 5X",  "Nexus 5X landscape",  "Nexus 6",  "Nexus 6 landscape",  "Nexus 6P",  "Nexus 6P landscape",  "Nexus 7",  "Nexus 7 landscape",  "Nokia Lumia 520",  "Nokia Lumia 520 landscape",  "Nokia N9",  "Nokia N9 landscape",  "Pixel 2",  "Pixel 2 landscape",  "Pixel 2 XL",  "Pixel 2 XL landscape",  "Pixel 3",  "Pixel 3 landscape",  "Pixel 4",  "Pixel 4 landscape",  "Pixel 4a (5G)",  "Pixel 4a (5G) landscape",  "Pixel 5",  "Pixel 5 landscape",  "Pixel 7",  "Pixel 7 landscape",  "Moto G4",  "Moto G4 landscape"

保留记录cookie信息

**playwright codegen --save-storage=auth.json http://download.java1234/ **
在屏幕录制时，进行登录操作，登录后，cookie信息会被保存到auth.json文件中
**playwright codegen --load-storage=auth.json http://download.java1234/ -o main.py **
- 基于auth.json进行屏幕录制，会自动进入到登录成功后的页面中

第一个Playwright脚本

from playwright.sync_api import sync_playwright
with sync_playwright() as p:#创建Playwright管理器
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://www.baidu')
    #自行设置等待时长，注意：不可使用time.sleep
    page.wait_for_timeout(1000)
    title = page.title()
    content = page.content()
    print(title,content)
    page.close()
    bro.close()

元素定位

CSS选择器定位

语法结构：page.locator()
- 参数：标签/id/层级/class 选择器
交互操作：
- 点击元素， click() 方法
- 元素内输入文本， fill() 方法

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False,slow_mo=2000)
    page = bro.new_page()
    page.goto('https://www.baidu')

    #定位到输入框，进行文本录入
    page.locator('#kw').fill('Python教程') #id定位
    # 定位搜索按钮，进行点击操作
    page.locator('#su').click()
    #后退操作
    page.go_back()

    page.locator('.s_ipt').fill('爬虫')  # class定位
    page.locator('#su').click()
    page.go_back()

    page.locator('input#kw').fill('人工智能')  # 标签+属性定位
    page.locator('#su').click()
    page.go_back()

    page.locator('#form > span > input#kw').fill('数据分析') #层级定位
    page.locator('#su').click()

    page.close()
    bro.close()

设置内容输入的时间间隔

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://www.baidu')

    #定位到输入框，进行文本录入
    tag = page.locator('#kw') #id定位

    #设置内容的输入的时间间隔
    tag.focus() #聚焦于当前标签
    input_text = 'Hello, World!'
    for char in input_text:
        page.keyboard.type(char, delay=500)

    # 定位搜索按钮，进行点击操作
    page.locator('#su').click()

    page.close()
    bro.close()

更多操作
- locator.all()
- locator.count()
- locator.nth(index)
- inner_text()
- get_by_text(xxx)
- get_attribute(attrName)
taobao在不登录情况下无法进行商品搜索，因此需要手动登录，保留Cookie信息
- playwright codegen --save-storage=taobao.json https://www.taobao
携带Cookie信息进行操作：
- context = browser.new_context(storage_state=“taobao.json”)

from playwright.sync_api import Playwright, sync_playwright, expect

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False,slow_mo=2000)
    context = browser.new_context(storage_state="taobao.json")
    page = context.new_page()
    page.goto("https://www.taobao/")

    page.locator('#q').fill('mac pro')
    # class属性值为btn-search tb-bg，在定位的时候选择空格左右两侧任意一个属性值即可
    page.locator('.btn-search').click()
    page.wait_for_timeout(1000)

    # 根据文本定位
    page.get_by_text('发货地').click()
    page.wait_for_timeout(1000)

    # 定位到满足要求所有的标签(商品列表最外层的a标签)
    locator = page.locator('.Content--contentInner--QVTcU0M > div > a')
    all_eles = locator.all()

    # 查看定位到满足要求标签的数量
    count = locator.count()
		print(count)
    # 定位到第10个a标签,nth下标从0开始
    a_10 = locator.nth(9)
    print(a_10.get_attribute('href'), a_10.inner_text())
    print('---------------------------------------------------------------------------')
    # 获得每一个a标签中的文本内容和href属性值
    for index in range(count):
        ele = locator.nth(index)
        text = ele.inner_text()
        href = ele.get_attribute('href')
        print(text, href)

    page.close()
    context.close()
    browser.close()

xpath定位

page.locator(xpath表达式)

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False,slow_mo=2000)
    page = bro.new_page()
    page.goto('https://www.bilibili/')

    #xpath定位
    page.locator('//*[@id="nav-searchform"]/div[1]/input').fill('Python教程')
    page.locator('//*[@id="nav-searchform"]/div[2]').click()

    page.close()
    bro.close()

可见即可得爬取（重点）

Url:https://jzsc.mohurd.gov/data/company
分析可知：页面中相关的企业信息是动态加载且响应数据为密文数据

from playwright.sync_api import sync_playwright
from lxml import etree
with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://jzsc.mohurd.gov/data/company')
    page.wait_for_timeout(2000)
    #获取页面的页面源码数据
    page_text = page.content() #可见即可得
    page_text_list = [page_text] #用来存储多页对应的页面源码数据

    for i in range(3):  #重复循环进行下一页按钮的点击
        #点击下一页的按钮
        page.locator('.btn-next').click()
        page.wait_for_timeout(2000)
        page_text = page.content()
        page_text_list.append(page_text)

    #可以将多页的页面源码数据进行数据解析
    for page_text in page_text_list:
        print('进行当前页面的数据解析')
        tree = etree.HTML(page_text)
        tr_list = tree.xpath('//*[@id="app"]/div/div/div[2]/div[3]/div[1]/div[3]/table/tbody/tr')
        for tr in tr_list:
            title = tr.xpath('./td[3]/div/span/text()')[0]
            name = tr.xpath('./td[4]/div/text()')[0]
            print(title,name)

    page.close()
    bro.close()

Context上下文（重点）

浏览器的上下文管理对象Context可以用于管理Context打开/创建的多个page页面。并且可以创建多个Context对象，那么不同的Context对象打开/创建的page之间是相互隔离的（每个Context上下文都有自己的Cookie、浏览器存储和浏览历史记录）。

打开百度的多个链接对应的page页面

from playwright.sync_api import sync_playwright

#点击百度首页中左上角的全部链接，以打开多个不同的page页面
with sync_playwright() as p:
    bro = p.chromium.launch(headless=False,slow_mo=1000)
    #创建上下文管理对象
    context = bro.new_context()
    #基于上下文管理对象打开一个page页面
    page = context.new_page()

    page.goto('https://www.baidu')

    a_list = page.locator('//*[@id="s-top-left"]/a').all()
    for a in a_list:
        a.click()
    #可以获取上下文管理对象目前创建好的所有的page页面
    pages = context.pages
    for page in pages:
        title = page.title()
        print(title)

    page.close()
    bro.close()

通过sub_page的title判断进行sub_page页面的切换和管理

from playwright.sync_api import sync_playwright
#封装页面切换的函数
def switch_to_page(context,title):
    for page in context.pages:
        if title == page.title():
            #浏览器停留在此page页面
            page.bring_to_front()
            return page

#点击百度首页中左上角的全部链接，以打开多个不同的page页面
with sync_playwright() as p:
    bro = p.chromium.launch(headless=False,slow_mo=1000)
    #创建上下文管理对象
    context = bro.new_context()
    #基于上下文管理对象打开一个page页面
    page = context.new_page()
    page.goto('https://www.baidu')
    #点击百度首页中左上角的全部链接，以打开多个不同的page页面
    a_list = page.locator('//*[@id="s-top-left"]/a').all()
    for a in a_list:
        a.click()
    
    #page页面的切换
    select_page = switch_to_page(context,'hao123_上网从这里开始')
    #在指定的page中进行相关操作
    select_page.locator('//*[@id="search"]/form/div[2]/input').fill('测试测试')
    select_page.locator('//*[@id="search"]/form/div[3]/input').click()
    
    page.close()
    bro.close()

实战案例：
- 抓取bili中指定关键字搜索页面中视频的标题和作者名称

from playwright.sync_api import sync_playwright
from lxml import etree
#封装页面切换的函数
def switch_to_page(context,title):
    for page in context.pages:
        if title == page.title():
            #浏览器停留在此page页面
            page.bring_to_front()
            return page
          
with sync_playwright() as p:
    bro = p.chromium.launch(headless=False,slow_mo=1000)
    context = bro.new_context()
    page = context.new_page()
    page.goto('https://www.bilibili/')

    #xpath定位
    page.locator('//*[@id="nav-searchform"]/div[1]/input').fill('Python教程')
    page.locator('//*[@id="nav-searchform"]/div[2]').click()

    #切换到新打开的page中
    select_page = switch_to_page(context,'Python教程-哔哩哔哩_Bilibili')
    page_text = select_page.content()
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//*[@id="i_cecream"]/div/div[2]/div[2]/div/div/div/div[3]/div/div')
    for div in div_list:
        title = div.xpath('.//h3[@class="bili-video-card__info--tit"]/@title')[0]
        author = div.xpath('.//span[@class="bili-video-card__info--author"]/text()')[0]
        print(title,author)
    page.close()
    bro.close()

滑动验证（理解代码）

基于opencv实现的免费操作:
- pip install opencv-python
- 可能会存在滑动误差，需要手动调整

#1.计算滑动的距离（get_distance）自定义函数
#2.模拟人的行为进行滑动（get_track） 自定义函数

from playwright.sync_api import sync_playwright
import cv2
from urllib import request

#获取要滑动的距离
def get_distance(background,gap):
    #滑动验证码的整体背景图片
    background = cv2.imread(background, 0)
    #缺口图片
    gap = cv2.imread(gap, 0)
    res = cv2.matchTemplate(background, gap, cv2.TM_CCOEFF_NORMED)
    #value就是cv2计算出来的滑动距离的像素值
    value = cv2.minMaxLoc(res)[2][0]

    #单位换算
    return value * 278 / 360

#有的检测移动速度的 如果匀速移动会被识别出来，来个简单点的渐进
def get_track(distance):  # distance为传入的总距离
    # 移动轨迹
    track = []
    # 当前位移
    current = 0
    # 减速阈值
    mid = distance * 4 / 5
    # 计算间隔
    t = 0.2
    # 初速度
    v = 1
    while current < distance:
        if current < mid:
            # 加速度为2
            a = 4
        else:
            # 加速度为-2
            a = -3
        v0 = v
        # 当前速度
        v = v0 + a * t
        # 移动距离
        move = v0 * t + 1 / 2 * a * t * t
        # 当前位移
        current += move
        # 加入轨迹
        track.append(round(move))
    return track

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    #请求登录页面
    page.goto('https://passport.jd/new/login.aspx?')

    #进行用户名、密码的录入和登录按钮的点击
    page.locator('//*[@id="loginname"]').fill('123456@qq')
    page.wait_for_timeout(1000)
    page.locator('//*[@id="nloginpwd"]').fill('123456@qq')
    page.wait_for_timeout(1000)
    page.locator('//*[@id="loginsubmit"]').click()

    page.wait_for_timeout(2000)

    #获取滑动验证码的背景图的图片链接和滑块的图片链接
    bg_img_src = page.locator('.JDJRV-bigimg > img').get_attribute('src')
    small_img_src = page.locator('.JDJRV-smallimg > img').get_attribute('src')

    # 两张图片保存起来
    request.urlretrieve(bg_img_src, "background.png")
    request.urlretrieve(small_img_src, "gap.png")

    #根据验证码的两张图片进行滑动距离的计算
    distance = int(get_distance("background.png","gap.png"))

    #定位到滑块标签
    slide = page.locator('//*[@id="JDJRV-wrap-loginsubmit"]/div/div/div/div[2]/div[3]')
    # 找到滑块在当前页面的坐标（这个会返回一个字典里边四个数字）
    #{'x': 858, 'y': 339.9921875, 'width': 55, 'height': 55}
    box = slide.bounding_box()

    #让鼠标移动到滑块标签的中间上
    page.mouse.move(box["x"] + box["width"] / 2, box["y"] + box["height"] / 2)
    # 按下鼠标
    page.mouse.down()
    # 这里获取到滑块x坐标位置
    x = box["x"] + 12 #加上一个数值调整滑动误差
    # 滑动的长度放到轨迹加工一下得到一个轨迹
    tracks = get_track(distance) #[1,5,8,9]
    for track in tracks:
        # 循环鼠标按照轨迹移动
        page.mouse.move(x + track, 0)
        x += track
    # 移动结束鼠标释放
    page.mouse.up()

    page.wait_for_timeout(5000)
    page.close()
    bro.close()

付费操作
- 相对精度高
- 图鉴平台：http://www.ttshitu/

#tujian.py
import base64
import json
import requests
# 一、图片文字类型(默认 3 数英混合)：
# 1 : 纯数字
# 1001：纯数字2
# 2 : 纯英文
# 1002：纯英文2
# 3 : 数英混合
# 1003：数英混合2
#  4 : 闪动GIF
# 7 : 无感学习(独家)
# 11 : 计算题
# 1005:  快速计算题
# 16 : 汉字
# 32 : 通用文字识别(证件、单据)
# 66:  问答题
# 49 :recaptcha图片识别
# 二、图片旋转角度类型：
# 29 :  旋转类型
#
# 三、图片坐标点选类型：
# 19 :  1个坐标
# 20 :  3个坐标
# 21 :  3 ~ 5个坐标
# 22 :  5 ~ 8个坐标
# 27 :  1 ~ 4个坐标
# 48 : 轨迹类型
#
# 四、缺口识别
# 18 : 缺口识别（需要2张图 一张目标图一张缺口图）
# 33 : 单缺口识别（返回X轴坐标 只需要1张图）
# 五、拼图识别
# 53：拼图识别
#函数实现忽略
def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {"username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        return result["message"]
    return ""


def getImgCodeText(imgPath,imgType):#直接返回验证码内容
    #imgPath：验证码图片地址
    #imgType：验证码图片类型
    result = base64_api(uname='15027900535', pwd='15027900535', img=imgPath, typeid=imgType)
    return result

from playwright.sync_api import sync_playwright
import tujian
from urllib import request

#有的检测移动速度的 如果匀速移动会被识别出来，来个简单点的渐进
def get_track(distance):  # distance为传入的总距离
    # 移动轨迹
    track = []
    # 当前位移
    current = 0
    # 减速阈值
    mid = distance * 4 / 5
    # 计算间隔
    t = 0.2
    # 初速度
    v = 1
    while current < distance:
        if current < mid:
            # 加速度为2
            a = 4
        else:
            # 加速度为-2
            a = -3
        v0 = v
        # 当前速度
        v = v0 + a * t
        # 移动距离
        move = v0 * t + 1 / 2 * a * t * t
        # 当前位移
        current += move
        # 加入轨迹
        track.append(round(move))
    return track

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://passport.jd/new/login.aspx?')

    page.locator('//*[@id="loginname"]').fill('123456@qq')
    page.wait_for_timeout(1000)
    page.locator('//*[@id="nloginpwd"]').fill('123456@qq')
    page.wait_for_timeout(1000)
    page.locator('//*[@id="loginsubmit"]').click()

    page.wait_for_timeout(2000)

    bg_img_src = page.locator('.JDJRV-bigimg > img').get_attribute('src')

    # 图片保存起来
    request.urlretrieve(bg_img_src, "background.png")

    #基于图鉴平台实现计算滑动距离
    distance = tujian.getImgCodeText('background.png',33)
    distance = int(distance)

    #定位到滑块标签
    slide = page.locator('//*[@id="JDJRV-wrap-loginsubmit"]/div/div/div/div[2]/div[3]')
    # 找到滑块在当前页面的坐标（这个会返回一个字典里边四个数字）
    #{'x': 858, 'y': 339.9921875, 'width': 55, 'height': 55}
    box = slide.bounding_box()

    #让鼠标移动到滑块标签的中间上
    page.mouse.move(box["x"] + box["width"] / 2, box["y"] + box["height"] / 2)
    # 按下鼠标
    page.mouse.down()
    # 这里获取到滑块x坐标位置
    x = box["x"] + 12 #加上一个数值调整滑动误差
    # 滑动的长度放到轨迹加工一下得到一个轨迹
    tracks = get_track(distance)
    for track in tracks:
        # 循环鼠标按照轨迹移动
        page.mouse.move(x + track, 0)
        x += track
    # 移动结束鼠标释放
    page.mouse.up()

    page.wait_for_timeout(5000)
    page.close()
    bro.close()

文字点击验证码处理

from playwright.sync_api import sync_playwright
import tujian
from urllib import request

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://passport.bilibili/login?from_spm_id=333.851.top_bar.login_window')

    page.locator('//*[@id="app"]/div[2]/div[2]/div[3]/div[2]/div[1]/div[1]/input').fill('15027900535')
    page.wait_for_timeout(1)
    page.locator('//*[@id="app"]/div[2]/div[2]/div[3]/div[2]/div[1]/div[3]/input').fill('bobo@123')
    page.wait_for_timeout(1)
    page.locator('//*[@id="app"]/div[2]/div[2]/div[3]/div[2]/div[2]/div[2]').click()
    page.wait_for_timeout(3)

    #此处找到验证码图片将其截图保存
    ele = page.locator('//div[@class="geetest_widget"]')
    ele.screenshot(path='./code.png')
    #找到ele在当前页面的坐标{'x': 858, 'y': 335, 'width': 55, 'height': 55}
    box = ele.bounding_box()

    #提交给打码平台
    result = tujian.getImgCodeText('code.png',27)
    # result = '154,251|145,167'
    result_list = result.split('|')
    # result_list ==> ['154,251','145,167']
    # 6.根据识别出验证码的结果进行处理
    for pos in result_list:
        x = int(pos.split(',')[0])
        y = int(pos.split(',')[1])
        # page.mouse.move(box['x']+x,box['y']+y)
        # page.mouse.down()
        # page.mouse.up()  #或者直接使用click方式
        page.mouse.click(box['x']+x,box['y']+y)
        page.wait_for_timeout(500)

    # 找到确认按钮
    submit = page.locator('//div[@class="geetest_commit_tip"]')
    submit.click()
    
    page.wait_for_timeout(5000)
    page.close()
    bro.close()

规避检测（重点）

如果网站有对Playwright采取监测机制的话，比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。而使用Playwright访问则该值为true。那么如何解决这个问题呢？

查看taobao是否检测Playwright

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    page = bro.new_page()
    page.goto('https://www.taobao/')

    ret = page.evaluate('window.navigator.webdriver')
    print(ret)

    page.wait_for_timeout(30000)
    page.close()
    bro.close()

实现js注入，绕过检测

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    bro = p.chromium.launch(headless=False)
    context = bro.new_context()
    #加载该js文件目的是给Playwright的浏览器模拟真实的浏览器环境
    context.add_init_script(path='./stealth.min.js')
    page = context.new_page()
    page.goto('https://www.taobao/')

    ret = page.evaluate('window.navigator.webdriver')
    print(ret)

    page.wait_for_timeout(30000)
    page.close()
    bro.close()

浏览器接管

window版本

首先右键 Chrome 浏览器桌面图标，找到 chrome.exe 的安装路径，然后将其添加到环境变量Path中

添加环境变量
在任意目录下新建一个空白文件夹(playwright_chrome_data)：用于保存接管的浏览器的运行数据。
打开cmd输入命令启动chrome浏览器:

chrome.exe --remote-debugging-port=8899 --user-data-dir="E:\playwright_chrome_data"

–remote-debugging-port 是指定浏览器运行端口，只要没被占用就行
–user-data-dir 指定运行浏览器的运行数据，新建一个干净目录，不影响系统原来的数据

执行后会启动chrome浏览器
- 可以在浏览器中手动访问百度。
在你已经打开的浏览器页面，手工操作登录，登录成功后，让playwright 继续操作。
Playwright接管浏览器

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp('http://localhost:8899/')
    # 获取page对象
    page = browser.contexts[0].pages[0]
    #该操作会直接作用在接管的浏览器中
    page.locator('//*[@id="kw"]').fill('haha')
    print(page.url)
    print(page.title())

mac版本

找到谷歌可执行程序的完整路径

完整路径为：

/Applications/Google\ Chrome.app/Contents/MacOS/Google Chrome

打开终端，cd进入到该目录中，执行Google Chrome可执行程序,此时会打开一个Google浏览器

./Google Chrome

新建一个空白文件夹，用于保存浏览器数据
打开cmd输入命令启动chrome浏览器

./Google Chrome --remote-debugging-port=8899 --incognito --start-maximized --user-data-dir="空白文件夹路径"

Playwright接管浏览器

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp('http://localhost:8899/')
    # 获取page对象
    page = browser.contexts[0].pages[0]
    #该操作会直接作用在接管的浏览器中
    page.locator('//*[@id="kw"]').fill('haha')
    print(page.url)
    print(page.title())

接管浏览器手动登录后进行数据采集
- url : https://www.qcc/
- 描述：手动扫码登录，然后搜索某家公司，获取搜索结果中的公司名称和法人

from playwright.sync_api import sync_playwright
from lxml import etree
with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp('http://localhost:8899/')
    # 获取page对象
    page = browser.contexts[0].pages[0]
    #该操作会直接作用在接管的浏览器中
    page.locator('//*[@id="searchKey"]').fill('中软国际')
    page.get_by_text('查一下').click()
    page.wait_for_timeout(2000)

    tree = etree.HTML(page.content())
    tr_list = tree.xpath('/html/body/div/div[2]/div[2]/div[3]/div/div[2]/div/table/tr')
    for tr in tr_list:
        title = tr.xpath('./td[3]/div/span[1]/span[1]/a/span//text()')
        title = ''.join(title)
        name = tr.xpath('./td[3]/div/div[3]/div[1]/span[1]/span[1]/span/a/text()')
        print(title,name)

JS注入

url：https://www.ciweimao/chapter/109936632
分析：
- 点击下一章，简单分析可知小说内容是动态加载的数据。查看数据包的fetch/xhr选项卡，会不会到ajax_get_session_code和get_book_chapter_detail_info两个数据包。根据抓包工具分析，get_book_chapter_detail_info数据包中存在chapter_content为小说章节内容，但是数据为加密后的形式。
- 全局搜索chapter_content关键字，定位到了数据解密环节的ajax代码。然后在ajax代码的首位各自打上两个断点进行调试。最终发现如下代码就是解密操作：其中messageInfo就是密文数据
- ```
$.myDecrypt({
                    content: messageInfo,
                    keys: keys,
                    accessKey: HB.config.chapterAccessKey
                })
```
因此可以在Playwright中基于补充浏览器环境和js注入的机制进行解密js代码测试：

  from playwright.sync_api import sync_playwright
with sync_playwright() as p:
      browser = p.chromium.launch(headless=True)
    context = browser.new_context()
      #规避检测，伪造真实浏览器环境
      context.add_init_script(path='stealth.min.js')
      page = context.new_page()
      page.goto("https://www.ciweimao/chapter/109936632")
      page.wait_for_timeout(3000)
    # #进行js注入，执行解密js代码
      encrypt_data = page.evaluate('$.myDecrypt({content: messageInfo,keys: keys,accessKey: HB.config.chapterAccessKey})')
    print(encrypt_data)

本文标签： playwright

版权声明：本文标题：Playwright 内容由热心网友自发贡献，该文观点仅代表作者本人，转载请联系作者并注明出处：https://m.elefans.com/xitong/1724842194a993373.html，本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。

电子爱好者 - 最新技术资讯及电子产品介绍！

Playwright

文章目录

Playwright

介绍

环境安装

屏幕录制

保留记录cookie信息

第一个Playwright脚本

元素定位

CSS选择器定位

xpath定位

可见即可得爬取（重点）

Context上下文（重点）

滑动验证 （理解代码）

文字点击验证码处理

规避检测（重点）

浏览器接管

window版本

mac版本

JS注入

更多相关文章

如何利用 playwright对已打开的浏览器进行连接、操作

Playwright

playwright连接已有浏览器操作

python+playwright 学习-1.环境准备与快速开始

playwright使用

发表评论

推荐文章

移动硬盘在苹果电脑上无法识别的诊断与恢复策略

OEM系统及激活

安装centos7windows7 （32位） 双系统以及grub2引导windows 7

python360安全浏览器_python-selenium自动化测试（火狐、谷歌、360浏览器启动）

计算机的清楚键盘是,电脑键盘上按哪个键是删除键？

热门文章

中国第一输入法---搜狗拼音输入法无广告版

Win11磁盘清理在哪打开？

ibm3400服务器改win7系统,dell3578win10改win7系统bios如何设置_戴尔win10改win7系统bios设置步骤...

计算机硬盘如何制作成移动硬盘,电脑拆出来的闲置硬盘别扔 这么做帮你把它变成移动硬盘...

百度智能云“千帆大模型平台”升级，大模型最多，Prompt模板最全

一招彻底解决win10开机桌面及任务栏卡死问题

我为什么离开华为加入ThoughtWorks（思特沃克）

com.thoughtworks.xstream.XStream的使用注意

360浏览器自定义切核功能

由Ctrl+Z引发的系统卡死重启问题分析

最新文章

如何使用U盘安装操作系统

网络安全入门基础知识

微信多开工具，微信防撤回、QQ防撤回、Tim防撤回工具，微信消息防撤回、QQ消息防撤回、Tim消息防撤回，无视撤回功能，不错过每一条消息

STEAM账号被盗（绑定QQ邮箱）的找回方法以及背后操作原理解析

哪个邮箱好用又安全？最安全的邮箱排名是？

【系统重装】取消U盘分区

[写轮眼]QQ服务调校

qq怎样发起临时会话（不加好友）

php文本安全内容敏感词检测（微信的）

基于YOLOv5实现安全帽检测识别

软件测试：QQ登录测试用例

微信无法登陆，您绑定的QQ号疑似被盗解决方案

【认证证书】计算机应急响应 - 中国信息安全测评中心CISP-IRE | 公安部第三研究所CCSS-R

QQ互联API接口失效，第三方网站的死穴

物联网有哪些安全风险？物联网安全问题汇总

小米手机肿么还原时钟

15000流明是多少瓦

一般普通投影机功率多大?

苹果绿联转换器有些投影机不能用

坚果V9投影机具体参数?

有关九年级作文850字精选

80后90后_高一作文

中级卫生专业资格中医全科学主治医师中级模拟题2021年(9)案与解析

(精品)师范大学招考硕士研究生课程八六0试卷

ZXMVC8900(V3

【模拟人生4（The Sims 4）性感露背黑色亮片礼服MOD V20190313】模拟人生4（The Sims 4）性感露背黑色亮片礼服MOD V20190313 官方免费下载

【生化危机2：重制版（Resident Evil 2 Remake）克莱尔红头发深色服装MOD】生化危机2：重制版（Resident Evil 2 Remake）克莱尔红头发深色服装MOD 官方免费下载

【模拟人生4（The Sims 4）性感露背深V领吊带裙MOD V20190311】模拟人生4（The Sims 4）性感露背深V领吊带裙MOD V20190311 官方免费下载

【模拟人生4（The Sims 4）科幻风宇宙飞船家庭住宅MOD V20190311】模拟人生4（The Sims 4）科幻风宇宙飞船家庭住宅MOD V20190311 官方免费下载

【鬼泣5（Devil May Cry V）v1.0十四项修改】鬼泣5（Devil May Cry V）v1.0十四项修改 官方免费下载

如何实现高效的treenode搜索算法

treenode与链表有何本质区别

在哪些场景下应优先考虑使用treenode

treenode在树形结构中的角色是什么

滑动验证（理解代码）

安装centos7windows7 （32位）双系统以及grub2引导windows 7

计算机硬盘如何制作成移动硬盘,电脑拆出来的闲置硬盘别扔这么做帮你把它变成移动硬盘...

【鬼泣5（Devil May Cry V）v1.0十四项修改】鬼泣5（Devil May Cry V）v1.0十四项修改官方免费下载