admin管理员组

文章数量:1598077

效果预览

汽车之家参数配置的页面无法右键查看网页源代码,不太好爬取,网上相关教程方法比较复杂,这里采用了两步走的爬取方法。即先获取所有车型的网页,再分别解析,逐步拆解。



代码实现

第一步,导入相关库

import bs4
import requests as req
import re
import json
import csv

第二步,下载出所有车型的网页

def mainMethod():
    li = [chr(i) for i in range(ord("A"), ord("Z") + 1)]
    firstSite = "https://www.autohome/grade/carhtml/"
    firstSiteSurfixe = ".html"
    secondSite = "https://car.autohome/config/series/"
    secondSiteSurfixe = ".html"
    for a in li:
        print(a)
        if a is not None:
            requestUrl = firstSite + a + firstSiteSurfixe
            print(requestUrl)
            # 开始获取每个品牌的车型
            resp = req.get(requestUrl)
     

本文标签: 汽车之家参数