admin管理员组文章数量:1530261
情人节快到了,还不知道给女朋友买什么礼物?
直男:别问,问就是口红
好吧,那我们今天就来爬一下口红,看看什么色号最受欢迎!
很多兄弟都是苦于没有对应的资料,不清楚方向要学什么,或者有问题半天解决不了就很烦不想学了,这都是小问题,资料都给大家准备好了,有学习问题也可以在这里问,互相交流点我加群
Python环境、pycharm编辑器/永久激活/翻译插件
python零基础视频教程
Python界面开发实战教程
Python爬虫实战教程
Python数据分析实战教程
python游戏开发实战教程
Python 电子书100本
学习路线规划
统统免费领取
Python相关问题可解答
Python相关外包需求可发布
Python相关招聘需求可发布
等等等等
好吧都可以加群,然后我们开始今天的内容叭。
流程
1、动态数据抓包演示
2、json数据解析
3、requests模块的使用
4、保存csv
要用到的环境和模块
python 3.6
pycharm
requests >>> pip install requests
csv
爬虫基本思路
开始之前先给不会爬虫的兄弟大概了解一下爬虫的基本思路。
一. 数据来源分析
确定一下需求
1. 通过开发者工具进行抓包分析
前50个商品 为一组 url地址 有什么不一样
中50个商品 为一组
后20个商品 为一组
(切片)
只要获取到所有的商品ID 即可获取所有的商品信息
先获取商品ID 再把商品ID 分段传入请求 再获取商品数据 最后再保存
二. 代码实现过程
-
发送请求
-
获取数据
-
解析数据(提取商品ID)
-
把商品ID分段传入 发送请求
-
解析数据(提取商品信息)
-
保存数据
-
多页爬取
requests要自己安装一下
import requests # 发送请求 数据请求 pip install requests
import pprint # 格式化输出模块
import csv # 内置模块
import time
写入表头
f = open(‘口红数据.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)
csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘品牌’, ‘原价’, ‘折扣’, ‘售价’, ‘基本信息’, ‘详情页’])
csv_writer.writeheader()
发送请求 获取数据 解析数据
headers = {
‘referer’: ‘https://category.vip/’,
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.3’,
}
def get_shop_info(pid):
index_url = ‘https://mapi.vip/vips-mobile/rest/shopping/pc/product/module/list/v2’
params_1 = {
‘app_name’: ‘shop_pc’,
‘app_version’: ‘4.0’,
‘warehouse’: ‘VIP_HZ’,
‘fdc_area_id’: ‘104103101’,
‘client’: ‘pc’,
‘mobile_platform’: ‘1’,
‘province_id’: ‘104103’,
‘api_key’: ‘70f71280d5d547b2a7bb370a529aeea1’,
‘user_id’: ‘’,
‘mars_cid’: ‘1618053045038_6c9f5ed5dbad3934f24d94f695bd47c8’,
‘wap_consumer’: ‘a’,
‘productIds’: pid,
‘scene’: ‘search’,
‘standby_id’: ‘nature’,
‘extParams’: ‘{“stdSizeVids”:“”,“preheatTipsVer”:“3”,“couponVer”:“v2”,“exclusivePrice”:“1”,“iconSpec”:“2x”,“ic2label”:1}’,
‘context’: ‘’,
‘_’: ‘1627993112200’,
}
response_1 = requests.get(url=index_url, params=params_1, headers=headers)
json_data = response_1.json()[‘data’][‘products’]
for index in json_data:
try:
title = index[‘title’]
name = index[‘brandShowName’]
market_price = index[‘price’][‘marketPrice’]
sale = index[‘price’][‘saleDiscount’]
sale_price = index[‘price’][‘salePrice’]
shop_info = ‘|’.join([j[‘name’] + ‘:’ + j[‘value’] for j in index[‘attrs’]])
https://detail.vip/detail-1711236176-6918710001647165520.html
href = ‘https://detail.vip/detail-’ + index[‘brandId’] + ‘-’ + index[‘productId’] + ‘.html’
[色系: 豆沙色调]
dit = {
‘标题’: title,
‘品牌’: name,
‘原价’: market_price,
‘折扣’: sale,
‘售价’: sale_price,
‘基本信息’: shop_info,
‘详情页’: href,
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
ng)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
版权声明:本文标题:用Python批量获取唯品会商品数据(附视频教程) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1725442173a1023705.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论