admin管理员组

文章数量:1530051

20210316- MARK CLEMENS

Tag: 浏览器; Console; javascript; 爬虫; | get; post;

文章目录

  • 如何在浏览器中直接爬取Ajax数据包呢?在控制台使用GET/POST
    • 1. 什么是Ajax?
    • 2. 什么是GET/POST? 【知识点】
    • 3. 爬取ajax数据包,如何操作?【code】
    • 4. XHR包抓取: DEMO
    • 题外话:编辑网页等


如何在浏览器中直接爬取Ajax数据包呢?在控制台使用GET/POST

  • 问题来源
    • 使用IDE编写爬虫代码,固然是一件常规的事情,但终究还是比较麻烦,尤其是在我们的数据需求不大的情况下 (面对需求比较小的情况,比如想获得一个数据列表)。
    • 一件事情,如果可以变得简单,那就让它变得最简单吧!!
    • 所以,其实爬虫这个事情吧,直接在浏览器console 上直接写个脚本就能爬下来了。然后再复制粘贴一下,就ok!
    • 这样,就不用大费周折地打开IDE了,今天起,做一只酷狗(bushi 灬ꈍ ꈍ灬)
  • 话说在前,其实写这篇博客之前,本人没有系统地学一遍前端知识。这些想法都是个人看法和探索,欢迎评论,欢迎提出你的想法

1. 什么是Ajax?

Ajax 即“Asynchronous Javascript And XML”(异步 JavaScript 和 XML),是指一种创建交互式、快速动态网页应用的网页开发技术,无需重新加载整个网页的情况下,能够更新部分网页的技术。

  • AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。
  • AJAX 不是新的编程语言,而是一种使用现有标准的新方法。
  • AJAX 是与服务器交换数据并更新部分网页的艺术,在不重新加载整个页面的情况下。

来吧,维基百科:

AJAX即“Asynchronous JavaScript and XML”(非同步的JavaScript与XML技术),指的是一套综合了多项技术的浏览器端网页开发技术。Ajax的概念由杰西·詹姆士·贾瑞特所提出[1]。

传统的Web应用允许用户端填写表单(form),当送出表单时就向网页伺服器发送一个请求。伺服器接收并处理传来的表单,然后送回一个新的网页,但这个做法浪费了许多带宽,因为在前后两个页面中的大部分HTML码往往是相同的。由于每次应用的沟通都需要向伺服器发送请求,应用的回应时间依赖于伺服器的回应时间。这导致了用户界面的回应比本机应用慢得多。

与此不同,AJAX应用可以仅向伺服器发送并取回必须的数据,并在客户端采用JavaScript处理来自伺服器的回应。因为在伺服器和浏览器之间交换的数据大量减少,伺服器回应更快了。同时,很多的处理工作可以在发出请求的客户端机器上完成,因此Web伺服器的负荷也减少了。

类似于DHTML或LAMP,AJAX不是指一种单一的技术,而是有机地利用了一系列相关的技术。虽然其名称包含XML,但实际上数据格式可以由JSON代替以进一步减少数据量。而客户端与服务器也并不需要异步。一些基于AJAX的“派生/合成”式(derivative/composite)的技术也正在出现,如AFLAX。

  • 学习资源
    • W3C学习地址
    • jQuery ajax - post() 方法

2. 什么是GET/POST? 【知识点】

GET 和 POST 都是HTTP相关的知识,先来了解一下HTTP

WIKI:

超文本传输协定(英语:HyperText Transfer Protocol,缩写:HTTP)是一种用于分布式、协作式和超媒体信息系统的应用层协议[1]。HTTP是全球资讯网的数据通信的基础。

设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers,URI)来标识。

HTTP的发展是由提姆·柏内兹-李于1989年在欧洲核子研究组织(CERN)所发起。HTTP的标准制定由万维网协会(World Wide Web Consortium,W3C)和互联网工程任务组(Internet Engineering Task Force,IETF)进行协调,最终发布了一系列的RFC,其中最著名的是1999年6月公布的 RFC

本文标签: 控制台数据包器中如何在网络