如何使用Photon高效率提取网站数据

admin管理员组

文章数量:1542091

Photon是一种高效率的的网络爬虫，可从目标中提取URL，文件以及各类情报。其通过多线程大大加快数据提取进程。

项目地址：

https://github/s0md3v/Photon

主要特点

Photon提供的各种选项可以让用户按照自己的方式抓取网页，不过，Photon最棒的功能并不是这个。

数据提取

默认情况下，Photon在抓取时会提取以下数据：

网址（范围内和范围外的）

带参数的网址（example/gallery.php?id=2）

情报（电子邮件，社交媒体帐户，亚马逊水桶等）

文件（pdf，png，xml等）

JavaScript等文件

基于自定义正则表达式模式的字符串

提取的信息按下图方式保存。

智能多线程

大多数浮于互联网表面的工具都没有正确使用多线程，它们要么为线程提供一个项目列表，这会导致多个线程访问同一个项目，或者只是放置一个线程锁定并最终使多线程无效。

Ninja模式

在Ninja模式中，3个在线服务器用于代表你向目标发出请求。

所以基本上，现在你有4个客户端同时向同一个服务器发出请求，如果连接速度慢，那么可以提高速度，最大限度地降低连接重置的风险以及来自单个客户端的延迟请求。

这是Quark生成的比较图，其中的线代表线程：

兼容性&依赖

兼容性

Photon目前全面兼容python2.x – 3.x，但因为这个项目正处于积极开发阶段，可能会需要python2.x不具备的功能。故开发者最终可能会放弃对python2.x的支持。

操作系统

Photon已经在Linux（Arch，Debian，Ubuntu），Termux，Windows（7&10）和Mac上进行了测试，并在所有系统上如期运行，如果你发现了任何bug，请在github上提交。

颜色

Mac和Windows不支持ANSI转义序列，因此所输出内容不会在Mac和Windows上显示颜色。

依赖

requestsurllib3
argparse

Photon所使用的其余python库是预装的python解释器的标准库。

如何使用Photon

语法: photon.py [选项]
  -u --url              目标url  -l --level            抓取等级  -t --threads          线程数  -d --delay            请求间的延迟  -c --cookie           cookie  -r --regex            正则表达式模式  -s --seeds            其他的子url  -e --export           导出格式化结果  -o --output           指定输出目录  --exclude             通过正则表达式排除特定url  --timeout             http 请求超时  --ninja               ninja 模式  --update              更新  --dns                 转储dns数据  --only-urls           仅提取url  --user-agent          指定 user-agent(s)

仅抓取单个网站

选项 -u 或 –url，使用示例：

python photon.py -u "http://example"

抓取深度

选项 -l 或 –level，默认深度为2，使用示例：

python photon.py -u "http://example" -l 3

通过该选项，用户可以设置抓取的递归限制，例如，深度为2意思是Photon会从主页和子页。

线程数

选项 -t 或 –threads，默认线程数为2，使用示例：

python photon.py -u "http://example" -t 10

该选项可以对目标进行并发请求，-t选项可用于指定要进行的并发请求数量。值得注意的是，虽然多线程可以加速抓取，但是也可能会触发安全机制，此外，线程数过多，也有可能使小型网站宕机。

每个HTTP请求间的延迟

选项 -d 或 –delay，默认为0，使用示例：

python photon.py -u "http://example" -d 2

该选项可以指定每个HTTP（S）请求之间间隔的秒数。有效值是int，例如1表示1秒。

超时

选项 –timeout，默认为5，使用示例：

python photon.py -u "http://example.com --timeout=4

该选项指定HTTP（S）请求等待多长时间即为超时。

Cookies

选项 -c 或 –cookies，默认为 no cookie header is sent，使用示例：

python photon.py -u "http://example" -c "PHPSESSID=u5423d78fqbaju9a0qke25ca87"

该选项允许你在非ninja模式下为发出的每个HTTP请求添加Cookie header，主要用于目标网站需要基于Cookie验证的情形。

指定输出目录

选项 -o 或 –output，默认为 目标域名，使用示例：

python photon.py -u "http://example" -o "我的目录"

Photon将结果保存在以目标域名命名的目录中，但你可以使用此选项自定义目录。

排除特定url

选项 –exclude，使用示例：

python photon.py -u "http://example" --exclude="/blog/20[17|18]"

匹配指定正则表达式的网址将不会被抓取及显示在结果中。

指定子url

选项 -s 或 –seeds，使用示例：

python photon.py -u "http://example" --seeds "http://example/blog/2018,http://example/portals.html"

你可以使用此选项添加自定义子URL，要以逗号分隔。

指定user-agent(s)

选项 –user-agent，使用示例：

python photon.py -u "http://example" --user-agent "curl/7.35.0,Wget/1.15 (linux-gnu)"

你可以使用此选项使用自己的用户代理，以逗号分隔。此选项仅用于帮助用户在不修改默认user-agents.txt文件的情况下使用特定用户代理。

自定义正则表达式模式

选项 -r 或 –regex，使用示例：

python photon.py -u "http://example" --regex "\d{10}"

通过使用此选项指定正则表达式模式，可以在抓取期间提取字符串。

导出格式化结果

选项 -e 或 –export

通过 -e 选项，你可以指定要保存文件的输出格式，使用示例：

python photon.py -u "http://example" --export=json

目前支持的格式：json

跳过数据提取

选项：–only-urls，使用示例：

python photon.py -u "http://example" --only-urls

该选项会跳过提取js文件等数据，当你只需要抓取目标时，该选项可以派上用场。

更新

选项 –update，使用示例：

python photon.py --update

如果使用此选项，Photon会检查更新。如果有新的版本，Photon会下载并将更新文件合并到当前目录中，Photon不会覆盖其他文件。

Ninja模式

选项 –ninja

此选项启用Ninja模式。在该模式下，Photon会使用以下网站代表你发出请求。

codebeautify

photopea

pixlr

转储DNS数据

选项 –dns，使用示例：

python photon.py -u http://example.com --dns

创建显示目标域名的DNS数据的图像。目前不支持目标是子域。

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】

本文标签： 如何使用数据网站Photon