admin管理员组文章数量:1542391
Photon是一个由s0md3v开源的情报搜集爬虫，其主要功能有：
1.爬取链接(内链、外链)。
2.爬取带参数的链接，如(pythondict/test?id=2)。
3.文件(pdf, png, xml)。
4.密钥(在前端代码中不小心被释放出来的)。
5.js文件和Endpoint(spring中比较重要的监视器)
6.匹配自定义正则表达式的字符串。
7.子域名和DNS相关数据。
你可以用它来干很多事，比如爬图片、找漏洞、找子域名、爬数据等等。而且提取出来的数据格式非常整洁：
img
不仅如此，它甚至支持json格式 ，仅需要在输入命令的时候加上json参数：
python photon.py -u "http://example" --export=json
为什么能用来做情报搜集呢？耐心往后看哦。
# 1.下载安装
你可以上photon的github下载完整项目：
https://github/s0md3v/Photon
下载后解压到你想要使用的地方。如果你还没有安装Python，建议阅读这篇文章：超详细Python安装指南，进行Python的安装。
安装完Python后，打开CMD(windows)/Terminal(macOS)，下面简称为终端，进入你刚解压的文件夹，然后输入以下命令安装Photon的依赖：
pip install -r requirements.txt
如图所示：
img
# 2.简单使用
注意，使用的时候要在Photon文件夹下。比如我们随便提取一个网站的URL试一下，在终端输入以下命令：
python photon.py -u https://bk.tencent.com/
结果如下：
img
它会在当前目录下产生一个你测试的域名的文件夹，比如在我这里是 bk.tencent：
嘻嘻，让我们看看里面有什么东西，有没有程序员留下的小彩蛋，打开external.txt，这是该网站的外链的存放位置。可以看到，这里不仅仅是只有网站页面，连CDN文件地址都会放在这里，所以external可能是个藏宝库哦。
还能一下找出该网站上链接的全部开源项目：
# 3.扩展
这个项目的价值，不仅在于能够快速拉取你想要得到的数据，还在于能够构建一个牛逼轰轰的情报系统（如果你技术够强的话）。因为它是能不断延伸下去的，比如从外链出发，你能找到很多和这个网站相关的讯息：
相比于搜索引擎搜索的结果，实际上这些信息更符合情报的要求。因为存在禁止搜索引擎爬取的 robot.txt, 所以不是网站的所有信息都能在搜索引擎搜索得到，而通过这个Photon，你可以顺藤摸瓜找到那些隐藏在互联网世界的它们。
试想一下，如果你搜集了很多这样的网站…然后用正则表达式搭建一个属于你自己的搜索引擎，这样的感觉是不是很棒？
关于Python学习指南
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！
👉Python所有方向的学习路线👈
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）
👉Python学习视频600合集👈
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
👉Python70个实战练手案例&源码👈
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉Python大厂面试资料👈
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
👉Python副业兼职路线&方法👈
学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。
👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】
版权声明：本文标题：一个超快的公共情报搜集爬虫 — Photon 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1727070654a1096128.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论