0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Photon情报搜集爬虫的主要功能与安装使用说明

python爬虫知识分享 来源:python爬虫知识分享 作者:python爬虫知识分享 2022-06-23 16:35 次阅读

Photon是一个由s0md3v开源的情报搜集爬虫,其主要功能有:

1.爬取链接(内链、外链)。
2.爬取带参数的链接,如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密钥(在前端代码中不小心被释放出来的)。
5.js文件和Endpoint(spring中比较重要的监视器)
6.匹配自定义正则表达式的字符串。
7.子域名和DNS相关数据。

你可以用它来干很多事,比如爬图片、找漏洞、找子域名、爬数据等等。

不仅如此,它甚至支持json格式 ,仅需要在输入命令的时候加上json参数:

python photon.py -u "http://example.com" --export=json

1、下载安装

https://github.com/s0md3v/Photon/archive/refs/heads/master.zip

2、简单使用

注意,使用的时候要在Photon文件夹下。比如我们随便提取一个网站的URL试一下,在终端输入以下命令:

python photon.py -u https://bk.tencent.com/

它会在当前目录下产生一个你测试的域名的文件夹,比如在我这里是 bk.tencent.com:

结果如下:

pYYBAGK0JCWAGbHpAABO34wJ3lQ540.png

嘻嘻,让我们看看里面有什么东西,有没有程序员留下的小彩蛋,打开external.txt,这是该网站的外链的存放位置。可以看到,这里不仅仅是只有网站页面,连CDN文件地址都会放在这里,所以external可能是个藏宝库哦。


3、扩展

这个项目的价值,不仅在于能够快速拉取你想要得到的数据,还在于能够构建一个牛逼轰轰的情报系统(如果你技术够强的话)。因为它是能不断延伸下去的,比如从外链出发,你能找到很多和这个网站相关的讯息。

相比于搜索引擎搜索的结果,实际上这些信息更符合情报的要求。因为存在禁止搜索引擎爬取的 robot.txt, 所以不是网站的所有信息都能在搜索引擎搜索得到,而通过这个Photon,你可以顺藤摸瓜找到那些隐藏在互联网世界的它们。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开源
    +关注

    关注

    3

    文章

    3245

    浏览量

    42391
  • python
    +关注

    关注

    56

    文章

    4782

    浏览量

    84449
  • 爬虫
    +关注

    关注

    0

    文章

    82

    浏览量

    6838
  • photon
    +关注

    关注

    0

    文章

    32

    浏览量

    3675
收藏 人收藏

    评论

    相关推荐

    数字化智能工厂的主要功能组成

    数字化智能工厂是一种基于数字化技术和智能化系统的现代制造工厂,主要功能包括自动化生产设备、信息技术基础设施、数据采集与分析系统、互联互通技术、人工智能与机器学习、虚拟现实与增强现实、安全防护体系和绿色制造。
    的头像 发表于 10-08 11:40 272次阅读
    数字化智能工厂的<b class='flag-5'>主要功能</b>组成

    FPD link主要功能模块

    电子发烧友网站提供《FPD link主要功能模块.pdf》资料免费下载
    发表于 09-27 11:38 0次下载
    FPD link<b class='flag-5'>主要功能</b>模块

    电子地图的主要功能与应用

    电子地图,即数字地图,是利用计算机技术,以数字方式存储和查阅的地图。它不仅继承了传统纸质地图的基本功能,还通过现代科技手段实现了诸多创新应用。以下是电子地图的主要功能与应用: 一、主要功能 快速存取
    的头像 发表于 09-12 11:18 1584次阅读
    电子地图的<b class='flag-5'>主要功能与</b>应用

    GUTOR不间断电源的主要功能是什么?

    GUTOR不间断电源的主要功能是什么?
    发表于 09-06 17:44

    微处理器的主要功能是什么

    微处理器(Microprocessor),作为计算机系统的核心部件,其主要功能对于整个计算机系统的运行至关重要。
    的头像 发表于 08-22 11:48 1573次阅读

    RFID天线的工作原理和主要功能

    RFID(Radio Frequency Identification,无线射频识别)天线作为RFID系统中的关键组件,其工作原理和主要功能对于整个系统的性能和稳定性至关重要。以下是对RFID天线工作原理和主要功能的详细阐述。
    的头像 发表于 08-09 15:38 1014次阅读

    连接器的主要功能是什么

    连接器的主要功能是实现电子设备之间的电气连接和信号传输。连接器的种类繁多,应用领域广泛,其主要功能可以归纳为以下几点: 电气连接:连接器的主要功能是实现电子设备之间的电气连接。连接器通过其金属接触件
    的头像 发表于 06-20 09:22 884次阅读

    传感器的主要功能是什么

    传感器是一种能够感知外界环境并将这些信息转化为可用信号的装置。它们在各行各业和领域中起到关键作用,被广泛应用于科学研究、医疗诊断、工业控制、农业生产等众多领域。传感器的主要功能包括测量和监测、控制和反馈、安全和监控、诊断和检测以及位置和导航,本文将详细介绍传感器的主要功能
    的头像 发表于 01-27 17:10 2886次阅读
    传感器的<b class='flag-5'>主要功能</b>是什么

    滤波器的主要功能和作用科普

    滤波器是一种用于处理信号的电路或系统,其主要功能和作用包括
    的头像 发表于 01-25 18:10 7363次阅读

    bms主要功能有哪些

    、储能系统等新能源领域的关键部件,其主要功能是对电池组进行实时监控、保护和管理,以保证电池组的安全、稳定和高效运行。本文将对BMS的主要功能进行详细介绍。 数据采集:BMS通过传感器对电池组的电压、电流、温度等关键参数进行实时采集,以便对电池组的工作状态进行全面了解。这些
    的头像 发表于 01-05 18:09 7880次阅读
    bms<b class='flag-5'>主要功能</b>有哪些

    集成放大电路中输出级的主要功能

    主要功能,并探讨其工作原理、应用和性能优化。 一、输出级的主要功能 集成放大电路输出级的主要功能是放大输入信号,并将其输出到外部负载上。具体来说,它需要完成以下几个任务: 放大信号:输出级的核心任务是将输入信号放
    的头像 发表于 12-29 10:34 1299次阅读

    电源滤波器的主要功能和作用

    电源滤波器是电子设备中非常重要的一部分,其主要功能是过滤电源中的杂波和干扰信号。
    的头像 发表于 12-25 18:19 1568次阅读

    EMI滤波器有哪些应用与主要功能

    EMI滤波器有哪些应用与主要功能?相信不少人是有疑问的,今天深圳市比创达电子科技有限公司就跟大家解答一下!
    的头像 发表于 11-29 10:40 845次阅读
    EMI滤波器有哪些应用与<b class='flag-5'>主要功能</b>?

    DHCP的主要功能

    DHCP,即动态主机配置协议(Dynamic Host Configuration Protocol),是一种使计算机网络管理更加方便和自动化的协议。它的主要功能是自动分配IP地址、子网掩码、默认
    的头像 发表于 11-27 15:04 1497次阅读

    AMI网络的主要功能

    电子发烧友网站提供《AMI网络的主要功能.pdf》资料免费下载
    发表于 11-27 11:56 0次下载
    AMI网络的<b class='flag-5'>主要功能</b>