数字crawlergo动态爬虫结合长亭XRAY被动扫描 | 申博官网
登录
  • 欢迎进入申博官网!
  • 如果您觉得申博官网对你有帮助,那么赶紧使用Ctrl+D 收藏申博官网并分享出去吧
  • 这里是申博官方网!
  • 申博官网是菲律宾sunbet官网品牌平台!
  • 申博开户专业品牌平台!

数字crawlergo动态爬虫结合长亭XRAY被动扫描

申博_安全防护 申博 73次浏览 已收录 0个评论

crawlergo_x_XRAY

crawlergo动态爬虫 结合 长亭XRAY扫描器的被动扫描功能 (其它被动扫描器同理)

https://github.com/0Kee-Team/crawlergo

https://github.com/chaitin/xray

介绍

一直想找一个小巧强大的爬虫配合xray的被动扫描使用,

360 0Kee-Teem最近公开了他们自己产品中使用的动态爬虫模块,经过一番摸索发现正合我意,就写了这个脚本

由于该爬虫并未开放代理功能并且有一些从页面抓取的链接不会访问,所以我采用的官方推荐的方法,爬取完成后解析输出的json再使用python的request库去逐个访问

大概逻辑为:

数字crawlergo动态爬虫结合长亭XRAY被动扫描

爬取和请求的过程使用了多线程和队列使得请求不会阻塞下一个页面的爬取

用法

  1. 下载xray最新的release, 下载crawlergo最新的release

注意,是下载编译好的文件而不是git clone它的库

Java Runtime.getRuntime().exec由表及里

这篇文章主要目的在于学习前人文章,并从深入一点的角度探讨为什么Runtime.getRuntime().exec某些时候会失效这个问题。 问题复现 测试代码如下 import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;

public class linux_cmd1 {
public static void main(String[] args) throws IOException {
String cmd = “cmd which you want to exec”;
InputStream in = Runtime.getRuntime().exec(cmd).getInputStream();

ByteArrayOutputStream baos = new ByteArrayOutputStream();
byte[] b = new byte[1024];
int a = -1;

  1. 把launcher.py和targets.txt放在crawlergo.exe同目录下
  1. 配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改launcher.py文件中的proxies

数字crawlergo动态爬虫结合长亭XRAY被动扫描

配置参数详见XRAY官方文档

数字crawlergo动态爬虫结合长亭XRAY被动扫描

  1. 配置好launcher.py的cmd变量中的crawlergo爬虫配置(主要是chrome路径改为本地路径), 默认为:
./crawlergo -c C:\Program Files (x86)\Google\Chrome\Application\chrome.exe -t 20 -f smart --fuzz-path --output-mode json target

数字crawlergo动态爬虫结合长亭XRAY被动扫描

配置参数详见crawlergo官方文档

  1. 把目标url写进targets.txt,一行一个url

数字crawlergo动态爬虫结合长亭XRAY被动扫描

  1. 用python3运行launcher.py ( XRAY被动扫描为启动的状态 )

  2. 生成的sub_domains.txt为爬虫爬到的子域名, crawl_result.txt为爬虫爬到的url

具体源码如下:

https://github.com/timwhitez/crawlergo_x_XRAY


申博|网络安全巴士站声明:该文看法仅代表作者自己,与本平台无关。版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明数字crawlergo动态爬虫结合长亭XRAY被动扫描
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址