1、介绍

文档：https://github.com/Qianlitp/crawlergo/blob/master/README_zh-cn.md

2、安装

下载地址：https://github.com/0Kee-Team/crawlergo/releases

英特尔cpu的mac下载第一个即可，电脑上找一个目录存这个文件

注意：这里还需要给一下这个文件的权限，否则不能用

命令行进入这个文件所在文件夹，然后执行以下命令：

chmod +x crawlergo_darwin_amd64

为了运行这个工具，还需要安装chromium，因为这个是爬虫工具，并且是利用动态爬虫的原理，学过爬虫的应该都知道需要借助chromium来做动态爬虫。

下载chromium：https://www.chromium.org/getting-involved/download-chromium

这个不需要安装，直接把chromium.app移动到应用程序文件夹即可

打开浏览器，输入

chrome://version/

把可执行文件路径复制出来

3、使用

进入crawlergo文件所在文件夹，执行以下命令：

./crawlergo_darwin_amd64 -c /Applications/Chromium.app/Contents/MacOS/Chromium -t 10 http://testphp.vulnweb.com

解释一下命令，先是crawlergo的路径，然后-c指定chromium的路径（就是刚刚复制出来的可执行文件路径），然后-t指定开启最大10个标签页，然后指定爬取AWVS靶场

如图所示，成功运行此工具

注：若运行不成功，出现问题，请详细阅读crawlergo文档。

使用代理：

./crawlergo_darwin_amd64 -c /Applications/Chromium.app/Contents/MacOS/Chromium -t 10 --request-proxy socks5://127.0.0.1:7891 http://testphp.vulnweb.com/

这样我们就既可以使用内网代理扫内网的机器，也可以使用clash扫国外的网站