开源谍报(OSINT)汇集手艺详解 | 申博官网
登录
  • 欢迎进入申博官网!
  • 如果您觉得申博官网对你有帮助,那么赶紧使用Ctrl+D 收藏申博官网并分享出去吧
  • 这里是申博官方网!
  • 申博官网是菲律宾sunbet官网品牌平台!
  • 申博开户专业品牌平台!

开源谍报(OSINT)汇集手艺详解

申博_人物事迹 申博 211次浏览 已收录 0个评论

渗入测试险些老是须要从一个广泛的信息收集阶段作为最先。 这篇文章议论了怎样运用互联网上的开源信息来竖立目标的信息档案。收集的数据可用于辨认效劳器、域名、版本号、破绽、毛病设置、可运用的端点和敏感信息走漏。

经由历程开源谍报收集手艺,我们能够发明大批的数据,特别是关于那些具有大批在线营业的公司。 总会有一些很小的代码片断,或许是一个带有细致细节的手艺论坛的题目议论,或许是一个历久被忘记的子域名,以至能够另有一个 PDF 文档,个中包含可用于进击目标网站的元数据。即使是经由历程简朴的谷歌搜刮一般也会发生风趣的效果。以下是我们在取得客户端(域名)称号后所做的一些事变(排序没有特定的递次) :

1. 经由历程 Whois 信息能够查找目标的治理员联络人和其他电子邮件地点。这些电子邮件地点一般也作为运用程序上的有效用户存在。电子邮件地点能够经由历程数据库泄漏或许经由历程一个像 HaveIBeenPwned如许的搜刮效劳来举行搜刮,这个效劳会通知你你的电子邮件是不是在泄漏的数据库中。

在https://haveibeenpwned.com上发明某个电子邮件地点已出如今走漏的数据库中。

除了电子邮件地点,whois 查询还能够返回 IP 地点的汗青信息,域名逾期日期,以至电话号码,这些信息可用于社会工程学进击。

whois.domaintools.com 是一个查询 whois 纪录的好网站。

2. 运用谷歌高等搜刮中的 site 操作符,能够将搜刮效果限定在目标域名,找到 php (或任何效劳器端剧本文件范例) ,txt 或日记文件

site:*.example.org ext:php | ext:txt | ext:log

在某些情况下,我们运用如许的搜刮查询找到了一些风趣的文件(比方日记文件) ,这些文件能够包含敏感信息和运用程序的完全体系途径。你能够将此查询与一个减号操作符结合起来运用,以消除特定的搜刮效果。

在谷歌搜刮中发明经由历程 phpinfo() 函数走漏了效劳器信息的链接

3.在域名(或子域名)上搜刮一些花样较老的文档。 文件范例起首应当包含 PDF、 Excel、 Word 和 PowerPoint。 这些文档能够包含可用于其他进击的信息。 一般,包含在文件属性中的文档元数据(作者名等)也是一个能够登录 Web 运用程序的有效用户名。

site:*.example.org ext:pdf | ext:doc| ext:docx | ext:ppt | ext:pptx | ext:xls | ext:xlsx | ext:csv

你能够将这些文件下载到当地,并经由历程文档元数据提取器运转这些文件或许经由历程检察每一个文件的属性搜检走漏了哪些信息。

要检察一切可用于搜刮数据的选项,请参考 https://www.google.co.in/advanced_search。 别的,谷歌黑客数据库(如今能够在exploit-db上找到)许可你运用预先制订的查询,在互联网上搜刮一些风趣的东西。

4.搜检 robots.txt 文件中隐蔽的风趣的目次途径。 大多数购物车、框架和内容治理体系都有定义优越的目次组织。 因而,治理员背景多是一个 /admin 或一个 /administration 要求。 假如治理背景的途径不是这些罕见的途径,那末在 robots.txt 中极能够包含你要查找的目次名。

5. 检察 HTML 源码来找到购物车、内容治理体系(CMS)、框架等信息。 辨认运用程序范例有助于你在运用程序中运用软弱组件拿到权限(比方插件和主题)。 比方,假如你检察页面源码而且看到 wp-content,那末你就能够肯定这是一个 WordPress 站点。

许多公然可用的阅读器插件也能够用来辨认网站框架。 Firefox 阅读器上的 Wappalyzer 插件在辨认差别的效劳器范例、效劳器和客户端框架以及网站上的第三方插件方面是一个很不错的东西。

6. 一般情况下,假如你正在检察的站点是由第三方供应商建立的,那末你极能够会在主页底部看到“由第三方开辟者公司供应”的字样。

运用这个跟踪信息你能够对效劳供应商的网站也举行信息收集,这极能够获得令人难以置信的报答。 阅读效劳供应商的网站能够会发明构建客户网站的框架范例和版本号。 效劳供应商也极能够会在客户的站点上建立一个用于测试或许治理站点的帐户,作为其为客户端举行网站开辟设计的一部分。

依据我的履历,许多网站治理员和开辟职员常常运用公司称号(客户的公司或效劳供应商的公司)设置一些变种暗码,以及在末了带有或许不带有特别字符的数字。 比方,假如效劳供应商公司叫做“示例开辟职员(Example Developers)” ,那末001Example、 Example001、00example、 example00等就有多是你在客户网站的登录页面上能够尝试的暗码。

(请注重本文的后续内容,我们将解说怎样运用这类手艺来入侵并接见客户的效劳器并在效劳器上运转 shell 敕令。)

7.阅读目标公司的 LinkedIn 材料,找出高等司理、董事会职员和非手艺职员。 许多时刻,运用最软弱的暗码的人每每属于许多公司的非手艺治理职员。 经由历程搜刮公司网站上的“关于我们”页面也能够找到目标人物。

假如找到了目标公司的电子邮件,能够推导出用户名的规范花样。 一旦你理解了建立用户名的花样,就能够手工建立电子邮件地点列表和与其等价的用户名,然后能够用来实行其他进击,包含暴力破解登录页面,以至运用弱暗码重置功用。 (我们不止一次发明经由历程搜刮电子邮件地点和能够的用户名黑白常有效的,因为目标公司的职员运用了弱暗码从而致使完全的运用程序和效劳器被入侵。)

8.实行 IP 地点的相干搜检。 因为承载在统一 IP (同享主机)上的运用程序差别且有些运用程序破绽比较多,因而运用程序常常会被入侵。 运用反向 IP 查找,你能够辨认出其他目标。 微软的必应搜刮有一个很好的搜刮IP 的功用。

必应的 IP 搜刮功用能够用来寻觅统一个效劳器上的其他网站

You Get Signal 和 IP Address 也供应了反向 IP 查找的功用。

你能够在 You Get Signal 网站输入一个域名或 IP 地点举行检索

作为搜检 IP 地点的一部分,你还必需注重目标域名的 A 纪录和 PTR 纪录。 有时刻因为设置不当,当运用 PTR 纪录或站点的 A 纪录时,能够接见到差别的站点。 这些信息能够经由历程 nslookup 或 dig 敕令取得。

 

dig -x 8.8.8.8
nslookup 8.8.8.8

9. 罗列子域名能够找到轻易入侵的目标网站和客户端托管基础设备中的软弱进口点。 子域名罗列是评价和发明客户在网上公然的资产的最重要的步骤之一,无论是作为他们营业的一部分,照样因为毛病设置而被不测发明的资产。

子域名罗列能够运用种种东西来完成,比方 dnscrecon,subbrute,knock.py,还能够运用谷歌搜刮的 site 操作符,或许像 dnsdumpster,以至 virustotal. com 如许的站点。 这些东西中的大多数都运用了一个包含罕见描述性辞汇的大字典,比方 admin、 pages、 people、 hr、 downloads、 blog、 dev、 staging 等等。 这些单词被附加到主域名比方 example. org 上,建立出一个能够的子域名列表,比方 admin.example.org、 pages.example.org、 people.example.org 等等。 然后能够依据 DNS 效劳器顺次搜检这些称号,以考证子域名是不是存在。

运用 dnsrecon 暴力破解子域名

10.要求差别范例的资本,然后搜检 HTTP 状况码和相应头。 关于搜检有效的页面,不存在的页面或许是重定向的页面,目次名等等都很有效。 注重相应标头中的一些纤细毛病、分外空格和冗余值。

开源谍报(OSINT)汇集手艺详解

一个异常奇妙的损坏 X-Frame-Options 标头的例子。 标头开首的空格使标头变得无效

别的,注重 CSP 头。 这里面包含了许可剧本加载的域名和源。 有时刻,在 CSP 头中列出的域名中的输入毛病或许不平安的 JavaScript 托管 CDN 多是你实行 XSS 有效载荷的唯一要领:)

 

11. 经由历程 Shodan 和 Censys 搜刮客户的域名,查找文件、 IP 地点、公然的效劳和毛病音讯。 Shodan  和 censys 的开辟职员挖空心思地对互联网举行了端口扫描,罗列了种种效劳,并对他们的发明举行了分类,使其能够用简朴的关键词举行搜刮。 这些效劳能够用来发明大批风趣的东西,包含开放摄像头、思科装备、病院设备治理效劳器、设置软弱的 telnet 和 snmp 效劳以及 SCADA 体系。 Censys 过去曾被用于寻觅风趣的端点,这些端点托管了完全运用程序的源代码和全部 docker 映像。

Shodan 能够用来找到风趣的文件和装备

12. 在诸如 github、 gitlab、 bitbucket 等代码托管效劳上查找客户泄漏的源代码。 能够经由历程在线搜刮代码托管存储库找到种种风趣的东西,包含收集破绽,在收集运用程序中的0day,设置破绽,AWS 和其他密钥。

开辟职员常常提交带有产物暗码或 API 接见密钥的代码,只是厥后意想到平安题目,删除了敏感信息并举行了分外的提交。 然则,运用 git 提交日记和搜检特定的 git 提交能够检索这些敏感的信息片断,然后能够运用这些信息对客户托管的基础设备提议周全进击。

像 Gitrob  如许的东西能够用来查询 Github,并用敕令行搜刮特定组织的敏感文件。

13. 阅读站点的 HTML 源码,以肯定客户网站是不是在云上托管了任何静态内容。 像图片、 js 和 css 文件如许的内容能够托管在客户具有的 s3 存储桶上。 假如客户运用云端下载静态或动态内容,也能够在举行规范的信息汇集时辨认出来。 在这类情况下,假如客户在存储桶上设置了毛病的权限,那末查找客户运用的存储桶确切黑白常有益的。 在公然接见的存储桶里能够找到大批风趣的信息。

像 DigiNina 编写的存储桶搜刮器如许的东西能够经由历程强行定名 存储桶来自动化搜刮的历程。 这个东西须要一个经心组织的存储桶称号和潜伏的完全 url 列表才有效。

OSINT 自身就是一个不停发展和不停进步的研讨范畴。 运用我上面列出的要领和其他手艺,能够竖立目标的设置文件并展现一些目标组织的软缺点,有些要领以至不须要从体系中发送出一个数据包就能够获取到目标的信息。

一般来说,林林总总的数据都能够归类为 OSINT 数据,然则从渗入测试职员的角度来看,一切这类数据都没有什么意义。 从一个渗入测试职员的角度动身,我们或多或少应当对以以下种别的信息发生兴致:

(1)增添进击面的信息(域名、收集信息等)

(2)凭据信息(电子邮件地点、用户名、暗码、 API 密钥等)

(3)敏感信息(客户细致信息、财务报告等)

(4)基础设备细节信息(手艺栈,硬件装备等)

开源谍报(OSINT)是从大众可用的数据源收集的数据

12个分外的开源谍报汇集手艺

1. SSL / TLS 证书中保留了许多有效的信息,这些信息在平安性评价时期异常重要。

一个SSL/ TLS 证书一般包含域名、子域名和电子邮件地点。 这使得目标站点的证书成为了进击者的信息宝库

证书通明性(Certificate Transparency,CT)是一个项目。依据该项目,证书颁布机构(Certificate Authority,CA)必需将它们颁布的每一个 SSL / TLS 证书宣布到大众日记中。 因而,险些每一个重要的 CA 都邑将它们颁布的每一个SSL / TLS证书纪录在 CT 日记中。 这些日记是公然的,任何人都能够检察这些日记。 因而,我们编写了一个剧本,用来从给定域名的 CT 日记中找到的 SSL / TLS 证书中提取子域名。 你能够鄙人面的链接找到这个剧本。

这个代码库中包含了”子域名罗列手艺”一书中的一切补充材料。

针对Linux桌面用户的罕见间谍软件EvilGnome

介绍 近期,Intezer Labs的研究人员发现一种新的Linux恶意软件EvilGnome,该恶意软件会伪装成Gnome拓展,但其实际上为Linux后门植入程序。EvilGnome主要针对Linux桌面用户,这点很罕见,毕竟Linux服务器占总Linux使用组成的70%,而桌面作业系统仅只有2%。过去在Linux上发现的加密矿工或是DDoS僵尸网络等恶意工具,通常都是瞄准服务器进行攻击的。 另外有证据表明该恶意软件可能跟俄罗斯APT组织Gamaredon有关

如上图:从 CT 日记中列出的 SSL/TLS 证书中提取子域名。

SSLScrape 是一个东西,它以 netblock (CIDR)作为输入,查询 SSL/TLS 证书的每一个 IP 地点,并从返回的 SSL 证书中提取主机名。 这个东西能够鄙人面这个链接中找到。

从 SSL 证书中提取主机名的扫描东西。

sudo python sslScrape.py TARGET_CIDR

如上图:从 IPv4主机返回的 SSL/TLS 证书中提取主机名。

2. WHOIS 查询效劳一般在渗入测试中用于查询与互联网资本的注册用户相干的信息,如域名或 IP 地点(块)。 用WHOIS查询那些在互联网上有大批营业的目标组织特别有效。

一些大众 的WHOIS 效劳器支撑高等查询,我们能够运用这些查询收集目标组织的广泛信息。

下面,让我们看看一些高等的 WHOIS 查询来收集信息

· 我们能够查询ARIN WHOIS效劳器返回一切具有给定域名的电子邮件地点的条目,在本例中是icann.org。我们只能从这个效果中提掏出电子邮件地点。

whois -h whois.arin.net "e @ icann.org" | grep -E -o "\b[a-zA-Z0-9.-][email protected][a-zA-Z0–9.-]+\.[a-zA-Z0–9.-]+\b" | uniq

如上图:经由历程查询包含特定域名的电子邮件地点的条目从 WHOIS 信息中提取电子邮件地点。

· 我们能够查询RADB WHOIS效劳器返回一切属于Autonomous System Number(ASN) 的收集信息。

whois -h whois.radb.net -- '-i origin AS111111' | grep -Eo "([0-9.]+){4}/[0-9]+" | uniq

如上图:列举了运用 RADB WHOIS效劳器查询出的 ASN 的一切收集信息。

· 我们能够查询 ARIN WHOIS 效劳器返回给定关键字的一切 POC、 ASN、组织和最终用户客户

whois -h whois.arin.net "z wikimedia"

如上图:运用WHOIS 效劳查找相干的组织的信息。

3。 查找Autonomous System (AS) Numbers 能够协助我们辨认属于某个组织的收集信息,反过来,这也能够致使其他人发明在收集块信息中的主机上运转的效劳。

· 运用dig 或host 敕令剖析给定域名的 IP 地点

dig +short google.com

· 有一些东西能够找到给定 IP 地点的 ASN

curl -s http://ip-api.com/json/IP_ADDRESS | jq -r .as

我们能够运用 WHOIS 效劳或 NSE 剧原本标识一切属于 ASN 号码的收集块信息。

nmap --script targets-asn --script-args targets-asn.asn=15169

如上图:运用 targets-asn NSE 剧原本查找属于 ASN 的收集信息。

4.云存储的运用已变得异常广泛,特别是对象和信息块的存储效劳,如 Amazon S3、 DigitalOcean Spaces 和 Azure Blob Storage。 在过去几年中,因为设置毛病的 S3存储桶,涌现了一些惹人忧郁的数据泄漏。

依据我们的履历,我们已看到人们在平安性较差的第三方效劳上存储林林总总的数据,大到他们的凭据文本文件小到他们的宠物照片片。

 Slurp、 AWSBucketDump 和 Spaces Finder 等东西能够搜刮特定效劳的大众可接见对象存储实例。 像 Slurp 和 Bucket Stream 如许的东西将证书通明日记数据与基于分列的信息汇集扫描手艺结合起来,以辨认可公然接见的 S3存储桶。

如上图:运用关键词和分列扫描发明 亚马逊 S3 存储桶。

开源谍报(OSINT)汇集手艺详解

如上图:运用 CT 日记数据和分列扫描发明亚马逊 S3 存储桶。

5. Wayback Machine 是互联网上关于万维网和其他信息的海量数字档案。 Wayback Machine 还包含网站的汗青快照。 有了Wayback CDX 效劳 API 使得查找存档变得异常轻易。 waybackurls 是一个简约的东西,可用于搜刮与感兴致的网站相干的数据。

发掘 Wayback Machine的 档案关于肯定给定域名的子域名、敏感目次、敏感文件和运用程序参数异常有效。

go get github.com/tomnomnom/waybackurls waybackurls icann.org

开源谍报(OSINT)汇集手艺详解

“waybackurls”提取属于”Way back machine archive”中列出的域名的 url示例

6. Common Crawl 是一个构建和庇护 web 爬虫数据堆栈的项目,任何人都能够接见和剖析这些数据。 Common Crawl包含网站的汗青快照,以及关于网站和供应效劳的元数据。 我们能够运用Common Crawl API 搜刮该爬虫索引感兴致的数据网站。 cc.py 是一个简约的小东西,可用于搜刮感兴致的站点的爬虫数据。

python cc.py -o cc_archive_results_icann.org icann.org

开源谍报(OSINT)汇集手艺详解

如上图:在Common Crawl中经由历程cc.py 来抓取属于某个域名的URLs。

7. Censys 是一个聚合大批互联网扫描数据的平台,并供应一个经由历程数据集举行搜刮的界面。 Censys 将数据集分为三种范例: IPv4主机、网站和 SSL/ TLS 证书。我们须要晓得我们要寻觅的是什么信息以及怎样寻觅这些信息,Censys 具有与 Shodan 相称的有效信息。

Censys 有一个 API,我们能够用它对数据集实行查询。 我们编写了一个连接到 Censys API 的 Python 剧本,查询给定域名的 SSL/ TLS 证书,并提取属于该域名的子域名和电子邮件地点。 剧本能够鄙人面的链接中找到。

在 Censys 上对给定域名实行提取子域名和电子邮件的剧本。

8. Censys 项目从多个泉源收集 SSL/TLS 证书。 运用的手艺之一是探测大众 IPv4 地点空间上的一切机械的 443 端口,并聚合它们返回的SSL/TLS证书。 Censys 供应了一种将收集到的SSL/TLS 证书与供应证书的 IPv4主机相干联的要领。

经由历程剖析 SSL/TLS 证书和供应证书的 IPv4主机之间的相干性,能够暴露出那些受 Cloudflare 等效劳商庇护的域名的原始效劳器。

Cloudflair 是一个运用 Censys 公然域的劈头效劳器的东西。 这个东西能够鄙人面链接找到。

运用 Censys 的全网扫描数据,经由历程 CloudFlare 查找网站背地的原始效劳器。

9. 在平安评价时期,源代码堆栈也是一个信息宝库。 源代码能够展现许多信息,从证书、潜伏的破绽到基础设备的细节等等。GitHub 是一个异常盛行的版本掌握和合作平台。 Gitlab 和 Bitbucket 也是很受迎接的效劳,你能够在那里找到目标组织的源代码。

像 GitHubCloner 如许的东西运用起来异常轻易,能够自动克隆 Github 帐户下的一切代码堆栈。

$ python githubcloner.py --org organization -o /tmp/output

GithubCloner——克隆指定用户和组织的 Github 代码堆栈的剧本。

有林林总总的东西,能够自动化的发明代码堆栈中的隐秘,如 Gitrob,truffleHog,git-all-secrets 等。

10. 前向 DNS 数据集作为 Rapid7 公然数据项目标一部分宣布。 这些数据是对 DNS 要求的相应,用于 Rapid7的 Project Sonar 已知的一切转发的 DNS 称号。 数据花样是 gzip 紧缩的 JSON 文件。 我们能够剖析数据集来查找给定域名的子域名。 数据集异常大(20 多GB 的紧缩包,解压后约 300 多 GB)。 近来,数据集已依据数据包含的 DNS 纪录范例被分解成多个文件。

11. 内容平安战略(CSP)定义了 Content-Security-Policy HTTP 头,它许可我们建立可托内容源的白名单,并指导阅读器只实行或显现来自这些源的资本。

Content-Security-Policy 标头将列出一组进击者能够感兴致的源(域名)。 我们编写了一个简朴的剧原本剖析 CSP 头中列出的域名。 剧本能够鄙人面链接里找到。

从 Content Security Policy (CSP) HTTP 报头中提取域名的剧本。

12. 发件人战略框架纪录(Sender Policy Framework)简称SPF,用来指导吸收邮件交流的主机被受权对给定的域名发送邮件。

简朴地说,SPF 纪录能够列出一切被受权为某个域名发送电子邮件的主机。 有时刻 SPF 纪录会泄漏内部的收集信息和域名。

像 Security Trails 如许的效劳能够供应 DNS 纪录的汗青快照。 我们能够看看汗青的 SPF 纪录,来发明列在 SPF 纪录中的域名的内部收集信息和子域名。

如上图:经由历程 Security Trails显现icann.org域名的汗青 SPF 纪录。

我们编写了一个疾速剧本,从给定域名的 SPF 纪录中提取收集信息和域名。 当剧本运用 -a 选项运转时,它还能够返回每一个资产的 ASN 细致信息。 剧本能够鄙人面链接内找到。

一个从 SPF 纪录中剖析收集信息和域名的 Python 剧本。

python assets_from_spf.py icann.org -a | jq .

总结

在本文中,我们解说了在一样平常平安评价中运用到的种种 OSINT 手艺。 只管这篇文章内容很广泛,但它并非最全的。 OSINT手艺是不停变化的,没有放之四海皆准的规范。 我们全力论述在渗入测试阶段中能够进步覆盖率的OSINT手艺。

本文翻译自:https://blog.appsecco.com/open-source-intelligence-gathering-201-covering-12-additional-techniques-b76417b5a544


申博|网络安全巴士站声明:该文看法仅代表作者自己,与本平台无关。版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明开源谍报(OSINT)汇集手艺详解
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址