Machinae安全资源搜集工具

Machinae这个开源系统工具能够协助众多科学研究工作人员从每个对外开放网址/feed搜集跟 *** 信息安全相关的数据信息，比如IP地址、网站域名、URL、电子邮箱详细地址、文档hach和SSL指纹识别这些。

该工具遭受了Automater的启迪，致力于从下列四个层面提高原工具的作用：

1、 源码：将Automater以Python 3开展重新构建，提高作用扩展性；

2、 配备：应用了易读性更强的配备格式-YAML；

3、 键入：支持 *** ON格式分析，需撰写正则表达式；

4、 输出：支持附加的输出种类，包含 *** ON等选择项

工具安裝

大伙儿能够应用pip3来安裝Machinae：

pip3 install machinae

或是，大伙儿还可以立即从本新项目的GitHub代码库上把编码复制至当地：

pip3 install git

点一下【这儿】获得最新版的工具环境变量，并将其存进/etc/machinae.yml。

工具应用

Machinae的应用跟Automater十分类似：

usage:machinae[-h][-c CONFIG][--nomerge][-d DELAY][-f FILE][-i INFILE][-v]

[-o{D,J,N,S}][-O{ipv4,ipv6,fqdn,email,sslfp,hash,url}][-q]

[-s SITES][-a AUTH][-HHTTP_PROXY]

[--dump-config | --detect-otype]

...

1、 应用“-c/–config”和 “–nomerge”选择项来查询指令关键点；

2、 Machinae支持“-d/–delay”选择项，这一跟Automater相近，但Machinae默认应用变量值为“0”。

3、 Machinae的输出由下述2个主要参数操纵：

“-o“操纵输出格式，能够应用下述指令完成操纵：

（1）“N“为默认规范输出；

（2）“D“为默认规范输出格式，但“.”标识符会被更换；

（3）“J“为 *** ON输出；

“-f/--file“特定输出文档的载入部位，默认“-”为stdout。

4、 Machinae还支持应用“-H”或“–http-proxy”命令行参数来设定HTTP *** 商。

数据库

Machinae支持下列数据来源（大量数据库已经加上中…）：

IPVoid

URLVoid

URLUnshortener ()

Malc0de

SANS

FreeGeoIP(freegeoip.io)

FortinetCategory

VirusTotalpDNS (根据爬虫技术)

VirusTotalpDNS (根据 *** ONAPI)

VirusTotalURL Report (根据 *** ON API)

VirusTotalFile Report (根据 *** ON API)

ReputationAuthority

ThreatExpert

VxVault

ProjectHoneypot

McAfee威胁情报

StopForumSpam

CymruMHR

ICSICertificate Notary

TotalHash(默认禁止使用)

DomainToolsParsed Whois (必须API密钥)

DomainToolsReverse Whois (必须API密钥)

DomainToolsReputation

IPWHOIS (好用RIRREST插口)

HackedIP

MetadefenderCloud (必须API密钥)

GreyNoise(必须API密钥)

IBMXForce (必须API密钥)

HTTP基本验证与配备

Machinae支持在总体目标网站的HTTP基本验证作用，众多客户能够好用“–auth/-a”主要参数来打开该作用。这时，大家将必须建立一个包括客户凭据的YAML文档，在其中要填好网址的密钥和相对凭据信息内容，格式大概以下：

passivetotal:['', 'my_api_key']

在request配备域中，你要会见到以下格式的密钥：

json:

request:

url: '...'

auth: passivetotal

在其中，auth: passivetotal指的是验证环境变量中的密钥，根据cmd传送。

默认禁止使用的网站

下边这种是该工具禁止使用的网站：

FortinetCategory (fortinet_classify)

TelizeGeo IP (telize)

TotalHash(totalhash_ip)

DomainToolsParsed Whois (domaintools_parsed_whois)

DomainToolsReverse Whois (domaintools_reverse_whois)

DomainToolsReputation (domaintools_reputation)

PassiveTotalPassive DNS (passivetotal_pdns)

PassiveTotalWhois (passivetotal_whois)

PassiveTotalSSL Certificate History (passivetotal_sslcert)

PassiveTotalHost Attribute Components (passivetotal_components)

PassiveTotalHost Attribute Trackers (passivetotal_trackers)

MaxMindGeoIP2 Passive Insight (maxmind)

FraudGuard(fraudguard)

Shodan(shodan)

HackedIP

MetadefenderCloud (必须API密钥)

GreyNoise(必须API密钥)

IBMXForce (必须API密钥)

数据信息输出格式

Machinae默认支持三种数据信息输出格式，即“基本格式”、“标识符转义方式”和“ *** ON格式”，大家方案在未来加上大量的工具输出格式。

新项目详细地址

Machinae：【GitHub传送器