• SEO文章推广! 合作联系qq:122325244 正式全面改版 !免费SEO地址:https://www.seozhan.cn/tool 站长QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏SEO站长博客吧

Machinae:一款新闻采集主动化用具

脚本编程 SEO站长博客 2个月前 (08-01) 23次浏览 已收录 0个评论

摘要

Machinae 安然谍报征求器材

Machinae 这款开源器材可能助助壮阔考虑职员从各个怒放网站/feed 征求跟搜集安然相闭的数据,比方 IP 地方、域名、URL、电子邮件地方、文献哈希和 SSL 指纹等等。该器材受到了 Automater 的启迪,旨正在从以下四个方面提拔原器材的成效:

1、 源代码:将 Automater 以 Python 3 实行重构,提拔成效扩展性;

2、 摆设:操纵了可读性更强的摆设形式-YAML;

3、 输入:援手 JSON 形式解析,需编写正则外达式;

4、 输出:援手异常的输出类型,网罗 JSON 等可选项;

   器材装配

大师可能操纵pip3 来装配 Machinae:

   pip3 install machinae

或者,大师也可能直接从本项目标 GitHub 代码库大将代码克隆至当地:

   pip3 install git+https:

点击【这里】获取最新版本的器材摆设文献,并将其存入/etc/machinae.yml。

   摆设文献

Machinae 供应了成效强健的摆设整合编制,咱们可能直接对编制默认摆设文献machinae.yml 实行删改来杀青摆设的更新,通过删改摆设文献,咱们可能杀青扫数编制处境中一切效户的摆设删改。编制级摆设文献位于项目目下目次下,可能操纵 MACHINAE_CONFIG 处境变量来实行设备,或者直接正在号令行中操纵“-c”或“–config”来摆设。当然了,借使你不念更新整体摆设文献,你可能操纵“–nomerge”选项来禁用该成效。

你可能正在machinae.yml 文献中实行下列设备来启用 Fortinet Category 站点:

   fortinet_classify: default: true

或操纵下列号令禁用形似 Virus Total pDNS 如许的站点:

   vt_ip: default: false vt_domain: default: false 器材操纵

Machinae 的操纵跟 Automater 至极宛如:

   usage:machinae [-h] [-c CONFIG] [–nomerge] [-d DELAY] [-f FILE] [-i INFILE] [-v] [-o {D,J,N,S}] [-O{ipv4,ipv6,fqdn,email,sslfp,hash,url}] [-q] [-s SITES] [-a AUTH] [-HHTTP_PROXY] [–dump-config –detect-otype] …

1、 操纵“-c/–config”和 “–nomerge”选项来查看号令细节;

2、 Machinae 援手“-d/–delay”选项,这个跟 Automater 形似,但 Machinae 默认操纵参数值为“0”。

3、 Machinae 的输出由下列两个参数驾御:

“-o“驾御输出形式,可能操纵下列号令杀青驾御:

(1)“N“为默认圭臬输出;

(2)“D“为默认圭臬输出形式,但“.”字符会被更换;

(3)“J“为 JSON 输出;

“-f/–file“指定输出文献的写入身分,默认“-”为 stdout。

4、 Machinae 还援手操纵“-H”或“–http-proxy”号令行参数来设备 HTTP 代庖。

   数据源

Machinae 援手以下数据源泉(更无数据源正正在增添中…):

IPVoid

URLVoid

URLUnshortener (

Malc0de

SANS

FreeGeoIP(freegeoip.io)

FortinetCategory

VirusTotalpDNS (通过搜集爬虫)

VirusTotalpDNS (通过 JSONAPI)

VirusTotalURL Report (通过 JSON API)

VirusTotalFile Report (通过 JSON API)

ReputationAuthority

ThreatExpert

VxVault

ProjectHoneypot

McAfee 吓唬谍报

StopForumSpam

CymruMHR

ICSICertificate Notary

TotalHash(默认禁用)

DomainToolsParsed Whois (需求 API 密钥)

DomainToolsReverse Whois (需求 API 密钥)

DomainToolsReputation

IPWHOIS (适用 RIRREST 接口)

HackedIP

MetadefenderCloud (需求 API 密钥)

GreyNoise(需求 API 密钥)

IBMXForce (需求 API 密钥)

   HTTP 根源认证与摆设

Machinae 援手正在方向站点的 HTTP 根源认证成效,壮阔用户可能适用“–auth/-a”参数来开启该成效。此时,咱们将需求创筑一个蕴涵用户凭证的 YAML 文献,此中要填写网站的密钥和相应凭证新闻,形式大致如下:

   passivetotal:[, my_api_key]

正在 request 摆设域中,你还会看到如下形式的密钥:

   json: request: url: … auth: passivetotal

此中,auth: passivetotal 指的是认证摆设文献中的密钥,通过号令行转达。

   默认禁用的站点

下面这些是该器材禁用的站点:

FortinetCategory (fortinet_classify)

TelizeGeo IP (telize)

TotalHash(totalhash_ip)

DomainToolsParsed Whois (domaintools_parsed_whois)

DomainToolsReverse Whois (domaintools_reverse_whois)

DomainToolsReputation (domaintools_reputation)

PassiveTotalPassive DNS (passivetotal_pdns)

PassiveTotalWhois (passivetotal_whois)

PassiveTotalSSL Certificate History (passivetotal_sslcert)

PassiveTotalHost Attribute Components (passivetotal_components)

PassiveTotalHost Attribute Trackers (passivetotal_trackers)

MaxMindGeoIP2 Passive Insight (maxmind)

FraudGuard(fraudguard)

Shodan(shodan)

HackedIP

MetadefenderCloud (需求 API 密钥)

GreyNoise(需求 API 密钥)

IBMXForce (需求 API 密钥)

   数据输出形式

Machinae 默认援手三种数据输出形式,即“旧例形式”、“字符转义形式”和“JSON 形式”,咱们策动正在未来增添更众的器材输出形式。

   项目地方

Machinae:【GitHub 传送门】


SEO站长博客 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Machinae:一款新闻采集主动化用具
喜欢 (0)
[h4ck3st@126.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址