怎样使用追寻代码来发现网站之间的“相关”

访客5年前黑客文章1363

前些年Lawrence Alexander颁发了一篇使用Google Analytics查找网页之间的联络联络的文章,客岁,我也宣告了一个关于若何使用Python自动开掘信息,然后将其可视化的帖子,不幸的是Meanpath API被关闭了,所以多么的技巧便不再有用了。
侥幸的是,Spyonweb.com的还在异常供应就事。就在前不久,南非记者Jan Cronje就在极力地开掘一些他正在研讨的器械的联络联络(点击这儿阅读),这是重组以前的代码的一个完善的机会:使用Spyonweb来找到这些联接,末端再将其可视化。

给你敲代码的手指热热身,并准备好享受一些喜好,因为我们即即将探索若何使用Python自动创造网页之间的联络联络。
使用SpyOnWeb API
SpyOnWeb.com是一个赓续抓取网站追寻代码,称谓就事器和其他信息的网站,所以它能资助体现网站之间的联接。他们的API有许多订价层,从收费初步(抵挡这篇文章,收费的确实完善),一直到每个月69.95美元。
点击这儿前去api.Spyonweb.com
在这儿注册一个账号,然后主控制面板上就会出现一个access token,我们不才面的文章中会用到。

要留心的是,你更好不要和其他人同享你的access token,假设你不小心泄漏了,点击上图赤色箭头旁的小按钮,它会为你重新天然生成access token。
现在我们有了Spyonweb的access token,接下来就是写代码了。
准备
在这篇文章里,你必要一些Python库,可以使用pip设备
pip install networkx requests requests[security]
其他,你假设想在末端中止可视化,那就必要额外下载Gephi。
代码与分析
热热身,发动你最喜好的IDE(我使用的是WingIDE,用着真的不错),新建一个叫website_connections.py的文件,齐备源码【点击这儿下载】。

第1-5行:我们正在导入我们的剧本中所必要的悉数相干Python模块。
第7-8行:我们界说了一个变量spyonweb_access_token,你必要把以前取得的access token粘贴到这儿,然后我们界说了一个变量来保存Spyonweb API调用的URL。
第10-11行:这儿为Google Adsense和Google Analyse准备了两个正则表达式方式,我们将经由进程剧本在意图域名中提取这些代码。
第13-20行:在这儿我们设置命令行参数分析,以便轻松地通报一个域名,一个包含域名列表的文件,并容许为我们的图形输入指定的文件名。
我们现在增加一个简略的函数,它将在 *** 以前清算追寻代码。让我们先来看看:

完善!现在我们我们初步之一个函数,用于从意图域名直接提取追寻代码。将以下片断增加进代码中:


第38行:我们界说了extract_tracking_codes函数来接纳我们要遍历的域名列表来实行提取。
第43行今后:我们初步遍历域名列表(43行),然后在向意图域名发送Web乞求(53行)以前构建恰当的URL(50-51行),假设未能成功联接,则转到下一个域名(57行)。
第62-64行:假设我们成功联接到意图站点,那末就设置一个空缺列表来保存我们提取的代码(62行),我们检验考试使用正则表达式(63行)来找到悉数Google Adsense代码,然后对Google Analyse代码做相同的作业(64行)。
第67-69行:我们遍历提取代码的列表(67行),然后将其经由进程clean_tracking_code函数将其通签到清算和规范代码部分,接下来测验我们能否曾经有了这个代码(72行),假设没有,就将其增加到联接字典中,然后我们就可以对意图域名中止追寻了。
第82行:我们前去联接字典,以便稍后处置效果。
现在我们构建一个函数来向Spyonweb API发送乞求,现在承继增加以下代码:

第87行:我们构建spyonweb_request来接收数据,可以是一个域名,追寻代码,也可以是其他支撑的输入,我们还构建了request_type参数,该参数将组成Spyonweb乞求格式的URL的一部分。
第89-90行:我们创建一个字典,此中包含Spyonweb的access token,它将在HTTP乞求中传给Spyonweb。
第92行:我们使用静态构建的URL将乞求发送给Spyonweb,并传入params字典。
第94-102行:我们中止检讨以保证收到一个有用的HTTP相应(94行),假设乞求成功,就分析 *** ON(96行)。然后测验字典效果(98行)来看看我们能否收到了Spyonweb的有用效果,假设是,前去悉数字典。假设没有取得任何效果,就前去None(102行)。
现在我们将构建一个函数来处置向Spyonweb发送特定乞求的分析代码。

[1] [2]  黑客接单网

相关文章

专业黑客接单一般多少钱 专业接单黑客联系方式

专业黑客接单一般多少钱 专业接单黑客联系方式

中国黑客联盟的安全工程师上周透露,中国黑客联盟产品的持续安全改进终于开始见效。 中国黑客联盟的安全工程师Matt Miller在以色列举行的BlueHat安全会议上的一次演讲中说,现在广泛和...

浅谈RASP技能攻防之根底篇

本文就笔者研讨RASP的进程进行了一些概述,技能干货略少,倾向于遍及RASP技能。中心对java怎么完成rasp技能进行了简略的举例,想对咱们起到抛砖引玉的效果,能够让咱们更好的了解一些关于web运用...

2FA双要素认证之Authy

现如今网络环境越来越杂乱,黑客的进犯手法多样化,发作了越来越多的账号暗码走漏事情,然后要挟到用户信息乃至产业安全。在如此杂乱的安全形势下,咱们需求考虑更多的是用户信息的安全问题,而用户的账户暗码作为信...

腐朽的苹果:对一大波iCloud垂钓网站的监测与剖析

国外的FireEye实验室有一套主动化体系,这套体系可以主动侦测最新注册的歹意域名。所谓的歹意域名,绝大部分都是假装成很多人知道的常用域名,以此来到达“歹意”的目的。比方说假装成苹果公司的域名——Fi...

MySQL怎么避免SQL注入

 假如您经过网页获取用户输入的 数据 并将其刺进一个MySQL数据库,那么就有可能发生SQL注入安全的 问题 。 本章节将为咱们介绍怎么避免SQL注入,并经过脚原本过滤SQL中注入的字符。  所谓SQ...

代码共享:运用Python和Tesseract来辨认图形验证码

 各位在企业中做Web缝隙扫描或许浸透测验的朋友,或许会常常遇到需求对图形验证码进行程序辨认的需求。许多时分验证码分明很简略(关于非互联网企业,或许企业界网中的运用来说特别如此),但由于没有趁手的辨认...