假如读者读过我前面的关于爬虫的文章,应该大约都清楚咱们现在能够对一个静态的web页面”随心所欲“了,可是技能的开展总是没有止境的,仅仅是这样对静态页面处理远远不够,要知道现在许多的web页面有意无意为了避免静态爬虫运用ajax技能动态加载页面,这就导致了在面临这些网站的时分,咱们前面的技能并不能起到什么很好的作用,所以,我在本系列文章最初就说了会供给动态加载网页的处理计划,在这篇文章里,笔者就在这儿提出这个处理计划,用来处理曾经咱们没有办法的问题。
0×01 动态页面处理计划Selenium+Phantom ***
Python2(或Python3) 本文运用Python2.7.11
Selenium 自动化web测验处理计划
Phantom *** 一个没有图形界面的浏览器
0×02 原理回忆比照
评论:讲selenium自动化测验技能运用于爬虫数据发掘,其实我也是阅历了一段时刻的考虑,有一些根底的朋友们可能会知道,BeautifulSoup这种彻底根据静态的web页面剖析是没有办法履行 *** 的,可是咱们在运用web的进程中,根本不行能不用到 *** 脚本,其时我就想寻觅一个 *** 引擎整合BeautifulSoup,然后计划运用Spidermonkey这个技能,假如需求这么做的话,咱们会发现,咱们不只要用BeautifulSoup爬取页面的方针元素,并且还要考虑爬取 *** 脚本,在履行这些js脚本后,咱们还需求再次剖析这些脚本回来的数据或许是对HTML页面发生的影响,我觉得这样加大了太多的不确定要素,咱们不想花太多的时刻放在脚本编写上,已然选用Python,就要发挥它的巨大Pythonic的优势。然后还有一个处理计划便是Ghost.py,github主页。我想或许咱们经过这个计划介绍的不只仅是爬虫,也可能是一个新世界的大门,所以我仍是挑选selenium吧,web自动化测验的一整套处理计划。
其实咱们从BeautifulSoup的处理计划过度到selenium的计划便是一个思想上的“让步“的进程,从直接HTML解析->剖析 *** ->webkit->干脆直接用headless浏览器来操作web页面的selenium。
所以也便是说,咱们接下来要评论的selenium用于爬虫和曾经学习的静态页面处理有着实质的差异,能够以为对咱们来说是一个全新的技能。
0×03 Quick Start
在这儿咱们首要能够很负责任的说,经过以下的比如并不会让读者彻底把握selenium的运用,可是经过着手,咱们能够了解到selenium对错常好用并且并不输于BeautifulSoup的(或许这两个并不是一个等级并不能比较)。可是能够说BeautifulSoup中的定位元素,在selenium中都能够做到,并且Selenium能够设置等候时刻让页面完结加载,或许设置条件让web页面加载出咱们所需求的数据然后再获取数据。
下载与装置:
首要咱们需求下载要给Phantom *** 浏览器from官网。
然后装置selenium,运用easy_install或许pip都能够很便利的装置:
1.easy_install selenium
2.pip install selenium
然后咱们的之一个方针页面http://pythonscraping.com/pages/javascript/ajaxDemo.html很简略,便是一个存在ajax的状况:页面如下:
html>
head>
title>Some JavaScript-loaded contenttitle>
script src="../js/jquery-2.1.1.min.js">script>
head>
body>
div id="content">
This is some content that will appear on the page while it's loading. You don't care about scraping this.
div>
script>
$.ajax({
type: "GET",
url: "loadedContent.php",
success: function(response){
setTimeout(function() {
$('#content').html(response);
}, 2000);
}
});
function ajax_delay(str){
setTimeout("str",2000);
}
script>
body>
html>
咱们简略看到这个web页面是运用ajax动态加载数据,GET恳求LoadedContent.php然后把成果直接显现在content里。关于这样的办法咱们并不需求太深化了解,总归咱们只需求知道咱们假如运用传统的办法获取,得到的便是上面的静态html而没有loadedContent.php中的内容。
作为selenium的爬虫运用quickstart,咱们没必要太深化解说原理,咱们需求把Phantom *** 和python脚本放在同一个文件夹下,树立selenium_test.py文件夹
然后输入selenium_test.py中的内容:
#引进selenium中的webdriver
from selenium import webdriver
import time
#webdriver中的Phantom *** 办法能够翻开一个咱们下载的静默浏览器。
#输入executable_path为当时文件夹下的phantomjs.exe以发动浏览器
driver =webdriver.Phantom *** (executable_path="phantomjs.exe")
#运用浏览器恳求页面
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")
#加载3秒,等候一切数据加载结束
time.sleep(3)
[1] [2] 黑客接单网
};作为信息安全抢先媒体的小编,这次首要重视的是仍是关于“缺德的智能打扰电话”。 出名的黑客接单吗,黑客找盗号 2、域环境与一切经过扩展支撑第三方可扩展性的阅读器相同,应用时的安全体会或许最具有挑战性...
【编者按】黑客是对任何计算机操作系统的神秘工作方式非常感兴趣的人。黑客通常是程序员。他们收集操作系统和编程语言的高级知识,找出系统的外部漏洞以及这些漏洞的原因。 如何找正规的黑客(先办事后付款...
尽管DDoS进犯现已有必定的前史了,但现在许多公司依然无法彻底抵挡这类进犯。 现在,越来越多的网络进犯者开端运用新式网络协议来进行DDoS进犯了,比如说CoAP协议等等,而这些新式协议的呈现和运用将会...
目录扫描 条件再运用:对进犯者而言,运用WordPress中已知的缝隙和DNS的装备缺点是比较简单完成的。 可是,修正托管了EK东西的服务器相对而言就比较困难了。 这需求进犯者从物理层面上获取到一台...
首先,通过遍历验证中继帐户所在用户组及权限,发现当前账户可以创建用户、可以修改test.local域的ACL,因为域中的Exchange Windows Permissions用户组被允许修改ACL,...
fdisk -l 检测是否现已存在: if(!$article){黑客seo,苹果id找黑客 厂商补丁:黑客seo,苹果id找黑客,找黑客在哪找RewriteCond %{REQ...