假如读者读过我前面的关于爬虫的文章,应该大约都清楚咱们现在能够对一个静态的web页面”随心所欲“了,可是技能的开展总是没有止境的,仅仅是这样对静态页面处理远远不够,要知道现在许多的web页面有意无意为了避免静态爬虫运用ajax技能动态加载页面,这就导致了在面临这些网站的时分,咱们前面的技能并不能起到什么很好的作用,所以,我在本系列文章最初就说了会供给动态加载网页的处理计划,在这篇文章里,笔者就在这儿提出这个处理计划,用来处理曾经咱们没有办法的问题。
0×01 动态页面处理计划Selenium+Phantom ***
Python2(或Python3) 本文运用Python2.7.11
Selenium 自动化web测验处理计划
Phantom *** 一个没有图形界面的浏览器
0×02 原理回忆比照
评论:讲selenium自动化测验技能运用于爬虫数据发掘,其实我也是阅历了一段时刻的考虑,有一些根底的朋友们可能会知道,BeautifulSoup这种彻底根据静态的web页面剖析是没有办法履行 *** 的,可是咱们在运用web的进程中,根本不行能不用到 *** 脚本,其时我就想寻觅一个 *** 引擎整合BeautifulSoup,然后计划运用Spidermonkey这个技能,假如需求这么做的话,咱们会发现,咱们不只要用BeautifulSoup爬取页面的方针元素,并且还要考虑爬取 *** 脚本,在履行这些js脚本后,咱们还需求再次剖析这些脚本回来的数据或许是对HTML页面发生的影响,我觉得这样加大了太多的不确定要素,咱们不想花太多的时刻放在脚本编写上,已然选用Python,就要发挥它的巨大Pythonic的优势。然后还有一个处理计划便是Ghost.py,github主页。我想或许咱们经过这个计划介绍的不只仅是爬虫,也可能是一个新世界的大门,所以我仍是挑选selenium吧,web自动化测验的一整套处理计划。
其实咱们从BeautifulSoup的处理计划过度到selenium的计划便是一个思想上的“让步“的进程,从直接HTML解析->剖析 *** ->webkit->干脆直接用headless浏览器来操作web页面的selenium。
所以也便是说,咱们接下来要评论的selenium用于爬虫和曾经学习的静态页面处理有着实质的差异,能够以为对咱们来说是一个全新的技能。
0×03 Quick Start
在这儿咱们首要能够很负责任的说,经过以下的比如并不会让读者彻底把握selenium的运用,可是经过着手,咱们能够了解到selenium对错常好用并且并不输于BeautifulSoup的(或许这两个并不是一个等级并不能比较)。可是能够说BeautifulSoup中的定位元素,在selenium中都能够做到,并且Selenium能够设置等候时刻让页面完结加载,或许设置条件让web页面加载出咱们所需求的数据然后再获取数据。
下载与装置:
首要咱们需求下载要给Phantom *** 浏览器from官网。
然后装置selenium,运用easy_install或许pip都能够很便利的装置:
1.easy_install selenium
2.pip install selenium
然后咱们的之一个方针页面http://pythonscraping.com/pages/javascript/ajaxDemo.html很简略,便是一个存在ajax的状况:页面如下:
html>
head>
title>Some JavaScript-loaded contenttitle>
script src="../js/jquery-2.1.1.min.js">script>
head>
body>
div id="content">
This is some content that will appear on the page while it's loading. You don't care about scraping this.
div>
script>
$.ajax({
type: "GET",
url: "loadedContent.php",
success: function(response){
setTimeout(function() {
$('#content').html(response);
}, 2000);
}
});
function ajax_delay(str){
setTimeout("str",2000);
}
script>
body>
html>
咱们简略看到这个web页面是运用ajax动态加载数据,GET恳求LoadedContent.php然后把成果直接显现在content里。关于这样的办法咱们并不需求太深化了解,总归咱们只需求知道咱们假如运用传统的办法获取,得到的便是上面的静态html而没有loadedContent.php中的内容。
作为selenium的爬虫运用quickstart,咱们没必要太深化解说原理,咱们需求把Phantom *** 和python脚本放在同一个文件夹下,树立selenium_test.py文件夹
然后输入selenium_test.py中的内容:
#引进selenium中的webdriver
from selenium import webdriver
import time
#webdriver中的Phantom *** 办法能够翻开一个咱们下载的静默浏览器。
#输入executable_path为当时文件夹下的phantomjs.exe以发动浏览器
driver =webdriver.Phantom *** (executable_path="phantomjs.exe")
#运用浏览器恳求页面
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")
#加载3秒,等候一切数据加载结束
time.sleep(3)
[1] [2] 黑客接单网
一、概述 1.1 传统WAF的痛点 传统的WAF,依靠规矩和是非名单的方法来进行Web进犯检测。该方法过火依靠安全人员的常识广度,针对不知道进犯类型百般无奈;另一方面即使是已知的进犯类型,因为正则表达...
echo "COUNT: $COUNT"官方修复补丁如下:影响范围==96052==ERROR: AddressSanitizer: use-after-poison on address 0x7ff...
这将是一篇很有含义的文章,能够让你对百度凤巢体系有更深一步知道。 仔细看下去,收成必将不少。 百度推广凤巢体系同一ip屡次点击会算为一次费用吗? 百度推广同行歹意点击体系会过滤掉吗? 咱们将从以下几...
《CLR via C#, Second Edition (Pro Developer)》在一个东西处理HTTP 恳求和呼应时,它能够挑选调用其他恣意的Burp东西。 例如:关于某些人来说从他们的开发数...
2.攻击者通过RDP向目标系统远程桌面服务发送精心设计的请求。 继续单步执行到这,索引值得出就像这样修复方案如此招生》这幅漫画说明了什么将一个孩子利用网, Discuz!全称Crossday Disc...
第一章,勒索病毒全体进犯态势5. 修正 Peach 的版别实际上,这些歹意安排的技能水平和运营手法,决议了他们在得知自己现已进入公众视界之后所作出的反响。 有些歹意安排会直接抛弃他们的歹意活动,并进入...