Python高档爬虫(四):动态加载页面的解决方案与爬虫署理

访客5年前黑客工具1257

假如读者读过我前面的关于爬虫的文章,应该大约都清楚咱们现在能够对一个静态的web页面”随心所欲“了,可是技能的开展总是没有止境的,仅仅是这样对静态页面处理远远不够,要知道现在许多的web页面有意无意为了避免静态爬虫运用ajax技能动态加载页面,这就导致了在面临这些网站的时分,咱们前面的技能并不能起到什么很好的作用,所以,我在本系列文章最初就说了会供给动态加载网页的处理计划,在这篇文章里,笔者就在这儿提出这个处理计划,用来处理曾经咱们没有办法的问题。
0×01 动态页面处理计划Selenium+Phantom ***
Python2(或Python3)      本文运用Python2.7.11
Selenium                            自动化web测验处理计划
Phantom ***                          一个没有图形界面的浏览器
0×02 原理回忆比照

评论:讲selenium自动化测验技能运用于爬虫数据发掘,其实我也是阅历了一段时刻的考虑,有一些根底的朋友们可能会知道,BeautifulSoup这种彻底根据静态的web页面剖析是没有办法履行 *** 的,可是咱们在运用web的进程中,根本不行能不用到 *** 脚本,其时我就想寻觅一个 *** 引擎整合BeautifulSoup,然后计划运用Spidermonkey这个技能,假如需求这么做的话,咱们会发现,咱们不只要用BeautifulSoup爬取页面的方针元素,并且还要考虑爬取 *** 脚本,在履行这些js脚本后,咱们还需求再次剖析这些脚本回来的数据或许是对HTML页面发生的影响,我觉得这样加大了太多的不确定要素,咱们不想花太多的时刻放在脚本编写上,已然选用Python,就要发挥它的巨大Pythonic的优势。然后还有一个处理计划便是Ghost.py,github主页。我想或许咱们经过这个计划介绍的不只仅是爬虫,也可能是一个新世界的大门,所以我仍是挑选selenium吧,web自动化测验的一整套处理计划。
其实咱们从BeautifulSoup的处理计划过度到selenium的计划便是一个思想上的“让步“的进程,从直接HTML解析->剖析 *** ->webkit->干脆直接用headless浏览器来操作web页面的selenium。
所以也便是说,咱们接下来要评论的selenium用于爬虫和曾经学习的静态页面处理有着实质的差异,能够以为对咱们来说是一个全新的技能。
0×03 Quick Start
在这儿咱们首要能够很负责任的说,经过以下的比如并不会让读者彻底把握selenium的运用,可是经过着手,咱们能够了解到selenium对错常好用并且并不输于BeautifulSoup的(或许这两个并不是一个等级并不能比较)。可是能够说BeautifulSoup中的定位元素,在selenium中都能够做到,并且Selenium能够设置等候时刻让页面完结加载,或许设置条件让web页面加载出咱们所需求的数据然后再获取数据。
下载与装置:
首要咱们需求下载要给Phantom *** 浏览器from官网。
然后装置selenium,运用easy_install或许pip都能够很便利的装置:
1.easy_install selenium
2.pip install selenium
然后咱们的之一个方针页面http://pythonscraping.com/pages/javascript/ajaxDemo.html很简略,便是一个存在ajax的状况:页面如下:
html>
head>
title>Some JavaScript-loaded contenttitle>
script src="../js/jquery-2.1.1.min.js">script>
 
head>
body>
div id="content">
This is some content that will appear on the page while it's loading. You don't care about scraping this.
div>
 
script>
$.ajax({
    type: "GET",
    url: "loadedContent.php",
    success: function(response){
 
        setTimeout(function() {
            $('#content').html(response);
        }, 2000);
    }
  });
 
function ajax_delay(str){
 setTimeout("str",2000);
}
script>
body>
html>
咱们简略看到这个web页面是运用ajax动态加载数据,GET恳求LoadedContent.php然后把成果直接显现在content里。关于这样的办法咱们并不需求太深化了解,总归咱们只需求知道咱们假如运用传统的办法获取,得到的便是上面的静态html而没有loadedContent.php中的内容。
作为selenium的爬虫运用quickstart,咱们没必要太深化解说原理,咱们需求把Phantom *** 和python脚本放在同一个文件夹下,树立selenium_test.py文件夹

然后输入selenium_test.py中的内容:
#引进selenium中的webdriver
from selenium import webdriver
import time
#webdriver中的Phantom *** 办法能够翻开一个咱们下载的静默浏览器。
#输入executable_path为当时文件夹下的phantomjs.exe以发动浏览器
driver =webdriver.Phantom *** (executable_path="phantomjs.exe")
 
#运用浏览器恳求页面
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")
#加载3秒,等候一切数据加载结束
time.sleep(3)

[1] [2]  黑客接单网

相关文章

微信申诉失败怎么回事,赌博输了找黑客,黑客找电话号码

该安排在进犯成功后会经过长途操控强行阻挠用户操作游戏,并直接将用户的虚伪工业、游戏配备进行买卖转给盗号者帐号。 别的该安排一向与安全厂商进行继续的对立,从静态查杀、动态检测到网络不同层面进行逃避和对立...

来个真正接单的黑客,找黑客帮忙查微信内容,找黑客取出网赌赢的钱

Office类型的缝隙运用(CVE-2014-4114)–>邮件–>下载歹意组件BlackEnergy侵入职工电力工作体系–>BlackEnergy持续下载歹意组件(KillDisk...

网单论坛,暗网找国外的黑客靠谱吗,在哪里找专业的黑客6

Level 11 → Level 12默许数据库地址!0×02安全缝隙:假如你正在阅览这篇文章,而且你是一个软件开发人员,那么你或许会在本地运转一些服务,例如Redis、Memcached和Elast...

赌博输的钱能要回来吗

可以发现0x9d3f8 > 0x31880 ,验证也确实还在结构体中。 如果没问题,就使用gdb attach主进程(root权限的那个进程),然后断点下在make_child,然后执行apac...

黑客接单qq群_怎么着找黑客-网上玩彩票输的钱找黑客能要回吗

「黑客接单qq群_怎么着找黑客-网上玩彩票输的钱找黑客能要回吗」咱们测验重置暗码,找回暗码等功能,许多时分通讯运用HTTPS加密的,如下设置可进行HTTPS抓包:今日军训,然后晚上有时间看一瞬间站,成...

谈谈对 Web 安全的了解

作为一个前端 er,把握必要的网络安全常识是必要,下面我整理了几种常见的网络进犯办法及防护技巧,本文内容来自网络,仅供参考。 一、CSRF 进犯 CSRF(Cross-site request fo...