selenium破解动态请求,自动爬取百度文库的PPT!

作者:jcmp      发布时间:2021-04-15      浏览量:0
这次,我们来爬取百度文库的VIP才能下载

这次,我们来爬取百度文库的VIP才能下载的PPT文档。我们学爬虫的时候,最让我们头疼的可能就是动态请求了,因为不破解里面的接口,我们就没有办法拿到我们想要的数据。

破解接口确实是有很大的难度,对于初学者甚至是滋生爬虫工程师都是很有难度的,毕竟我们爬虫是与人在对抗而不是真的和机器相爱相杀。

所以,今天我们用selenium直接获取到动态渲染后的参数来下载我们想要的数据。

一、爬取前的准备

python库

selenium原理介绍

它可以把渲染之后的前端页面返回给我们,这样我们就能够拿到我们想要的数据了。

二、实现思路

首先,我们要引入chrome自动化驱动器,然后加载这个网页。

百度文库页面分析

从这个页面中,我们发现,其他都很正常,但是呢,这个页面有一个反扒措施,就是有一个“还剩xx页未读,继续阅读”这个字段,其实,这个就是我们这次遇到的最大的反爬。

在解决这个反爬问题之前,我们先分析一下最先出来的那几张PPT,选择我们爬取它的方法。

三、分析前端页面

1.一开始就展现出来的页面分析

我们发现,在前三个显示出来的ppt是以图片的形式,而且,图片的url已经暴露在了页面中,并且,存储在前端中的格式是完全相同的,非常的理想。

2.隐藏页面的分析

现在,我们点击继续阅读,看看之后的图片是不是也是这么储存的。

我们发现,接下来隐藏的页面中,图片的url存储方式并没有发生什么大变化,无非解释外面又套了一层div,并且div的class属性,仅仅只在reader-pageNo-<页数>,发生了变化。

到此,我们前端就分析完了。总结如下:

3.思路

那我们先用selenium,渲染出隐藏后的前端页面,然后将渲染后的页面传入lxml中的etree中去解析,再通过xpath把url再匹配出来,通过request.get()来下载图片,最后通过上下文处理器传入文件中保存。

这样,我们的PPT爬取就实现了。

4.开始实现

在分析完了前端页面后,我们可以开始实现爬取了。

代码

5.代码解释

1)input阻断

根据刚刚讲的原理,我们放个input阻断程序运行,然后我们手动点击继续阅读,然后回到程序中按回车继续进行程序。

2)sleep函数

这个函数是用来模拟的第一步。因为在读取的过程中,页面的加载也是需要时间的,所以我们需要有等待的时间。

3)模拟滑动

这个代码,大家只需要用的时候复制就好了,其中,535这个就是一个参数,在实验中,发现535这个参数配合上range()使用,能够实现每次都加载一个到两个页面。

大家可能对range里面的参数感到好奇,这个我也解释一下。这个参数,就是剩下的页数,比如在点击继续阅读后,还剩31个PPT,那么range的最后就填31。这个是根据你想要的PPT的页数来的。

sleep是要等待滑动后,页面加载出来。这样我们才能匹配到图片的url。

4)图片url匹配

首先,一开始展现出来的图片我们就直接用xpath匹配了,我们来看看隐藏的url匹配。

在第二个for循环中,range里面的参数,就是接下来显示的,和最后一个图片的url所对应的数字。

在all_ppt_div后面,我们看reader-pageNo-%s,其中,%s就是用来传数字的,因为刚刚我们分析出来,div中class的变化和PPT的页数是一致的,所以通过这个方法传进去。

然后再将url存进列表中。

5)文件存储

这个就是文件操作,存入当前目录。其中,content就是文件的二进制形式。

四、总结

到此,百度文库PPT的爬取就结束啦。大家可以用这个代码和思想爬取绝大多数的百度文库ppt,因为前端的框架是基本不会变的,所以每个PPT中图片url在前端的存储格式也是一样的,我们要改的也只是程序中的部分参数就可以了。