您现在的位置是：首页 > 技术资料 > 基于Python的反反爬虫技术分析与应用

推荐星级：

基于Python的反反爬虫技术分析与应用

更新时间：2019-12-24 09:20:40 大小：2M 上传用户：songhuahua 查看TA发布的资源 标签：python 大数据数据分析 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

爬虫软件是现今互联网环境下,高效准确地获取数据的重要方式之一。针对传统的初级爬虫技术易于被目标网站拦截访问的问题,简述爬虫的工作原理和方式,讨论爬虫、反爬虫与反反爬虫之间的相互关系。分析应对目标网站的反反爬虫机制,包括伪装用户代理,设置IP地址代理、使用自动化测试工具调用浏览器等技术要点,并分析了基于Python语言中Requests库,构建了对网页的多种请求方式和数据获取方法的解决方案。结合反反爬虫机制与数据分析技术,以哔哩哔哩视频网为案例,分析其网页基本结构与调用的应用程序接口,使用Python与Requests库抓取网站所有视频的相关数据。数据清洗后分析播放量最高视频的相关信息,并将结论以数据可视化的方式呈现,实现对数据的获取、挖掘与分析。

部分文件列表

文件名	大小
基于Python的反反爬虫技术分析与应用.pdf	2M

立即下载

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

Ｖｏｌ．８Ｎｏ．４

Ａｕｇ．２０１８

第８卷ꢀ 第４期

２０１８年８月

智ꢀ 能ꢀ 计ꢀ 算ꢀ 机ꢀ 与ꢀ 应ꢀ 用

ꢀ

ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ

ꢀ

ꢀ ꢀ ꢀ ꢀ ꢀ

－

文章编号：２０９５２１６３（２０１８）０４０１１２０４

中图分类号：ＴＰ３１９

文献标志码：Ａ

基于Ｐｙｔｈｏｎ的反反爬虫技术分析与应用

余豪士，匡芳君

（温州商学院信息工程学院，浙江温州３２５０３５）

摘ꢀ 要：爬虫软件是现今互联网环境下，高效准确地获取数据的重要方式之一。针对传统的初级爬虫技术易于被目标网站拦截访问的问题，

简述爬虫的工作原理和方式，讨论爬虫、反爬虫与反反爬虫之间的相互关系。分析应对目标网站的反反爬虫机制，包括伪装用户代理，设置ＩＰ

地址代理、使用自动化测试工具调用浏览器等技术要点，并分析了基于Ｐｙｔｈｏｎ语言中Ｒｅｑｕｅｓｔｓ库，构建了对网页的多种请求方式和数据获取方

法的解决方案。结合反反爬虫机制与数据分析技术，以哔哩哔哩视频网为案例，分析其网页基本结构与调用的应用程序接口，使用Ｐｙｔｈｏｎ与

Ｒｅｑｕｅｓｔｓ库抓取网站所有视频的相关数据。数据清洗后分析播放量最高视频的相关信息，并将结论以数据可视化的方式呈现，实现对数据的

获取、挖掘与分析。

关键词：网络爬虫；反爬虫；反反爬虫；大数据；数据分析

－

ＣｒａｗｌｅｒａｎｄａｎｔｉａｎｔｉｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎＰｙｔｈｏｎ

ＹＵＨａｏｓｈｉ，ＫＵＡＮＧＦａｎｇｊｕｎ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＷｅｎｚｈｏｕＢｕｓｉｎｅｓｓＣｏｌｌｅｇｅ，ＷｅｎｚｈｏｕＺｈｅｎｇｊｉａｎｇ３２５０３５，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＣｒａｗｌｅｒｓｏｆｔｗａｒｅｉｓｏｎｅｏｆｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔｗａｙｓｔｏｏｂｔａｉｎｄａｔａｅｆｆｅｃｔｉｖｅｌｙａｎｄａｃｃｕｒａｔｅｌｙｉｎｔｈｅｃｕｒｒｅｎｔＩｎｔｅｒｎｅｔ

ｅｎｖｉｒｏｎｍｅｎｔ．Ｉｎｖｉｅｗｏｆｔｈｅｔｒａｄｉｔｉｏｎａｌｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙｗｈｉｃｈｉｓｐｒｏｎｅｔｏｂｅｉｎｔｅｒｃｅｐｔｅｄｂｙｔａｒｇｅｔｗｅｂｓｉｔｅ，ｔｈｅｐａｐｅｒｅｘｐｌａｉｎｓｈｏｗ

－

ｔｈｅｃｒａｗｌｅｒａｐｐｅａｒｓｔｏｗｏｒｋ，ｄｉｓｃｕｓｓｅｓａｂｏｕｔｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｃｒａｗｌｅｒ，ａｎｔｉｃｒａｗｌｅｒａｎｄａｎｔｉａｎｔｉｃｒａｗｌｅｒ，ａｎｄａｎａｌｙｚｅｓｔｈｅ

－

ｍｅｃｈａｎｉｓｍｏｆａｎｔｉａｎｔｉｃｒａｗｌｅｒｆｏｒｔｈｅｔａｒｇｅｔｗｅｂｓｉｔｅ，ｉｎｃｌｕｄｉｎｇｆａｋｅｕｓｅｒａｇｅｎｔｓ，ｓｅｔｔｉｎｇＩＰｐｒｏｘｙａｄｄｒｅｓｓ，ｃａｌｌｉｎｇｂｒｏｗｓｅｒｕｓｉｎｇ

ａｕｔｏｍａｔｅｄｔｅｓｔｉｎｇｔｏｏｌｓ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｍｕｌｔｉｐｌｅｒｅｑｕｅｓｔｓａｎｄｄａｔａａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄｓｆｏｒｗｅｂｐａｇｅｓａｒｅｂｕｉｌｔｂａｓｅｄｏｎＲｅｑｕｅｓｔｓ

－

ＬｉｂｒａｒｙｉｎＰｙｔｈｏｎｌａｎｇｕａｇｅａｎｄｉｔｓｓｏｌｕｔｉｏｎｉｓａｎａｌｙｚｅｄ．Ｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｍｅｃｈａｎｉｓｍｏｆａｎｔｉａｎｔｉｃｒａｗｌｅｒａｎｄｄａｔａａｎａｌｙｓｉｓ

ｔｅｃｈｎｏｌｏｇｙ，ｔｈｅｐａｐｅｒｔａｋｅｓｔｈｅＢｉｌｉｂｉｌｉｗｅｂｓｉｔｅａｓａｃａｓｅ，ａｎａｌｙｚｉｎｇｉｔｓｂａｓｉｃｓｔｒｕｃｔｕｒｅ，ａｓｗｅｌｌａｓｉｔｓＡＰＩｃａｌｌｅｄ．Ｏｎｔｈｅｏｎｅｓｉｄｅ，ａｌｌ

ｒｅｌｅｖａｎｔｄａｔａｏｆｖｉｄｅｏｏｎｔｈｅＢｉｌｉｂｉｌｉｗｅｂｓｉｔｅｉｓｃａｐｔｕｒｅｄｕｓｉｎｇＰｙｔｈｏｎａｎｄＲｅｑｕｅｓｔｓＬｉｂｒａｒｙａｎｄｔｈｅｒｅｌａｔｅｄｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｖｉｄｅｏ，

ｉｎｗｈｉｃｈｔｈｅｈｉｇｈｅｓｔｃｌｉｃｋｒａｔｅｉｓａｎａｌｙｚｅｄａｆｔｅｒｄａｔａｃｌｅａｎｉｎｇ．Ｏｎｔｈｅｏｔｈｅｒｓｉｄｅ，ｔｈｅｃｏｎｃｌｕｓｉｏｎｉｓｐｒｅｓｅｎｔｅｄｉｎｔｈｅｗａｙｏｆｄａｔａ

ｖｉｓｕａｌｉｚａｔｉｏｎ，ａｎｄｔｈｅｄａｔａａｃｑｕｉｓｉｔｉｏｎ，ｍｉｎｉｎｇａｎｄａｎａｌｙｓｉｓａｒｅａｌｓｏｒｅａｌｉｚｅｄ．

－

Ｋｅｙｗｏｒｄｓ：Ｗｅｂｃｒａｗｌｅｒ；ａｎｔｉｃｒａｗｌｅｒ；ａｎｔｉａｎｔｉｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙ；ｂｉｇｄａｔａ；ｄａｔａａｎａｌｙｓｉｓ

止爬虫脚本妨碍本网站的正常运营，对正常用户的

引言

访问造成了负面影响。

大数据时代下的数据来源和获取尤为重要^［１］

，

１ꢀ 反反爬虫概述

爬虫技术作为一项获取数据的工具而被广泛应用。

已超过６０％的互联网流量来自爬虫（Ｓｐｉｄｅｒ），各大

搜索引擎门户网站以及新闻网站的文章都与爬虫息

息相关。爬虫技术已成为当今的研究热点，目标网

站对爬虫软件所做的各方面防范，给出了不同的拦

截方式^［２］。开发者与开发者之间通过爬虫、反爬

虫、反反爬虫技术进行较量，一方面开发者想通过爬

虫脚本获取数据，另一方面开发者又想拦截爬虫，防

１．１ꢀ 反反爬虫技术

爬虫软件是一种模拟浏览器的行为，是从指定

网站抓取和保存网络数据的应用软件。爬虫软件提

取出存在于网页上的数据，并以结构化的方式存储。

主要活动于计算机网络通信模型中的传输层与应用

层。传输层使用ＴＣＰ／ＩＰ协议与目标Ｗｅｂ服务器进

行数据传输；应用层使用ＨＴＴＰ或ＨＴＴＰＳ协议与目

基金项目：国家自然科学基金（６１４０２２２７）。

－

作者简介：余豪士（１９９７），男，本科生，ＣＣＦ会员（９０２９８Ｇ），主要研究方向：数据分析、前后端开发；匡芳君（１９７６），女，博士，教授，ＣＣＦ会员

（１４００５Ｇ），主要研究方向：群智能与多目标优化、模式识别、信息安全等。

通讯作者：匡芳君ꢀ

ꢀ Ｅｍａｉｌ：ｋｆｊｚｔｂ＠１２６．ｃｏｍ

－

收稿日期：２０１８０５１１

第４期

余豪士，等：基于Ｐｙｔｈｏｎ的反反爬虫技术分析与应用

１１３

标Ｗｅｂ服务器通信^［３］

。

本时需要设置ＩＰ代理池。在多进程下，多个进程间

使用不同的ＩＰ代理访问目标网站，绕过站点服务器

ＩＰ地址字段的检测，加快爬取数据的效率。例如：

由于传统的初级爬虫不使用任何隐藏伪装手

段，在对站点发送大量请求时，会加重目标Ｗｅｂ服

务器的负担，且容易被服务器侦测。在大中型网站

中，开发者会针对传统的初级爬虫制定一系列的反

爬机制，如针对爬虫软件所处终端进行ＩＰ限制；针

对请求报文中Ｈｅａｄｅｒ属性拦截爬虫软件；通过分析

网站流量和日志统计分析过滤爬虫。爬虫开发者针

对反爬虫机制，开发了一套反反爬虫机制，在爬取数

据的过程中防止被目标站点拦截，开发者需最大限

度地将爬虫模拟成真人行为，获取真实可靠的数据。

初级爬虫、反爬虫、反反爬虫的关系如图１所示。

＝

ｐｒｏｘｉｅｓ

｛＇ｈｔｔｐ＇：＇ＸＸ．ＸＸ．ＸＸ．ＸＸ：ＸＸＸＸ＇，

＇ｈｔｔｐｓ＇：＇ＸＸ．ＸＸ．ＸＸ．ＸＸ：ＸＸＸＸ＇｝

＝

ｒｅｑｕｅｓｔｓ．ｇｅｔ（ｕｒｌ，ｐｒｏｘｉｅｓｐｒｏｘｉｅｓ）．ｔｅｘｔ

ｄａｔａ

１．２．４ꢀ 使用自动化测试工具Ｓｅｌｅｎｉｕｍ

Ｓｅｌｅｎｉｕｍ是一个用于ＷＥＢ开发自动化测试的

软件，其本身用于从用户角度使用终端测试Ｗｅｂ应

用，加载浏览器驱动对网页进行操作。爬虫开发者

使用Ｓｅｌｅｎｉｕｍ，并设置适应的浏览器，例如Ｃｈｏｍｅ

Ｄｒｉｖｅｒ或无头浏览器ＰｈａｎｔｏｍＪＳ，最大限度模拟真人

行为。应用代码如下：

爬虫开发者无法获取数

对网站造成影响，

反反

初级

爬虫

反爬

据，针对反爬虫机制编

写高级爬虫

网站开发者设置

拦截机制

爬虫

ｆｒｏｍｓｅｌｅｎｉｕｍｉｍｐｏｒｔｗｅｂｄｒｉｖｅｒ

虫

＝

ｄｒｉｖｅｒ

ｗｅｂｄｒｉｖｅｒ．Ｃｈｒｏｍｅ（）

图１ꢀ 爬虫、反爬虫、反反爬虫关系

－

１．２．５ꢀ 访问移动端站点

Ｆｉｇ．１ꢀ Ｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｃｒａｗｌｅｒ，ａｎｔｉｃｒａｗｌｅｒａｎｄａｎｔｉ

－

ａｎｔｉｃｒａｗｌｅｒ

网站根据终端浏览器的用户代理相应不同的页

面，其中终端分为移动端和ＰＣ端。移动端站点地

址通常以ＷＡＰ开头，且对爬虫软件的限制不如ＰＣ

端强。如果目标站点有移动端页面且数据可抓性

１．２ꢀ 反反爬虫策略

１．２．１ꢀ 降低访问频率

对目标站点连续访问不同网页，如果不限制爬

虫的请求频率，爬虫的效率只会受到所处终端的处

理能力和带宽的限制，因此爬虫的访问频率会非常

高。通过增加线程的休眠时间，降低访问频率，实现

模仿人为浏览的行为。具体代码如下：

ｉｍｐｏｒｔｔｉｍｅ

－

高，可以对移动端页面进行抓取^［５

。

６］

２ꢀ 基于Ｒｅｑｕｅｓｔｓ库编写爬虫

Ｐｙｔｈｏｎ中的第三方ＨＴＴＰ库、Ｒｅｑｕｅｓｔｓ库被爬虫

开发者广泛应用。Ｒｅｑｕｅｓｔｓ集成了定制请求头、发送

请求、传递ＵＲＬ参数、获取相应内容等多种函数^［７］

。

ｔｉｍｅ．ｓｌｅｅｐ（０．５）

１．２．２ꢀ 伪装用户代理

２．１ꢀ 发送请求

－

用户代理（ＵｓｅｒＡｇｅｎｔ）是一种代表用户行为的

在发送请求上，Ｒｅｑｕｅｓｔｓ集成了多种请求方式，

例如最普遍的ｇｅｔ和ｐｏｓｔ请求，还有其他ＨＴＴＰ协议

中的请求类型。具体实现过程如下：

属性，用于发送ＨＴＴＰ请求描述用户系统和浏览器

－

信息。站点服务器通过获取报文中的ＵｓｅｒＡｇｅｎｔ

属性，给不同操作系统与浏览器发送不同页面。通

常爬虫软件在请求数据时不会携带此属性字段，目

标站点也因此可侦测与进行拦截。所以，爬虫脚本

＝

ｒｅｓｐｏｎｓｅｒｅｑｕｅｓｔｓ．ｇｅｔ（＇ｈｔｔｐｓ：／／ｈｔｔｐｂｉｎ．ｏｒｇ／ｇｅｔ＇）

＝

ｒｅｓｐｏｎｓｅ

ｄｅｌｅｔｅ＂）

ｒｅｓｐｏｎｓｅ

ｏｒｇ／ｇｅｔ＂）

ｒｅｑｕｅｓｔｓ．ｄｅｌｅｔｅ（＂ｈｔｔｐ：／／ｈｔｔｐｂｉｎ．ｏｒｇ／

ｒｅｑｕｅｓｔｓ．ｏｐｔｉｏｎｓ（＂ｈｔｔｐ：／／ｈｔｔｐｂｉｎ．

－

在请求时需在头部加入类似浏览器的ＵｓｅｒＡｇｅｎｔ

＝

属性^［４］。例如：

＝

－

｛＇ＵｓｅｒＡｇｅｎｔ＇：＇ＷｉｎｄｏｗｓＮＴ１０．０；

ｈｅａｄｅｒｓ

２．２ꢀ 传递ＵＲＬ参数

Ｗｉｎ６４；ｘ６４）ＡｐｐｌｅＷｅｂＫｉｔ／５３７．３６（ＫＨＴＭＬ，ｌｉｋｅ

Ｇｅｃｋｏ）Ｃｈｒｏｍｅ／５９．０．３０７１．１１５Ｓａｆａｒｉ／５３７．３６＇｝

在浏览器地址输入栏，输入目标网址的地址后，

可输入以键值对形成的参数，最终形成一个完整的

ＵＲＬ地址跳转至目标网页。同理在Ｒｅｑｕｅｓｔｓ库也

有此功能，以字典的形式构建。实现过程如下：

＝

ｒｅｑｕｅｓｔｓ．ｇｅｔ（ｕｒｌ，ｈｅａｄｅｒｓｈｅａｄｅｒｓ）．ｔｅｘｔ

ｄａｔａ

１．２．３ꢀ ＩＰ代理

爬虫脚本在访问请求的过程中，ＴＣＰ报文会携带

ｐａｒａｍｓ

｛＇ｋｅｙ１＇：＇ｖａｌｕｅ１＇，＇ｋｅｙ２＇：＇ｖａｌｕｅ２＇｝

＝

客户端的ＩＰ地址，站点服务器也因此可获取到客户

端的ＩＰ地址。爬虫软件访问频率过高，站点服务器

可对此ＩＰ地址进行暂时性的封禁。开发者在编写脚

ｒｅｓｐｏｎｓｅ

ｒｅｑｕｅｓｔｓ．ｇｅｔ（＇ｈｔｔｐ：／／ｙｈｓｌｉｂ．ｃｏｍ＇，

＝

ｐａｒａｍｓｐａｒａｍｓ）

若要查看构建后的完整地址，也可输出查看。

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于Python的反反爬虫技术分析与应用

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页