积分商城

最新搜索： PL2303 altium Designer 20 电路设计与仿真从入门到精通 常用LOGO标识 microBUCK 入门教程 canopen
您现在的位置是：首页 > 技术资料 > 基于Python的关于Flickr图片网站的爬虫
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的关于Flickr图片网站的爬虫

更新时间：2019-12-21 10:57:20 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python网络爬虫 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

如今的互联网已然进入大数据时代,网络上有数以百计的图片,图片网络爬虫可以通过既定的规则自动地抓取互联网上的图片并下载至本地存储,通过对国内外各大图片网站的调查研究,决定以国外网站Flickr为对象通过Python程序设计语言来实现获取高质量的,准确的,完整的图片和信息.最终成功实现了对Flickr网站上的图片按照检索的字段,批量爬取图片信息并下载图片的程序.


部分文件列表

文件名 大小
基于Python的关于Flickr图片网站的爬虫.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
中小企业管理与科技  
Management&TechnologyofSMꢀ  
基于 Python 的关于 Flickr 图片网站的爬虫  
The Web Crawler of Flickr Photo Website Based on Python  
1 1 2 1  
王金峰 ，李世良 ，王明 ，罗星宇 ，张雪玉  
1
（1.防灾科技学院 信息工程学院，河北 三河 065201，2.河北女子职业技术学院，石家庄 050091）  
1
1
2
1
1
WANG Jin-feng , LI Shi-liang , WANG Ming , LUO Xing-yu , ZHANG Xue-yu  
(1.SchoolofInformationEngineering,InstituteofDisasterPrevention,Sanhe065201,China；  
2.HebeiWomen'sVocationalCollege,Shijiazhuang050091,China)  
【摘 要】  
如今的互联网已然进入大数据时代，网络上有数以百计的图片，图片网络爬虫可以通过既定的规则自动地抓取互联网上的  
图片并下载至本地存储，通过对国内外各大图片网站的调查研究，决定以国外网站 Flickr 为对象通过 Python 程序设计语言来实现获  
取高质量的，准确的，完整的图片和信息。最终成功实现了对 Flickr 网站上的图片按照检索的字段，批量爬取图片信息并下载图片的  
程序。  
【
】
Abstract Today'sInternethasenteredtheeraofbigdata. Therearehundredsofpictureson the internet, picture web crawlerscan automatically  
capture pictures on the internet and download them to local storage through established rules.Through the investigation and research of the major  
photo websitesat home and abroad, we decided to take Flickr, which ia a foreign website, as the object of studyto obtain high quality, accurate and  
complete pictures and information through Python programming language. Finally, we successfully realize the program of crawling picture  
informationanddownloadingpictureinbatchesaccordingtothesearchfieldofthepictureonFlickrwebsite.  
【关键词】  
Python；网络爬虫；Flickr；多线程；图片  
【
】
Keywords Python；webcrawler；Flickr；multithreading；picture  
【中图分类号】X87 【文献标志码】A  
【文章编号】1673-1069（2019）01-0182-02  
2.2 Flickr API  
1 引言  
Flickr 是雅虎旗下的图片分享网站，上面有全世界网友分  
享的大量精彩图片，被认为是专业的图片网站。  
随着大数据时代的到来，大数据具有数据体量巨大  
(Volume) 、数据类型繁多 (Variety) 、价值密度低 ꢀValue) 、处理  
[1] [2]  
速度快 ꢀVelocity) 的特点 。面对人们越来越多样的需求 ，可  
3 爬虫系统工作  
[3]  
以根据自己的实际需求, 继续修改程序来达到自己的要求 。  
系统分为两部分：第一部分即调用 Flickr API 获取图片等  
数据，第二部分即根据数据库中的图片 Url 下载图。获取图片  
信息的流程图如图 1 所示,下载的流程图如图 2 所示。  
3.1 调用 API 获取信息  
程序按照一个检索词列表进行批量爬取，并把图片信息存入  
数据库中。本文提供了一个通过 Python 调用 Flickr API 实现  
通过关键字检索获取图片信息并批量下载的程序。  
Flickr 网站上的每张图片都有一个唯一标识的 ID，如果  
想要知道图片的信息首先就是要获取图片在 Flickr 上的 ID，  
再通过调用 Flickr 的多种方法来获取图片的不同信息。Flickr  
2 相关技术  
2.1 Python  
Python 是一种计算机程序设计语言，是一种动态的、面向  
对象的脚本语言。Python 语言的一大优势就是其语法简洁清晰,  
[4]  
API 库有很多方法可以调用，可以获取不同的图片数据 。但是  
使用前提都是需要有 Flickr API 的密钥，参考代码如下：  
Flickr=flickrapi.FlickrAPI ꢀAPI_KEY,API_SECRET,cache=  
True)  
[5]  
并具有丰富和强大的类库 ，这为程序的编写提供了极大的便  
[6]  
利使得数据抓取工作变得生动有趣 ,从而简化了程序。  
【基金项目】项目名称：达内工程教学课程体系研究以及经验借鉴，  
程序主要通过关键词来进行检索相应的图片，tags 和 text  
就是对应输入相应的关键词参数，extras 为要求返回不同大小  
图片的 Url。参考代码如下：  
项目编号：JY2018B22。  
【作者简介】王金峰(1987- )，男，河北邯郸人，讲师，从事大数据、深  
度学习研究。  
photos  
= flickr.photos.search (extras ='url_c',per_page =5, text =keyword,  
【通讯作者】李世良（1997-），男，四川绵阳人，从事 Python 爬虫设  
tag_mode='all',content_type=7,tags=keyword, sort='relevance')  
计，网页前端页面设计研究。  
通过 photos.search 方法就可以获得检索图片的 Json 列  
182  
新技术应用与实践  
ApplicationꢀndPraꢁtiꢁeof NewTeꢁhnoꢂogy  
ꢁxꢈꢁpt:  
Rꢁalnam = "Nonꢁ"  
开始  
开始  
获取检索字段列表  
获取 URL 列表  
3.2 图片的下载  
获取返回的图片列  
表数据  
图片的下载是根据之前获取的图片的 url 借助 rꢁquꢁst 库  
根据检索关键  
词创建文件夹  
解析图片的 url，id，  
ꢏwnꢁr，titlꢁ 等信息  
来进行下载的。图片保存的格式是按照检索的字段为文件夹，  
否
否
文件夹里包含下载的图片。参考代码如下：  
dꢁf ꢐownloadPiꢈ(PꢀotoUrl,namꢁ,Guidꢊ:  
mkpatꢀ ꢑ "E:\\ꢒliꢈkrPiꢈturꢁs\\"+str(namꢁꢊ  
isExists ꢑ ꢏsꢋpatꢀꢋꢁxists(mkpatꢀꢊ  
if nꢏt isExists:  
否
根据图片 的 id，获  
取坐标，作者，拍摄  
时间等信息  
Rꢁquꢁsts 请求  
保存图片  
解析过的图片数量  
是否超过 200 张  
判断是否为 URL 列表中  
的最后一个字段  
是
ꢏsꢋmakꢁdirs(mkpatꢀꢊ  
判断是否为检索列  
表的最后一个字段  
r ꢑ rꢁquꢁstsꢋgꢁt(PꢀꢏtꢏUrl,timꢁꢏutꢑꢇꢊ  
patꢀ ꢑ"E:\\ꢒliꢈkrPiꢈturꢁs\\"+str(namꢁꢊ+"\\"+str(Guidꢊ+'ꢋjpg'  
witꢀ ꢏpꢁn(patꢀ,'wb'ꢊ as f:  
是
结束  
结束  
图
图
2
1
fꢋwritꢁ(rꢋꢈꢏntꢁntꢊ  
表，再对图片列表逐个分析通过调用 photo.get()获得关键的数  
据即图片 url 和图片在 Flickr 网站上的 id，  
在图片的下载时将采用多线程下载借助 tꢀrꢁadpꢏꢏl 库实  
现，参考代码如下：  
返回的 Json 列表：  
pꢏꢏl ꢑ tꢀrꢁadpꢏꢏlꢋTꢀrꢁadPꢏꢏl(10ꢊ  
tasks ꢑ tꢀrꢁadpꢏꢏlꢋmakꢁRꢁquꢁsts(Main, urlꢊ  
ꢎpꢏꢏlꢋputRꢁquꢁst(taskꢊ fꢏr task in tasks]  
pꢏꢏlꢋwait(ꢊ  
{ "pꢀotos": { "pagꢁ": 1, "pagꢁs": 3, "pꢁrpꢂgꢁ": 100, "totꢂl": "9", "pꢀoto": [  
{
"id": "4316ꢃ2ꢄ5ꢄ80", "ownꢁr"ꢅ "11ꢆ7607ꢇꢇ@N07", "sꢁꢈrꢁt"ꢅ "  
6ꢈ40bꢉa80a", "sꢁrvꢁr"ꢅ "1ꢆꢇ1", "farm"ꢅ 2, "titlꢁ"ꢅ "Harztropfꢁn * Rꢁsin drops *  
Gotas dꢁ rꢁsina * Silbꢁr -Akaziꢁ (Aꢈaꢈia dꢁalbataꢊ * ꢋ _DSCꢇ690 -001", "  
ispubliꢈ"ꢅ 1, "isfriꢁnd"ꢅ 0, "isfamily"ꢅ 0 }, "stat"ꢅ "ok" }  
4 结语  
如果想要获取图片的其他数据可以根据获取到的图片 id  
通过调用其他的方法并解析返回的 ꢌson 数据来进行获取。方  
本文的爬虫通过调用 ꢒliꢈkr ꢓPI 和 Pytꢀꢏn 丰富的第三库  
实现了对 ꢒliꢈkr 网站上的图片和图片信息进行批量爬取的程  
序，为一些追求高质量的，准确的，想要获取图片相关信息数  
据的研究者提供了一种方案。通过充分利用 Pytꢀꢏn 语言的特  
点结合 ꢒliꢈkr ꢓPI，能够方便快捷地获取大量的图片和图片相  
关信息，并将获取到的图片自动存储到本地,为后续的机器学  
习、人工智能奠定了数据基础。  
法调用参考代码如下：  
pꢀotos = fliꢈkrꢋpꢀotosꢋgꢁtExifꢍpꢀoto_id = PiꢈIdꢊ  
Dꢁtails = fliꢈkrꢋpꢀotosꢋgꢁtInfo(pꢀoto_id = PiꢈIdꢊ  
data = jsonꢋloads(Dꢁtailsꢊ  
data1 = jsonꢋloads(pꢀotosꢊ  
try:  
Piꢈꢌson = dataꢎ'pꢀoto']  
ꢁxꢈꢁpt:  
【参考文献】  
【1】夏火松,李保国ꢋ 基于 Pytꢀꢏn 的动态网页评价爬虫算法ꢎꢌ]ꢋ软件工  
程,2016,19(02ꢊ:43-46ꢋ  
【2】贾棋然ꢋ 基于 Pytꢀꢏn 专用型网络爬虫的设计及实现ꢎꢌ]ꢋ电脑知识与  
技术,201ꢉ,13(12ꢊ: 4ꢉ-49ꢋ  
【3】刘洪志ꢋ 利用 Pytꢀꢏn 批量获取互联网中的桌面壁纸ꢎꢌ]ꢋ电脑编程技  
巧与维护, 2014 (21ꢊ :ꢇ6-ꢇꢔ+ꢉ4ꢋ  
【4】齐亚莉,张磊ꢋ 基于 Pytꢀꢏn 的图像搜索系统的设计与实现ꢎꢌ]ꢋ北京印  
刷学院学报, 2010,1ꢔ(02ꢊ:4ꢔ-ꢇ1ꢋ  
【5】云洋ꢋ 基于 Pytꢀꢏn 的图片爬虫程序设计ꢎꢌ]ꢋ电子技术与软件工程,  
201ꢔ(1ꢉꢊ:241-242+244ꢋ  
【6】熊畅ꢋ 基于 Pytꢀꢏn 爬虫技术的网页数据抓取与分析研究ꢎꢌ]ꢋ数字技  
术与应用，201ꢉ(09ꢊ:3ꢇ-36ꢋ  
Piꢈꢌsꢏn = "Nonꢁ"  
PiꢈꢌsonDa = str(Piꢈꢌsonꢊ  
PiꢈꢌsonData = filtꢁr_ꢁmoji(PiꢈꢌsonDaꢊ  
try:  
Loꢈatio = dataꢎ'pꢀoto']ꢎ'ownꢁr']ꢎ'loꢈation']  
ꢁxꢈꢁpt:  
Loꢈatio = "Nonꢁ"  
Loꢈation = Loꢈatioꢋrꢁplaꢈꢁ("'",""ꢊ  
if Loꢈation =="":  
Loꢈation = "Nonꢁ"  
try:  
Rꢁalnam = dataꢎ'pꢀoto']ꢎ'ownꢁr']ꢎ'rꢁalnamꢁ']  
183  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号