积分商城

最新搜索： STM32H743VGT6开发板 零起步轻松学电子技术 c++_按钮 stm32f407 ads8688例程 vc9804a 8594E
您现在的位置是：首页 > 技术资料 > 基于Python网络日志分析系统研究与实现
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python网络日志分析系统研究与实现

更新时间：2019-12-26 09:33:54 大小：1M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

研究了使用Python语言设计并实现一个简单的网络日志分析系统,最终达到优化网络访问速度、提高用户访问体验的目的.


部分文件列表

文件名 大小
基于Python网络日志分析系统研究与实现.pdf 1M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第
卷
第
期
曲
阜
师
范 大 学 学 报  
４３  
４
Ｖｏｌ．４３ Ｎｏ．４  
ꢀ
ꢀ
ꢀꢀ ꢀꢀꢀꢀ  
Ｊｏｕｒｎａｌ ｏｆ Ｑｕｆｕ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔ  
ｙ
ꢀꢀꢀꢀꢀꢀ  
年
２０１７ １０  
月
Ｏｃｔ．２０１７  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
：
／
ＤＯＩ１０．３９６９ ｉ．ｓｓｎ．１００１－５３３７．２０１７．４．０４８  
ｊ
基于  
网络日志分析系统研究与实现  
Ｐｔｈｏｎ  
ｙ
①
②
，
颜 伟  
ꢀ
李俊青  
ꢀ
（
①
；
②
， ，  
山东省曲阜市  
２７３１６５  
）
曲阜师范大学网络信息中心  
曲阜师范大学统计学院  
：
，
语言设计并实现一个简单的网络日志分析系统 最终达到优化网络访问速  
摘要  
研究了使用  
Ｐｔｈｏｎ  
ｙ
ꢀꢀ  
、
度 提高用户访问体验的目的  
．
：
；
网络日志 日志分析  
；
Ｐｔｈｏｎ  
ｙ
关键词  
：
：
Ａ
：
文章编号  
１００１５３３７２０１７０４００４８０３  
（
）
中图分类号  
文献标识码  
ＴＰ３９３．０  
ꢀꢀ  
ꢀꢀ  
－
－
－
本文主要讨论用户网络访问日志进行分析的可  
行性和分析方案 选取 进行日志分析的主要  
进行网络日志分析的必要性  
１
ꢀ
．
Ｐｔｈｏｎ  
ｙ
原因是  
作为一门健壮且优雅的变成语言进入  
Ｐｔｈｏｎ  
ｙ
，
现代网络技术发展快速 各项新技术的出现和  
， ，  
我们的视野 它作为面向对象的一门语言 既继承了  
，
提供的网络传输带宽不断增加  
更迭日新月异  
．ＩＳＰ  
，
传统编程语言的强大性和通用性 又借鉴了简单脚本  
，
作为一所大学来说 我们投入使用的网络设备的类  
， ，  
和解释语言的易用性 它语法简洁清晰 包含一组功  
、
型也在不断增多 现在网络的规模和运行复杂度越  
，
能完备的标准库 具有丰富的数据结构和功能强大的  
，
来越大 随之而来的问题就是网络管理的难度也越  
，
第三方扩展库 能够比较容易出现对文本格式的日志  
、
来越大 在规模越来越大 结构越来越复杂网络中  
．
，
，
文件的读写操作 同时借助  
功能强大的图形  
Ｐｔｈｏｎ  
ｙ
、 ， 、  
流量异常 硬件设备故障 传输效率低下 网络安全  
，
库 可以实现对数据分析结果的图形化展示  
．
性低等问题已成为网络管理工作中的常态问题 网  
．
络管理工作在大学日常管理中起到越来越重要的作  
，
用 目前已 经 引 起 大 家 的 足 够 重 视 其 中 最 重 要 一  
．
进行网络日志分析的方法  
２
ꢀ
， 、  
环 就是建立起来完善 实用且能够切实满足日常需  
要的网络管理系统  
日志数据清洗  
２．１  
ꢀ
．
当前我们已经采用了某大型的认证计费系统  
该步骤主要是排除网络日志中的非标准化数  
．
， 、 、  
该系统功能强大 兼具认证和计费 日志 设备管理  
、
，
据 比如使用  
、
ｏｈｅｒ  
ｇｐ  
，
协议产生的日志等  
协议  
Ｆｔ  
ｐ
，
策略管理等多项功能 且每项功能中都提供了一定  
主要保留的是使用  
协议产生的日志 我们使用  
Ｈｔｔ ．  
ｐ
，
，
量的工具对功能进行了扩展 使得整个系统较为完  
善实用 该认证计费系统中的日志功能模块主要提  
．
对日志文件逐行读入 使用  
函数判断是  
Ｐｔｈｏｎ  
ｆｉｎｄ  
字符串后 将符合条件 的 行 写 入目标  
Ｈｔｔ  
ｐ
ｙ
，
否包含  
，
供了营帐日志和操作日志这两个部分 分别对应用  
文件 最终产生一个标准化的日志文件  
． ．  
、 、  
户的认证 计费 缴费等行为 而通过网络认证设备  
．
：
数据清洗部分代码如下  
， ，  
进行的网络访问日志 是使用文件的形式 存储在专  
ｃｏｄｉｎ ＝ ｂｋ  
＃
ｇ ｇ  
门的日志存储服务器中 该系统并没有对日志提供  
．
ｉｍ ｏｒｔｏｓ  
ｐ
ꢀ
，
专门的分析工具 而我们可以通过分析该日志 对用  
．
ｆｒｏｍｏｓ．ａｔｈｉｍ ｏｒｔｏｉｎ  
ꢀ ｐ ꢀ ｐ ꢀｊ  
、 、  
户进行的网络访问行为 网络访问目标页面 网络状  
ｉｍ ｏｒｔｓｓ  
ｐ
ꢀｙ  
，
况进行了解 以便我们发现日志产生时候的网络状  
ｉｍ ｏｒｔｗｘ  
ｐ
ꢀ
、
"／ ／ ／"  
ｒｏｏｔｄｉｒ＝ ｖａｒｌｏ  
ｇ
态和不足之处 这可以帮助我们判断提升网络带宽  
．
、 ，  
扩大网络规模 提升网络安全性的时机 使得我们更  
＿
（"  
请输入要过滤的内容  
ｒｏｔｏｃｏｌ＝ｒａｗｉｎ ｕｔ  
ｐ
ｐ
（
）：" ）  
地址  
好服务学校师生  
账号或者  
．
ＩＰ  
：
收稿日期  
２０１７０４１９  
－ －  
ꢀꢀ＊  
：
作者简介 颜伟  
，
男
，
， ； ： ， ；  
高级实验师 研究方向 网络安全 网络信息管理  
１９７２ Ｅ ｍａｉｌ ａｎｗｅｉ１ ｍａｉｌ．ｆｎｕ．ｅｄｕ．ｃｎ．  
：
ꢀ
－
－
ｙ
＠
ｑ
， ：  
颜伟 等 基于  
第
期
网络日志分析系统研究与实现  
Ｐｔｈｏｎ  
ｙ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ  
４９  
４
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ  
" ：／／"  
ｗ＝ ｈｔｔ  
ｐ
：
ｉｆ ｒｏｔｏｃｏｌｉｎｌｉｎｅ  
ꢀｐ ꢀ ꢀ  
， ， （  
ｆｏｒ ａｒｅｎｔｄｉｒｎａｍｅｓｆｉｌｅｎａｍｅｓｉｎｏｓ．ｗａｌｋｒｏ  
ꢀ ꢀ  
［ ：］  
ｌ＝ｌｉｎｅ１２  
ꢀｐ  
－
）：  
ｏｔｄｉｒ  
［： ］  
ｌ＝ｌ －３４  
ｒｉｎｔ ａｒｅｎｔ  
＃ｐ ꢀｐ  
ｌ＝ｌ＋′ｎ′  
＼
：
（）  
ｆｏｂ．ｗｒｉｔｅｌ  
ｊ
ｆｏｒｆｉｌｅｉｎｆｉｌｅｎａｍｅｓ  
ꢀ ꢀ ꢀ  
（）  
ｆ．ｃｌｏｓｅ  
ｒｉｎｔｆｉｌｅ  
＃ｐ ꢀ  
（ ， ）  
ｆｕｌｌｆｉｌｅ＝ ｏｉｎ ａｒｅｎｔｆｉｌｅ  
ｐ
过滤完成  
ｒｉｎｔ′  
ｐ
′
ｊ
（ ， ）  
ｆ＝ ｏｅｎｆｕｌｌｆｉｌｅ′ｒ′  
ｐ
日志数据格式化  
２．２  
ꢀ
该步骤主要是对已经经过初步处理的日志文件  
ｗｆｉｌｅｎａｍｅ＝ ｒｏｔｏｃｏｌ＋′．ｔｘｔ′  
ｐ
（ ，  
ａｒｅｎｔ  
ｐ
，
进行格式化 主要是对目标行进行一些格式上的整  
ｗｆｉｌｅｎａｍｅ  
＝
ｏｉｎ  
ｊ
）
理 我们使用  
．
的 函数进行文本的分割  
Ｐｔｈｏｎ ｓｌｉｔ ．  
ｙ ｐ  
ｗｆｉｌｅｎａｍｅ  
（ ， ）  
ｆｏｂ＝ｏｅｎ ｗｆｉｌｅｎａｍｅ′ａ′  
ｐ
：
数据格式化的部分代码如下  
ｊ
：
在日志文件中转换  
＃
ｆｏｒｌｉｎｅｉｎｆ  
ꢀ ꢀ ꢀ  
．
（
ｄｅｆｍｏｎｉｔｏｒＬｏ ｌｏｆｉｌｅ  
ｇ ｇ  
）：  
ꢀ
ｌｏｂａｌｆｌａ  
ｇ
ꢀ ｇ  
" "  
ｒｉｎｔ Ｓｔｒａｔｉｎ ．．．．．．．．．．．．．．．．．．．．．．．．．  
ｐ ｇ  
（ ， ，  
ｏｅｎ ＝ｓｕｂｒｏｃｅｓｓ．Ｐｏｅｎ′ｔａｉｌｎ１ｆ′ ＋ ｌｏｆｉｌｅ ｓｔｄｏｕｔ＝ｓｕｂｒｏｃｅｓｓ．ＰＩＰＥ ｓｔｄｅｒｒ＝ｓｕｂ  
ꢀ
ｐｐ  
ｐ
ｐ
－
－
ｇ
ｐ
－
，
ｒｏｃｅｓｓ．ＰＩＰＥｓｈｅｌｌ＝Ｔｒｕｅ  
）
ｐ
：
ｗｈｉｌｅＴｒｕｅ  
ꢀ
（）  
ｌｉｎｅ＝ ｏｅｎ．ｓｔｄｏｕｔ．ｒｅａｄｌｉｎｅ ．ｓｔｒｉ  
ｐｐ  
（）  
ｐ
：
ｉｆｌｉｎｅ  
ꢀ
：
ｉｆｆｌａ ＝＝１  
ꢀ ｇ  
ｆｌａ ＝ｆｌａ ＋１  
ｇ ｇ  
ｃｏｎｔｉｎｕｅ  
（" " ）  
ｌｉｎｅ＝ｌｉｎｅ．ｓｌｉｔ  
ｐ
过滤条件  
＃
［］ "  
ｉｆｌｉｎｅ６ ＝＝ ２００  
ꢀ
" ：  
ｃｏｎｔｉｎｕｅ  
开始存库  
＃
获取事件日志  
ｉｄ  
号
＃
＿ （ ＿ ） （）  
ｃｉｄ ＝ ｄａｍｉｃａｓｅ．ｗｈｅｒｅｉｓｃｕｒｒｅｎｔ＝１ ．ｅｔｏｎｅ  
ｇ
｛
ｄａｔａ＝  
"
"
"
"
" ： ［］，  
ｌｉｎｅ０  
ｉ
ｐ
" ： ［］［：］，  
ｔｉｍｅ ｌｉｎｅ３ １  
" ： ［ ［ ］］，  
ｓｏｕｒｃｅ ｅｔｈｏｓｔｎａｍｅｌｉｎｅ１０  
ｇ
" ：  
ｃｉｄ ｃｉｄｉ．ｄ  
｝
（
）
（）  
ｄａｔａ ．ｓａｖｅ  
＊＊  
ｌｏｓａｖｅ  
ｇ
（ ， ， ， ， ， ， ， ，  
４３７３３８３１２７３２２６２４２４５８１３２２１２６２１１２５  
数据分析结果展现  
２．３  
ꢀ
， ），  
１０９９９０１  
该步骤主要是对经过格式化的数据进行统计分  
，
析 然后将数据分析的结果展现出来 比如我们可以  
．
（
，
ｌａｂｅｌｓ＝ ′ｃｌｏｃｋ．ｒｅｄｈａｔ．ｃｏｍ′′ｗ ．ｃｌｏｕｄ．ｄｕｂａ．  
ｑ
， ， ，  
ｎｅｔ′′ｗｗｗ．ｓｉｎａ．ｃｏｍ′′ｗｗｗ．ｂａｉｄｕ．ｃｏｍ′′ａ．ｒｏｏｔ  
－
展示某个时间段内被访问最多的前十个网址或者  
ｉ
ｐ
、
地址 可以将用户在线数据 并发数据等形成热图或  
．
， ， ，  
ｓｅｒｖｅｒｓ．ｎｅｔ′′ｗｗｗ．１６３．ｃｏｍ′′ｗｗｗ．ｓｏｈｕ．ｃｏｍ′′  
，
，
ｗｗｗ．ｄ．ｃｏｍ′′ｗｗｗ．３６０．ｃｏｍ′′ｗｗｗ．ｍｓｆｔｎｃｓｉ．  
ｊ
者趋势走势图等  
．
：
），  
ｃｏｍ′  
数据分析结果展示部分代码如下  
（
ｌｔ．ｉｅ  
ｐ ｐ  
，
ｓｈａｄｏｗ ＝ Ｔｒｕｅ  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号