积分商城

最新搜索： PL2303 altium Designer 20 电路设计与仿真从入门到精通 auto cad 常用LOGO标识 microBUCK TMC5160
您现在的位置是：首页 > 技术资料 > 商品自动分类的贝叶斯方法及Python实现
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

商品自动分类的贝叶斯方法及Python实现

更新时间：2019-12-21 10:25:37 大小：1M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

贝叶斯作为一种高效、易训练的分类方法得到广泛应用,在文本分类领域中具有较好的分类效果。本文将针对商品自动分类问题,应用多项式贝叶斯模型,研究电子商务网站新商品的自动分类方法。在给定50万条商品数据集上进行分类测试,并应用Python语言及相关程序库实现具体的分类过程。经过5次交叉测试,新商品自动分类效果较好,分类精度达73.1%。


部分文件列表

文件名 大小
商品自动分类的贝叶斯方法及Python实现.pdf 1M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
Jun. 2019  
2019年6月  
安庆师范大学学报(自然科学版)  
Journal of Аnqing Normal University(Natural Science Edition)  
Vol.25 No.2  
第25卷第2期  
商品自动分类的贝叶斯方法及Python实现  
吕 彦，程树林*  
(安庆师范大学 计算机与信息学院，安徽 安庆 246133)  
摘
要：贝叶斯作为一种高效、易训练的分类方法得到广泛应用，在文本分类领域中具有较好的分类效果。本文将  
针对商品自动分类问题，应用多项式贝叶斯模型，研究电子商务网站新商品的自动分类方法。在给定50万条商品数据  
集上进行分类测试，并应用Python语言及相关程序库实现具体的分类过程。经过5次交叉测试，新商品自动分类效果较  
好，分类精度达73.1%。  
关键词：机器学习；商品自动分类；多项式贝叶斯分类模型；Python  
中图分类号：TP391 文献标识码：А  
DOI：10.13757/j.cnki.cn34-1328/n.2019.02.015  
文章编号：1007-4260(2019)-02-0066-04  
Automated Classification Method of Commodity by Naive Bayes and Imple-  
mentation with Python  
LV Yan, CHENG Shulin  
(School of Computer and Information, Аnqing Normal University, Аnqing 246133, China)  
Abstract: Аs an effective and easily trained classification method, the naive Bayesian model is one of the commonly and  
widely used model algorithm for machine learning, which has good classification effectiveness. Аs for the typical question of  
automated classification of commodities, the new commodity’s classification model is studied by applying polynomial Bayes-  
ian method. The classification test is carried out on a dataset with 500 000 commodity data, and the specific classification pro-  
cess is implemented by using Python language. Аfter 5-fold testing, the experimental results manifest well and reach the pre-  
diction precision of 73.1%.  
Key words: machine learning; automated classification of commodities; polynomial Bayesian method; Python.  
随着 Web2.0的深入应用，用户为互联网贡献了大量的文本信息，实现文本自动分类成为组织信息  
的一种高效方式。因此，文本分类作为自然语言处理领域中的一个重要应用，得到较为广泛的研究[1-2]  
当前，电商平台商品数量越来越多，需要对商品进行分类，便于寻找自己所需的商品，因此商品自动分类  
无疑是很好的选择。商品分类是根据商品的描述，设计一个分类模型，通过现有已知分类标签的数据进  
行学习，再利用学习好的模型对新商品进行自动分类。  
。
基于贝叶斯定理和特征条件相互独立的假设的朴素贝叶斯分类方法可有效地用于文本分类。对于  
给定的训练数据集，在基于样本特征相互独立的假设下，先学习输入（特征）/输出（分类）的联合概率分  
布；然后，利用贝叶斯定理计算待分类的数据在各类别下的后验概率；最后根据最大后验概率原则输出  
分类结果。由于分类模型简单、易于理解、学习速度快、效果好，且方便在分布式环境下实现并行化学习  
收稿日期：2019-04-08  
基金项目：安徽省教育厅高校自然科学研究项目（KJ2018А0382）和安徽省教育厅优秀青年基金重点项目（gxyqZD2018060）  
作者简介：吕彦（1997 —），女，安徽宣城人，安庆师范大学信息管理与信息系统学生，研究方向为数据挖掘。  
E-mail：
通信作者：程树林（1979 —），男，安徽潜山人，博士，安庆师范大学计算机与信息学院副教授，研究方向为智能信息处理。  
E-mail：
· 67 ·  
吕
彦，程树林：商品自动分类的贝叶斯方法及Python实现  
第2期  
和分类[3]，以及可以实现实时分类的特点，因此基于贝叶斯的分类方法在各种文本分类应用中较为广泛。  
朴素贝叶斯分类方法对维度过高的情况，有时分类效果不是很理想。而在基于商品描述的文本分类问  
题中，商品描述相对较短且特征词较为集中。因此，适合使用朴素贝叶斯分类方法进行商品的自动分  
类。本文针对第十届中国大学创新创业大赛的第А01问题“网络零售商品分类【浪潮】”，研究朴素贝叶  
斯理论构建商品自动分类模型，以其提供的 50万条商品数据集进行实验，应用Python语言和模型库实  
现商品的自动分类。  
1 数据预处理  
第十届中国大学创新创业大赛的第А01问题“网络零售商品分类【浪潮】”数据集包含了50万条已标  
记的数据，原始数据集中每件商品仅给出了描述信息以及商品所属的类别，示例如图1所示。  
图1 数据集示例截图  
原始数据不能直接用来分类，需要进行数据预处理。(1)使用 Python 的 pandas 库中 pandas.  
DataFrame.drop( )方法滤除缺失的数据。由于朴素贝叶斯是一个概率分类器，想要计算出某词汇描述属  
于各分类的概率，需要通过正则表达式对商品描述信息进行分词处理，即将所有商品描述信息去除所有  
的非文字部分后利用jieba分词器对商品描述信息进行词语切分，如图2所示。(2)清除中文停用词，这些  
停用词对商品描述信息本身并没有多大意义。部分清除后的商品描述信息如图3所示。  
图2 切词后数据集示例  
图3 清除停用词后商品描述信息示例  
2 特征提取与模型构建  
数据集中商品描述为短文本，经过切词后得到商品的特征信息。采用sklearn库中的CountVectoriz-  
er类进行特征词的量化计算。CountVectorizer是一个文本特征提取方法，其思想是先根据训练集中所有  
样本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(Vo-  
cabulary List)，该方法又称为词袋法(Bag of Words)。然后，使用 Python 中的 fit_transform 函数将特征词  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号