推荐星级：
- 1
- 2
- 3
- 4
- 5
基于Python的K-means算法及其应用
资料介绍
k-means算法是一种无监督的简单机械学习算法的一种,也是数据挖掘中一个非常有用的聚类分析方法.现在社会中聚类算法对于各个方面分类问题可以进行分析求解求其最优解.本文采用了python这一语言环境进行研究,使用了UCI中的真实数据来进行实验分析.使用python对K-means算法进行编写,通常我们用k-means算法进行运算时K值是规定的,本文使用肘部法则确定其K.有的数据无法直接使用,所以通过pca降维是数据可以更好的展示出来,再通过python编译环境对真实数据进行可视化操作,形成了真实数据和我们所选取的数据的可视化图像。
部分文件列表
| 文件名 | 大小 |
| 基于Python的K-means算法及其应用.pdf | 2M |
部分页面预览
（完整内容请下载后查看）Science & Technology Vision
科技视界
高校科技
科技创新
基于 Python 的 K- means 算法及其应用
薛 芯 菊
运 城 市 盐 湖 区 盐 湖 五 中 山 西 运 城
，
（
）
044ꢀꢀꢀ
摘
要
算 法 是 一 种 无 监 督 的 简 单 机 械 学 习 算 法 的 一 种 也 是 数 据 挖 掘 中 一 个 非 常 有 用 的 聚 类
,
【
】
k - means
分 析 方 法 现 在 社 会 中 聚 类 算 法 对 于 各 个 方 面 分 类 问 题 可 以 进 行 分 析 求 解 求 其 最 优 解 本 文 采 用 了
. .
这 一
python
语 言 环 境 进 行 研 究 使 用 了
,
中 的 真 实 数 据 来 进 行 实 验 分 析 使 用
.
对
算 法 进 行 编 写 通 常 我
,
UCI
python
K ꢀ means
们 用
算 法 进 行 运 算 时
值 是 规 定 的 本 文 使 用 肘 部 法 则 确 定 其
,
有 的 数 据 无 法 直 接 使 用 所 以 通 过
,
k ꢀ means
K
K .
降 维 是 数 据 可 以 更 好 的 展 示 出 来 再 通 过
pca
我 们 所 选 取 的 数 据 的 可 视 化 图 像
编 译 环 境 对 真 实 数 据 进 行 可 视 化 操 作 形 成 了 真 实 数 据 和
,
,
python
。
关 键 词
聚 类
；
k ꢀ means Python
【
】
；
中 图 分 类 号
文 献 标 识 码
文 章 编 号
：
：
：
（ ꢀ
2ꢀ95 ꢁ 2457 2ꢀ18 24-ꢀ141-ꢀꢀ2
TP18
A
：
DOI 1ꢀ. 19694/ j . cnki . issn2ꢀ95 ꢁ 2457 . 2ꢀ18 . 24. ꢀ67
K - means Algorithm Based on Python and Its ꢀpplication
XUE Xin ꢁ ju
( Five Lakes in Yanhu District , Yuncheng City ꢂ Yuncheng ꢂ Shanxi 04ꢃ000 ꢂ China )
【
】
ꢀbstract The k - means algorithm is a kind of unsupervised simple mechanical learning algorithm ꢀ and it is also a
very useful cluster analysis method in data mining . The clustering algorithm implemented by the k - means algorithm in
the society can be used in various aspects to analyze the clustering problem and find the optimal solution . This paper
uses the python language environment for research ꢀ and uses the real data in UCI for experimental analysis . Using
python to write K - means algorithm ꢀ usually we use the k - means algorithm to calculate the K value is specified ꢀ this
article uses the elbow rule to determine its K . Some data can not be used directly ꢀ so the data can be better
displayed through dimensional reduction by pca .
【
】
Key words Python ; K - means ; Clustering
聚 类 分 析 的 算 法 分 为 划 分 法 层 次 法 基 于 密 度 的
、 、
同 时 还 有 一 种 方 法 对 一 个 我 们 所 选 用 的 样 本 数 据
ꢀ
方 法 基 于 网 格 的 方 法 基 于 模 型 的 方 法 并 且 聚 类 分 集 合 进 行 两 次 采 集 产 生 两 个 数 据 样 本 集 再 用 一 样 的
、 、
ꢀ
,
析 也 可 以 作 为 数 据 挖 掘 算 法 中 其 他 分 析 算 法 的 一 个 预 聚 类 算 法 对 我 们 算 选 用 的 样 本 数 据 集 合 进 行 聚 类
产
ꢀ
[ 1 - 2 ]
处 理 步 骤
可 以 运 用 数 学 与 计 算 机 的 研 究 模 式 进 行 生 相 应 的 聚 类 结 果 计 算 分 布 情 况 这 种 方 式 就 是 我 们
ꢀ .
.
运 算 根 据 数 据 库 中 的 多 条 信 息 进 行 大 致 的 概 括 然 后 不 断 进 行 实 验 计 算 所 取 得 的 最 适 合 的
ꢀ ꢀ
值 这 就 是 我
.
K
进 行 区 分 分 为 多 个 元 素 一 一 进 行 更 加 深 入 的 研 究 分 们 刚 才 所 介 绍 的 稳 定 性 确 定
ꢀ
值 的 方 法
.
K
析
与
算 法 极 为 相 似 的 一 个 算 法 为
中 心 算
降 维
.
K - means
K
1 . 3 pca
[ 3 ]
法 也 是 就
算 法
数 据 挖 掘 又 被 人 们 称 为 数
ꢀ
在 理 解 我 们 所 用 的 数 据 的 时 候 可 能 数 据 的 维 数 较
K - Mediods
[ 15 ]
据 库 中 的 知 识 发 现 数 据 挖 掘 就 是 拥 有 潜 在 的 大 量 信
ꢀ
多
所 以 我 们 使 用 数 据 的 时 候 往 往 会 产 生 维 度 灾 难
.
.
[ 4 ]
息 价 值 的 重 要 发 觉 过 程
我 们 可 以 使 用 这 种 方 法 对 于 相 关 的 高 维 数 的 变 量 合 成
.
线 性 无 关 的 低 维 变 量
.
算 法
k-means
1
降 维
：
PCA
第 一 步 使 用 所 给 出 的 样 本 数 据 减 去 样 本 均 值
.
算 法 的 研 究 思 路
：
1 . 1 k - means
[ 5 ]
层 次 法 是 一 种 对 与 给 定 的 数 据 进 行 数 据 分 析 处
ꢀ
第 二 步 计 算 数 据 的 主 要 样 本 成 分 计 算 矩 阵 数 据
：
ꢀ
协 方 差 矩 阵
理 的 一 种 方 法 当 我 们 是 用 层 次 法 满 足 我 们 给 定 的 一
ꢀ
.
第 三 步
咱 们 要 形 成 一 个 转 换 矩 阵 来 进 行 映 射 同
：
些 条 件 时 聚 类 算 法 可 以 进 行 运 行 以 下 的 两 种 条 件 是
ꢀ .
时 转 换 成 为 我 们 数 据 运 算 的 主 要 成 分
构 建 起 来 我 们 聚 类 的 基 本 条 件
.
.
确 定
值 的 方 法
K
1 . 2
基 于
语 言 的 实 验 分 析
python
2
对 于 不 确 定 的
值 我 们 还 可 以 使 用 肘 部 法 则 进 行
K
确 定
值 来 但 是 随 着
，
的 不 断 增 大 我 们 可 以 看 到
ꢀ
基 础 概 念
K
K
2 . 1 python
平 均 畸 变 程 度 会 不 断 的 减 少 导 致 在
ꢀ
值 的 增 大
.
是 一 个 开 元 自 由 的 高 性 能 语 言 源 代 码 和 解
ꢀ
K
Python
肘 部 法 则 我 们 使 用 的 是 误 差 的 平 方 和
进 行 运 释 器
遵 循
协 议
语 法 构 造 十 分 方 便
ꢀ Python
SSE
CPython
GPL
k
使 用 清 晰 明 了 他 最 大 的 特 色 就 是 是 强 制 使 用 空 格 作
ꢀ
2
算
来 对 目 标 函 数 进 行 求 解
为 目
. SSE = ΣΣd ( x ꢀ c )
j
ꢀ
[ 9 ]
为 语 句 缩 进 的 一 种 手 段
下 的 算 法 分 析 实 验
k - means
.
j
= 1 x∈C j
在
2 . 2
python
[ 13 ]
标 函 数
所 得 出 的 图 像 可 以 根 据 其 拐 点 来 确 定 判 断
.
第 一 步 先 从 指 定 的 所 需 数 据 样 本 对 象 中 选 取 相
：
我 们 所 要 选 取 的
值
K
.
科技视界
Science & Technology Vision
141
Science & Technology Vision
科技视界
科技创新
高校科技
应 的 对 象 作 为 初 始 单 位 的 中 心 点
第 四 步 迭 代 以 后 若 是 聚 类 中 心 没 有 发 生 明 显 的
：
,
.
第 二 步 再 根 据 所 求 的 每 个 聚 类 对 象 的 值 计 算 我 变 化 了 就 说 明 聚 类 中 心 已 经 开 始 收 敛 了 我 们 就 可 以
：
,
,
,
们 所 使 用 的 值 与 所 算 质 心 的 真 实 距 离
退 出 迭 代
.
.
第 三 步
根 据 最 小 距 离 重 新 对 相 应 的 对 象 进 行 归
第 五 步 输 出 所 构 造 的 图 形
：
.
：
类 划 分
可 以 看 出 图 像 中 还 有 极 少 量 个 孤 立 点 我 们 知 道
,
.
第 四 步
从
个 对 象 中 选 取 的
个 对 象 作 为 初 始 孤 立 点 对 于
算 法 的 影 响 是 很 大 的 对 于 孤 立
k - means ,
：
x
μ
中 心 点 也 就 是 所 谓 的 质 心 剩 下 的 则 根 据 距 离 进 行 相 点 可 能 使 得
算 法 产 生 局 部 的 解 而 不 是 全 局 的
,
k - means
解 所 以 我 们 要 对 孤 立 点 进 行 处 理
.
似 聚 类 运 算
.
,
第五步 将他们跟他们最为相似的点进行归类处理
：
基 于 鸢 尾 花 的 数 据 实 验 分 析
实 验 二 是 使 用 当 时 著 名 的 鸢 尾 花 数 据 进 行 编 写
.
2 . 5
第 六 步 开 始 会 出 现 一 些 偏 差 之 后 进 行 不 断 的 迭
,
,
代 不 停 地 运 算 使 得 算 法 越 来 越 接 近 标 准 的 数 值 收 敛 到 我 们 已 使 用
个 数 据 而 且 数 据 集 中 还 有 两 种 花 的
,
ꢀ50
一 定 程 度 后 继 续 运 算 的 结 果 会 趋 近 以 一 个 数 值 不 变
,
种 类 之 分 本 次 实 验 不 对 种 类 进 行 考 虑 直 观 上 无 法 对
, .
.
n
k
维 数 据 进 行 可 视 化 所 以 我 们 为 了 更 好 的 使 用 数 据
,
4
( i )
2
J = ΣΣr | | x
ij
μj | |
进 行 处 理 我 们 首 先 使 用
,
对 多 维 数 据 进 行 降 维 然
,
pca
i
= ꢀ j = ꢀ
后 再 进 行 可 视 化 操 作 实 验 首 先 使 用 肘 部 法 则 进 行 运
.
同 时 在
算 法 的 目 标 函 数 中 插 入 一 个 新 的
K - means
算 得 出 最 适 合 该 数 据 的
值 为
所 以 我 们 取
时
K = 3
K
3 ,
数 据 项 该 数 据 项 用 于 估 测 其 他 与 其 接 近 的 聚 类 中 心 点
,
进 行 聚 类
.
与 当 前 聚 类 中 心 点 的 真 实 距 离 的 平 方 和 并 引 入 了 一 个
,
我 们 对 这 组 真 实 数 据 进 行 聚 类 分 析 进 行 类 比 得
,
权 值 用 于 调 节 数 据 项 在 全 部 目 标 函 数 中 所 占 据 的 比 例
,
.
到 与 真 实 数 据 一 样 的 结 果 我 们 进 行 实 验 取 得
,
个 属
4
所 求 簇 的 簇 内 相 似 度 的 结 果 以 及 所 求 簇 间 相 似 度 的
[ꢀ0]
结 果 最 后 得 出 全 部 的 类 簇 簇 内 似 度 都 小 于 阈 值
稍 加 改 进 的 算 法
,
[ ꢀꢀ ]
性 的 后 两 个 进 行 聚 类 实 验 将 我 们 的 聚 类 结 果 进 行 可
,
.
视 化 也 有 一 定 的 数 据 点 为 孤 立 点 对 孤 立 点 进 行 处 理
, ,
2 . 3
k - means
时 采 取 距 离 和 的 思 想 排 除 孤 立 点 的 影 响
,
.
进 行 改 进 后 使 用 二 分 法 进 行 实 验
：
第 一 步 先 将 所 有 的 点 看 成 一 簇
：
.
总 结
3
第 二 步 将 这 簇 二 分 成 为 两 个
：
.
通 过 对 与 大 数 据 云 计 算 的 理 解 分 类 方 式 的 了 解
,
,
第 三 步 根 据 误 差 平 方 和
：
残 差 平 方 公 式 如
）
.
（
SSE
n
环 境 的 用
算 法 等 等 知 识 的 学 习 对 于
,
python
, k - means
2
下
：
SSE = Σwi ( yi - y* )
算 法 的 一 个 应 用 实 现 本 篇 论 文 中 详 细 的 解 释
.
k - means
ꢀ
了
的 具 体 知 识
分 类 算 法 的 重 要 思 想
k - means ,
python
在 距 离 公 式 的 选 取 上 我 们 可 以 使 用 欧 氏 距 离 来 进
各 个 模 块 的 步 骤 的 仔 细 设 计 与 联 系 方 式
在
的
python
,
[ ꢀ2 ]
行 确 定 各 个 点 对 于 质 心 的 真 实 距 离
同 时 它 也 是 我
.
开 发 环 境 中 实 现 了 一 些 基 本 算 法
.
们 所 运 用 的
维 空 间 中 的 点 与 点 之 间 的 真 实 距 离
.
2 , 3
公 式 如 下
：
参 考 文 献
ꢀ
ꢁ
2
2
2
二 维 空 间
三 维 空 间
：
：
| X | =
| X | =
x + y
2
丁 睿 基 于 高 斯 分 布 随 机 样 本 生 成 的 小 样 本 聚 类 算 法
,
■
［
］
ꢀ
2
2
2
2
电 脑 知 识 与 技 术
[ J ] ．
, 20ꢀ3 ( 29 ) : 6609 - 66ꢀꢀ .
x + y + z
2
■
2
王 淋 铱 基 于 关 联 规 则 的 教 务 分 析 系 统 的 设 计 与 研 究
,
［
］
2
2 2
ρ= (x -x ) +(y +y ) ρ= (x -x ) +(y +y )+(z -z )
■
2
■
2
ꢀ
2
ꢀ
2
ꢀ
2
ꢀ
2
ꢀ
计 算 机 技 术
[ D ] ．
, 20ꢀ5 - 0ꢀ - 0ꢀ .
算 法 在 真 实 数 据 的 算 法 分 析 应 用 实 验
2 . 4 K - means
马 仕 玉 聚 类 算 法 及 其 在 校 园 网 用 户 行 为 分 析 中 的 应 用
,
［
］
3
第 一 步 从 数 据 库 中 调 出 合 集 正 规 化 进 行 处 理
：
,
计 算 机 系 统 结 构
,
.
[ D ] ．
, 20ꢀ5 - 0ꢀ - 0ꢀ .
郭 虎 升 王 文 剑 基 于 主 动 学 习 的 模 式 类 别 挖 掘 模 型
］
,
［
4
,
[ M ] ．
然 后 通 过 肘 方 法 的 运 算 来 确 定 我 们 所 进 行 实 验 运 用 的
计 算 机 研 究 与 发 展
, 20ꢀ4 , 5ꢀ ( ꢀ0 ) : 2ꢀ48 - 2ꢀ59 .
］
Zhang T . Ramakriahnan R . Linvy M . BIRCH : An efficient data
值
K
.
［
5
第 二 步 计 算 每 一 个 样 本 和 数 据 集 合 中 所 有 样 本 的
：
clustering method for very large databases . In Jagadish HV ,
欧 式 距 离 的 平 方 也 就 是 点 与 点 之 间 的 平 方 数 据
,
.
’
Mumick IS , eds . Proc . of the ACM SIGMOD Int
l
Conf . on
第 三 步 对 所 有 样 本 进 行 聚 类 设 置
：
,
的 数 值 对 于 搜
,
K
Management of Data . New York ; ACM Press . ꢀ988 . 73 - 84 .
友 样 本 随 机 选 取 得 到 质 心 不 断 进 行 迭 代 查 看 是 否 收 敛
, ,
.
上 接 第
页
专 利 具 有 创 造 性 基 于 上 述 案 例
。
对
的 技 术 特 征 确 定 为 检 索 要 素 并 进 行 适 当 扩 展
， ꢀ
（
）
，
216
于 催 化 剂 技 术 领 域 具 有 冗 长 技 术 方 案 的 专 利 检 索
，
确 定 检 索 策 略 在 确 定 的 检 索 要 素 基 础 上 优
ꢀ ，
，
（
）
3
其 检 索 方 法 总 结 如 下
先 选 用 简 单 常 用 的 关 键 词 进 行 检 索 再 扩 展 到 非 常 用
，
：
分 析 技 术 方 案 对 技 术 方 案 进 行 详 细 的 分 析
ꢀ
应
的 关 键 词 和 分 类 号 进 行 检 索 同 时 还 要 考 虑 在 不 同
ꢀ ，
（
）
，
1
当 分 析 技 术 特 征 与 发 明 要 解 决 的 技 术 问 题 的 关 系 以 此 的 专 利 或 文 摘 数 据 库 中 进 行 检 索
，
ꢀ
来 把 握 技 术 方 案 的 实 质 针 对 大 量 冗 余 的 技 术 特 征
ꢀ
应
，
，
ꢀ
当 重 点 关 注 那 些 对 解 决 技 术 问 题 有 贡 献 的 技 术 特 征
免 与 解 决 技 术 问 题 无 关 技 术 特 征 对 理 解 发 明 的 干 扰
避
参 考 文 献
【 】
水 化 学
周 振
等
冶 金 工 业 出 版 社
，
20ꢀ3
年
月 第
8
［
］ 《
》 ，
ꢀ
,
.
ꢀ
中
年
次 印 刷
第
页
ꢀ37 .
，
确 定 检 索 要 素 对 于 发 明 点 不 明 确 的 专 利 除 了
ꢀ ，
（
）
2
祁 鲁 梁
等
水 处 理 药 剂 及 材 料 实 用 手 册 第 二 版
《 （ ） 》 ，
［
］
2
,
.
阅 读 专 利 文 件 之 外 还 应 通 过 初 步 检 索 借 鉴 公 知 常 识 来
， ，
国 石 化 出 版 社
年
月 第
次 印 刷
第
，
页
.
，
.
2006
6
3
74ꢀ
中 南 大 学 出 版 社
，
20ꢀ5
判 断 哪 些 技 术 特 征 属 于 无 关 技 术 特 征 哪 些 技 术 特 征 属
，
胡 昌 义
等
贵 金 属 新 材 料
［
］
《
》 ，
3
,
于 对 现 有 技 术 有 贡 献 的 技 术 特 征 把 对 现 有 技 术 有 贡 献
，
月 第
次 印 刷
第
页
ꢀ57 .
，
9
ꢀ
科技视界
142
Science & Technology Vision
更多>>
最新上传
- 打赏
- 30日榜单
-
21下载积分 打赏10.00元 1天前
用户：玉落彼岸
-
21ic下载 打赏310.00元 1天前
用户：小猫做电路
-
21ic下载 打赏310.00元 1天前
用户：zhengdai
-
21ic下载 打赏310.00元 1天前
用户：gsy幸运
-
21ic下载 打赏260.00元 1天前
用户：kk1957135547
-
21ic下载 打赏210.00元 1天前
用户：w178191520
-
21ic下载 打赏230.00元 1天前
用户：liqiang9090
-
21ic下载 打赏120.00元 1天前
用户：1111111ffgg
-
21ic下载 打赏25.00元 1天前
用户：sun2152
-
21ic下载 打赏30.00元 1天前
用户：WK520077778
-
21ic下载 打赏25.00元 1天前
用户：xzxbybd
-
21ic下载 打赏25.00元 1天前
用户：玉落彼岸
-
21ic下载 打赏15.00元 1天前
用户：xuzhen1
-
21ic下载 打赏20.00元 1天前
用户：yulei2633
-
21ic下载 打赏15.00元 1天前
用户：宸晨
-
21ic下载 打赏10.00元 1天前
用户：suguslly
-
21ic下载 打赏5.00元 1天前
用户：大大财迷
-
21ic下载 打赏5.00元 1天前
用户：丙丁先生
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
我来看看怎 打赏5.00元 3天前
用户：xzxbybd
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏270.00元 3天前
用户：liqiang9090
-
21ic下载 打赏210.00元 3天前
用户：w178191520
-
21ic下载 打赏210.00元 3天前
用户：kk1957135547
-
21ic下载 打赏110.00元 3天前
用户：w1966891335
-
21ic下载 打赏110.00元 3天前
用户：w993263495
-
21ic下载 打赏100.00元 3天前
用户：1111111ffgg
-
21ic下载 打赏40.00元 3天前
用户：jh03551
-
21ic下载 打赏30.00元 3天前
用户：WK520077778
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：xzxbybd
-
21ic下载 打赏25.00元 3天前
用户：ytt006
-
21ic下载 打赏10.00元 3天前
用户：poplarly
-
21ic下载 打赏20.00元 3天前
用户：muguang28
-
21ic下载 打赏10.00元 3天前
用户：konglongcong
-
21ic下载 打赏10.00元 3天前
用户：铁蛋锅
全部评论(0)