- 1
- 2
- 3
- 4
- 5
GFS与HDFS对比分析
资料介绍
一、基本概念与诞生背景
Google File System（GFS）
GFS是Google公司在2003年发布的分布式文件系统，诞生于Google业务爆发式增长的阶段，当时传统单节点文件系统已经无法满足海量网页数据的存储需求，Google为了支撑自身搜索引擎业务，设计了面向廉价商用集群的分布式存储方案。GFS的设计核心假设围绕Google自身业务场景：硬件故障是常态、存储文件多为大文件、数据以追加写入为主，很少随机修改，这些设计假设也决定了GFS的整体架构。
Hadoop Distributed File System（HDFS）
HDFS是Apache Hadoop项目下的开源分布式文件系统，诞生于2006年，基于Google发布的GFS论文开发实现，是开源生态中最主流的分布式文件系统。HDFS继承了GFS的核心设计思想，同时适配开源社区的使用场景，支持运行在普通商用硬件集群上，为Hadoop生态的MapReduce计算框架提供底层存储支持，被广泛应用于大数据离线处理、数据仓库等场景。
二、架构设计对比
整体架构
GFS和HDFS都采用了主从（Master-Slave）架构，核心组件分为中心节点和数据节点两类，架构对比如下：
1. GFS：由单个GFS Master（主节点）+ 多个Chunk Server（数据从节点）组成，文件被固定分为64MB的块，存储在不同的Chunk Server中，Master负责管理整个文件系统的元数据，不存储实际用户数据。
2. HDFS：由单个NameNode（命名节点）+ 多个DataNode（数据从节点）组成，默认块大小为128MB（早期版本为64MB），NameNode负责管理元数据，DataNode负责存储实际数据块。
部分文件列表
| 文件名 | 大小 |
| GFS与HDFS对比分析.docx | 17K |
最新上传
- 打赏
- 30日榜单
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
-
21ic下载 打赏45.00元 3天前
用户：有理想666
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏40.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：eaglexiong
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
小猫做电路 打赏830.00元 3天前
-
gsy幸运 打赏880.00元 3天前
-
zhengdai 打赏730.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32智能交流电检测
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)