- 1
- 2
- 3
- 4
- 5
谷歌文件系统
资料介绍
一、GFS的设计背景与诞生
谷歌文件系统（Google File System，简称GFS）是谷歌公司在2003年推出的一款分布式文件系统，其诞生完全匹配了谷歌早期业务高速发展对底层存储架构的需求。在21世纪初，谷歌的搜索引擎业务开始爆发式增长，每日需要处理的网页爬虫数据、用户搜索请求、索引数据规模快速突破TB级，向PB级扩张，传统的单节点集中式存储完全无法承接如此大规模的数据存储与访问需求，而当时已有的分布式文件系统也无法适配谷歌特有的业务场景。
传统分布式文件系统的设计思路，大多针对小文件低并发的场景优化，且默认底层硬件是高度可靠的，因此系统设计重心放在数据容错与一致性保证上，并不支持大规模批处理型的数据流读写，也无法应对廉价商用硬件频繁故障的场景。而谷歌当时的业务场景存在几个非常鲜明的特点：第一，存储的文件大多是大文件，单个文件通常达到GB甚至TB级别，整体数据规模增长极快；第二，读写模式偏向“一次写入、多次读取”，大部分数据一旦写入就不会修改，只需要支持追加写操作，很少需要随机修改已有数据；第三，需要承受高吞吐量的并发访问，同时要允许一定程度的延迟波动；第四，底层服务器都是廉价的商用x86服务器，硬件故障是常态，系统本身必须自动处理故障，不需要人工介入维护。基于这些独特的需求，谷歌工程师团队自主设计了GFS，专门适配自身的大数据处理场景。
二、GFS的整体架构
GFS采用经典的单Master节点+多Chunk服务器的主从架构，整个集群由一个Master节点和多个Chunk服务器组成，客户端通过和Master与Chunk服务器交互完成数据操作，具体结构如下：
（一）Master节点
Master节点是GFS的管理核心，负责整个文件系统的元数据管理，它不存储实际的文件数据，只维护三类核心元数据：
1. 文件与Chunk的命名空间，也就是整个文件系统的目录结构与文件名称映射；
2. 文件到Chunk的映射，每个文件会被分割为固定大小的数据块（Chunk），默认每个Chunk大小为64MB，Master记录每个文件包含哪些Chunk，以及每个Chunk的存储位置；
部分文件列表
| 文件名 | 大小 |
| 谷歌文件系统.docx | 18K |
最新上传
- 打赏
- 30日榜单
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏5.00元 3天前
用户：创园船热情
-
21ic下载 打赏5.00元 3天前
用户：ytf4210
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
全部评论(0)