- 1
- 2
- 3
- 4
- 5
HDFS一致性模型.
资料介绍
什么是HDFS一致性模型
一致性模型描述的是文件系统对多客户端读写操作的可见性规则，本质是数据修改后，对所有并发访问节点的可见程度约定。HDFS作为Hadoop生态的核心分布式存储系统，设计之初就面向一次写入多次读取的大文件存储场景，因此选择了一套宽松但高效的一致性模型，和传统单机文件系统、强一致性分布式存储有明显差异。
HDFS一致性模型的核心特点
1. 写操作的分段一致性
HDFS的文件写操作分为两个阶段，不同阶段一致性规则完全不同：
· 写入未完成阶段：当客户端正在向HDFS写入数据，数据还没有完成块关闭、没有提交NameNode元数据更新时，其他客户端无法看到已经写入的部分内容。只有当前写入的客户端可以读取到自己写入的流数据，其他客户端访问该文件时要么会提示文件不存在，要么只能访问到上一次提交完成的内容。
· 写入完成关闭后：当客户端调用close()方法完成文件关闭操作，NameNode完成文件元数据的持久化和集群同步后，所有客户端都能立刻看到完整的文件内容，此时文件进入只读状态，不允许修改，一致性得到保证。
2. 租约机制保障写入一致性
HDFS为了防止写入过程中客户端故障导致数据损坏，引入了**租约（Lease）**机制：每个正在被写入的文件都会被当前客户端持有一个租约，客户端需要定期向NameNode更新租约有效期。
· 同一时间只有一个客户端能持有一个文件的写租约，从根源上避免了多个客户端同时写入同一个文件导致的数据冲突，这也就决定了HDFS不支持多客户端并发写同一个文件。
部分文件列表
| 文件名 | 大小 |
| HDFS一致性模型.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21下载积分 打赏310.00元 2天前
用户：江岚
-
21下载积分 打赏310.00元 2天前
用户：潇潇江南
-
21下载积分 打赏60.00元 2天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 2天前
用户：小猫做电路
-
21下载积分 打赏210.00元 2天前
用户：zhengdai
-
21下载积分 打赏210.00元 2天前
用户：w993263495
-
21下载积分 打赏10.00元 2天前
用户：烟雨
-
21下载积分 打赏60.00元 2天前
用户：gsy幸运
-
21下载积分 打赏70.00元 2天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 2天前
用户：xzxbybd
-
21下载积分 打赏60.00元 2天前
用户：jh0355
-
21下载积分 打赏60.00元 2天前
用户：w178191520
-
21下载积分 打赏20.00元 2天前
用户：jh03551
-
21下载积分 打赏20.00元 2天前
用户：sun2152
-
21下载积分 打赏20.00元 2天前
用户：kk1957135547
-
21下载积分 打赏25.00元 2天前
用户：w1966891335
-
21下载积分 打赏20.00元 2天前
用户：xuzhen1
-
21下载积分 打赏15.00元 2天前
用户：x15580286248
-
21下载积分 打赏25.00元 2天前
用户：pcb
-
21下载积分 打赏20.00元 2天前
用户：bhacker
-
21下载积分 打赏15.00元 2天前
用户：liqiang9090
-
21下载积分 打赏25.00元 2天前
用户：有理想666
-
21下载积分 打赏15.00元 2天前
用户：godbox
-
21下载积分 打赏15.00元 2天前
用户：aetek
-
21下载积分 打赏5.00元 2天前
用户：mulanhk
-
21下载积分 打赏5.00元 2天前
用户：JuneLin61
-
21下载积分 打赏5.00元 2天前
用户：ccc6188
-
21下载积分 打赏5.00元 2天前
用户：木集盒
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)