- 1
- 2
- 3
- 4
- 5
RocksDB分布式改造
资料介绍
一、改造背景与基础架构分析
RocksDB本身源自LevelDB分支，继承了LevelDB基于LSM树（日志结构合并树）的核心存储架构设计，同时针对单机多核、大容量存储场景做了大量优化，支持多线程并发写入、压缩算法自定义、分层存储等特性。但RocksDB原生定位为单机嵌入式键值存储引擎，未原生支持分布式部署与数据分片能力，无法满足大规模分布式存储场景下对容量水平扩展、高可用、多节点数据共享访问的需求，因此需要针对LevelDB分支的原生架构特性，进行针对性分布式改造。
原生LevelDB分支架构核心包含MemTable、不可变MemTable、SSTable三层存储结构，依靠WAL保证写入持久性，通过Compaction合并分层SSTable数据。RocksDB在该基础上扩展了列族、多版本并发控制、块缓存等能力，其核心读写逻辑仍然依赖单机内存与本地磁盘，改造需要保留LevelDB分支的LSM树核心优势，同时在不破坏原生读写性能的前提下，引入分布式扩展能力。
二、分布式改造核心设计目标
本次改造基于LevelDB分支原有特性，核心设计目标包含四个维度：
· 保留原生优势：完全兼容RocksDB（LevelDB分支）原有单机存储引擎API，单机节点性能损耗控制在10%以内，保留LSM树写入吞吐高、存储高效的核心特性；
· 水平扩展能力：支持数据按分片规则自动分布到多个存储节点，可通过新增节点动态扩展集群存储容量与读写吞吐；
· 高可用保障：支持分片多副本存储，单节点故障时可快速自动切换，保证数据不丢失、服务不中断；
· 兼容生态适配：支持主流分布式计算框架对接，可适配对象存储、分布式文件系统等底层存储介质。
部分文件列表
| 文件名 | 大小 |
| RocksDB分布式改造.docx | 20K |
最新上传
- 打赏
- 30日榜单
-
21ic下载 打赏310.00元 1天前
用户：江岚
-
21ic下载 打赏310.00元 1天前
用户：mulanhk
-
21ic下载 打赏320.00元 1天前
用户：jh03551
-
21ic下载 打赏220.00元 1天前
用户：jh0355
-
21ic下载 打赏210.00元 1天前
用户：潇潇江南
-
21ic下载 打赏210.00元 1天前
用户：小猫做电路
-
21ic下载 打赏60.00元 1天前
用户：gsy幸运
-
21ic下载 打赏60.00元 1天前
用户：zhengdai
-
21ic下载 打赏60.00元 1天前
用户：lanmukk
-
21ic下载 打赏60.00元 1天前
用户：烟雨
-
21ic下载 打赏20.00元 1天前
用户：w993263495
-
21ic下载 打赏30.00元 1天前
用户：sun2152
-
21ic下载 打赏20.00元 1天前
用户：w178191520
-
21ic下载 打赏20.00元 1天前
用户：liqiang9090
-
21ic下载 打赏20.00元 1天前
用户：xuzhen1
-
21ic下载 打赏35.00元 1天前
用户：有理想666
-
21ic下载 打赏15.00元 1天前
用户：w1966891335
-
21ic下载 打赏15.00元 1天前
用户：x15580286248
-
21ic下载 打赏25.00元 1天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 1天前
用户：kk1957135547
-
21ic下载 打赏10.00元 1天前
用户：qingsong08
-
21ic下载 打赏10.00元 1天前
用户：电工老刘
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)