- 1
- 2
- 3
- 4
- 5
Slurm 集群调度系统简介
资料介绍
基本概念
Slurm（Simple Linux Utility for Resource Management）是一个开源、容错、高度可扩展的集群资源管理和作业调度系统，用于Linux和Unix类集群，由劳伦斯利弗莫尔国家实验室（LLNL）开发，现在被全球绝大多数超算中心、科研计算集群和企业AI训练集群广泛使用。
Slurm的核心功能有两个：
1. 分配计算资源（节点、CPU、GPU、内存等）给用户作业，让用户能够运行计算任务
2. 提供框架来启动、执行和监控节点上的并行作业（比如MPI多节点任务）
3. 排队处理等待资源的作业，管理整个集群的资源利用率
核心架构
Slurm采用客户端-服务器架构，主要包含三个核心组件：
1. slurmctld：控制节点守护进程，负责整个集群的资源管理、作业调度，维护作业状态和节点资源信息，是整个系统的大脑。
2. slurmd：计算节点守护进程，运行在每个计算节点上，接收控制节点的指令，启动用户作业、回传节点状态给slurmctld。
3. slurmdbd：Slurm数据库守护进程，负责存储作业、用户、集群账户的历史数据，支持多集群数据汇总统计。
2. 提交作业命令
Slurm支持两种作业提交模式：交互式提交和批处理提交。
· 交互式作业：适合调试、测试，直接在终端获取计算节点资源，执行命令：
srun --partition=partition_name --nodes=1 --ntasks-per-node=16 --pty /bin/bash
· 批处理作业：适合长时间运行的计算任务，先编写作业脚本，再提交：
sbatch job.slurm
一个典型的Slurm作业脚本示例：
#!/bin/bash
#SBATCH --job-name=my_test # 作业名称
#SBATCH --partition=normal # 提交到的分区
#SBATCH --nodes=2 # 使用2个节点
#SBATCH --ntasks-per-node=16 # 每个节点16个任务
#SBATCH --mem=32G # 每个节点申请32GB内存
#SBATCH --gres=gpu:2 # 共申请2块GPU
#SBATCH --time=24:00:00 # 最大运行时间1天
# 运行实际计算命令
./my_compute_program
部分文件列表
| 文件名 | 大小 |
| Slurm_集群调度系统简介.docx | 15K |
最新上传
- 打赏
- 30日榜单
-
jjjjkkkkk 打赏1.00元 1小时前
-
emlimei 打赏1.00元 2天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
-
21下载积分 打赏20.00元 3天前
用户：kk1957135547
-
21下载积分 打赏25.00元 3天前
用户：w1966891335
-
21下载积分 打赏20.00元 3天前
用户：xuzhen1
-
21下载积分 打赏15.00元 3天前
用户：x15580286248
-
21下载积分 打赏25.00元 3天前
用户：pcb
-
21下载积分 打赏20.00元 3天前
用户：bhacker
-
21下载积分 打赏15.00元 3天前
用户：liqiang9090
-
21下载积分 打赏25.00元 3天前
用户：有理想666
-
21下载积分 打赏15.00元 3天前
用户：godbox
-
21下载积分 打赏15.00元 3天前
用户：aetek
-
21下载积分 打赏5.00元 3天前
用户：mulanhk
-
21下载积分 打赏5.00元 3天前
用户：JuneLin61
-
21下载积分 打赏5.00元 3天前
用户：ccc6188
全部评论(0)