0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Slurm作业管理系统常用命令和教程

Cloudam云端 来源:Cloudam云端 作者:Cloudam云端 2022-11-15 15:10 次阅读

Slurm ( Simple Linux Utility for Resource Management )是开源的、具有容错性和高度可扩展大型和小型 Linux集群资源管理和作业调度系统。超级计算系统可利用 Slurm 进行资源和作业管理,以避免相互干扰,提高运行效率。所有需运行的作业无论是用于程序调试还是业务计算均必须通过交互式并行 srun、批处理式 sbatch 或分配式 salloc 等命令提交,提交后可以利用相关命令查询作业状态等。

同时北鲲云超算平台也是使用的Slurm作业管理系统,熟悉slurm作业管理系统的同学可以快速上手北鲲云进行计算,不熟悉的也没关系,一是可以学,我们有完整的教程以及技术支持服务,另外就是平台还提供模板提交方式,无需it基础也可以快速进行计算。直接按照模板提示提交作业即可。多种软件覆盖多个行业,欢迎lai'shi'yi's

一. 常用命令​

sinfo       #查看分区状态squeue      #查看队列中的作业scontrol    #查看作业详细信息scancel     #取消已经提交的作业sbatch      #批处理式提交作业salloc      #分配式运行作业

1. 查看分区状态​

sinfo

CPU分区命名规则为c-核心数-每核心内存大小,如c-8-4:表示单节点规格为8核,每核心有4G内存,即节点规格为8核32G。

GPU分区命名规则为g-卡号-每节点卡数,如g-v100-2:表示有两张显卡型号为tesla v100的gpu节点。

pYYBAGNzO1CAVeJpAAC06YCVFHw173.png

2. 查看作业队列​

squeue

JOBID:作业号。

ST:状态 (R:运行中;CF:配置中;PD:排队中)。

poYBAGNzO1CAEfidAAA3jM5usFs213.png

3. 查看所有作业详细信息​

scontrol show jobs

pYYBAGNzO1GAHir4AAEXEvLM2gQ216.png

4. 取消作业号为20的作业​

scancel 20

二. 提交作业的方式​

1. 使用sbatch批处理模式提交作业​

sbatch命令可以提交任务至一个或多个计算节点,实现并行计算。

sbatch命令的一些常用选项

参数 功能
-N 申请的节点数量
-p 指定计算节点规格,使用sinfo查看所支持的规格
-n 指定任务数,即并行程序运行多少个进程
-c 每进程使用的cpu核心数

参考运行程序:demo.sh

#!/bin/bashsleep 6000

提交示例:

使用2个4核心节点启动8个并行任务。

sbatch -N 2 -p c-4-1 -n 8 -c 1 demo.sh

1个4核心节点启动4个并行任务。

sbatch -N 1 -p c-4-1 -n 4 -c 1 demo.sh

1个4核心节点启动4个并行任务。

sbatch -p c-4-1 -n 4 demo.sh

1个4核心节点启动1个并行任务, 该任务使用4个cpu核心。

sbatch -p c-4-1 -n 1 -c 4 demo.sh

2个4核心节点启动2个并行任务, 每个任务使用4个cpu核心。

sbatch -p c-4-1 -n 2 -c 4 demo.sh

2. 使用salloc分配模式提交作业​

salloc命令可以用来分配节点,用户可以在获取分配的计算节点后,ssh进入直接运行相关计算程序,主要用来调式程序执行。

使用步骤(案例):

Step1. salloc申请计算节点;

salloc -N 1 -p c-8-2 &

Step2. ssh登录到分配的计算节点;

ssh c-8-2-worker0001

Step3. 调试或运行程序;

./demo.sh

Step4. 结束程序运行后释放分配的节点;

scancel 17

poYBAGNzO1KACrrjAACXyNsNLEg493.png

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Linux
    +关注

    关注

    87

    文章

    11233

    浏览量

    208980
  • 命令
    +关注

    关注

    5

    文章

    678

    浏览量

    21989
  • 管理系统
    +关注

    关注

    1

    文章

    2436

    浏览量

    35834
收藏 人收藏

    评论

    相关推荐

    windowsxp常用命令

    windowsxp常用命令   winver---------检查windows版本 wmimgmt.msc----打开windows管理体系结构(wmi) wupdmgr-------
    发表于 01-10 09:05 1276次阅读

    Ubuntu常用命令大全

    Ubuntu常用命令大全,包括常用管理目录,系统命令,硬盘相关,内存相关,查看进程等命令
    发表于 01-06 11:16 0次下载

    DOS常用命令宝典

    DOS常用命令宝典,感兴趣的小伙伴们可以瞧一瞧。
    发表于 11-10 18:24 0次下载

    04-shell的常用命令汇总与vim

    shell的常用命令汇总
    发表于 12-17 16:04 0次下载

    vim常用命令

    vim常用命令
    发表于 01-08 15:59 3次下载

    redis常用命令总结

    本文是对redis常用命令总结。
    发表于 02-09 11:25 1594次阅读

    SQL Plus的常用命令与用户管理实验说明

    本文档的主要内容详细介绍的是SQL Plus的常用命令与用户管理实验说明。
    发表于 10-30 17:19 8次下载

    linux常用命令手册

    linux常用命令手册免费下载。
    发表于 06-01 14:59 68次下载

    Memcache系统常用命令讲解

    Memcache系统常用命令讲解(无线电源技术商业计划书)-该文档为Memcache系统常用命令讲解文档,是一份还算不错的参考文档,感兴趣的可以下载看看,,,,,,,,,,,,,,,,
    发表于 09-28 11:27 5次下载
    Memcache<b class='flag-5'>系统</b><b class='flag-5'>常用命令</b>讲解

    linux常用命令大全

    linux常用命令大全,一些常用命令都可以找到
    发表于 03-03 09:20 0次下载

    DOS系统常用命令

    介绍了DOS系统常用命令
    发表于 03-21 14:59 0次下载

    Linux常用命令

    Linux常用命令
    的头像 发表于 01-12 11:19 1119次阅读

    Linux常用命令手册分享

    linux常用命令合集
    发表于 04-26 11:46 1次下载

    linux常用命令及用法

    Linux是一种开源的操作系统,它以稳定、高效和安全的特点受到广大用户的喜爱。掌握Linux的常用命令及其用法对于操作系统管理和开发都至关重要。本文将详尽、详实、细致地介绍Linux
    的头像 发表于 11-17 09:47 626次阅读

    详解kubectl常用命令

    详解kubectl常用命令
    的头像 发表于 11-05 15:39 136次阅读
    详解kubectl<b class='flag-5'>常用命令</b>