1.平台简介
上海科技大学高性能计算平台自2017年7月1日正式投入运行以来,截至2024年12月27日,已对接学校公共服务器资源(公共资源)和院所参与共享统筹的服务器资源共计740台。其中,物理CPU节点405台,物理GPU节点309台,虚拟CPU节点26个。单精理论峰值处理能力方面,CPU节点处理能力0.76Pflops,GPU节点处理能力26.68Pflops,目前可用科研计算存储容量9.3PB,人工智能计算专用存储3.7PB。
平台提供预装软件,可通过ENVIRONMENT MODULES、Anaconda或Singularity来切换自己运行程序所需的运行环境。
2.1ENVIRONMENT MODULES
ENVIRONMENT MODULES可以帮助用户在公共平台上调用预装的软件包或切换拟调用的版本。每个ENVIRONMENT MODULES都是可以加载或卸载环境设置。用户也可以根据自己需要编写自己的模块配置文件。
命令 | 功能 |
module use [PATH] | 将[PATH]下的文件添加到模块列表中 |
module avail | 列出所有模块 |
module load [MODULE] | 加载[MODULE] |
module unload [MODULE] | 卸载[MODULE] |
module whatis [MODULE] | 显示有关[MODULE]的基本信息 |
module info [MODULE] | 显示有关[MODULE]的详细信息 |
2.2Anaconda
Anaconda 是一个用于科学计算的 Python 发行版,支持 Linux、Mac、Windows, 包含了众多流行的科学计算、数据分析的 Python 包。其使用conda系统进行包管理。区别于 virtualenv(Python 环境管理工具) 的地方是 Conda 不仅可以管理环境,还可管理 Python 的版本,创建独立环境只是 conda 的一个功能,它还是可以安装库。Conda 在安装一些依赖 C、C++的 Python 库时特别方便与流畅。比如:Numpy、Pandas、等一些数据库驱动,直接通过命令就可以安装,不需要额外自行编译、安装 C 库。因此,Conda 在 Python 安装依赖于其它语言的 Python 库表现极佳,多用于 Python 的科学计算和数据分析的环境搭建、管理。
2.3 Singularity
Singularity 是⼀种器技术,可让⽤户在不同的计算机上⾏相同的应⽤程,⽽不需担心环境差异。Singularity与Docker功能相似,但是相比docker需要root权限,或者专门添加用户组,Singularity在非root时也可以使用,且轻量级、修改方便。
Singularity的主要概念包括:
1) 容器:一个包含用户软件和依赖的镜像系统,可以独立运行一条或多条命令。Singularity没有镜像的概念,用户创建和运行的都是一个一个容器。
2) SIF:压缩后的只读Singularity镜像文件,是生产使用的主要形式。
3) Sandbox:可写的容器存在形式,是文件系统中的一个目录,常用于开发或创建自己的容器。
常用操作指令如下:
命令 | 功能 |
singularity pull [library]://[image] | 从[library]拉取镜像[image] |
singularity build [image_file] [library]://[image] | 从[library]下载[image]并保存成[image_file]的容器文件 |
Singularity run [image_file].sif | 运行[image_file]的容器 |
singularity exec [image_file].sif [command] | 在容器[image_file]中执行指令[command] |
singularity exec [image_file].sif | 以命令行交互方式运行容器 |
singularity run --nv -B /path/to/your/data:/data [image_file].sif [command] | 调用GPU容器[image_file],同时将系统/path/to/your/data目录映射为容器/data目录,执行命令[command] |
更多相信信息可参见Singularity的网站(链接:https://apptainer.org/documentation/)查找相关信息。
2.4其他软件
平台目前配置的是Linux的操作系统,提供了基础的运行环境和常用的运行编译环境(已预装的常用软件可参见:常用软件),用户可自行编译大多数的基于Linux操作系统的软件应用。
同时用户在部署和使用过程中,应遵守软件的授权协议进行使用,在部署安装过程中,如遇到问题,对于符合授权协议的软件,可联系管理员寻求协助。(数据统计截至到2024年12月27日)
业务负责人:张迎冬
联系方式:20685418 zhangyd@shanghaitech.edu.cn
高性能工程师:孙思思
联系方式:20684830 sunss@shanghaitech.edu.cn
高性能工程师:孙颖彬
联系方式:20684819 sunyb@shanghaitech.edu.cn