平台概况

1.平台简介

上海科技大学高性能计算平台自2017年7月1日正式投入运行以来,截至202412月27日,已对接学校公共服务器资源(公共资源)和院所参与共享统筹的服务器资源共计740台。其中,物理CPU节点405台,物理GPU节点309台,虚拟CPU节点26个。单精理论峰值处理能力方面,CPU节点处理能力0.76Pflops,GPU节点处理能力26.68Pflops,目前可用科研计算存储容量9.3PB,人工智能计算专用存储3.7PB。

2.硬件资源概况

平台提供预装软件,可通过ENVIRONMENT MODULESAnacondaSingularity来切换自己运行程序所需的运行环境。

2.1ENVIRONMENT MODULES

ENVIRONMENT MODULES可以帮助用户在公共平台上调用预装的软件包或切换拟调用的版本。每个ENVIRONMENT MODULES都是可以加载或卸载环境设置。用户也可以根据自己需要编写自己的模块配置文件。

命令

功能

module use [PATH]

将[PATH]下的文件添加到模块列表中

module avail

列出所有模块

module load [MODULE]

加载[MODULE]

module unload [MODULE]

卸载[MODULE]

module whatis [MODULE]

显示有关[MODULE]的基本信息

module info [MODULE]

显示有关[MODULE]的详细信息


2.2Anaconda

Anaconda 是一个用于科学计算的 Python 发行版,支持 Linux、Mac、Windows, 包含了众多流行的科学计算、数据分析的 Python 包。其使用conda系统进行包管理。区别于 virtualenv(Python 环境管理工具) 的地方是 Conda 不仅可以管理环境,还可管理 Python 的版本,创建独立环境只是 conda 的一个功能,它还是可以安装库。Conda 在安装一些依赖 C、C++的 Python 库时特别方便与流畅。比如:Numpy、Pandas、等一些数据库驱动,直接通过命令就可以安装,不需要额外自行编译、安装 C 库。因此,Conda 在 Python 安装依赖于其它语言的 Python 库表现极佳,多用于 Python 的科学计算和数据分析的环境搭建、管理。

2.3 Singularity

Singularity 是⼀种器技术,可让⽤户在不同的计算机上⾏相同的应⽤程,⽽不需担心环境差异。Singularity与Docker功能相似,但是相比docker需要root权限,或者专门添加用户组,Singularity在非root时也可以使用,且轻量级、修改方便。

Singularity的主要概念包括:

1) ‌容器‌:一个包含用户软件和依赖的镜像系统,可以独立运行一条或多条命令。Singularity没有镜像的概念,用户创建和运行的都是一个一个容器‌。

2) ‌SIF‌:压缩后的只读Singularity镜像文件,是生产使用的主要形式。

3) ‌Sandbox‌:可写的容器存在形式,是文件系统中的一个目录,常用于开发或创建自己的容器。


常用操作指令如下:


命令

功能

singularity pull [library]://[image]

从[library]拉取镜像[image]

singularity build [image_file] [library]://[image]

从[library]下载[image]并保存成[image_file]的容器文件

Singularity run [image_file].sif

运行[image_file]的容器

singularity exec [image_file].sif [command]

在容器[image_file]中执行指令[command]

singularity exec [image_file].sif

以命令行交互方式运行容器

singularity run --nv -B /path/to/your/data:/data [image_file].sif  [command]

调用GPU容器[image_file],同时将系统/path/to/your/data目录映射为容器/data目录,执行命令[command]


更多相信信息可参见Singularity的网站(链接:https://apptainer.org/documentation/)查找相关信息。

2.4其他软件

平台目前配置的是Linux的操作系统,提供了基础的运行环境和常用的运行编译环境(已预装的常用软件可参见:常用软件),用户可自行编译大多数的基于Linux操作系统的软件应用。

同时用户在部署和使用过程中,应遵守软件的授权协议进行使用,在部署安装过程中,如遇到问题,对于符合授权协议的软件,可联系管理员寻求协助。(数据统计截至到202412月27日)


业务负责人:张迎冬

联系方式:20685418   zhangyd@shanghaitech.edu.cn

高性能工程师:孙思思

联系方式:20684830   sunss@shanghaitech.edu.cn

高性能工程师:孙颖彬

联系方式:20684819   sunyb@shanghaitech.edu.cn