Суперкомпьютеры IBM Summit и IBM Sierra
Леменков Д. Д.
ВМК МГУ им. Ломоносова
Москва, 2018
1. Введение
IBM Summit --- суперкомпьютер, разработанный компанией IBM для Окриджской Национальной лаборатории. Вычислительная мощность компьютера составляет 122.3 PFlops при 15 МВт потребляемой мощности. [12] Суперкомпьютер был введён в строй в июне 2018 года, заменив Titan. [12, 13]
IBM Sierra --- это суперкомпьютер, установленный в Ливерморской национальной лаборатории для нужд Национального управления ядерной безопасности. Он используется главным образом для построения прогнозов в приложении к задачам управления ядерным арсеналом, помогая обеспечить безопасность, надёжность и эффективность ядерного оружия США. [1]
1.1. CORAL
CORAL (Collaboration of Oak Ridge, Argonne, and Livermore) -- совместный научный проект Национальной лаборатории Ок-Ридж, Аргоннской национальной лаборатории и Ливерморской национальной лаборатории, целью которого является сотрудничество между Национальным управлением ядерной безопасности и Научным агентством Министерства энергетики США [10]. CORAL включает в себя три суперкомпьютерные системы [10]:
● IBM Sierra в Ливерморской национальной лаборатории,
● IBM Summit в Национальной лаборатории Ок-Ридж,
● Aurora в Аргоннской национальной лаборатории (введение в эксплуатацию запланировано на 2021 год [10]).
IBM Sierra --- гибридная суперкомпьютерная система IBM Power Systems AC922, состоящая из узлов IBM POWER9 с графическими ускорителями NVIDIA Volta [10, 3, 4, 5, 6]. IBM Summit обладает аналогичной архитектурой. [14]
1.2. Местоположение
Суперкомпьютер IBM Sierra установлен в Ливерморской национальной лаборатории (Lawrence Livermore National Laboratory) [1, 4, 5, 6] и входит в состав Вычислительного комплекса Ливермора (Livermore Computing Complex, LC) [2].
Суперкомпьютер IBM Summit установлен в Национальной лаборатории Ок-Ридж (Oak Ridge National Laboratory, ORNL) [15].
1.3. Специализация
IBM Sierra используется для научных вычислений, связанных с ядерным оружием. [6] Комментируя запуск суперкомпьютера IBM Summit, министр энергетики США Рик Перри заявил, что суперкомпьютер окажет большое влияние на исследования в сфере энергетики, научные открытия, экономическую конкурентоспособность и национальную безопасность. [18] IBM Summit будет использоваться для поиска возможных связей между генами и раковыми заболеваниями, а также между возникновением зависимостей от наркотических веществ. Суперкомпьютер также может помочь в климатическом моделировании, что увеличит эффективность прогноза погоды. [18]
1.4. Положение в рейтингах суперкомпьютерных систем
Суперкомпьютер IBM Sierra занимал место #3 в рейтинге Top 500 в редакции июня 2018 [3, 4], затем поднялся до места #2 в редакции ноября 2018 [3, 5]. В рейтинге Green 500 суперкомпьютер занимал позицию #6 в редакции ноября 2018 [8].
Суперкомпьютер IBM Summit занимал место #1 в рейтинге Top 500 в обеих редакциях 2018 года [16]. В рейтинге Green 500 IBM Summit располагался на позиции #3 в редакции ноября 2018 года.
2. Аппаратная архитектура
2.1. Обзор конфигурации [10]
Базовые компоненты, составляющие суперкомпьютерные системы IBM Summit и IBM Sierra, включают фреймы (frames), стойки (racks), узлы (nodes), сеть (network), файловую систему (file system), архивное хранилище HPSS (archival HPSS Storage).
Существуют узлов нескольких типов: вычислительные узлы (compute nodes), узлы входа и запуска (login/launch nodes), узлы ввода-вывода (I/O nodes), служебные узлы (service/management nodes). Вычислительные узлы предназначены для непосредственного выполнения вычислительных задач. Они являются двухсокетными узлами IBM POWER9 (AC922), каждый такой узел содержит несколько графических видеокарт NVIDIA Tesla V100 (Volta): 4 в IBM Sierra [6] и 6 в IBM Summit [14]. Узлы входа и запуска предназначены для обеспечения удалённого доступа пользователям. На этих узлах выполняется компиляция программ и добавление их в очередь задач. Данные узлы являются общими (shared) для всех пользователей и поэтому не должны быть использованы для запуска параллельных задач. Узлы входа и запуска так же, как и вычислительные узлы, имеют два сокета IBM POWER9 и 4 графических видеокарты NVIDIA Tesla V100 (Volta). Узлы ввода-вывода являются файловыми серверами и составляют параллельную файловую систему IBM Spectrum Scale (IBM Spectrum Scale parallel file systems). Пользователи не имеют прямого доступа к таким узлам. Данные узлы являются двухсокетными узлами IBM POWER9 и не имеют графических видеокарт. Служебные узлы зарезервированы для системных процедур, не обеспечивают прямого доступа для пользователей и аналогичны узлам ввода-вывода: два сокета IBM POWER9 без графических видеокарт.
IBM Sierra использует сеть от Mellanox: Enhanced Data Rate (EDR) InfiniBand [3, 4, 6]. Пропускная способность 100 Гб/с. Сеть этого типа используется для внутренних коммуникаций (в том числе MPI) в рамках одного узла, для трафика ввода-выводе между вычислительными узлами и узлами ввода-вывода, а также для доступа к другим кластерам и параллельным файловым серверам Вычислительного комплекса. Сеть другого типа, GigE, используется для соединения сетей InfiniBand, HPSS, внешних сетей и систем хранения.
Основной файловой системой IBM Summit и IBM Sierra является параллельная файловая система IBM Spectrum Scale. В других кластерах Вычислительного центра используется файловая система Lustre. Кроме этого используется NFS для домашних директорий пользователей, для временных файлов и для инфраструктурных сервисов.
Количественные характеристики архитектуры IBM Sierra:
● общее количество узлов: 4474 [6]
○ вычислительные узлы: 4320 [4, 6]
○ узлы входа: 5 [6]
● общее количество ядер: 1572480 [3, 4, 5]
○ из них CPU ядер: 190080 [6]
● общее количество GPU: 17280 [6]
● общий объём RAM: 1382400 GB [3, 6]
Количественные характеристики архитектура IBM Summit [16]:
● общее количество узлов: 4608
● общее количество CPU: 9216 [14]
● общее количество GPU: 27648 [14]
● общее количество ядер: 2397824
2.2. Архитектура узла IBM POWER9 AC922 [10]
Каждый узел IBM POWER9 AC922 имеет два процессорных сокета IBM POWER9 и поддерживает до 6 графических видеокарт NVIDIA Tesla V100 (Volta). В качестве интерконнекта для CPU--GPU и GPU--GPU используется технология NVLink2.
Узел поддерживает суммарно до 16 ТиБ основной (оперативной) памяти, для её размещения имеется 16 сокетов DDR4, по 8 DIMM DDR4 на процессорный сокет. Вычислительные узлы IBM Sierra имеют по 256 ГиБ основной памяти [6]. Пропускная способность канала CPU--RAM составляет 170 ГиБ/с на процессор [6], или 340 ГиБ/с на узел. Узлы суперкомпьютера IBM Summit имеют по 512 ГиБ основной памяти [14].
Имеется поддержка для двух жёстких дисков (HDD) или для двух твердотельных накопителей (SSD). Дополнительно можно установить NVMe SSD в слоты PCIe.
Характеристики процессора IBM POWER9:
● технологический процесс 14 нм,
● переменное число активных ядер: 16, 18, 20 или 22 (IBM Sierra использует 22 ядра; всего 44 ярда на узел [6]),
● кэш:
○ данных L1: 32 KB per core, 8-way, private
○ инструкций L1: 32 KB per core, 8-way, private
○ L2: 512 KB per core, 8-way, private
○ L3: 120 MB, 20-way, shared as twelve 10 MB banks
● 64-битная архитектура,
● IBM Power Instruction Set Architecture (ISA) версии 3.0,
● 96 потоков (slices = threads),
● little endian.
● тактовая частота IBM POWER9 22C: 3.1GHz [3, 6]
2.3. Архитектура графического процессора NVIDIA Tesla V100 (Volta) [10]
Графический процессор NVIDIA Tesla V100 имеет потоковый мультипроцессор (SP, Streaming Multiprocessor), оптимизированный для вычислений, связанных с Deep Learning. Он обладает следующими показателями производительности:
● 7.8 TFLOPS при работе с double-precision floating point (FP64) [6],
● 15.7 TFLOPS при работе с single-precision (FP32),
● 125 Tensor TFLOPS.
Для основной памяти используется HBM2 общим объёмом 16 ГиБ. Пиковая пропускная способность: 900 ГиБ/с. Общая память всех GPU на вычислительный узел IBM Sierra составляет, таким образом, 64 ГиБ [6], для узла IBM Summit это значение равно 96 ГиБ [14].
Компоненты графического процессора Volta GV100:
● 6 графических вычислительных кластеров (Graphics Processing Clusters, GPC),
● каждый GPC имеет 14 потоковых мультипроцессора (Streaming Multiprocessors, SM) Volta; всего -- 84 SM,
● каждый SM имеет несколько ядер:
○ 64 single-precision floating-point cores (всего 5376 на GPU),
○ 64 single-precision integer cores (всего 5376),
○ 32 double-precision floating-point cores (всего 2688),
○ 8 Tensor Cores (всего 672),
○ 4 Texture Units (всего 168),
○ 32 устройства загрузки-выгрузки (load/store units),
○ 4 специальных функциональных устройства (special function units), регистровые файлы, буфер и кеш инструкций, планировщик варпов (wapr scheduler) и устройства размещения (dispatch units),
● L2 кеш: 6144 KB.
Графические процессоры Tesla V100, установленные в IBM Sierra [4, 6], используют только 80 из 84 SM и 5120 из 5376 CUDA-ядер.
3. Программная архитектура
Программное окружение, предоставляемое пользователям суперкомпьютерной системы IBM Sierra, обладает следующими характеристиками:
● ОС: Red Hat Enterprise Linux [3, 6]
● компиляторы:
○ IBM XLC [3]
○ Clang: clang/3.9.0, clang/3.9.1, clang/4.0.0 [7]
○ GCC: gcc/4.8-redhat, gcc/4.9.3, gcc/6.1.0 [7]
○ Intel: intel/14.0.3, intel/16.0.3, intel/17.0.2, intel/18.0.1 (L,D), intel/15.0.6, intel/16.0.4, intel/18.0-beta, intel/18.0.2, intel/16.0.2, intel/17.0.0, intel/18.0.0 [7]
○ PGI: pgi/16.3, pgi/16.7, pgi/16.9 [7]
● математические библиотеки: ESSL, CUBLAS 9.2 [3]
● MPI: IBM Spectrum MPI [3]
Для пользователей суперкомпьютера IBM Summit программное окружение аналогично [16]:
● ОС: Red Hat Enterprise Linux 7.4
● компиляторы: IBM XLC, NVCC
● математические библиотеки: ESSL, CUBLAS 9.2
● MPI: IBM Spectrum MPI
4. Характеристики производительности и мощности
Показатели тестов производительности IBM Sierra:
● Linpack (Rmax):
○ Top 500 в редакции июня 2018: 71610.0 TFlop/s [4]
○ Top 500 в редакции ноября 2018: 94640.0 TFlop/s [3, 5]
● HPCG: 1795.67 TFlop/s [3]
Теоретический максимум производительности (Rpeak) IBM Sierra:
● Top 500 в редакции июня 2018: 119193.6 TFlop/s [4]
● Top 500 в редакции ноября 2018: 125712.0 TFlop/s [3, 5]
● Официальная страница IBM Sierra:
○ CPU: 4666 TFlops [6]
○ GPU: 120960 TFlops [6]
○ CPU + GPU: 125626 [6]
Потребляемая мощность IBM Sierra: 7438.28 kW [3, 5].
Энергоэффективность IBM Sierra: 12.723 Gflops/W. [8]
Показатели тестов производительности IBM Summit [16]:
● Linpack (Rmax):
○ Top 500 в редакции июня 2018: 122300.0 TFlop/s [4]
○ Top 500 в редакции ноября 2018: 143500.0 TFlop/s [16, 5]
● HPCG: 2925.75 TFlop/s [17]
Теоретический максимум производительности (Rpeak) IBM Summit [16]:
● Top 500 в редакции июня 2018: 187659.3 TFlop/s [4]
● Top 500 в редакции ноября 2018: 200794.9 TFlop/s [16, 5]
Потребляемая мощность IBM Summit: 9783.00 kW [16, 5].
Энергоэффективность IBM Summit: 14.668 Gflops/W [8].
Источники
- https://en.wikipedia.org/wiki/Sierra_(supercomputer)
- https://en.wikipedia.org/wiki/Lawrence_Livermore_National_Laboratory
- https://www.top500.org/system/179398
- https://www.top500.org/lists/2018/06/
- https://www.top500.org/lists/2018/11/
- https://hpc.llnl.gov/hardware/platforms/sierra
- https://hpc.llnl.gov/software/development-environment-software/compilers
- https://www.top500.org/green500/lists/2018/11/
- https://www.youtube.com/watch?v=OoajYVQuIhA
- https://hpc.llnl.gov/training/tutorials/using-lcs-sierra-system
- https://computation.llnl.gov/computers/sierra
- https://ru.wikipedia.org/wiki/Summit_(суперкомпьютер)
- https://spectrum.ieee.org/computing/hardware/with-summit-supercomputer-us-could-retake-computings-top-spot
- https://www.olcf.ornl.gov/summit/
- https://www.top500.org/site/1333
- https://www.top500.org/system/179397
- https://www.top500.org/hpcg/lists/2018/11/
- http://www.tadviser.ru/index.php/Продукт:IBM_Summit_Суперкомпьютер
