Суперкомпьютер Piz Daint Cray XC50
Казьмина К. П.,
ВМК МГУ,
Москва, 2018
1. Положение в рейтингах
Суперкомпьютер Piz Daint был установлен в Швейцарии (Swiss National Supercomputing Centre) в декабре 2012 года. В списке Top500 занимает пятую позицию на ноябрь 2018 года [1] (с максимальной производительностью на Linpack в 21 230.0 терафлопс в секунду, у системы на первом месте данный показатель равен 143 500.0 терафлопс в секунду) и является самым быстрым суперкомпьютером Европы по соответствующим списку критериям. Самая высокая позиция в Top500 за всё время – третья, 2017 год [2]. В рейтинге, составленном по результатам производительности для бенчмарка High-Performance Conjugate Gradient (HPCG), Piz Daint занимает шестое место с показателем в 496.978 терафлопс в секунду (у системы на первом месте – 2926 терафлопс в секунду). Также Piz Daint можно назвать энергоэффективным суперкомпьютером: в списке Green500 он занимает 18 позицию с энергоэффективностью в 8.904 гигафлопс на ватт (у системы на первом месте – 17.604 гигафлопс на ватт). Такой показатель, в основном, объясняется энергоэффективностью установленных в суперкомпьютере ускорителей NVIDIA Tesla P100. На практике основные приложения, запускаемые на Piz Daint, работают с GPU.
2. Характеристики системы
Piz Daint создан на базе Cray XC40/XC50 и является первой реально используемой системой с Cray XC50. Один узел XC40 содержит два процессора Intel Xeon E5-2695 v4 (2.10GHz, 2 x 18 cores, 64/128 GB RAM), всего 1813 узлов. Один узел XC50 содержит процессор Intel Xeon E5-2690 v3 (2.60GHz, 12 cores, 64GB RAM) и ускоритель NVIDIA Tesla P100 (16GB), всего 5704 узла. Узлы соединены интерконнектом Cray Aries с топологией Dragonfly [3].
Один шкаф системы XC50 в Piz Daint содержит 48 модулей, изображенных на Рис. 1 [4]. Каждый модуль содержит четыре узла. Каждый ускоритель Tesla P100 занимает всю ширину модуля, между парами соседних ускорителей проходит поток воздуха, что делает охлаждение более эффективным, чем в модулях XC30, где на один поток воздуха приходилось четыре ускорителя. Соединение с Aries осуществляется через чип, находящийся в левой части модуля. Вероятно, при запусках Linpack для списка Top500 узлы XC40 использованы не были.
Рисунок 1. Модуль XC50, содержащий четыре узла
Ниже приведена информация о параметрах и производительности Piz Daint с сайта Top500.
|
Место установки: |
|
|
Сайт: |
|
|
Производитель: |
Cray Inc. |
|
Количество ядер: |
387,872 |
|
Память: |
365,056 GB |
|
Процессор: |
Xeon E5-2690v3 12C 2.6GHz |
|
Интерконнект: |
Aries interconnect |
|
Производительность |
|
|
Производительность Linpack (Rmax) |
21,230 TFlop/s |
|
Теоретическая пиковая производительность (Rpeak) |
27,154.3 TFlop/s |
|
Nmax |
3,743,232 |
|
Производительность HPCG [TFlop/s] |
496.978 |
|
Потребление энергии |
|
|
Энергия: |
2,384.24 kW (Submitted) |
|
Количество ядер, для которых проведены замеры: |
387,872 |
|
ПО |
|
|
Операционная система: |
Cray Linux Environment |
Некоторые обозначения:
· Rmax – максимальная достигнутая на LINPACK производительность
· Nmax – размер задачи, при котором достигнута Rmax
Для Piz Daint задействовано жидкое охлаждение [5]: за секунду через систему проходит до 760 литров воды с температурой около 6 градусов, которая, ради увеличения энергоэффективности, берется из ближайшего озера Лугано; из экологических соображений температура отводящейся обратно в озеро нагретой воды поддерживается не выше 25 градусов. Помимо этого используется охлаждение воздухом. Система охлаждения для XC50 имеет такую же структуру, как система охлаждения для XC40, которая изображена на Рис. 2.
Рисунок 2. Система охлаждения XC40
3. Программное обеспечение
Для улучшения пропускной способности чтения/записи используется Cray DataWarp. Cray DataWarp осуществляет кэширование данных параллельной файловой системы на флэш-SSD, таким образом, при обращении к файловой системе приложение на самом деле работает с флэш-памятью. Узлы ввода-вывода, оснащенные DataWarp, соединены с остальными узлами через Aries.
Используется Cray Linux Environment (операционная система SUSE Linux SLES11, Hardware Supervisory System (HSS), Software Management Workstation (SMW)) и система программирования Cray Programming Environment [6]. Cray Programming Environment [7] включает: Cray Compiler Environment (поддерживает Fortran, C, C++), Cray Scientific Libraries (LibSci™ и LibSci_ACC, содержат CrayBLAS, LAPACK, ScaLAPACK), Cray Programming Environment Machine Learning Plugin, Cray Debugging Support Tools (GDB4HPC и CCDB), Cray Performance Measurement, Analysis and Porting Tools (CPMAT), Chapel programming language.
4. Прикладные задачи
Суперкомпьютер Piz Daint включен в список систем, с которыми работает PRACE (Partnership for Advanced Computing in Europe) – система принадлежит к Tier 0 (общеевропейский уровень) [8].
Технология DataWarp делает возможной эффективную параллельную работу с данными в памяти. Помимо этого, высокую пропускную способность также обеспечивает работа с GPU, что делает Piz Daint подходящим для параллельных программ, интенсивно работающих с большими объемами данных. Такое направление развития было выбрано как приоритетное суперкомьютерным центром, а также одним из разрабатываемых направлений является интерактивная работа с вычислительной системой.
Исследования, проводящиеся использованием Piz Daint, относятся к области молекулярной химии, физики частиц, глобального климатического моделирования и др. В частности, для модели COSMO (COnductor like Screening MOdel for Real Solvents), осуществляющей симуляцию климата, было достигнуто максимальное масштабирование на 4888 узлов с GPU и время исполнения в 2-3 раза меньшее, чем на лидирующей в Top500 на начало ноября 2018 года системе TaihuLight [9]. Превосходство Piz Daint над суперкомпьютерами выше по рейтингу на приложениях, связанных с симуляцией климата, вносит свой в клад в дискуссию об адекватности составления рейтинга суперкомпьютеров на основе Linpack.
Источники
1. Top500 Lists: https://www.top500.org/lists/2018/11/
2. Top500: https://www.top500.org/news/swiss-deploy-worlds-fastest-gpu-powered-supercomputer/
3. Swiss National Supercomputing Centre: https://www.cscs.ch/computers/piz-daint/
4. Sadaf Alam et al. An Operational Perspective on a Hybrid and Heterogeneous Cray XC50 System: https://cug.org/proceedings/cug2017_proceedings/includes/files/pap139s2-file1.pdf
5. Le News: https://lenews.ch/2017/06/20/swiss-supercomputer-now-worlds-third-most-powerful/
6. Cray XC50: https://www.cray.com/sites/default/files/Cray-XC50-NVIDIA-Tesla-P100-GPU-Accelerator-Blade.pdf
7. Cray Programming Environment: https://www.cray.com/sites/default/files/SB-Cray-Programming-Environment.pdf
8. PRACE: http://www.prace-ri.eu/prace-resources/
9. HPCwire: https://www.hpcwire.com/2017/10/17/researchers-scale-cosmo-climate-code-4888-gpus-piz-daint/
