Суперкомпьютер "ЛОМОНОСОВ"

Общая характеристика

Основные технические характеристики суперкомпьютера "Ломоносов"
Пиковая производительность 1,7 Пфлопс
Производительность на тесте Linpack 901.9 Тфлопс
Число вычислительных узлов х86 5 104
Число графических вычислительных узлов 1 065
Число вычислительных узлов PowerXCell 30
Число процессоров/ядер x86 12 346 / 52 168
Число графических ядер 954 240
Оперативная память 92 ТБ
Общий объем дисковой памяти вычислителя 1,75 ПБ
Основной тип процессора Intel Xeon  X5570/Intel Xeon 5670, Nvidia X2070
Число типов вычислительных узлов 8
Основной тип вычислительных узлов TB2-XN
System/Servise/Management Network QDR Infiniband 4x/10G Ethernet/Gigabit Ethernet
Система хранения данных

Параллельная файловая система Lustre, файловая система NFS,

иерархическая файловая система StorNext,

система резервного копирования и архивирования данных 
Операционная система Clustrx T-Platforms Edition
Занимаемая площадь 252 м2
Потребление энергии 2,6 МВт
Вес всех составляющих Более 75 тонн
Производитель Т-Платформы
Год выпуска 2009 г.

Площади помещений:

  • Вычислитель: 252 кв. м
  • СБЭ (система бесперебойного электропитания): 246 кв.м.
  • ГРЩ (главный распределительный щит): 85 кв. м.
  • Климатическая система: 216 кв. м.

Энергопотребление:

  • Пиковая мощность вычислителя (1,7 Tflops): 2,6 МВт
  • Средняя мощность инфраструктуры: 740 КВт.
  • Пиковая мощность инфраструктуры при внешней температуре 35 цельсия: 1,2 МВт
  • Средняя суммарная мощность комплекса: 2,57 МВт
  • Пиковая суммарная мощность комплекса (при 35 цельсия): 3,05 МВт.

Вычислительные узлы и сети

Группы вычислительных узлов:

Тип Процессоры Количество
ядер		 Оперативная память, ГБ Суммарное количество
процессоров		 Суммарное количество
ядер		 Количество
узлов
T-Blade2(УВ1) 2 x Intel® Xeon 5570 Nehalem 2 x 4 12 8 320 33 280 4 160
T-Blade1(УВ2) 2 x Intel® Xeon 5570 Nehalem 2 x 4 24 520 2 080 260
T-Blade2(УВ1) 2 x Intel® Xeon 5670 Westmere 2 x 6 24 1 280 7 680 640
T-Blade1(УВ2) 2 x Intel® Xeon 5670 Westmere 2 x 6 48 80 480 40
Узлы на базе
IBM® Cell (УВ3)		 PowerXCell 8i 8 16 60 480 30

Все узлы связаны тремя независимыми сетями:

  • Системная сеть - QDR InfiniBand, 40 Гбит/сек (схема)
  • Сервисная сеть - Ethernet, 10 Гбит/сек, 1 Гбит/сек и 100 Мбит/сек (схема)
  • Управляющая сеть - Ethernet, 10 Гбит/сек и 1 Гбит/сек (схема)
  • Сеть барьерной синхронизации и сеть глобальных прерываний, Т-Платформы

Программное обеспечение

  • Средства архивации данных: bacula 3 (Т-Платформы), StorNext (Quantum), NetBackup (Symantec)
  • Передача файлов: SCP, SFTP
  • Управление заданиями и ресурсами: SLURM 2.0
  • Среды исполнения: OpenMPI 1.4, MVAPICH 1.1, IntelMPI 4
  • Языки программирования: C/C++, Fortran 77/90/95
  • Наборы компиляторов: Intel 12, GNU 4.4, Pathscale, PGI
  • Средства отладки и анализа производительности: Intel® ITAC 12, grpof 4, Intel® vTune 4, Intel® Thread Checker, Acumem ThreadSpotter, IDB, Allinea DDT
  • Системы контроля версий: SVN, GIT
  • Языки сценариев: Perl, Python

HPC-приложения

  • MOLPRO, версия 2010.1 (установлено в /opt/molpro2010.1/) - доступен ТОЛЬКО сотрудникам МГУ.