Суперкомпьютер IBM BlueGene/L

Александр Антонов (asa@parallel.ru),
Лаборатория Параллельных информационных технологий НИВЦ МГУ
16 февраля 2006



(фотография с сайта http://www.terralab.ru/system/38081/)

Проект Blue Gene был начат фирмой IBM в 1999 году. Его целью было объявлено построение суперкомпьютера с производительностью в 1 Pflop/s, в первую очередь предназначенного для решения задач биомолекулярного моделирования. Была объявлена предварительная стоимость реализации проекта в $100 млн, на данный момент она значительно превышена.

На данный момент (начало 2006 года) реализована предварительная часть проекта, которая называется Blue Gene/L. В максимальной конфигурации компьютер Blue Gene/L объединяет 131072 процессора, что позволяет получить пиковую производительность 360 Tflop/s. На тесте Linpack производительность компьютера Blue Gene/L, установленного в Ливерморской национальной лаборатории имени Лоуренса (LNLL), полученная в максимальной конфигурации, составила 280.6 Tflop/s.

В 26-ю редакцию списка Top500 (ноябрь 2005 года) вошли 19 систем Blue Gene/L, в том числе на 1-ом и 2-ом местах. К концу 2006 года планируется запустить в эксплуатацию систему Blue Gene/P с пиковой производительностью 1 Pflop/s и предварительно намечена разработка к концу 2007 - началу 2008 года системы Blue Gene/Q с пиковой производительностью 3 Pflop/s.

Blue Gene/L является массивно-параллельным компьютером и имеет масштабируемую сотовую архитектуру - необходимый компьютер собирается из однотипных стоек. Одна стойка Blue Gene, занимающая менее квадратного метра площади, объединяет до 1024 вычислительных узлов и обладает быстродействием в 5.7 Tflop/s.


Структура суперкомпьютера Blue Gene/L
(схема из презентации "From Blue Gene to Cell")


Схема вычислительного узла Blue Gene/L
(схема из презентации "From Blue Gene to Cell")

Характеристики компьютера Blue Gene/L:

Вычислительный узел PowerPC 440 700MHz, двухпроцессорный (в штатном режиме один процессор вычислительный, второй занимается коммуникациями; при отсутствии пересылок оба процессора могут работать как вычислительные)
Пиковая производительность вычислительного узла 5.6 Gflop/s (2.8 Gflop/s на процессор)
Оперативная память 512 MB SDRAM-DDR на узел (максимально до 2 Гбайт), пропускная способность канала процессор-память 5.5 Гбайт/сек.
Коммуникационная сеть 3-мерный тор (в максимальной конфигурации 64x32x32 узла), пропускная способность 175 Мб/сек. по каждому направлению, латентность 1.5 мкс.
Транспортные и сервисные сети Gigabit Ethernet для мониторинга и управления, Gigabit Ethernet для ввода-вывода, специальная сеть синхронизации, древовидная сеть для редукционных операций и броадкаста (время выполнения броадкаста или глобального суммирования около 2.5 мкс., пропускная спсобность каждой ветки 2.8 Гб/сек.)
Комплектация стойки До 1024 двухпроцессорных вычислительных узлов, 16-128 двухпроцессорных узлов ввода-вывода
Операционная система Вычислительные узлы - специальное легковесное ядро, узлы ввода-вывода - встраеваемый Linux, управляющие узлы - SuSE SLES 9 Linux
Производительность На стойку: пиковая - 5.73 Tflop/s, на тесте Linpack - 4.71 Tflop/s;
в полной конфигурации: пиковая - 360 Tflop/s, на тесте Linpack - 280.6 Tflop/s
Энергопотребление На стойку - до 27.6 КВт, в полной конфигурации вместе с системами охлаждения - около 2 МВт

Программное обеспечение компьютера Blue Gene/L включает: MPI (на основе MPICH2) для C, C++, Fortran, Co-Array FORTRAN (CAF), Unified Parallel C (UPC), Engineering and Scientific Subroutine Library (ESSL), Mathematical Acceleration Subsystem (MASS), Fast Fourier Transforms (FFT) и 3D-FFT, General Parallel File System (GPFS), LoadLeveler. ESSL предоставляет более 150 специально оптимизированных математических функций, MASS - набор оптимизированных матматических библиотек для вычисления дробей и квадратных корней с одинарной и двойной точностью, Fast Fourier Transforms (FFT) и 3D-FFT - реализации быстрого преобразования Фурье, GPFS - высокопроизводительная кластерная файловая система, LoadLeveler - менеджер ресурсов.

Дополнительная информация:


© Лаборатория Параллельных информационных технологий НИВЦ МГУ
Rambler's Top100