Суперкомпьютер RoadRunner

Лаборатория Параллельных информационных технологий НИВЦ МГУ
10 июля 2008


RoadRunner. Фотография из пресс-релиза IBM

Общие сведения

Суперкомпьютер Roadrunner стал первым компьютером, преодолевшим на тесте Linpack рубеж производительности в 1 PFlop/s. Начиная с 31-ой редакции (июнь 2008 года), возглавляет список TOP500 наиболее мощных компьютеров мира. Суперкомпьютер создан компанией IBM для Министерства Энергетики США и установлен в Лос-Аламосской национальной лаборатории в Нью-Мексико, США.

Суперкомпьютер Roadrunner построен по гибридной схеме из 6120 двухъядерных процессоров AMD Opteron и почти 12240 процессоров IBM Cell 8i в специальных блэйд-модулях TriBlades, соединенных с помощью коммуникационной сети Infiniband. Установка занимает площадь приблизительно 560 квадратных метров, и весит 226 тонн. Общее знергопотребление установки - 2.35 МВт, при этом энергоэффективность составляет 437 MFlop/s/Вт. Стоимость IBM Roadrunner составила 133 миллиона долларов. Пиковая производительность суперкомпьютера составила 1.376 PFlop/s, производительность на тесте Linpack - 1.026 PFlop/s.

Министерства Энергетики планирует использовать RoadRunner для расчёта старения ядерных материалов и анализа безопастности и надёжности ядерного арсенала США. Также планируется использование для научных, финансовых, транспортных и аэрокосмических расчетов.

Архитектура

Процессоры

В суперкомпьютере Roadrunner использованы двухъядерные процессоры AMD Opteron 2210, работающие на частоте 1.8 ГГц. Всего задействовано 6912 таких процессоров: 6120 вычислительных и 442 процессора для системных функций (13124 процессорных ядра: 12240 и 884 соответственно).

Также в суперкомпьютер Roadrunner задействованы процессоры IBM PowerXCell 8i, работающие на частоте 3.2 ГГц. Каждый такой процессор включает в себя одно универсальное ядро Power (PPE) и 8 специальных ядер для операций с плавающей точкой (SPE). Всего задействовано 12240 таких процессоров, что составляет 12240 ядер PPE и 97920 ядер SPE (всего 110160 ядер).

Блэйд-модули TriBlade

Логически блэйд-модуль TriBlade состоит из четырёх ядер Opteron, четырёх PowerXCell 8i процессоров, 16 Гбайт памяти для Opteron и 16 Гбайт памяти для Cell. Физически TriBlade состоит из одной платы LS21, платы расширения и двух плат QS22. LS21 содержит два двухъядерных процессора Opteron с 16 Гбайт памяти, по 4 Гбайт на ядро. Каждая плата QS22 содержит два процессора PowerXCell 8i и 8 Гбайт памяти, по 4 Гбайт на каждый процессор. Плата расширения соединяет QS22 через четыре разъёма PCI x8 с LS21, по два разъёма на QS22. Также она обеспечивает подключение Infiniband 4x DDR. В результате один блэйд-модуль TriBlade занимает четыре слота, и три TriBlades помещаются в шасси BladeCenter H.


Структурная схема блэйд-модуля TriBlade

Объединённый модуль (Connected Unit)

Объединённый модуль - это 60 шасси BladeCenter H с установленными блэйд-модулями TriBlades, всего 180 TriBlades. Все TriBlades подсоединены к 288-портовому маршрутизатору Voltaire ISR2012 Infiniband. Каждый объединённый модуль также подсоединён к файловой системе Panasas через 12 серверов System x3755.

Системная информация по объединённому модулю:

  • 360 двухъядерных процессоров Opteron с 2.88 Тбайт памяти;
  • 720 процессоров PowerXCell с 2.88 Тбайт памяти;
  • 12 серверов System x3755 с двумя 10 Гбит Ethernet каждый;
  • 288-портовый маршрутизатор Voltaire ISR2012 с 192 Infiniband 4x DDR (180 TriBlades и 12 узлов ввода/вывода).

Кластер Roadrunner

Кластер собран из 17 объединённых модулей, соединённых через восемь дополнительных (второго уровня) маршрутизаторов ISR2012. Каждый объединённый модуль подсоединён через 12 каналов к каждому маршрутизатору, суммарно получается 96 соединений.

Суммарная информация по системе:

  • 6120 двухъядерных процессоров Opteron с 49 Тбайт памяти (на 3060 LS21);
  • 12240 процессоров Cell с 49 Тбайт памяти (на 6120 QS22);
  • 204 узла ввода-вывода System x3755;
  • 26 288-портовых маршрутизаторов ISR2012 Infiniband 4x DDR;
  • 278 стоек;
  • Энергопотребление системы 2.35 МВт.

Программное обеспечение

Roadrunner работает под управлением Red Hat Enterprise Linux и управляется при помощи программного обеспечения xCAT.

Дополнительная информация:

© Лаборатория Параллельных информационных технологий НИВЦ МГУ
Rambler's Top100