Архитектура суперкомпьютеров серии RS/6000 SP

Типы узлов SP

Существует несколько типов узлов, основными отличиями между которыми являются тип и тактовая частота ЦП, размер кэш-памяти данных первого уровня (L1), разрядности системных шин ЦП/кэш-память и кэш- память/оперативная память (см. табл.). High-узлы имеют SMP-архитектуру и содержат от 2 до 8 процессоров PowerPC 604.

Характеристики узлов SP в основном соответствуют характеристикам эквивалентных моделей рабочих станций RS/6000, приводимых в таблице.

В настоящее время корпорация IBM поставляет только P2SC Thin, P2SC Wide и SMP High - узлы; тем не менее среди инсталлированных сейчас систем наиболее распространенным типом узла является Thin.

Стойки (frames) содержат до 16 узлов и специальные коммутирующие платы (switch boards). Доступны конфигурации SP от 2 до 128 узлов (и до 512 по специальному заказу).

Системное ПО

Архитектура высокопроизводительного коммутатора

Коммуникационая сеть SP имеет многостадийную (multistage), или непрямую (indirect), структуру и основана на коммутации пакетов. Базовыми аппаратными составляющими сети являются: (1) коммуникационный адаптер (HPS Adapter), устанавливаемый в слот Micro Channel в каждом узле и (2) коммутирующая плата (switch board) в каждой стойке. На рис. 1 представлена схема сети для системы из 80 узлов или 5 стоек: коммутирующие платы непосредственно связаны каждая с каждой, причем 4 линками. Для связи большего количества узлов необходимы промежуточные коммутирующие платы (увеличивается стадийность сети). (рис. 1) (рис. 2)

На рис. 2 показана структура коммутирующей платы, состоящей из 8 коммутирующих элементов. Плата обслуживает все узлы в одной стойке; на рисунке 2 это 16 узлов типа Thin, обозначенных как P0,P1,...P15. Каждый из линков, обозначенных на рис.2 стрелками, состоит из двух физических каналов; что означает, что коммутатор поддерживает на аппаратном уровне двунаправленные обмены. Длина маршрута между любыми двумя узлами не превышает стадийности сети; это гарантирует малые величины латентности. Кроме того, между любыми двумя узлами существует по крайней мере 4 непересекающихся кратчайших пути, что существенно повышает пропускную способность, а также позволяет сети функционировать даже в случае неисправности некоторых элементов. HPS-адаптер поддерживает два протокола верхнего уровня: Internet Protocol (IP) и User Space (US). Адаптер доступен нескольким процессам в режиме IP и только одному - в режиме US. При этом пропускная способность в режиме User Space оказывается примерно в 4 раза лучше, что достигается за счет прямого доступа к памяти пользовательского процесса.

Данные IBM

Корпорация IBM предоставила такие данные по пиковой производительности аппаратного обеспечения коммутатора:

Здесь двунаправленная передача данных ровно в 2 раза быстрее однонаправленной; латентность же возрастает при увеличении стадийности сети. Оба факта вытекают из архитектуры высокопроизводительного коммутатора.

В этом же документе приводятся следующие данные по латентности и пропускной способности при использовании MPI для режимов User Space и UDP/IP высокопроизводительного коммутатора и четырех типов узлов.

Уже отсюда легко видеть, что (при использовании наиболее производительного режима - User Space) пропускные способности на различных типах узлов отличаются в 2 раза и более; величины же латентности отличаются не столь значительно.