Наиболее распространенные коммуникационные технологии

На данной странице перечислены наиболее распространенные высокоскоростные сетевые и коммуникационные аппаратные технологии, которые используются для связи вычислительных узлов при построении кластеров. Для каждой технологии приведена следующая информация: название, компании-производители сетевого оборудования, показатели производительности и примерные цены на оборудование (по состоянию на 2003 год), программная поддержка, информация об архитектуре, дополнительные комментарии, информация о реальном использовании данных технологий при построении кластеров.

Список технологий: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNet^II (QSW), MEMORY CHANNEL, ServerNet II, InfiniBand, Flat Neighborhood.

Fast Ethernet

Производители оборудования	Intel, CISCO, 3Com и др.
Показатели производительности	Пиковая пропускная способность - 100 Mbit/sec (12.5 MB/sec), полный дуплекс. В рамках MPI достигаются скорости порядка 6-7 MB/sec.
Примерные цены	Сетевой адаптер - $15, 16-портовый коммутатор Intel InBusiness Switch - $175
Программная поддержка	Драйверы для всех версий UNIX и Windows NT, протоколы TCP/IP, MPICH - бесплатная переносимая реализация MPI.
Комментарии	Преимуществами данной технологии являются: хорошая стандартизация и широкое распространение, а также низкие цены на оборудование и использование стандартных сетевых кабелей (UTP).

Дополнительная информация

Fast Ethernet как развитие классического Ethernet'а (Н. Олифер, В. Олифер, "Базовые технологии локальных сетей").
Новости: IBM демонстрирует Linux-кластер с суперкомпьютерной производительностью.

Реальные кластеры

RHIC Computing Facility в Brookhaven National Laboratory, 2194 процессора Intel Pentuim-III и Pentium-IV, Linux.

Gigabit Ethernet

Производители оборудования	Intel, 3COM и др.
Показатели производительности	Пиковая пропускная способность - 1 Gbit/sec (125 MB/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 500 Mbit/sec (60 MB/sec), в рамках MPI - до 45 MB/sec
Примерные цены	Сетевой адаптер Intel EtherExpress PRO/1000 MT - $50-$80. Коммутатор D-Link DGS-1016T 16-port UTP 10/100/1000 - $900.
Программная поддержка	Драйверы для многих версий UNIX и Windows NT, протоколы TCP/IP.
Комментарии	Преимуществом данной технологии является совместимость и возможность плавного перехода с технологий Ethernet/Fast Ethernet.

Дополнительная информация

Сетевые решения корпорации Intel - технология Gigabit Ethernet.

Протокол Gigabit Ethernet.

Gigabit Ethernet Alliance.

Реальные кластеры

Avalon в LANL - 140 процессоров Alpha, Linux, используются Fast Ethernet и Gigabit Ethernet.

Кластер в компании GX Technology Corporation - 3264 процессора Sun U-2, Pentium-III и Pentium-IV.

Myrinet 2000 / Myrinet-10G

Производители оборудования	Myricom
Показатели производительности Myrinet-2000 (в скобках - для 10G)	Пиковая пропускная способность - 2 Gbit/sec (10 Gbit/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 1.7-1.9 Gbit/sec (9.6 Gbit/sec). Латентность - порядка 2 мксек. На MPI-приложениях латентность составляет около 10 мксек, скорость передачи данных - до 200 MB/sec (до 400 MB/sec на дуплексных операциях).
Примерные цены	Адаптер 10G-PCIE-8A-S+MX1 для шины PCI-Express - $815
Программная поддержка	Драйвера для Linux (Alpha, x86, PowerPC, UltraSPARC), Windows (x86), Solaris (x86, UltraSPARC) и Tru64 UNIX. GM - интерфейс программирования на нижнем урове. Пакеты HPVM (включает MPI-FM, реализацию MPI для Myrinet), BIP-MPI и др.
Комментарии	Myrinet является открытым стандартом. Myricom предлагает широкий выбор сетевого оборудования по сравнительно невысоким ценам. На физическом уровне поддерживаются сетевые среды SAN (System Area Network), LAN (CL-2) и оптоволокно. Технология Myrinet-10G использует кабели стандарта 10Gbit-Ethernet и карты от Myricom могут работать как 10Gbit-Ethernet карты. Технология Myrinet дает высокие возможности масштабирования сети и в настоящее время очень широко используется при построении высокопроизводительных кластеров.

Дополнительная информация

Myrinet overview (краткое описание Myrinet на сервере Myricom).

Новости: Специалисты из Duke University демонстрируют гигабитную скорость передачи данных в рамках TCP/IP поверх Myrinet.

Реальные кластеры

ПАРИТЕТ (ИВВиБД) - 4 узла по 2 процессора Pentium II, RedHat Linux.

HPC в University of Southern California - 756 узлов по 2 процессора Pentium-III и Pentium-IV, Linux RedHat 7.2.

Cplant в Sandia - почти 1400 рабочих станций и серверов Compaq на базе Alpha, Linux.

SuperMike 512 узлов с 2-мя процессорами Perntium Xeon 1.8 GHz, Linux RedHat 7.2.

cLAN

Производители оборудования	Giganet
Показатели производительности	Пиковая пропускная способность - 1066 MB/sec.
Примерные цены	Сетевой адаптер сLAN1000-LNX - $795, 8-портовый коммутатор cLAN5000-LNX - $6250.
Программная поддержка	MPI/Pro, продукт компании MSTI - высокопроизводительная реализация MPI для cLAN. Поддерживаются платформы Linux и Windows NT.
Комментарии	Продукты семейства cLAN и MPI/Pro предлагаются в составе технологии кластеризации Gigacluster.

Дополнительная информация

Компании Giganet и MSTI предлагают технологию кластеризации Gigacluster.

Реальные кластеры

AC³ Velocity в CTC - 64 сервера PowerEdge по 4 процессора Pentium III.

SCI (Scalable Coherent Interface)

Производители оборудования	Dolphin Interconnect Solutions и др.
Показатели производительности	Для продуктов Dolphin: пиковая пропускная способность - 10 GB/sec, полный дуплекс, в рамках MPI достигается около 700 MB/sec. Аппаратная латентность - 0.2 мксек, в рамках MPI - порядка 1,4 мксек.
Примерные цены	На начало 2008г. фиксированных цен не анонсировано.
Программная поддержка	Драйверы для Linux, Windows NT, Solaris. ScaMPI - реализация MPI компании Scali Computer для систем на базе SCI. SISCI API - интерфейс программирования нижнего уровня.
Комментарии	SCI - стандартизированная технология (ANSI/IEEE l596-1992). Кроме стандартной сетевой среды, SCI поддерживает построение систем с разделяемой памятью и когерентностью кэшей. На коммуникационной технологии SCI основаны кластерные системы компании SCALI Computer, системы семейства hpcLine компании Siemens, а также cc-NUMA-сервера Data General и Sequent. Технология SCI использовалась для связи гиперузлов в системах HP/Convex Exemplar X-class. Иллюстрации

Дополнительная информация

Сайты www.wulfkit.com и www.scali.com

SCIzzL (организация производителей SCI-систем).

SCI - Scalable Coherent Interface.

Standard Software Infrastructures for SCI-based Parallel Systems.

В.В.Корнеев. Параллельные вычислительные системы (книга), раздел 2.1: коммуникационная среда на основе масштабируемого когерентного интерфейса SCI.

Реальные кластеры

Monotlith cluster on NSC - 200 узлов по 2 процессора Intel Xeon 2.2 GHz.

QsNet^II

Производители оборудования	QSW (Quadrics Supercomputers World)
Показатели производительности	Пиковая пропускная способность каналов - 1064 MBytes/sec (достигается 900 MBytes/sec в одном направлении, и 1800 MBytes/sec в режиме Multi-rail). Латентность в рамках MPI - порядка 1,5 мксек. Максимальный размер системы - более 4000 узлов.
Программная поддержка	Поддержка интерфейсов MPI, Shmem, протоколов TCP/IP.
Примерные цены	Около 1700$ за порт.
Комментарии	Сетевое оборудование состоит из коммуникационных процессоров "Elan" и матричных коммутаторов 4x4 "Elite". На базе этих коммутаторов строится единая коммуникационная среда с топологией "fat tree", поддерживается глобальная адресация оперативной памяти. Коммуникационное оборудование QsNet используется в системах AlphaServer SC от Compaq.

Дополнительная информация

Новости: Высокопроизводительный кластер на базе Alpha-серверов проходит ряд тестов программы ASCI.

Реальные кластеры

MCR в Lawrence Livermore National Laboratory. 1152 узла по 2 процессора Intel Xeon 2.2 GHz, Linux.

MEMORY CHANNEL

Производители оборудования	Compaq Computer, разработано совместно с Encore Computer Corp.
Показатели производительности	Пиковая пропускная способность каналов более 100 MB/sec, латентность - 3 мксек.
Примерные цены	N/A
Программная поддержка	TruCluster Memory Channel Software, реализация MPI.
Комментарии	Технология MEMORY CHANNEL обеспечивает функциональность удаленного доступа к памяти других узлов в кластере (память других узлов может отображаться в локальное адресное пространство). Используется в кластерных системах AlphaServer Array и HPC320/HPC160 от Compaq. На данный момкнт эта технология не поддерживается производителем.

Дополнительная информация

Новости: Compaq анонсирует масштабируемые параллельные сервера HPC160 и HPC320.

ServerNet II

Производители оборудования	Hewlett Packard
Показатели производительности	Пиковая пропускная способность каналов 180 MB/sec, латентность - 12-29 мксек.
Примерные цены	N/A
Программная поддержка	MPICH - бесплатная переносимая реализация MPI.
Комментарии	Данная технология послужила предтечей InfiniBand

InfiniBand

Производители оборудования	InfiniBand Trade Association
Показатели производительности	Пиковая пропускная способность каналов 10, 20, 30, 40 Gb/sec, латентность - 1,2 мксек.
Примерные цены	N/A
Программная поддержка	OFED - бесплатный пакет драйверов, библиотек, служебного ПО и MVAPICH - реализация MPI, оптимизированная для InfiniBand.
Комментарии	InfiniBand предлагает удалённый прямой доступ в память (remote direct memory access - RDMA), позволяющий доставлять данные непосредственно в память процесса, не вовлекая системные вызовы. Данные могут передаваться 1-о,4-х и 12-ти кратной скоростью. Анонсирован стандарт QDR 12x, позволяющий передевать данные со скоростью 120 GB/sec.

Дополнительная информация:

Презентация А.Слепухина (компания "Т-Платформы"): "Технология InfiniBand: архитектура, текущее состояние и перспективы развития"
Стратегия развития стандарта InfiniBand

Реальные кластеры

СКИФ-МГУ.

Flat Neighborhood

Производители оборудования
Показатели производительности
Примерные цены	N/A
Программная поддержка
Комментарии	Данная технология является лишь оптимизацией существующих сетевых технологий, посторенных на базе свичей (как правило Ethernet). Её суть состоит в увеличении количества сетевых карт в каждом узле вычислительного кластера и соединении узлов таким образом, чтобы максимально снизить путь пакетов и нагрузку на свичи. Впервые применена в кластере KLAT2.

Смотрите также:

Что такое Beowulf? (технология организации параллельных вычислений на Linux-кластерах).
Высокоскоростные технологии ЛВС (Виктор и Наталья Олифер).
High Speed Interconnect (страница CERN о высокоскоростных сетях).