Наиболее распространенные коммуникационные технологии

На данной странице перечислены наиболее распространенные высокоскоростные сетевые и коммуникационные аппаратные технологии, которые используются для связи вычислительных узлов при построении кластеров. Для каждой технологии приведена следующая информация: название, компании-производители сетевого оборудования, показатели производительности и примерные цены на оборудование (по состоянию на 2003 год), программная поддержка, информация об архитектуре, дополнительные комментарии, информация о реальном использовании данных технологий при построении кластеров.

Список технологий: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNEL, ServerNet II, InfiniBand, Flat Neighborhood.


Fast Ethernet

Производители оборудования Intel, CISCO, 3Com и др.
Показатели производительности Пиковая пропускная способность - 100 Mbit/sec (12.5 MB/sec), полный дуплекс. В рамках MPI достигаются скорости порядка 6-7 MB/sec.
Примерные цены Сетевой адаптер - $15, 16-портовый коммутатор Intel InBusiness Switch - $175
Программная поддержка Драйверы для всех версий UNIX и Windows NT, протоколы TCP/IP, MPICH - бесплатная переносимая реализация MPI.
Комментарии Преимуществами данной технологии являются: хорошая стандартизация и широкое распространение, а также низкие цены на оборудование и использование стандартных сетевых кабелей (UTP).

Дополнительная информация

Реальные кластеры

  • RHIC Computing Facility в Brookhaven National Laboratory, 2194 процессора Intel Pentuim-III и Pentium-IV, Linux.

    Gigabit Ethernet

    Производители оборудования Intel, 3COM и др.
    Показатели производительности Пиковая пропускная способность - 1 Gbit/sec (125 MB/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 500 Mbit/sec (60 MB/sec), в рамках MPI - до 45 MB/sec
    Примерные цены Сетевой адаптер Intel EtherExpress PRO/1000 MT - $50-$80. Коммутатор D-Link DGS-1016T 16-port UTP 10/100/1000 - $900.
    Программная поддержка Драйверы для многих версий UNIX и Windows NT, протоколы TCP/IP.
    Комментарии Преимуществом данной технологии является совместимость и возможность плавного перехода с технологий Ethernet/Fast Ethernet.

    Дополнительная информация

  • Сетевые решения корпорации Intel - технология Gigabit Ethernet.
  • Протокол Gigabit Ethernet.
  • Gigabit Ethernet Alliance.

    Реальные кластеры

  • Avalon в LANL - 140 процессоров Alpha, Linux, используются Fast Ethernet и Gigabit Ethernet.
  • Кластер в компании GX Technology Corporation - 3264 процессора Sun U-2, Pentium-III и Pentium-IV.

    Myrinet 2000 / Myrinet-10G

    Производители оборудования Myricom
    Показатели производительности Myrinet-2000 (в скобках - для 10G) Пиковая пропускная способность - 2 Gbit/sec (10 Gbit/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 1.7-1.9 Gbit/sec (9.6 Gbit/sec). Латентность - порядка 2 мксек. На MPI-приложениях латентность составляет около 10 мксек, скорость передачи данных - до 200 MB/sec (до 400 MB/sec на дуплексных операциях).
    Примерные цены Адаптер 10G-PCIE-8A-S+MX1 для шины PCI-Express - $815
    Программная поддержка Драйвера для Linux (Alpha, x86, PowerPC, UltraSPARC), Windows (x86), Solaris (x86, UltraSPARC) и Tru64 UNIX. GM - интерфейс программирования на нижнем урове. Пакеты HPVM (включает MPI-FM, реализацию MPI для Myrinet), BIP-MPI и др.
    Комментарии Myrinet является открытым стандартом. Myricom предлагает широкий выбор сетевого оборудования по сравнительно невысоким ценам. На физическом уровне поддерживаются сетевые среды SAN (System Area Network), LAN (CL-2) и оптоволокно. Технология Myrinet-10G использует кабели стандарта 10Gbit-Ethernet и карты от Myricom могут работать как 10Gbit-Ethernet карты. Технология Myrinet дает высокие возможности масштабирования сети и в настоящее время очень широко используется при построении высокопроизводительных кластеров.

    Дополнительная информация

  • Myrinet overview (краткое описание Myrinet на сервере Myricom).
  • Новости: Специалисты из Duke University демонстрируют гигабитную скорость передачи данных в рамках TCP/IP поверх Myrinet.

    Реальные кластеры

  • ПАРИТЕТ (ИВВиБД) - 4 узла по 2 процессора Pentium II, RedHat Linux.
  • HPC в University of Southern California - 756 узлов по 2 процессора Pentium-III и Pentium-IV, Linux RedHat 7.2.
  • Cplant в Sandia - почти 1400 рабочих станций и серверов Compaq на базе Alpha, Linux.
  • SuperMike 512 узлов с 2-мя процессорами Perntium Xeon 1.8 GHz, Linux RedHat 7.2.

    cLAN

    Производители оборудования Giganet
    Показатели производительности Пиковая пропускная способность - 1066 MB/sec.
    Примерные цены Сетевой адаптер сLAN1000-LNX - $795, 8-портовый коммутатор cLAN5000-LNX - $6250.
    Программная поддержка MPI/Pro, продукт компании MSTI - высокопроизводительная реализация MPI для cLAN. Поддерживаются платформы Linux и Windows NT.
    Комментарии Продукты семейства cLAN и MPI/Pro предлагаются в составе технологии кластеризации Gigacluster.

    Дополнительная информация

  • Компании Giganet и MSTI предлагают технологию кластеризации Gigacluster.

    Реальные кластеры

  • AC3 Velocity в CTC - 64 сервера PowerEdge по 4 процессора Pentium III.

    SCI (Scalable Coherent Interface)

    Производители оборудования Dolphin Interconnect Solutions и др.
    Показатели производительности Для продуктов Dolphin: пиковая пропускная способность - 10 GB/sec, полный дуплекс, в рамках MPI достигается около 700 MB/sec. Аппаратная латентность - 0.2 мксек, в рамках MPI - порядка 1,4 мксек.
    Примерные цены На начало 2008г. фиксированных цен не анонсировано.
    Программная поддержка Драйверы для Linux, Windows NT, Solaris. ScaMPI - реализация MPI компании Scali Computer для систем на базе SCI. SISCI API - интерфейс программирования нижнего уровня.
    Комментарии SCI - стандартизированная технология (ANSI/IEEE l596-1992). Кроме стандартной сетевой среды, SCI поддерживает построение систем с разделяемой памятью и когерентностью кэшей. На коммуникационной технологии SCI основаны кластерные системы компании SCALI Computer, системы семейства hpcLine компании Siemens, а также cc-NUMA-сервера Data General и Sequent. Технология SCI использовалась для связи гиперузлов в системах HP/Convex Exemplar X-class. Иллюстрации

    Дополнительная информация

  • Сайты www.wulfkit.com и www.scali.com
  • SCIzzL (организация производителей SCI-систем).
  • SCI - Scalable Coherent Interface.
  • Standard Software Infrastructures for SCI-based Parallel Systems.
  • В.В.Корнеев. Параллельные вычислительные системы (книга), раздел 2.1: коммуникационная среда на основе масштабируемого когерентного интерфейса SCI.

    Реальные кластеры

  • Monotlith cluster on NSC - 200 узлов по 2 процессора Intel Xeon 2.2 GHz.

    QsNetII

    Производители оборудования QSW (Quadrics Supercomputers World)
    Показатели производительности Пиковая пропускная способность каналов - 1064 MBytes/sec (достигается 900 MBytes/sec в одном направлении, и 1800 MBytes/sec в режиме Multi-rail). Латентность в рамках MPI - порядка 1,5 мксек. Максимальный размер системы - более 4000 узлов.
    Программная поддержка Поддержка интерфейсов MPI, Shmem, протоколов TCP/IP.
    Примерные цены Около 1700$ за порт.
    Комментарии Сетевое оборудование состоит из коммуникационных процессоров "Elan" и матричных коммутаторов 4x4 "Elite". На базе этих коммутаторов строится единая коммуникационная среда с топологией "fat tree", поддерживается глобальная адресация оперативной памяти. Коммуникационное оборудование QsNet используется в системах AlphaServer SC от Compaq.

    Дополнительная информация

  • Новости: Высокопроизводительный кластер на базе Alpha-серверов проходит ряд тестов программы ASCI.

    Реальные кластеры

  • MCR в Lawrence Livermore National Laboratory. 1152 узла по 2 процессора Intel Xeon 2.2 GHz, Linux.

    MEMORY CHANNEL

    Производители оборудования Compaq Computer, разработано совместно с Encore Computer Corp.
    Показатели производительности Пиковая пропускная способность каналов более 100 MB/sec, латентность - 3 мксек.
    Примерные цены N/A
    Программная поддержка TruCluster Memory Channel Software, реализация MPI.
    Комментарии Технология MEMORY CHANNEL обеспечивает функциональность удаленного доступа к памяти других узлов в кластере (память других узлов может отображаться в локальное адресное пространство). Используется в кластерных системах AlphaServer Array и HPC320/HPC160 от Compaq. На данный момкнт эта технология не поддерживается производителем.

    Дополнительная информация

  • Новости: Compaq анонсирует масштабируемые параллельные сервера HPC160 и HPC320.

    ServerNet II

    Производители оборудования Hewlett Packard
    Показатели производительности Пиковая пропускная способность каналов 180 MB/sec, латентность - 12-29 мксек.
    Примерные цены N/A
    Программная поддержка MPICH - бесплатная переносимая реализация MPI.
    Комментарии Данная технология послужила предтечей InfiniBand

    InfiniBand

    Производители оборудования InfiniBand Trade Association
    Показатели производительности Пиковая пропускная способность каналов 10, 20, 30, 40 Gb/sec, латентность - 1,2 мксек.
    Примерные цены N/A
    Программная поддержка OFED - бесплатный пакет драйверов, библиотек, служебного ПО и MVAPICH - реализация MPI, оптимизированная для InfiniBand.
    Комментарии InfiniBand предлагает удалённый прямой доступ в память (remote direct memory access - RDMA), позволяющий доставлять данные непосредственно в память процесса, не вовлекая системные вызовы. Данные могут передаваться 1-о,4-х и 12-ти кратной скоростью. Анонсирован стандарт QDR 12x, позволяющий передевать данные со скоростью 120 GB/sec.

    Дополнительная информация:

    Реальные кластеры


    Flat Neighborhood

    Производители оборудования  
    Показатели производительности  
    Примерные цены N/A
    Программная поддержка  
    Комментарии Данная технология является лишь оптимизацией существующих сетевых технологий, посторенных на базе свичей (как правило Ethernet). Её суть состоит в увеличении количества сетевых карт в каждом узле вычислительного кластера и соединении узлов таким образом, чтобы максимально снизить путь пакетов и нагрузку на свичи. Впервые применена в кластере KLAT2.

    Смотрите также:


    © Лаборатория Параллельных информационных технологий НИВЦ МГУ
    Rambler's Top100