Суперкомпьютер Cray XT5h
Лаборатория Параллельных информационных технологий НИВЦ МГУ
16 июня 2008
Общие сведения
Cray XT5h является одним из первых суперкомпьютеров на основе гибридной архитектуры. Он объединяет в единую систему скалярные и векторные процессоры, а также процессоры на основе программируемых логических интегральных схем (ПЛИС). Создание такого суперкомпьютера компания Cray обуславливает тем, что скалярные процессоры хорошо подходят для вычислений, не требующих большого числа обращений к памяти, а ПЛИС и векторные элементы предназначены для использования в тех задачах, для которых характерны высокая загруженность памяти и большие объемы обрабатываемых данных. Поэтому их совместное применение может позволить эффективнее решать современные сложные вычислительные задачи.
В качестве скалярных процессоров в системе Cray XT5h используются двух- и четырехъядерные процессоры AMD Opteron; векторные вычисления и вычисления на основе ПЛИС производятся на блэйд-серверах Cray X2 и Cray XR1 соответственно. Все вычислительные элементы объединены общей сетью SeaStar2+.
Cray X2
Векторный блэйд-сервер Cray X2 состоит из двух независимых вычислительных узлов, каждый из которых в свою очередь состоит из 4 векторных процессоров, работающих над общей памятью размером от 32 до 64 ГБайт. В пределах узла поддерживается однородный доступ к памяти, а на уровне одного блэйд-сервера обеспечивается когерентность кэшей. Производительность каждого вычислительного узла достигает 100 GFlop/s и более на 64-разрядной архитектуре. Система масштабируется до 32000 процессоров, при этом их работа обеспечивается в едином адресном пространстве. Между собой различные серверы Cray X2 объединены высокоскоростной сетью с топологией "толстого дерева".
Наличие специализированной среды программирования позволяет писать программы для векторных процессоров на стандартных языках Си и Фортран, которые затем будут скомпилированы в соответствующий векторным вычислениям код.
| Данные по процессору |
|
| Число процессоров |
|
| Пиковая производительность | 25.6 GFlop/s на каждом процессоре |
| Глобальная адресация |
|
| Основная память | 32, 64 или 128 (планируется) Гбайт DRAM на узел, 16 Тбайт на систему (при 1024 процессорах) |
| Скорость доступа к памяти | 28.5 Гбайт/сек для каждого процессора |
| Коммуникации | Используется топология "толстого дерева", скорость передачи данных от одного узла к другому - 15 Гбайт/сек |
| Системные программные средства |
|
| Программное обеспечение |
|
| Физические характеристики |
|
Cray XR1
Реконфигурируемый блэйд-сервер Cray XR1 состоит из двух узлов, в каждый из которых входит процессор AMD Opteron, связанный с помощью высокоскоростной шины HyperTransport с двумя ПЛИС-процессорами Xilinx Virtex-4. Масштабируемость системы позволяет объединять до 30000 ПЛИС-процессоров в одной системе. Для работы с ПЛИС-процессорами предлагается набор функций API, которые могут быть вызваны пользователем при написании исходного кода программы. Изменение архитектуры ПЛИС-процессоров осуществляется программно с помощью прикладных пакетов компаний Celoxica, Synplicity, Mitronics и др., при этом различные ПЛИС-процессоры могут быть настроены для решения разных задач.
| Модель ПЛИС | Xilinx Virtex-4 LX200 |
| Количество логических ячеек на ПЛИС | 200448 |
| Сокет | Socket 940 |
| Потребляемая мощность | 12 кВт на стойку |
| Версия интерфейса HT | HyperTransport 1.0 |
| Скорость обмена с ПЛИС по HT | 400 МГц * 16 бит или 3.2 Гбайт/сек |
| Память процессора Opteron | 2-8 Гбайт, 128-бит DDR 400, 6.4 Гбайт/сек |
| Объем памяти RLDRAM на ПЛИС | 256 Мбайт |
| Пропускная способность шины HT, на одно соединение | 400 МГц * 16 бит или 3.2 Гбайт/сек |
| Программное обеспечение | Набор API, совместимых с различными инструментами для программирования архитектуры ПЛИС |
Система Cray XT5h позволяет варьировать число используемых серверов с разной архитектурой, поэтому пользователь может конструировать наиболее подходящую систему с учетом собственных требований.
Программное обеспечение
Суперкомпьютер Cray XT5h поддерживает языки, работающие с моделью PGAS (Параллельное глобальное адресное пространство), - Co-Array Fortran (CAF) и Unified Parallel C (UPC). Это позволяет программистам при распределении данных и проводимых вычислений руководствоваться моделью программирования ОКМД (один поток команд, множество потоков данных). В системах с общим адресным пространством эти языки могут использоваться в качестве альтернативы основанным на передаче сообщений MPI и SHMEM.
В состав суперкомпьютера Cray XT5h входит различное программное обеспечение, которое призвано помочь пользователю использовать ресурсы суперкомпьютера более эффективно - компиляторы для векторных процессоров, различные прикладные библиотеки, отладчики и инструменты анализа производительности.
Cray XT5h работает на ОС Linux и обеспечивает единую точку доступа ко всем ресурсам и блэйд-серверам, а также поддерживает распределенную файловую систему и коммуникацию на основе сокетов. Для распределения заданий между скалярными, векторными и ПЛИС-процессорами существует планировщик Application Level Placement Scheduler (ALPS), который может быть интегрирован с системами обработки заданий, такими как PBSPro или LSF, что гарантирует доступ к ресурсам для различных запросов.
Файловая система Lustre, используемая в Cray XT5h, предоставляет приложениям и вычислительным ресурсам совместный доступ к общим файлам, при этом результат работы одного приложения может сразу поступать на вход другого приложения в рамках данного потока.
Дополнительная информация:
© Лаборатория Параллельных информационных технологий НИВЦ МГУ
