Gentoo в мире высокопроизводительных вычислений

Сегодня без применения суперкомпьютеров - высокопроизводительных вычислительных систем - становится чрезвычайно сложно добиться серьезных результатов при качественном решении ресурсоемких задач науки и промышленности. Прежде всего, это касается таких стратегически важных направлений, как молекулярная биология, генная инженерия, квантовая химия, физика высоких энергий, проектирование новых видов вооружений и летательных аппаратов, прогнозирование изменения климата и многих других - там, где ведется обработка больших массивов данных, а скорость вычислений является критичной. В связи с этим, в последние годы в мире наблюдается стремительный рост числа крупных вычислительных установок и улучшение характеристик созданных ранее.

Авторы:
Сидоров Иван
Новопашин Алексей
---
http://mvs.icc.ru

Редактор:
aluk


Стремясь реагировать на растущие потребности в мощных вычислительных ресурсах, производители компьютерного оборудования предлагают все более совершенные архитектурные решения, реализующие различные формы параллелизма (многопоточность, мультипроцессинг, многоядерность и др.), тем самым, позволяя разработчикам программного обеспечения многократно ускорять процесс обработки данных. Одним из эффективных и вполне доступных способов повышения производительности вычислений является создание вычислительных кластеров – мультикомпьютеров, состоящих из множества однотипных модулей (или узлов) серийного образца, связанных единой коммуникационной средой.



Один из таких кластеров - MBC-1000/16 – создан и успешно эксплуатируется в Институте динамики систем и теории управления (ИДСТУ) СО РАН, одновременно являясь главным вычислительным ресурсом Иркутского научного центра, находящимся в коллективном доступе. Система состоит из шестнадцати двухпроцессорных серверных модулей (SMP-узлов) Supermicro. Для объединения модулей в единый вычислитель использованы соединения двух типов: Myrinet (оптоволоконная сеть для внутрипрограммных обменов) и Gigabit Ethernet (для выполнения сервисных операций). Узлы кластера функционируют под управлением OC GNU\Linux. На смену изначально установленной ОС Linux Fedore Core 2 со временем пришла ОС Gentoo Linux. Главным фактором, побудившим системного администратора кластера решиться на смену операционной системы, явилась удачно реализованная в Gentoo Linux возможность оптимизации системы путем детальной настройки параметров на конкретную аппаратную платформу. В результате проведенной оптимизации удалось добиться увеличения производительности кластера более чем на 8% ( в сравнении с системой на базе Fedore Core 2). В итоге реальная производительность МВС на тестах Massively Parallel Linpack достигла 105 GFlops.

Сегодня с помощью МВС-1000/16 ИДСТУ СО РАН решается целый ряд научно-исследовательских задач, к основным из которых можно отнести следующие:

  • Разработка параллельных алгоритмов для решения задач динамической оптимизации управляемых систем.
  • Реализация кластерного подхода к логическому криптоанализу систем поточного шифрования (генераторов двоичных последовательностей).
  • Численное моделирование точечных дефектов в кристаллах щелочных и щелочно-земельных фторидов с применением методов квантовой химии.
  • Численное моделирование эффекта спин-селективной адсорбции молекул воды на поверхности кристаллов с использованием методов молекулярной динамики.
  • Численное моделирование ионизационных и конденсационных равновесий в растворах полимеров методом Монте-Карло на трехмерной решетке.
  • Разработка библиотеки параллельных алгоритмов для решения задач целочисленного линейного программирования.
  • Разработка параллельной версии решателя больших разреженных систем булевых уравнений.

В настоящий момент в ИДСТУ СО РАН осуществляется сборка второго кластера - на платформах Intel Bensley, двухядерных процессорах Intel Xeon 5060 EM64T и интерконнекте Gigabit Ethernet. В качестве операционной системы для нового кластера решено было использовать уже зарекомендовавший себя дистрибутив Gentoo Linux. Данный выбор позволил без дополнительных усилий перенести существующую систему с МВС-1000/16 и оптимизировать ее под новую платформу. Планируется довести число счетных узлов кластера до 16 (как минимум), что будет соответствовать пиковой производительности системы в 400 GFLops. Кроме того, ближайшей задачей разработчиков является объединение двух имеющихся кластеров в единый вычислительный ресурс (grid-сегмент) с целью их совместного использования для решения ресурсоемких задач, допускающих разнородность вычислительной установки.

Официальный сайт: http://www.mvs.icc.ru

Ну что можно

Ну что можно сказать. Сходил по ссылке.
Rpeak/Rmax=0.62. Непонятно о какой оптимизации можно говорить.
Либо неоттюнен сам кластер либо неоттюнен xhpl

хорошая

хорошая машинка =)

А мне бы и дома

А мне бы и дома такой сервачечег не помешал
_________________

Страсть заставляет забыть о доводах рассудка

Домой говоришь

Оглохнешь от такого дома, деточка

точно

точно оглохнешь.
каждый модуль - полноценный пылесос.

А если водянку

А если водянку туда воткнуть? :)
_________________
Linux ns 2.6.18-suspend2-r1 #2 SMP Sat Feb 3 13:56:55 KRAT 2007 i686 Intel(R) Pentium(R) 4 CPU 3.00GHz GenuineIntel GNU/Linux

не справится. в

не справится.
в новых интелевых модулях сейчас по 16 вентиляторов.
при запуске он орет как самолет перед взлетом.

Ну поставить

Ну поставить жидкий озот тогда уж.
_________________
Linux ns 2.6.18-suspend2-r1 #2 SMP Sat Feb 3 13:56:55 KRAT 2007 i686 Intel(R) Pentium(R) 4 CPU 3.00GHz GenuineIntel GNU/Linux

Надо дома

Надо дома замутить охлаждение с использованием озота :)

а люди там как

а люди там как работают? О_о

а люди там не

а люди там не работают :)

ну когда

ну когда устанавливают, люди ж присутствуют =)

Ремнями

Ремнями пристегиваются чтобы не улететь :)

У мну 4 сервака

У мну 4 сервака дома стаят.. конечно не таких мощных, но судовольствием поменял бы их на один токой =)
_________________

Страсть заставляет забыть о доводах рассудка

Мне тут

Мне тут бенчмраки бладов с cell попадались...
Стандартный кластерный тест mpi linpack дает 400Gfps на двухпроцовом блейде...
А если их в стойку собрать десяток ;-)
_________________
Gentoo GNU/Linux 2.6.19 GCC 4.1.1 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

чего

чего чего????
двухпроцовый cell дает 400Гигафлопс????
что-то путаете.

Последняя инфа

Последняя инфа про 80-ядерный процессор интела вообще содержал упоминания об 1 терафлопе

прес релиз

прес релиз читал....
но это только концепт...

А целы они уже сейчас реальные...
_________________
Gentoo GNU/Linux 2.6.20 GCC 4.1.1 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

да нет не

да нет не путаю... вроде...
там просто линпак был адаптирован чтобы полностью использовать возможности архитектуры....
те он использовал ВСЕ spu

мне бы правда был более интересен тест в виде прогона тесовой динамики в gromacs ( так как я им в основном пользуюсь )
_________________
Gentoo GNU/Linux 2.6.19 GCC 4.1.1 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

линпак всегда

линпак всегда затачивают под конкретную архитектуру. по несколько дней вылизывая параметры и пр.
но 400 гигафлопс два проца дать не могут. 4 поверю (даже 40 в пределе)
если бы 400, то здесь в первой строчке были только cell'ы.
http://www.top500.org/stats/28/procfam/

Компов на целах

Компов на целах в этом списке нет...
Их еше не делают серийно..
К тому же считай...
Cell два основных ядра + 8-16 spu слайв ядра....
Это один проц.. А там их два...
Вообщемто мне архитектура Cell напоминает мейнфраймы типа S/390
идеология такая же...

_________________
Gentoo GNU/Linux 2.6.19 GCC 4.1.1 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

Кстати cтарые

Кстати cтарые бенчмарки Cell 2.4GHz
http://icl.cs.utk.edu/projectsfiles/iter-ref/pubs/ut_cs_06_580.pdf
Довольно занятные...
Плюс приведен анализ результатов :-)
_________________
Gentoo GNU/Linux 2.6.20 GCC 4.1.1 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

+1 Мнеб такое

+1
Мнеб такое сервак в офис. :)

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".