Petascale Computing: Algorithms and Applications

Четиво за майстор-програмисти.

Сред научната общност вече се говори за необходимостта от Exa-scale суперкомпютри, т.е. 1000 000 трилиона флопа/секунда.
Първият подобен суперкомпютър трябва да бъде пуснат към 2015 г. Съществуването на подобни изчислителни машини отваря нова ера в програмирането и програмните езици. То си е цяла нова наука.

п.п. Най-важното е, че операционната система на всички нови суперкомпютри ще е само една: Compute Node Linux

Никола, сине майчин, хайде стига писа глупости. Като няма какво да казваш по добре не го казвай. Щото аз може и да съм баш програмист, ама тебе те знам колко си далече от компютърните науки. И повярвай ми "размера" и "ОС-а" на компютъра не са решаващи за това какво и как ще сметнеш. Също като при секса.

И като си баш програмист, разбирач от тези неща що не те виждам в листа на учстващите програмисти в международните конференции по темата

Никакъв те нема напоследък, а това което знаеш за мен е от преди 5-6 години (неактуална информция).

както големите ускорители, така и големите компютри са просто вид по-голям чук. всички големи физични теории са направени преди още да има компютри. ако погледнем чисто статистически, построявайки корелация - средства/успехи, май компютрите и ускорителите пречат.




NE SUTOR ULTRA CREPIDAM

"всички големи физични теории са направени преди още да има компютри"

Така е, но когато трябва да приложиш въпросната теория за да решиш конкретна реална физическа задача, в повечето случаи решението на задачата не е аналичтично, и без компютър не става.

Типичен пример е моделирането на колапса на свърхнова, в която има преплетени не една, а няколко теории от физиката. Решението на такава задача зависи от 7 независими променливи, и за да го направиш, ще ти трябва компютър 1000 000 пъти по-бърз от Blue Gene L. Понеже такъв компютър още няма, в момента хората се опитват да опростят задачата за колапса на свърхнова до 5 независими променливи, за което ще им е необходим компютър 2 пъти по-бърз от Blue Gene L.

ако това значи 1000 000 процесорни ядра то тогава как ще работи локването на променливи?
Ако всяко ядро прави по един лок в секунда то това са трилион лока
ако приемем че 1 лок заема 1e-9 от всеки процесор тогава консумацията на процесорно време ще е
locks s^-1 cpu time (%)
1 0.1%
10 1%
100 10%
1000 100%(!!!)
samo cluster shhtoto takav smp goliam zor s lokove

По-голямото бързодействие в общия случай е по-скоро за балък-програмисти


Pecunia non olet!

съгласен, той крогер още бърка големото програмиране с големите машини, но поне изглежда момчето се развива в правилна посока

Не е толкова лесно, както го представяш

Преди 4 месеца на 2-а математици и програмист от Аргон им дадохме една проста задачка. Да сложат метода на Бройден в един от MPI нашите кодове. Идеята беше тяхна, 4-те месеца минаха, а те още не са го направили.

Писането на сложни кодове за големи машини не се прави от един човек, а от много хора.

Например, кодът с който ние работим е направен преди 20 години. Оттогава, поне 40-50 човека последователно са модифицирали кода, до днешното му ниво. В модфикицаията на подобен код работят едновременно физици, математици и програмисти. За сега кодът е дълъг около 150 000 реда, и предстои да го разширяваме още.

Онзи ден се запознах с едни пичове дет симулират 3D колапс на свърхнова, работещи с два кода: CHIMERA и GenASiS. Въпросните кодове за пример за баш-програмиране, като по тях работят 20 учени от 10 престижни университета.

"Не е толкова лесно, както го представяш"

ааа, напротив, напротив - ти го изкара толко лесно, един як компутер, малко линукс и си готов:) между другото, има програмиране и програмиране, аз поне правя разлика между баш скрипт и фортран да речем. има и огромна разлика между код написан от аматьор (=учен) и професионалист (=програмист). това, че една програма е на 20 години красноречиво ми говори, че просто не е имало кой да я портне към някой от съвременните езици. апрорпо, на какъв програмен език ви е кода? или е просто скрипт за ваш си интерпретатор? естествено, ако е секретно може и да не казваш нали

"код написан от аматьор (=учен) и професионалист (=програмист)"

Напълно съгласен съм. Ние имаме си имаме програмисти в екипа, но един програмист неможе да напише код, който да смята някаква физика, без да разбира от физическия проблем, който кодът трябва да реши.

"това, че една програма е на 20 години красноречиво ми говори не е имало кой да я портне към някой от съвременните езици"

Това зависи от физическата задача, която искаш да решиш. В нашия случай, на нас не ни е необходим съвременен език, а нови съвременни математически алгоритми.

"естествено, ако е секретно може и да не казваш нали"

Не е секретно. Оригинално кодът е писан на Ф77, а MPI версията му е Ф90. Имаме и С++ версия.

Максималният брой процесори които ми трябват е 5000, поради простата причина, че кодът трябва да сметне енергиите на оснвоно състояние на 5000 радиоактивни изотопа едновременно, тръгвайки от най-простото ядро в природата: Деутерий.

За 12 часа с един "як компутер" мога да сметна всичките 5000 ядра от раз. Та за това на мен ми трябва компютър с над 5000 процесора.

хм, множко ми се вижда. понеже по една случайност професионално се занимавам с физични симулации, то вашия проект май ми мирише на умрял.
кой знае защо, (може би поради факта че ако не покажа резултат няма да получа пари), то при мене нещата вървят дори на РС.




NE SUTOR ULTRA CREPIDAM

Не точно. Разполагаме с три машини CRAY XT4, всяка с над 16 000 ядра. Отделно имаме и един клъстър Linux Networx, като резерв. Бюджетът за проекта ни за тази година е 250 милиона.

Между другото много се радва, че в Бг има ентусиасти, занимаващи се с грид-ове и компютърни ферми. Макар, че е далеч по-практично, да си купиш един малък IBM Blue Gene P Solution и да правиш квот си искаш с него.

"кой знае защо, (може би поради факта че ако не покажа резултат няма да получа пари), то при мене нещата вървят дори на РС"

Супер, ама при мен, няма как да събера цялата таблица с 5000 ядра на един процесор

Моя даскал в уни-то ни направи клъстър Искаш ли да ти дам адреса муКлъстъра е само от 9 машини е седем бяха дъната са DFI процесорите са добрия стар Бартон управляващия софт е Юникс MPI e системата искам да кажа Показа ни как се решава снежинката на Кох една права я делиш на две и после пак на две и пак на две учениците повече и не ни трябва Много е надъхан господина И е добър също сам си пише софта и всичко Мрази Jawa- та от всякъде Пие бира и е завършил в Германия Пък и пари му трябват то на кой ли не му трябват:)))

Ентусиазъм. Навремето познавах един ентусиаст, който упорито твърдеше, че не иска да си купи PC, понеже можел да си го направи сам, с "поддръчни" материали.

Хвала на таквизи хора, но все пак сме 21-ви, а не 19-ти век. За тези неща си има комании и фирми, които ги произвеждат, включително и по-поръчка. Ако ти трябва нещо специално, отиваш и си го поръчваш.

Абе, Пепси, може ли да си толкова безсъщностен? Отивай да работиш и да ядеш чуждата манджа, но не се прави на вожд с трохите от чуждо село.

Мда, добре казано. Апопо като стана дума за "суперкомпутинг" дали има други ентусиасти като мене да смятат физични задачи на ГПУ. Щото последно време много съм се ентусиазиръл да смятъм разни тежки стат задачи в домашни условия или както му се вика "home supercomputing" Оня ден успях да подкарам некакво монте карло на 70 Г флопса.

Йес сър! Добре, че си ти, иначе без теб, нема да изгрее Слънцето.

Ако направиш система за "home supercomputing" от задни калници на Москвич и дръжки на мотики, ше получиш награда от .... "Минута е много"