От доста време се занимавам с еволюция на неврони мрежи посредством класически генетични алгоритми. В момента си правя експерименти с еволюция на локомоция на 6то крак робот. Във същност до момента се борих по изграждане на среда за конструиране на роботи с "произволна" морфология и симулирането им в "реална" физическа среда.
Когато опрях до еволюирането обаче, се оказа че сериийните PC-та са доста неефективни дори за модели с относително проста морфология(6-7 джойнта .. демек движещи стави). Един път симулацията е тежичка, втори път генетичния алгоритъм и накрая сама невронна мрежа.
За сега експериментирам с напълно-свързани мрежи с фиксирано време за сигнализация. Отначало бях добавил и закъснения по синаптичните връзки което също беше елемент на еволюция.
Закъсненията в невронните мрежите между другото водят до нарастване сложноста на генерираните поведения .. при това съвсем явно.. обаче е адски бавно. За сега работя с максимум до 50 неврона и сигнално време не повече от 300 цикъла. Но е адски отчайващо... направо умирам от скука докато системата еволюира, а през това време компа умира и през това време човек може само да си бърка в носа ...

Та поради тези проблеми дето споменах по горе, реших да опитам друг подход... е не че съм първия... а сега само се уча...
Една теоритична забежка: Често в областа на изкуствения интелект и особено в областта на конекционистките подходи(към които спадат и невронните мрежи) се говори за Complexity Problem или Mass Complexity Problem. Свързано е с идеята че поведението приемано за интелигентно е свързано със наличието на структури способни да извършват масивни изчисления (такива като невроните в мозъка, които по същество представляват паралевлно свързани "прости" процесори наброяващи трилиони единици в чов. мозък). Такива структури обаче притежават и масивна по своята сложност вътрешна (пък и външна)динамика. Тази сложност води до две неща а) невъзможност за научен анализ на подобни съществуващи системи и от там до невъзможност за дизайн на такива - което се решава частично с изплозването на еволюционии техники. б) невъзможност за хардуерно изграждане на такива системи поради факта че все още не съществуват подобни технологии ... е поне до скоро.
--- КРАИ на теоритичната забежка ----
Та по тази причина се опитвам да си направя специализиран хардуер за симулация на невронните мрежи и гентичните алгоритми. В момента има такива няколко сериозно проекта основно в US и също в Белгия и Япония които имат за цел да релаизират машина за работа с 100 млр. неврона, а вече има изградена за работа с 34млн.-100 млн. неврона. ,т.н. CAM Brain Machine разработена от проф. Хуго Дегарис.
Лошото е че такава една машинка има цена от $500 хил. нагоре и скоро не мисля да си я купувам.
Та по въпроса за момента мисля да подходя с използването нa FPGA или CPLD чипове но още не съм решил на кои. Ще изкисква някой експерименти и за съжаление не сам много по хардуера ама ще се справя надявам се с малко четене.
Та ако някой има идея по отношение на специализиран хардуер да рекне нещо ... или по друг вапрос свързан с невронни мрежи, конекционизъм и други подобни

Ами аз искам да ти рекна нещо. Ти хубаво толкова много време се занимаваш с еволюционни техники, ама така като гледам май имаш грешка в алгоритъма, ,щото си почнал сам да си отговаряш на писанията. Пък това не е никва еволюция "ша знайш". Изобщо за теб май естествения закон на еволюцията гласи "Ако вида едно мнение - да му отговора! Нищо че е мое..".

И сега като го прочетош това, ако ти стане гадно пробвай да се изакаш - може да ти мине..

Ай наслука..грух

П.С. "Некви шибани бръмбари копеуе.."

reborn in the shadow of the magpie

Ей Грух #2, много ти е плоско възприятието за света - в света освен въпроси и отговори, има и понятия като "пояснения","продължения" и к'ви ли още не различни от "сам да си отговаряш на писанията",които чудесно описват това което съм направил ...
Също така ша вметна, че отговора ми на въпроса може да се разглежда като преодолояване на локален минумум в резултат на мутация да речем... ша рече че сам си подобрил fitness показателя поради нарастване на пригодността ми към обкръжението по дадена дименсия .. хихикхихик колко сложно
демек съм еволюирал.. вместо Грух мока да викам Грух Грух

Виж сега, ти че си в минимум е ясно, и ако не ти е ясно защо си в минимум, мога да ти обясня. От прекомерно много натоварване на храносмилателния апарат със смески тип "вафла мура" си станал много дебел, и като седнеш стола , пропадаш и се озоваваш в минимум...видя ли сега колко е просто всъщност.

Обаче много се тревожа да не си подобриш дотолкоз фитнес показателя, че накрая да земеш да се самозабравиш от възторг, и да съчиниш една Utopia, с главен герой самия ти..

И за да не кажеш че се заяждам, бих ти дал един практичен съвет - каквато и еволюционна крива да достигнеш, имай впредвид едно - без кафенце не може

reborn in the shadow of the magpie

Та ако имаш некой линк да ми пратиш по въпросите за невронни мрежи ще ти бъда благодарен.
И аз се занимавам с изкуствен интелект , но за сега правя програми използващи търсещи алгоритми като AC,BD и др. Интересуват ме хардуерни решения за подобряване работата при изчисление.

на този адрес има някой по основни неща за невронни мрежи
http://www.emsl.pnl.gov:2080/proj/neuron/neural/what.html

а това е адреса на проф.Хуго Дегарис който е реализирал хардуерно решение за работа с милиони неврони и бих казал, че за момента е един от водещите в областа, а дори в момента работи по еволюиране на невронни мрежи с квантови компютри, които тук в България дълго време ще бъдат фантастика
http://www.cs.usu.edu/~degaris/

това е сайт за AI вкойто има доста полезни неща вкл. и невронни мрежи
http://www.kurzweilai.net/index.html?flash=1



A какво представляват AC и BD алгоритмите? Питам за да си представя какво би следвало да се изисква от хардуера.
По отношение на невронните мрежи и хардуера седи следния въпрос:
Сериийните PC-та са с един процесор, а невронните мрежи по идея са паралелни, т.е. много процесори разпределящи по между си изчисленията. Начина да ги симулираш в PC е да ги сериализираш, т.е. да отделяш по малко изчислително време за всеки неврон, което води до линейно нарастване времето за симулиране на един цикъл (подаване на вход, изчисление и изход).
Ако имаш 50 неврона(доста малка цифра), и симулацията на всеки неврон отнема 0.1ms => един цикъл на невронната мрежа е минимум 5 ms. При 300 цикъла сигнално време => трябват поне 1500 ms за симулация на една малка невронна мрежа. По време на обучение трябва да се направят десетки или дори стотици хиляди паса за да се стигне до добър резултат, което като се умножи по 1.5 означава доста неприемливо време за обучение. При това на някакви си 50 неврона.
Та този проблем би могъл да се реши с хардуерни схеми реализиращи всеки отделен неврон като независим "процесор". Такава възможност дават FPGA/CPLD чиповете.

Редактирано от x-man на 16.01.03 11:20.

Zdraveite...
Opredeleno imate idei otnosno nevronnite mreji, taka 4e ako jelaete da razshirite poznaniata si i da se zaemete s neshto naistina sriozno, mojete da poglednete na www.kibertron.com, proekta ni za android., a ako jelaete mojete da mi pratite edin mail na kibertron@netbg.com.

Viarvai v sebe si,za da jiveech jivota si...

Ne sum zapoznat s FPGA podrobno, no zashto ne probvash s golqm broi evtini microcontroleri naprimer :)
V momenta az sum na etap "izgrajdane na simulator" :)) koito shte e neshto podobno na 3D Engine s vuzmojno nai-realna fizika. Tam moje da se testvat NN sus kakuvto i da bilo tip "obvivki" (roboti, avtomobili i t.n.). Samo 4e sega malko se zamislih kak she se vkliu4i NN i GA-to kum simulatora - toest nema li da e bezbojno bavna cqlata sistema :)
Ta qvno she sa na otdelni computri za na4alo (ako e unishtojitelno bavno de) :)

Пълната ми идея за симулация на НН не би могла да бъде реализирана с микроконтролери поради няколко причини. Първата е, че не бих могъл да "навържа" няколко хиляди микроконтролера паралелно - доста ще е скъпичко, а пък и ще иска по специално захранване и доста сложно управление.. изобщо не мисля че дори електрически може да се реализира НН с капацитет, който ми трябва. Разбира се, би могло всеки микроконтролер да симулира част от НН, обаче проблема по управлението остава. И относителната цена на неврон ще бъде по- ниска. FPGA - един такъв чип има цена около $40 , за 200 000 гейта(транзистора). Второ в FPGA всеки от симулираните неврони ще работи като самостоятелен процесор(няма да изчаква другите), докато ако използвам микроконтролер за да симулирам част от НН(неприемливо е да се симулира един неврон с един микроконтролер), невроните намиращи се в една и съща област ще трябва да бъдат сериализирани, което сваля много производителността на мрежата.
...е разбира се зависи за какъв микроконтролер говориш ?

Целта е да се постигне колкото се може по- голям брой неврони, тъй като сложността на произведеното поведение нараства експоненциално със увеличаване броя на невроните. Проблема е, че скоростта на еволюция намалява с увеличаването на броя на невроните, от което следва че е много критично времето за симулиране на един цикъл на НН.

Има и друг проблем, който бих могъл да реша с FPGA. А именно еволюиране на аритектурата на тримерна НН. FPGA се препрограмира сравнително бързо(милисекунден порадък), което дава възможност да се изполозва за еволюиране на архитектурата на по- сложни НН - съставени от неврони, дендритни дървета, аксони, закъснения по аксоните и дендритите и защо не и честотно кодиране на активността, което ще доведе до по- голямо нарастване сложноста на генерираните поведения

Относно твоя симулатор....
Сам ли ще пишеш физическия софтуер или ще ползваш за база някой freе engine? Проблем на физическите симулации е баланса между акуратност/стабилност и скорост които са взаимно изключващи се. Аз в момента ползвам Open Dynamics Engine , който е писан на ANSI C , и си мисля че сравнително лесно може да бъде компилиран за някой специализиран процесор с който да се игради специализиран хардуер за симулация. За сега го правя на стандартно PC и е доста бавно. ODE предоставя API за изграждане на съставни тела, дефиниране на динамичните им и геометрични характеристики, въздействие на сили, подвижни връзки между телата(joints,ъглови мотори) ,различни видове контакти между телата(триене например) и доста голяма точност,стабилност и скорост.

За комуникацията между няколко платформи за симулация (НН,Физическа симулация, GA симулация) може да се използват най- различни технилогии - някой индустриален сериен стандарт като RS485 например. Разбира се има и доста по- бързи решения .. да речем да се изполва обща PCI шина.
Скоростта на обмен на PCI шината е достатъчна според мен.
Основно обмена на данни седи по следния начин: От Физ.сим се пращат навигационни данни към НН(ъглови скорости, ускорения, позиции и т.н. ,което зависи от конкретния модел и се свежда до пращане на десетки реални числа. След сигнализация на НН, изхода се праща до Физ.сим. което се свежда до подаване също на серия от реални числа. Това е основно комуникацията между НН и Физ. симулация... е с усложняване на модела нараства и обема на предаваните данни.
Комуникацията между GA и НН се свежда до предване на генотипа(серия от битове кодиращи архитектурата на НН) към НН модула, от който се изгражда фенотипа(вече готова НН), т.нар. growth phase и броя на битовете нараства с усложняване архитектурата на НН(увеличаване броя неврони например)
Честотата на този обмен е по- малка от колкото на обмена между НН и Физ.симулация. Като цяло мисля, че една PCI шина би свършила работа.
Разбира се има и други технологии/протоколи.

Аз също се нуждая от отделна платформа за Физ.симулации и за момента си мисля да я изграждам на базата на ODE, тъй като не ми се занимава и с писане на физически модел. Но ако имаш идеи и си навит да споделиме малко опит съм отворен към някаква форма на сътрудничество(дори само за обмен на идеи)