Паметта е основен проблем на (И)НМ като за някои видове дори пагубен. Имам предвид информационния аспект на паметта, не съдържателния.
От към първия паметта бива основно дълговременна и кратковременна като последната е желателно да буде възможно по-дълга.

Дълговременната се пази според модела в тегла на връзки, времеконстанти и прочее параметри субекти на обучението.

Кратковременната пък се пази се в контекста на състоянието. Това е сбора от статуса на системата както и на предходната активност на невроните до момента. По какъв начин ще се записва последната, зависи от приетия алгоритъм. Живия неврон има подобие на линейни филтри за целта: http://nips.djvuzone.org/djvu/nips13/AgueraFairhallBialek.djvu.

Проблемите около кратковтеменната памет са свързани терзанията на най-популярния алгоритъм за НМ, бакпропъгейшън за рекурсивни НМ.
Ако такъв не съществуваше естествения интелект щеше да се основава на форма на RTLR. Там просто има парадокс който ми звучи така: Обучаемостта забранява обучението. Иначе казано проблема или е много основен или просто нама такъв. Никой не го е доказал но би следвало в условията супер-мрежа проблема да изчезва (да се има предвид че RTLR е еквивалент на изчисление с честотно кодиране).

Съдържателната памет доколкото знам е свързано с наличието на атрактори в еволцията на състоянието на самата НМ. Еволюцията на състоянията става по траекториите на рекурсивни функции като расжитието зависи от началното състояние.
Оставена на собственото си развитие, една рекурентна НМ се еволуита по посока на атрактора. Ако атракторите са повече от един, резултата ще бъде недетерминистично преобразуване на входния сигнал, което може да се схване и като извличане на информация или припомняне.

Кой пипа вътре?

Здравейте, изпращам ви линкове за изобретения даващи възможност да ползваме безплатна енергия. Ако някой може да бъде полезен и да конструира такъв уред да се свърже с форума на rodovo-imenie.net http://wwwuser.gwdg.de/~svezenk/stefan_marinov_index.htm

Явно някой е решил, че се е препълнил клуба
Аз спрях за известно време да пиша тук понеже нещо нямаше много активност ама ще взема да опитам пак да повдигна някой въпроси

Започнах да качвам на http://bubu.to/xcube разни материали свързани с невронни мрежи, генетични алгоритми и роботи (основно с управлението на последните)
Има софтуер/сорсове за симулация, за обучение и т.н. - софтуера и сорсовете са free.
Имам още доста матриали но качването върви бавно така че търпение ...
Ако имате въпроси - моля .. е не че съм на ясно с всичко

Някои разсъждения (определено ще се повторя, но ще използвам че няма архив на темата) ...
От много години се работи по различни алгоритми за обучение на невронни мрежи
Всички те (Back Propagation, BP through Time ,Dynamic Decay Adjustment, Cascade-Correlation, Dynamic Learning Vector Quantization и още десетки) са свързани с нуждата от конкретно познаване на предметната област. С други думи за да обучавате невронна мрежа с тези алгоритми следва да познавате доста точно характеристиките на задачата за която обучавате мрежата, а често особено за ценните от инжинерна гл.точка проблеми токова познание липсва . Аз пак ще дам за пример мойта любима (ако имаше архив на темата щеше да си проличи ) тема за обучение на невр. мрежа, която да контролира ходенето на робот: В този случай е доста трудно да се направи анализ/определяне на най -добрия стил на ходене (проблема е еднакъв независимо от броя на краката на робота), а още по трудно е във всеки момент да можете да знаете точния желан изход за всеки изходен неврон на мрежата.
За радост от няколко години се работи по използването на генетични алгоритми за еволюиране на невронни мрежи. При тях това което е нужно за да обучаваме мрежата е само някаква контролна фунцкия, която да измерва колко добре се представя мрежата (например такава мярка може да е разстоянието което е изминал робота за единица време ) и не е нужно да правим анализ на изхода на всеки неврон по отделно. Това дава възможност за еволюиране на Някои разсъждения (определено ще се повторя но ще използвам че няма архив на темата) ...
От много години се работи по различни алгоритми за обучение на невронни мрежи
Ясно е обаче че всички те (Back Propagation, BP through Time ,Dynamic Decay Adjustment, Cascade-Correlation, Dynamic Learning Vector Quantization и още десетки) са свързани с нуждата от конкретно познаване на предметната област. С други думи за да обучавате невронна мрежа с тези алгоритми следва да познавате доста точно характеристиките на задачата за която обучавате мрежата, а често особено за ценните от инжинерна гл.точка проблеми това не е така.
Аз пак ще дам за пример мойта любима (ако имаше архив на темата щеше да си проличи ) тема за обучение на невр. мрежа, която да контролира ходенето на робот: В този случай е доста трудно да се направи анализ/определяне на най -добрия стил на ходене (проблема е еднакъв независимо от броя на краката на робота) а още по трудно е във всеки момент да можете да знаете точния желан изход за всеки изходен неврон на мрежата.
За радост от няколко годинисе работи по използването на генетични алгоритми за еволюиране на невронни мрежи. При тях това което е нужно за да обучаваме мрежата е само някаква контролна фунцкия която да измерва колко добре се представя мрежата (например такава мярка може да е колко голямо разстояние е изминал робота за единица време), като не е нужно да се прави анализ на активността на всеки изходен неврон.
Това дава теоретична възможност за еволюиране на мрежи с негораничен брой неврони и изключително сложни поведения...
Напаследък има доста модификации на класическите генетични алгоритми (NEAT,LEM и т.н.) както и алгоритми които излизат от идеята за сляпо търсене и реализират квантова оптимизация.
Няма да влизам в детайли за всеки от тях ...

Някой има ли някой информация за други алогритми/теории за обучение на невронни мрежи при които няма значение колко е сложна е архитектурата на мрежата и поведението за което се обучава или пък за модификации на класическите генетични алгоритми които да водят до ускорение на еволцията

Четох за едно невробиологично изследване (малко старо 29.Nov.2001 )
(http://ucsdnews.ucsd.edu/newsrel/science/mccell.htm). Бил е направен пробив при наблюдението на единичен неврон. Според това изследване кратковременната памет е резултат от отделянето на actin от невронната клетка и разпоространението му по пътеките на невронната активация. Това отделяне на actin трае около 10-на минути (е в статията няма конкретни данни от експеримента) и според изследователите е част от нормалната сигнализация между невроните. Дълговременната памет е свързана с изграждане на нови синапси между невроните.

Традиоционно изследванияат по ИИ са били свързани с директно моделиране на най- висшите когнитивни процеси и както знаем до сега успехите не са много големи, особено в изработването на универсални решения. Това се отнася особено за традиционните символни подходи.
Във конекционистките подходи обаче, и особено във невронно-мрежовите идеологии се разчита на по локални подходи: т.е. там поведението на цялата система е резултат от моделиране на характеристиките на по- малки и прости елементи(невроните например). Ефекта от това е че системата като цяло демонстрира характеристики, които не са били първоначално заложени в модела. Теорията по върпоса е доста тежка ... и не пълна за съжаление.
Напоследък обаче има все повече факти подкрепящи този тип подход и аз съм привърженик на идеята , че ако изобщо има решение на проблема с ИИ, то опредлено ще бъде силно свързано с моделирането на локални характеристики (пример за такова нещо е правилото на Хеб свързано с обучението).
Класическите алгоритми за обучение (Backpropagation,BPPP,и т.н.) опредлено са свързани с феномени на глобално ниво и както знаем проблемите свързани с тях нарастват (качествено и колочествено) с нарастване сложността на системата

Темата е важна и интересна и я повдигам за да не се загуби :)

Мисля не е необходимо да се интерпретира цяла невронна мрежа със всички нейни елементи. Природата е използвала това което е имала в наличност а то не може да се каже че е съвършенно. Количествено/качествените характеристики компютър/нмрежа са доста различни. Според мен трябва да се извлекът основните характеристики на нмрежата, да се обобщят и да се прехвърлят на съответната платформа. Малко размисъл по темата:

-<ОБУЧЕНИЕ>Определяне на правилата .Изграждане на алгоритми които имитират поведението на определени входни характеристики. Имитиращ алгоритъм<имитатор> в нмрежата е начин на подреждане на връзки в мрежата и техни усилвателни характеристики които дават задоволително точни за мрежата предвиждания. Тези имитиращи алгоритми служат на нещото което се занимава с нагаждането на връзките и създаването на нови алгоритми. В случая това нещо можем да го кръстим <конструктор>. В интерес на мрежата е задачите да се разбиват на по малки(с намален брои входни параметри) и следователно имаме стремеж към асоцииране в обекти(<имитатори> от по висок клас със по низки изисквания към точноста). По този начин <конструкторът> може да изгради многослоина структура.

<конструктор> Когато започне работата си, той разполага с най ниският слой на мрежата а именно определен брой входни параметри и тяхната история. Негова е задачата да изгради и моделира цялата мрежа. При определена промяна на усилвателна характеристика или връзка, той трябва да получи нотификация от предишните слоеве дали изходните параметри на новият слой се вписват във валидните стоиности на по долните слоеве <имитатори>. Ако получи добър резултат продължава промяната в същата насока.
До тука бяха брътвежите ми за <разбирането>.

-<РЕШЕНИЯ> За това друг път.

аз тотално съм се отказал от еволюционните алгоритми. наскоро ми се наложи да намеря решение на доста сложен проблем и понеже не успях да измисля числен метод (за аналитичен да не говорим) то като знак на отчаяние го направих със еволюционен алгоритъм. разбира се еволюционния алгоритъм дава решение, обаче... за да ти даде решение в смислен срок, трябва задачата да е мизерно проста.
това всъщност е ясно. помислета само - на еволюцията са и били необходими милиарди поколения с милиарди милиарди индивиди в тях, за да достигне до най-простия мозък. дори да се побутва и подтиква в желаната насока, все пак ще съм безкрайно учуден ако ИИ се направи с чист еволюционен алгоритъм. а отделен въпрос доколко това би било "направяне".
аз смятам че ИИ ще се измисли с груба сила, така както са измислени телевизорите и автомобилите.

Може би си прав до някъде. Ама цялата работа не може да е само груба сила щото ако е така няма да е ИИ. Има може би някакъв вариант примерно при наи добри обстоятелства да се комбинират двата варианта. То ако е само груба сила от вход до изход няма да може да се учи. Примерно може да се предостави на интерпретатора метод на извикване на процедури и някакъв компилатор на невронни мрежи. Сиреч интерпретатора казва "Е тая част от невронната мрежа се доближава достатъчно до модела който емулира и е готова за компилиране." и компилатора - "Готово братчет." компилира нмражата до изпълнима процедура на мезик и връща информация за начина на извикване и в коя секция и какъв адрес има. Освобождаваме ресурсите на нмрежата която е компилирана и продължаваме интерпретацията.

Като се замисля всичко става маса сложно и ме заболява главата.