Паметта е основен проблем на (И)НМ като за някои видове дори пагубен. Имам предвид информационния аспект на паметта, не съдържателния.
От към първия паметта бива основно дълговременна и кратковременна като последната е желателно да буде възможно по-дълга.

Дълговременната се пази според модела в тегла на връзки, времеконстанти и прочее параметри субекти на обучението.

Кратковременната пък се пази се в контекста на състоянието. Това е сбора от статуса на системата както и на предходната активност на невроните до момента. По какъв начин ще се записва последната, зависи от приетия алгоритъм. Живия неврон има подобие на линейни филтри за целта: http://nips.djvuzone.org/djvu/nips13/AgueraFairhallBialek.djvu.

Проблемите около кратковтеменната памет са свързани терзанията на най-популярния алгоритъм за НМ, бакпропъгейшън за рекурсивни НМ.
Ако такъв не съществуваше естествения интелект щеше да се основава на форма на RTLR. Там просто има парадокс който ми звучи така: Обучаемостта забранява обучението. Иначе казано проблема или е много основен или просто нама такъв. Никой не го е доказал но би следвало в условията супер-мрежа проблема да изчезва (да се има предвид че RTLR е еквивалент на изчисление с честотно кодиране).

Съдържателната памет доколкото знам е свързано с наличието на атрактори в еволцията на състоянието на самата НМ. Еволюцията на състоянията става по траекториите на рекурсивни функции като расжитието зависи от началното състояние.
Оставена на собственото си развитие, една рекурентна НМ се еволуита по посока на атрактора. Ако атракторите са повече от един, резултата ще бъде недетерминистично преобразуване на входния сигнал, което може да се схване и като извличане на информация или припомняне.