Нейронные сети могут достигать сверхчеловеческой производительности во многих задачах , но эти системы ИИ могут внезапно и полностью забыть то, что они узнали, если их попросить поглотить новые воспоминания. Теперь новое исследование раскрывает новый способ прохождения нейронными сетями фаз, подобных сну, и помогает предотвратить такую амнезию.
Основной проблемой, с которой сталкиваются искусственные нейронные сети, является « катастрофическое забывание ». Когда они изучают новую задачу, у них есть неприятная тенденция внезапно и полностью забывать то, чему они научились раньше. По сути, они перезаписывают прошлые данные новыми знаниями.
Напротив, человеческий мозг способен на протяжении всей жизни учиться новым задачам, не влияя на его способность выполнять те, которые он ранее запоминал. Предыдущие работы показывают, что человеческий мозг лучше всего учится, когда циклы обучения чередуются с периодами сна. Сон, по-видимому, помогает недавним переживаниям включиться в пул долговременных воспоминаний.
«Реорганизация памяти на самом деле может быть одной из основных причин, по которым организмы должны проходить стадию сна», — говорит соавтор исследования Эрик Делануа, вычислительный нейробиолог из Калифорнийского университета в Сан-Диего.
Предыдущие исследования пытались решить проблему катастрофического забывания, заставляя ИИ практиковать подобие сна. Например, когда нейронные сети изучают новую задачу, стратегия, известная как чередующееся обучение, одновременно передает машинам старые данные, из которых они ранее учились, чтобы помочь им сохранить свои знания прошлого. Ранее считалось, что этот подход имитирует работу мозга во время сна — воспроизводятся старые воспоминания.
Однако ученые предполагали, что чередующееся обучение требует подачи в нейронную сеть всех данных, которые она изначально использовала для изучения старых навыков, каждый раз, когда она хотела изучить что-то новое. Мало того, что это требует много времени и данных, это также не похоже на то, что реальный мозг делает во время реального сна — они не хранят все данные, необходимые для изучения старых задач, и у них не будет времени воспроизвести все эти данные. во время сна.
В новом исследовании исследователи проанализировали механизмы катастрофического забывания и роль сна в его предотвращении. Вместо обычных нейронных сетей они использовали « спайковую нейронную сеть », которая более точно имитирует человеческий мозг.
В искусственных нейронных сетях компоненты, называемые нейронами, получают данные и взаимодействуют для решения проблемы, например, распознавания лиц . Нейронная сеть неоднократно настраивает синапсы — связи между ее нейронами — и проверяет, лучше ли получающиеся модели поведения находят решение. Со временем сеть обнаруживает, какие шаблоны лучше всего подходят для результатов вычислений. Затем он принимает эти шаблоны по умолчанию, имитируя процесс обучения в человеческом мозгу. В большинстве искусственных нейронных сетей выход нейрона представляет собой число, которое постоянно меняется по мере изменения входных данных. Это примерно аналогично количеству сигналов, которые биологический нейрон может активировать в течение определенного промежутка времени.
Напротив, в импульсной нейронной сети нейрон «всплескивает» или генерирует выходной сигнал только после того, как он получает определенное количество входных сигналов в течение заданного времени, копируя поведение реальных биологических нейронов. Поскольку импульсные нейронные сети лишь изредка запускают выбросы, они перетасовывают гораздо меньше данных, чем типичные искусственные нейронные сети, и в принципе требуют гораздо меньше энергии и пропускной способности связи.
Как и ожидалось, спайковая нейронная сеть продемонстрировала катастрофическую забывчивость, когда научилась определять горизонтальные пары частиц в сетке, а затем была обучена искать вертикальные пары частиц в сетке. Затем, между раундами обучения, исследователи заставили нейронную сеть проходить через интервалы, когда ансамбли нейронов, участвующих в обучении первой задаче, реактивировались. Это более точно имитирует то, что, по мнению неврологов, в настоящее время происходит во время сна.
«Приятно то, что мы не храним явно данные, связанные с более ранними воспоминаниями, чтобы искусственно воспроизводить их во время сна, чтобы не забывать», — говорит соавтор исследования Павел Санда, нейробиолог из Института компьютерных наук Чешской академии. наук.
Ученые обнаружили, что их стратегия помогла предотвратить катастрофическое забывание. Спайковая нейронная сеть была способна выполнять обе задачи после прохождения фаз, подобных сну. Они предположили, что их стратегия помогла сохранить паттерны синапсов, связанные как со старыми, так и с новыми задачами. «Наша работа подчеркивает полезность разработки решений, вдохновленных биологией», — говорит Делануа.
Исследователи отмечают, что их результаты не ограничиваются импульсными нейронными сетями. Предстоящая работа предполагает, что фазы, подобные сну, могут помочь «преодолеть катастрофическую забывчивость в стандартных искусственных нейронных сетях», — говорит Санда.