Зачем ИИ учить мечтать по-новому?

Новая версия алгоритма «Мечтание» позволяет искусственному интеллекту помнить о том, что действительно важно, работая даже с предвзятыми и фейковыми данными, подобными тем, которые встречаются в реальном мире.

Как мечтает ИИ

В течение дня наш мозг приобретает новые воспоминания: ночью, во время сна, он закрепляет важные из них и отбрасывает бесполезные. Подобный принцип был применен к сетям Хопфилда, одной из классических моделей искусственного интеллекта, вдохновленных работой мозга.

Однако одно ограничение оставалось. Эти сети теряют эффективность при работе с реальными данными, которые редко бывают идеально сбалансированными — например, очень яркими или очень темными изображениями, в которых преобладают белые или черные пиксели. В новом исследовании, опубликованном в журнале Journal of Statistical Mechanics: Theory and Experiment (JSTAT) , Риччи-Терсенги и его японские коллеги представили новую версию алгоритма, способную эффективно обрабатывать реалистичные, сильно искаженные данные.

«Всякий раз, когда мы видим какое-либо дерево, наш мозг вспоминает понятие дерева. Эта способность ассоциировать множество различных представлений с одним и тем же понятием мы называем ассоциативной памятью»

Федерико Риччи-Терсенги

Профессор теоретической физики Римского университета

ИИ может делать нечто подобное: если его обучать, например, на изображениях деревьев, собак и яблок, и, когда он увидит новое изображение, даже если оно частично искажено, то он будет способен связать его с правильным понятием.

Простейшая форма сети Хопфилда может хранить количество воспоминаний, равное лишь примерно 13% от числа ее нейронов. Следовательно, сеть со ста нейронами может хранить всего 13 воспоминаний. Остальное пространство ее памяти занимают ложные воспоминания, так называемые аттракторы динамики, которые не соответствуют реальным фактам. Эти ложные воспоминания представляют собой конфигурации элементов из реальных воспоминаний — и могут приводить к ошибкам.

Как мечтать по-новому?

Для решения этой проблемы были предложены алгоритмы, вдохновленные ролью сна в биологическом мозге. После фазы обучения нейронная сеть засыпает: начиная со случайных конфигураций, она исследует собственную память и очищает ее от ложных воспоминаний. Но если этот процесс длится слишком долго, сеть в конечном итоге стирает и правильные воспоминания, явление, известное как катастрофическое забывание.

В 2025 году Риччи-Терсенги и его коллеги предложили алгоритм «дневных мечтаний», который одновременно осуществляет обучение и очистку: сеть постоянно укрепляет правильные воспоминания, одновременно устраняя ложные.

Они объединили дневное обучение с фазой очистки. Благодаря этой стратегии емкость сети увеличилась до теоретического предела в 100%, что означает наличие одного воспоминания на каждый нейрон.

Что и как тестировали

Однако оставалась еще одна проблема, которую не решал первоначальный алгоритм Daydreaming. Сети Хопфилда работают очень хорошо, когда обучаются на идеально сбалансированных данных. В случае черно-белых изображений, например, это означает, что количество белых и черных пикселей примерно одинаково. Однако данные в реальном мире редко бывают настолько упорядоченными. Вспомните сильно переэкспонированные фотографии, на которых почти все пиксели светлые, или очень темные изображения. Такие изображения очень похожи друг на друга для нейросетей.

Предыдущие подходы нуждались в глобальных операциях по всей сети. Гораздо проще и правдоподобнее, если решения принимаются локально, у конкретных узлов. В мозге нейроны связаны с ограниченным кругом других нейронов и не взаимодействуют со всем мозгом сразу. Новая статья предлагает изменить алгоритм «Мечтания», чтобы он работал локально, опираясь на разницы между соседними узлами.

Пример распознавания лиц помогает понять эту идею. Если все фотографии — это крупные планы с похожим фоном, то большинство пикселей на них будут практически идентичны. И эта информация для ИИ будет доминировать в процессе обучения. А если работать только с теми пикселями, которые отличаются относительно среднего лица, то различия для нейросетей становятся очевидны.

Новая версия алгоритма получила название «Центрированное мечтание». В ней обновления зависят не от абсолютных значений, а от отклонений относительного среднего — то есть от разниц со средним уровнем активации. В тестах это почти не повлияло на способность сети восстанавливать воспоминания, даже когда входы были сильно искажены. Это позволяет сделать модель ближе к реальным условиям, сохранив при этом локальные правила обучения, которые считаются биологически правдоподобными.

Исследование показывает, куда на самом деле движется искусственный интеллект. Не к бесконечному росту вычислительной мощности, а к умению работать с реальным миром, противоречивым и далеко не идеальным. Миром, где способность отличать главное от второстепенного станет одним из ключевых признаков нейросетей.

Тарифы