Рекуррентная нейронная сеть (РНС)

Рекуррентная нейронная сеть (РНС) — это вид искусственных нейронных сетей, в которых связи между элементами образуют направленную последовательность, что позволяет обрабатывать серии событий во времени или упорядоченные цепочки данных с учётом ранее поступивших элементов.

Что означает термин

Под рекуррентной нейронной сетью понимают класс нейросетевых архитектур, в которых сигнал проходит не только от входа к выходу, но и по обратным связям, образуя собственную внутреннюю динамику. Благодаря этому сеть сохраняет информацию о предыдущих элементах последовательности и использует её при обработке последующих. Англоязычное название — Recurrent neural network, сокращение RNN; в русскоязычной литературе наряду с формой «рекуррентная нейронная сеть» используется вариант «рекуррентные нейронные сети».

Как устроено

В РНС одни и те же вычисления выполняются для каждого элемента последовательности, а результат на каждом шаге зависит как от текущего входа, так и от состояния, накопленного сетью на предыдущих шагах. Наличие обратных связей отличает рекуррентные сети от статических нейронных сетей, таких как многослойный перцептрон: перцептрон обрабатывает каждый вход независимо, тогда как РНС способна учитывать контекст произвольной длины. Внутри сети формируется внутренняя память, которая обновляется по мере прохождения последовательности и используется при вычислении следующего выхода. Существуют также более общие рекурсивные нейронные сети, в которых сигнал распространяется по структуре в виде дерева, а одни и те же матрицы весов применяются рекурсивно в соответствии с топологией графа.

Где применяется

Рекуррентные нейронные сети используются там, где данные естественным образом представлены последовательностями. В обработке естественного языка это оценка грамматической и семантической корректности предложений и машинный перевод, генерация текстов (например, после обучения на корпусе поэм Шекспира модель способна порождать новые тексты в схожем стиле), а также анализ тональности коротких пользовательских отзывов. Другая область применения — работа с временными рядами, где каждый следующий элемент зависит от предыдущих значений.

Отличие от близких понятий

От многослойного перцептрона РНС отличается наличием обратных связей и собственной динамики, а также способностью обрабатывать последовательности произвольной длины, а не отдельные изолированные векторы признаков. От рекурсивных нейронных сетей рекуррентные отличаются топологией обработки: в рекуррентных сигнал движется по цепочке, а в рекурсивных — по древовидной структуре; при этом в разных источниках границы между этими понятиями описываются по-разному.