Если вы помните иллюстрацию к уроку 4/5 курса fast.ai, как показано ниже, CNN — это сеть прямой связи. Например, в приложении для классификации изображений с обученным набором параметров (или весовых коэффициентов, которые в совокупности называются моделью) сеть приступает к категоризации данных, которые она никогда не видела. Обученная сеть прямой связи может подвергаться воздействию любой случайной коллекции фотографий, и первая фотография, которую она показывает, не обязательно изменит то, как она классифицирует вторую. Увидев фотографию кота, сеть не увидит рядом слона.

В конце седьмого урока Джереми что-то говорил о RNN.

Рекуррентные сети представляют собой тип искусственной нейронной сети, предназначенной для распознавания закономерностей в последовательностях данных, таких как текст, геномы, почерк, произнесенное слово или числовые временные ряды данных, поступающих от датчиков, фондовых рынков и государственных учреждений. Эти алгоритмы учитывают время и последовательность, они имеют временное измерение.

По состоянию на 2016 год крупные технологические компании, включая Google, Apple и Microsoft, использовали LSTM в качестве основных компонентов в новых продуктах. Например, Google использовал LSTM для распознавания речи на смартфоне, для умного помощника Allo и для Google Translate. Apple использует LSTM для функции Quicktype на iPhone и для Siri. Amazon использует LSTM для Amazon Alexa.

RNN хороши для обработки данных последовательности для прогнозов, но страдают от кратковременной памяти. Проблема кратковременной памяти для ванильных RNN не означает, что их нужно полностью пропустить и использовать более развитые версии, такие как LSTM или GRU. Преимущество RNN заключается в более быстром обучении и использовании меньшего количества вычислительных ресурсов. Это потому, что нужно вычислить меньше тензорных операций. Вам следует использовать LSTM или GRU, когда вы планируете моделировать более длинные последовательности с долгосрочными зависимостями.

Ниже приведены два иллюстрированных видеоролика RNN и LSTM.

Использованная литература:

Долгосрочная кратковременная память в Википедии [https://en.wikipedia.org/wiki/Long_short-term_memory]

Руководство для начинающих по LSTM и рекуррентным нейронным сетям [https://skymind.ai/wiki/lstm]

Иллюстрированное руководство по рекуррентным нейронным сетям [https://towardsdatascience.com/illustrated-guide-to-recurrent-neural-networks-79e5eb8049c9]

Иллюстрированное руководство по LSTM и GRU: пошаговое объяснение

Подробные примечания к уроку 5 [https://github.com/hiromis/notes/blob/master/Lesson5.md]