Ключевые слова: порождающая, состязательная, целевая функция на основе модели, равновесие.
Генеративный vs. Дискриминативные модели.
Генеративные модели моделируют распределение отдельных классов.
Дискриминативные модели изучают (жесткую или мягкую) границу между классами.
В общем, генеративная модель (создание данных) построить намного сложнее, чем дискриминативную модель (обработка данных).
Состязательная:
есть две дифференцируемые функции — генератор и дискриминатор.
Генератор производит выборку из нормально или равномерно распределенного шума и использует NN для создания изображения.
Дискриминатор пытается идентифицировать поддельные изображения из реальных изображений и количественно определяет замеченную разницу в цифрах.
Разница отправляется обратно в генератор, чтобы генератор мог оптимизировать себя, чтобы приблизиться к истинному изображению.
На непрерывной основе дискриминатор обучается на множестве мини-пакетов (настоящие изображения — как положительные, а поддельные — как негативы). Между каждым пакетом генератор регулирует свои параметры, используя градиенты, выдаваемые дискриминатором, пока не достигнет оптимума в этом раунде.
Целевая функция на основе модели.
Дискриминатор использует ту же целевую функцию, что и обычный классификатор.
Однако целевая функция генератора привязана к показателю (откалиброванная вероятность). дискриминатора, обученного из последней партии.
В каждом раунде (между двумя партиями) генератор может обучаться так же хорошо, но не лучше, чем насколько хорошо дискриминатор различает реальные и поддельные изображения. Другими словами, производительность генератора ограничена производительностью дискриминатора.
Поскольку дискриминационную модель, используемую дискриминатором, легче обучить, чем генеративную модель, используемую генератором , дискриминатор обычно может превзойти генератор. Это основная причина, по которой генератор и дискриминатор могут продолжать подталкивать друг друга в этом состязательном процессе.
Равновесие:
На высоком уровне обучение достигает равновесия, когда:
- Генератор достигает своего предела при имитации реальных изображений.
- Дискриминатор достигает своего предела. различать реальные и поддельные изображения. Когда это происходит, генератор не получает значимых градиентов для своего улучшения.
Поэтому окончательная производительность генератора (который нас действительно волнует) ограничена его «глубиной». так и у дискриминатора. В этом есть смысл, поскольку дискриминатор по сути является частью генератора — целевой функции, основанной на модели.
Ссылка:
Интуитивно понятное введение в генеративно-состязательные сети (GAN) — статья
GAN — Почему так сложно обучать Генеративно-состязательные сети! — статья