На лекции Али Гольдси я наткнулся случайно, и некоторые комментарии на YouTube были настолько положительными, что мне пришлось смотреть его лекции:
«Эти лекции намного информативнее, чем в Стэнфорде», — сказал один из них.
Другой сказал: Одно из терпеливых объяснений, почти «концептуальный вывод GAN. Говорит немного и медленно, чтобы вы могли обработать то, что он говорит, и сначала уяснить основную мысль. Но глубину его понимания и остроты мысли можно увидеть во многих местах [например, где он] отвечает на вопрос если функция нуждается в обратной, значит ли это, что вы не можете использовать Relu в сети? блестяще! Рад знакомству с этим ресурсом».
После просмотра его лекции о GAN (выше) я искал все его лекции и пытался собрать их в одном месте. Некоторые из них уже были перечислены на сайте аналитики данных U Waterloo, но это был не полный список.
Итак, вот они:
STAT 946 Topics in Probability and Statistics: Deep Learning (осень 2015 г.) все видео и слайды
- Конспект курса, список работ
- Лек. 1.1: Введение, слайды
- Лек. 1.2: Персептрон, нейронная сеть с прямой связью, обратное распространение
- Лек. 2.1: Регуляризация, слайды
- Лек. 2.2: Регуляризация
- Урок 3.1: Word2vec, слайды
- Урок 3.2: Word2vec
- Лек. 4.1: Сети сумм-произведений, слайды
- Лек. 4.2: Сети сумм-произведений
- Лек. 5.1: Рекуррентная нейронная сеть, слайды
- Лек. 5.2: Рекуррентная нейронная сеть
- Урок 6: Сверточная сеть, слайды
- Урок 7: Ограниченная машина Больцмана (RBM), слайды
- Theano Tutorial, example.ipyng, lasagne_example.ipynb, lstm.ipynb
- Keras Tutorial, слайды
STAT 441/841, CM 763: Statistical Learning Classification (осень 2015 г.), все видео и слайды
- Лекция 1: Машинное обучение, введение
- Лек. 2: Формальное определение классификации, Линейный дискриминантный анализ (LDA), Квадратичный дискриминантный анализ (QDA)
- Лек. 3: QDA, анализ главных компонентов (PCA)
- Урок 4: PCA, Дискриминантный анализ Фишера (FDA)
- Лек. 5: Логистическая регрессия
- Лек. 6: Логистическая регрессия, персептрон
- Урок 7: Обратное распространение
- Лек. 8: Сети с радиальными базисными функциями
- Урок 9: Беспристрастная оценка риска Штейном (конечно)
- Лек. 10: Распад веса
- Урок 11: Hard margin svm
- Урок 12: Мягкая маржа svm
- Лек. 13: Двойной PCA, контролируемый PCA
- Лек. 14: PCA под наблюдением, дерево решений
- Урок 15: Дерево решений, KNN
- Лек 16: Повышение
- Урок 17: Бэггинг, сверточные сети (часть 1)
- Урок 18: Сверточная нейронная сеть (часть 2)
- Урок 19: Обучение PAC
Глубокое обучение (2017 г.) все видео и слайды
- 7 сентября: Введение (без видео), слайды
- 12 сентября: Perceptron, FFNN, Backpropagation, слайды
- 14 сентября: переоснащение, регулирование
- 19 сентября: снижение веса, знакомство с Керасом, слайды
- 26 сентября: регуляризация, отсев, слайды
- 28 сентября: Пакетная нормализация, CNN, слайды
- 3 окт: CNN, слайды
- 5 окт: RNN, слайды
- 12 окт. Часть 1: Вариационный автоэнкодер
- 12 окт. Часть 2: Вариационный автоэнкодер
- 17 октября: Sum Product Network, слайды
- 19 октября: Глубокое обучение с подкреплением, слайды
- 24 октября: Генеративно-состязательные сети, слайды
STAT 441/841: Статистическое обучение — классификация (зима 2017 г.), плейлист
- Лекция 1: Введение в классификаторы, байесовские классификаторы, LDA и QDA, слайды
- Урок 2: QDA, PCA
- Лек. 3: Управление по санитарному надзору за качеством пищевых продуктов и медикаментов
- Лек 4: Логистическая регрессия
- Лек. 5: Выбор модели, нейронные сети
- Урок 6: Спектральная кластеризация, лапласианская собственная карта, MVU
- Урок 7: Обратное распространение, RBN
- Урок 8: Контроль сложности для RBN
- Урок 9: Регуляризация, SVM с жесткими маржами
- Урок 10: SVM, Kernel SVM
- Урок 11: Мягкая маржа SVM
- Урок 12: Обучение метрике
- Лек. 13: SPCA, наивный байесовский метод, K-ближайший сосед
- Урок 14: Сверточные нейронные сети
- Урок 15: Случайные признаки, Дерево
- Лек. 16: Дерево, метод бустинга
- Лек. 17: Метод бустинга
- Лек. 18: Бэггинг
STAT 442/842: Визуализация данных, курс обучения без учителя (2017 г.)
- Лек. 1: Анализ главных компонентов
- Урок 2: PCA (Обычный, Двойной, Ядро)
- Лек. 3: Управление по санитарному надзору за качеством пищевых продуктов и медикаментов
- Урок 4: MDS, Isomap, LLE
- Лек. 5: LLE, спектральная кластеризация
- Урок 6: Спектральная кластеризация, лапласианская собственная карта, MVU
- Лек. 7: MVU, Действия по встраиванию, PCA под наблюдением
- Урок 8: PCA под наблюдением
- Lec 9: SPCA, аппроксимация Нистрома, NMF
- Урок 10: NMF через алгоритм R1D
- Урок 11: Сети сумм-произведений
- Урок 12: Нейронные сети, автоэнкодеры, Word2Vec
- Урок 13: Word2Vec Skip-Gram
- Лек. 14: Автоэнкодеры, кластеризация, смесь гауссианов
- Урок 15: т-СНЭ
- Урок 16: Вариационные автоэнкодеры
Глубокое обучение (осень 2020 г.), доступно только два:
Новые видео будут размещены на YouTube-канале Али Годси. Одна приятная особенность его видео заключается в том, что каждое из них более или менее самодостаточно. То есть — они зависят от более раннего материала, но ориентироваться и находить эти зависимости относительно легко.
Среди его публикаций я собираю ниже его недавние учебники и обзоры. Они сопровождают и дополняют некоторые материалы, представленные в его видеороликах.
Учебники и опросы
Вот Али Годси в Google Scholar. Не путать с Али Годси из Университета Беркли, генеральным директором и основателем Databricks.
- Генеративно-состязательные сети и состязательные автоэнкодеры: учебник и обзор, Б. Годжох, А. Годси, Ф. Каррей, М. Кроули (2021)
- Ограниченная машина Больцмана и сеть глубокого убеждения: учебник и обзор, Б. Годжо, А. Годси, Ф. Каррей, М. Кроули (2021)
- Единая структура для уменьшения спектральной размерности, развертывания максимальной дисперсии и обучения ядра с помощью полуопределенного программирования: учебник и обзор, Б. Годжо, А. Годси, Ф. Каррей, М. Кроули (2021)
- Уменьшение размерности на основе лапласиана, включая спектральную кластеризацию, собственную лапласовскую карту, проекцию с сохранением местоположения, встраивание графа и карту диффузии: учебное пособие и обзор, Б. Годжо, А. Годси, Ф. Каррей, М. Кроули (2021)
- Механизм внимания, преобразователи, BERT и GPT: учебник и обзор, Б. Годжох, А. Годси (2021)
- Локально-линейное вложение и его варианты: Учебное пособие и обзор, Б. Годжох, А. Годси, Ф. Каррей, М. Кроули (2020)