Концепция линейной алгебры, которая лежит в основе общего класса алгоритмов машинного обучения, называемых спектральными методами, таких как анализ главных компонентов (PCA) и многомерное масштабирование (MDS), представляет собой собственное разложение. Это позволяет нам извлекать значимую информацию, характеризующую линейные отображения. Но как именно это работает и как это помогает нам — вот вопросы, на которые я постараюсь ответить вам в этом посте :)
Прежде чем читать этот пост, убедитесь, что вы знакомы с этими понятиями в линейной алгебре:
- Определитель матрицы
- Обратная матрица
- Собственные векторы и собственные значения матрицы
- Основа векторного пространства
Во-первых, давайте вспомним термин диагональная матрица. Это матрица, которая имеет нулевое значение на всех недиагональных элементах. Например:
Что интересно в диагональных матрицах, так это то, что они позволяют быстро вычислять определители, степени и обратные величины.
Примечание: матрица, обратная диагональной, существует, если все элементы на диагонали имеют ненулевые значения, поскольку в противном случае определитель был бы равен нулю.
Из-за подходящих свойств диагональных матриц в наших интересах по возможности приводить матрицы к диагональной форме. Здесь дело доходит до собственного разложения.
Предположим, что A (матрица n x n ) имеет невырожденные или различные собственные значения:
которые являются диагональными элементами матрицы D:
и соответствующие собственные векторы, обозначенные как:
Затем:
что приводит к разложению по подобию матрицы A:
Разложение всегда возможно для квадратной матрицы A, если P также является квадратной матрицей. Это потому, что если P не является квадратной матрицей, у нее нет обратной. Это известно как теорема собственного разложения. Кроме того, если матрица A симметрична, то столбцы P являются ортогональными векторами. Это прямо из спектральной теоремы, которая гласит:
Преобразование матрицы в диагональную форму является применением изменения базиса. А новый базис состоит из собственных векторов исходной матрицы. Спектральная теорема утверждает, что в случае симметричных матриц мы всегда можем найти такой базис, который также является ортонормированным.
С помощью этой формы мы можем эффективно вычислить матричную мощность матрицы A:
и мы уже видели, что вычислительно легко вычислить степени диагональных матриц. То же самое для вычисления определителя матрицы A:
Интуиция за собственным разложением
Пусть A — матрица преобразования некоторого линейного отображения относительно канонического базиса. P-1 представляет собой изменение базиса со стандартного базиса на собственный базис. Затем матрица D выполняет масштабирование собственных векторов по собственным значениям. И, наконец, P преобразует векторы обратно в стандартные базисные координаты. Это показано на изображении ниже:
Приложение
Матричное разложение — важная концепция линейной алгебры. Это позволяет нам представлять матрицы по разным основаниям и разлагать их на значимые части.
Как указывалось в начале, декомпозиция охватывает классические подходы к статистическому анализу данных, такие как:
- Анализ основных компонентов (АПК)
- Дискриминантный анализ Фишера
- Многомерное масштабирование (MDS)
Я буду копаться в PCA в будущем посте. Однако важно отметить, что собственное разложение используется только для квадратных матриц. Более общий метод матричной декомпозиции, который можно применять к неквадратным матрицам, — это разложение по сингулярным значениям (SVD), который будет обсуждаться в моем следующем посте, где я буду также использовать SVD для сжатия изображений и, таким образом, показать некоторые из его приложений.
Надеюсь, вы ясно понимаете, как работает собственное разложение, и будете следить за будущими публикациями :D.