Анализ главных компонентов в машинном обучении

Анализ главных компонентов (PCA) – это алгоритм уменьшения размерности. PCA – один из самых простых и интуитивно понятных способов уменьшить размеры набора данных. В этой статье я покажу вам анализ основных компонентов в машинном обучении и его реализацию с использованием Python.

Анализ главных компонентов

В машинном обучении анализ главных компонентов (PCA) является самым широко используемым алгоритмом для уменьшения размерности. Он работает, определяя ближайшую к набору данных гиперплоскость, а затем просто проецирует на нее данные. PCA выбирает ось, которая сохраняет максимальное количество отклонений, потому что это ось, которая минимизирует среднеквадратичную ошибку между исходными данными и их проекциями на ось. Так работает анализ главных компонентов.

Он определяет ось, которая представляет наибольшую вариативность обучающих данных. Затем он находит вторую ось, которая ортогональна первой оси, и представляет наибольшую величину оставшейся дисперсии.

Для каждого основного компонента PCA находит единичный вектор с центром в нуле, указывающий в направлении основного компонента. Поскольку два противоположных вектора лежат на одной оси, направления единичных векторов, возвращаемых PCA, нестабильны. В некоторых случаях пара единичных векторов может вращаться или переворачиваться, но плоскость, которую они представляют, обычно остается той же самой.

Виды PCA

Есть четыре метода реализации PCA:

Стандартный PCA: Стандартный PCA – это версия по умолчанию, но она работает только в том случае, если данные умещаются в памяти.
Инкрементный PCA: инкрементный PCA полезен для больших наборов данных, которые не помещаются в памяти стандартного PCA, но он медленнее, чем обычный PCA, поэтому, если данные умещаются в памяти, вы должны использовать стандартный PCA. Инкрементальный PCA полезен для онлайн-задач, когда вам нужно на лету уменьшать размеры набора данных каждый раз, когда приходит новая выборка данных.
Рандомизированный PCA. Рандомизированный PCA очень полезен, когда вы хотите резко уменьшить размерность, и чтобы набор данных умещался в памяти. В таких случаях он работает быстрее, чем стандартный анализ главных компонент.
Kernal PCA: Kernal PCA предпочтительнее, только если набор данных является нелинейным.

Анализ главных компонентов с использованием Python

Чтобы реализовать анализ основных компонентов с помощью Python, мы можем использовать класс PCA, предоставляемый библиотекой Scikit-Learn на Python. Вот как мы можем реализовать анализ главных компонентов с помощью Python, чтобы уменьшить размерность данных:

import numpy as np
np.random.seed(4)
m = 60
w1, w2 = 0.1, 0.3
noise = 0.1

angles = np.random.rand(m) * 3 * np.pi / 2 - 0.5
X = np.empty((m, 3))
from sklearn.decomposition import PCA

pca = PCA(n_components = 2)
X2D = pca.fit_transform(X)
print(X2D)