Гребневая(ридж) регрессия и регрессия Лассо и их реализация с помощью Python
В этой статье я расскажу вам о гребневой регрессии и регрессии Лассо в машинном обучении и о том, как реализовать ее с помощью языка программирования Python.
Гребневая(ридж) модель регрессии и модель регрессии Лассо – это регуляризованные линейные модели, хороший способ уменьшить переобучение и упорядочить модель: чем меньше у нее степеней свободы, тем сложнее будет переобучить данные. Простой способ регуляризации полиномиальной модели – уменьшить количество степеней полинома.
Для линейной модели регуляризация обычно выполняется путем ограничения весов модели. А сейчас мы рассмотрим гребневую регрессию и регрессию Лассо, которые реализуют различные способы ограничения весов.
Гребневая (ридж) регрессия
Гребневая(ридж) регрессия – это регуляризованная версия линейной регрессии. Она заставляет алгоритм обучения не только соответствовать данным, но и сохранять веса модели как можно меньшими.
Обратите внимание, что срок начисления следует добавлять к функции затрат только во время обучения. После обучения модели вы хотите использовать нерегулируемую меру производительности для оценки производительности модели.
Регрессия Лассо
Наименьшее абсолютное сжатие и регрессия оператора выбора (обычно называется регрессия Лассо) – это еще одна регуляризованная версия линейной регрессии: так же, как пиковая регрессия, она добавляет член регуляризации к функции стоимости, но использует норму ℓ1 весового вектора вместо половины квадрата нормы ℓ2.
Гребневая (ридж) регрессия и регрессия Лассо с Python
Как и в других задачах, в этой задаче, чтобы показать реализацию гребневой регрессии и регрессии Лассо с Python, я начну с импорта необходимых пакетов и модулей Python:
import pandas as pd import numpy as np import matplotlib.pyplot as plt
А теперь давайте импортируем данные, проведем очистку и посмотрим, как выглядят данные, с которыми мы собираемся работать. Вы можете скачать набор данных, который я использую в этой задаче, отсюда:
data = pd.read_csv("Advertising.csv")
print(data.head())
Результат:
Unnamed: 0 TV Radio Newspaper Sales
0 1 230.1 37.8 69.2 22.1
1 2 44.5 39.3 45.1 10.4
2 3 17.2 45.9 69.3 9.3
3 4 151.5 41.3 58.5 18.5
4 5 180.8 10.8 58.4 12.9
Теперь удалим безымянный столбец:
data.drop(["Unnamed: 0"], axis=1, inplace=True)
Сейчас у нас всего три рекламных медиа, и наша целевая переменная – продажи. Давайте посмотрим, как каждая переменная влияет на продажи, и для этого создадим диаграмму рассеяния. Сначала мы создаем вспомогательную функцию для построения диаграммы рассеяния:
def scatter_plot(feature, target):
plt.figure(figsize=(16, 18))
plt.scatter(data[feature],
data[target],
c='black'
)
plt.xlabel("Money Spent on {} ads ($)".format(feature))
plt.ylabel("Sales ($k)")
plt.show()
scatter_plot("TV", "Sales")
scatter_plot("Radio", "Sales")
scatter_plot("Newspaper", "Sales")
Алгоритм множественной линейной регрессии
Модели гребневой(ридж) регрессии и регрессии Лассо являются способом регуляризации линейных моделей, но нам сначала нужно подготовить линейную модель. Итак, давайте рассмотрим код для подготовки модели множественной линейной регрессии:
from sklearn.model_selection import cross_val_score from sklearn.linear_model import LinearRegression xs = data.drop(["Sales"], axis=1) y = data["Sales"].values.reshape(-1,1) linreg = LinearRegression() MSE = cross_val_score(linreg, xs, y, scoring="neg_mean_squared_error", cv=5) mean_MSE = np.mean(MSE) print(mean_MSE)
Теперь нам нужно посмотреть, что лучше: гребневая(ридж) регрессия или регрессия Лассо.
Гребневая(ридж) регрессия
Для алгоритма гребневой(ридж) регрессии я буду использовать модель GridSearchCV, предоставленную Scikit-learn, которая позволит нам автоматически выполнить 5-кратную перекрестную проверку, чтобы найти оптимальное значение альфа.
Вот как выглядит код для алгоритма гребневой(ридж) регрессии:
# Ridge Regression
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge
ridge = Ridge()
parameters = {"alpha":[1e-15, 1e-10, 1e-8, 1e-4, 1e-3, 1e-2, 1, 5, 10, 20]}
ridge_regression = GridSearchCV(ridge, parameters, scoring='neg_mean_squared_error', cv=5)
ridge_regression.fit(xs, y)
И тогда мы можем легко найти лучший параметр и лучшую MSE, используя следующие команды:
print(ridge_regression.best_params_) print(ridge_regression.best_score_)
Результат:
{‘alpha’: 20}
-3.0726713383411424
Регрессия Лассо
Для регрессии Лассо нам также необходимо следовать тому же процессу, что и для гребневой(ридж) регрессии. Вот как выглядит код:
from sklearn.linear_model import Lasso
lasso = Lasso()
parameters = {"alpha":[1e-15, 1e-10, 1e-8, 1e-4, 1e-3, 1e-2, 1, 5, 10, 20]}
lasso_regression = GridSearchCV(lasso, parameters, scoring='neg_mean_squared_error', cv=5)
lasso_regression.fit(xs, y)
print(lasso_regression.best_params_)
print(lasso_regression.best_score_)
Результат:
{‘alpha’: 1}
-3.041405896751369
Надеюсь, теперь вы знаете, как реализовать гребневую(ридж) регрессию и регрессию Лассо в машинном обучении с помощью языка программирования Python. В этом случае лучшим методом настройки будет лассо со значением регуляризации, равным 1.
Надеюсь, вам понравилась эта статья о том, как реализовать алгоритмы гребневой(ридж) регрессии и регрессии Лассо в машинном обучении с помощью языка программирования Python.
