Корреляция и регрессия в анализе данных

Корреляция и регрессия помогают анализировать связь между количественными переменными. Корреляция показывает, насколько тесно две переменные связаны между собой, а регрессия помогает описать эту связь математически и использовать одну переменную для прогнозирования другой.

Эти методы применяют в аналитике, исследованиях, BI, экономике, маркетинге и машинном обучении. В статье разберем, что такое корреляция, чем сильная связь отличается от слабой, как читать диаграммы разброса, что показывает линейная регрессия и почему корреляция не всегда означает причинно-следственную связь.

Что внутри:

что такое корреляция простыми словами;
сильная и слабая корреляция;
положительная и отрицательная связь;
диаграмма разброса;
что такое регрессия;
линейная регрессия и прогнозирование;
чем корреляция отличается от регрессии;
почему корреляция не доказывает причинность;
как использовать методы в анализе данных;
типовые ошибки интерпретации.

Когда вы исследуете закономерности в своих данных, как вы можете определить, насколько тесно связаны между собой две переменные? Можете ли вы использовать одну переменную для предсказания другой?

В этом модуле вы познакомитесь с концепциями корреляции и регрессии, которые могут помочь вам в дальнейшем изучении, понимании и обмене данными.

В идео 1

Видео 2

Цели

По завершении этого модуля вы сможете:

Различать сильную и слабую корреляцию.
Различать характеристики корреляции и линейной регрессии.

Раздел 1. Корреляция

В этом модуле вы познакомитесь с двумя концепциями, которые помогут вам в изучении взаимосвязей между переменными: корреляция и регрессия. Начнем с корреляции.

Что такое корреляция?

Корреляция – это техника, которая может показать, насколько сильно связаны пары количественных переменных. Например, количество ежедневно потребляемых калорий и масса тела взаимосвязаны, но эта связь не абсолютная.

Многие из нас знают кого-то, кто очень худой, несмотря на то, что он/она регулярно потребляет большое количество калорий, и мы также знаем кого-то, у кого есть проблемы с лишним весом, даже когда он/она сидит на диете с пониженным содержанием калорий.

Однако средний вес людей, потребляющих 2000 калорий в день, будет меньшим, чем средний вес людей, потребляющих 2500, а их средний вес будет еще меньше, чем у людей, потребляющих 3000, и так далее.

Корреляция может сказать вам, насколько тесно разница в весе людей связана с количеством потребляемых калорий.

Корреляция между весом и потреблением калорий – это простой пример, но иногда данные, с которыми вы работаете, могут содержать корреляции, которых вы никак не ожидаете. А иногда вы можете подозревать корреляции, не зная, какие из них самые сильные. Корреляционный анализ помогает лучше понять связи в ваших данных.

Диаграммы разброса или Точечные диаграммы используются для графического представления взаимосвязей между количественными показателями. Диаграмма показывает данные и позволяет нам проверить свои предположения, прежде чем устанавливать корреляции. Глядя на взаимосвязь между продажами и маркетингом, можно предположить наличие в них корреляции. По мере того, как одна переменная растет, другая, похоже, тоже увеличивается.

Диаграмма, указывающая на корреляцию между двумя количественными переменными

Корреляция против причинно-следственной связи

Теперь вы знаете, как определяется корреляция и как ее можно представить графически. Теперь давайте посмотрим, как понимать корреляцию.

Во-первых, важно понимать, что корреляция никогда не доказывает наличие причинно-следственной связи.

Корреляция говорит нам только о том, насколько сильно пара количественных переменных линейно связана. Она не объясняет, как и почему.

Например, продажи кондиционеров коррелируют с продажами солнцезащитных кремов. Люди покупают кондиционеры, потому что они купили солнцезащитный крем, или наоборот? Нет. Причина обеих покупок явно в чем-то другом, в данном случае – в жаркой погоде.

Измерение корреляции

Корреляция Пирсона, также называемая коэффициентом корреляции, используется для измерения силы и направления (положительного или отрицательного) линейной связи между двумя количественными переменными. Когда корреляция измеряется в выборке данных, используется буква r. Критерий Пирсона r может находиться в диапазоне от –1 до 1.

Когда r = 1, существует идеальная положительная линейная связь между переменными, это означает, что обе переменные идеально коррелируют с увеличением значений. Когда r = –1, существует идеальная отрицательная линейная связь между переменными, это означает, что обе переменные идеально коррелируют при уменьшении значений. Когда r = 0, линейная связь между переменными не наблюдается.

На графиках разброса ниже показаны корреляции, где r = 1, r = –1 и r = 0.

Переверните каждую карту ниже, чтобы увидеть значение для этой совокупности.

Идеальная положительная корреляция

Когда r = 1, есть идеальная положительная линейная связь между переменными, и это означает, что обе переменные идеально коррелируют с увеличением значений.

Идеальная отрицательная корреляция

Когда r = –1, существует идеальная отрицательная линейная связь между переменными, и это означает, что обе переменные идеально коррелируют при уменьшении значений.

Нет линейной корреляции

Когда r = 0, линейная зависимость между переменными не наблюдается.

С реальными данными вы никогда не увидите значений r «–1», «0» или «1».

Как правило, чем ближе r к 1 или –1, тем сильнее корреляция, это показано в следующей таблице.

r =	Сила корреляции
От 0.90 до 1 или от -0.90 до -1	Очень сильная корреляция
От 0.70 до 0.89 или от -0.70 до -0.89	Сильная корреляция
От 0.40 до 0.69 или от -0.40 или -0.69	Умеренная корреляция
От 0.20 до 0.39 или от -0.20 до -0.39	Слабая корреляция
От 0 to 0.19 до от 0 до -0.19	Очень слабая корреляция или ее нет вообще

Условие корреляции

Чтобы корреляции были значимыми, они должны использовать количественные переменные, и описывать линейные отношения, при этом не может быть выбросов.

В 1973 году статистик по имени Фрэнсис Анскомб разработал показатель «квартет Анскомба», он показывает важность визуального представления данных в виде графиков, а не простого выполнения статистических тестов.

Выделенный график разброса в верхнем левом углу – единственный, который удовлетворяет условиям корреляции.

Четыре визуализации в его квартете показывают одну и ту же линию тренда, поэтому значение r будет одинаковым для всех четырех.

Что вы заметили? Только один из графиков рассеяния соответствует критериям линейности и отсутствия выбросов.

Другими словами, мы не должны проводить корреляции на трех из четырех примерах, потому что не имеет смысла устанавливать сильные отношения.

Проверка знаний

Силу корреляции при значении r, равному –0,52, лучше всего можно описать как:

Очень сильная отрицательная корреляция
Очень сильная положительная корреляция
Умеренная отрицательная корреляция
Умеренная положительная корреляция

Резюме

Итак, вы ознакомились с концепциями статистической техники корреляции. На следующем уроке вы узнаете о линейной регрессии.

Раздел 2. Линейная регрессия

На предыдущем уроке вы узнали, что корреляция относится к направлению (положительному или отрицательному) и силе связи (от очень сильной до очень слабой) между двумя количественными переменными.

Линейная регрессия также показывает направление и силу взаимосвязи между двумя числовыми переменными, но регрессия использует наиболее подходящую прямую линию, проходящую через точки на диаграмме рассеяния, чтобы предсказать, как X вызывает изменение Y. При корреляции значения X и Y взаимозаменяемы. При регрессии результаты анализа изменятся, если поменять местами X и Y.

Диаграмма рассеяния с линией регрессии

Видео 1

Видео 2

Линия регрессии

Как и в случае с корреляциями, для того, чтобы регрессии были значимыми, они должны:

Использовать количественные переменные
Быть линейными
Не содержать выбросов

Как и корреляция, линейная регрессия отображается на диаграмме рассеяния

Линия регрессии на диаграмме рассеяния – это наиболее подходящая прямая линия, которая проходит через точки на диаграмме рассеяния. Другими словами, это линия, которая проходит через точки с наименьшим расстоянием от каждой из них до линии (поэтому в некоторых учебниках вы можете встретить название «регрессия наименьших квадратов»).

Почему эта линия так полезна? Мы можем использовать вычисление линейной регрессии для вычисления или прогнозирования нашего значения Y, если у нас есть известное значение X.

Чтобы было понятнее, давайте рассмотрим пример.

Пример регрессии

Представьте, что вы хотите предсказать, сколько вам нужно будет заплатить, чтобы купить дом площадью 1,500 квадратных футов.

Давайте используем для этого линейную регрессию.

Поместите переменную, которую вы хотите прогнозировать, цену на жилье, на ось Y (зависимая переменная).
Поместите переменную, на которой вы основываете свои прогнозы, квадратные метры, на ось x (независимая переменная).

Вот диаграмма рассеяния, показывающая цены на жилье (ось Y) и площадь в квадратных футах (ось x).

Вы можете видеть, что дома с большим количеством квадратных футов, как правило, стоят дороже, но сколько именно вам придется потратить на дом размером 1500 квадратных футов?

Диаграмма рассеяния цен на дома и квадратных метров

Чтобы помочь вам ответить на этот вопрос, проведите линию через точки. Это и будет линия регрессии. Линия регрессии поможет вам предсказать, сколько будет стоить типовой дом определенной площади в квадратных метрах. В этом примере вы можете видеть уравнение для линии регрессии.

Уравнение линии регрессии

Уравнение линии регрессии: Y = 113x + 98,653 (с округлением).

Что означает это уравнение? Если вы купили просто место без площади (пустой участок), цена составит 98,653 доллара. Вот как можно решить это уравнение:

Чтобы найти Y, умножьте значение X на 113, а затем добавьте 98,653. В этом случае мы не смотрим на квадратные метры, поэтому значение X равно «0».

Y = (113 * 0) + 98,653
Y = 0 + 98,653
Y = 98,653

Значение 98,653 называется точкой пересечения по оси Y, потому что здесь линия пересекает ось Y. Это – значение Y, когда X равно «0».

Но что такое 113? Число «113» – это наклон линии. Наклон – это число, которое описывает как направление, так и крутизну линии. В этом случае наклон говорит нам, что за каждый квадратный фут цена дома будет расти на 113 долларов.

Итак, сколько вам нужно будет потратить на дом площадью 1500 квадратных футов?

Y = (113 * 1500) + 98,653 = $268,153

Взгляните еще раз на эту диаграмму рассеяния. Синие отметки – это фактические данные. Вы можете видеть, что у вас есть данные для домов площадью от 1100 до 2450 квадратных футов.

Насколько можно быть уверенным в результате, используя приведенное выше уравнение, чтобы спрогнозировать цену дома площадью в 500 квадратных футов? Насколько можно быть уверенным в результате, используя приведенное выше уравнение, чтобы предсказать цену дома площадью 10,000 квадратных футов?

Поскольку оба этих измерения находятся за пределами диапазона фактических данных, вам следует быть осторожными при прогнозировании этих значений.

Величина достоверности аппроксимации

Наведите курсор на линию регрессии, чтобы увидеть значение величины достоверности аппроксимации r.

В дополнение к уравнению в этом примере мы также видим значение величины достоверности аппроксимации r (также известная как коэффициент детерминации).

Это значение является статистической мерой того, насколько близки данные к линии регрессии или насколько хорошо модель соответствует вашим наблюдениям. Если данные находятся точно на линии, значение величины достоверности аппроксимации будет 1 или 100%, и это означает, что ваша модель идеально подходит (все наблюдаемые точки данных находятся на линии).

Для наших данных о ценах на жилье значение величины достоверности аппроксимации составляет 0,70, или 70%.

Корреляция против причинно-следственной связи

Теперь давайте рассмотрим, как отличить линейную регрессию от корреляции.

Линейная регрессия

Показывает линейную модель и прогноз, прогнозируя Y из X.
Использует величину достоверности аппроксимации для измерения процента вариации, которая объясняется моделью.
Не использует X и Y как взаимозаменяемые значения (поскольку Y предсказывается из X).

Корреляция

Показывает линейную зависимость между двумя значениями.
Использует r для измерения силы и направления корреляции.
Использует X и Y как взаимозаменяемые значения.

Готовы проверить свои знания? В следующем упражнении определите, чему соответствует каждое из описаний: корреляции или регрессии.

Варианты для категорий: «корреляция» или «регрессия».

Измеряется величиной достоверности аппроксимации

Прогнозирует значения Y на основе значений X.

Не предсказывает значения Y из значений X, только показывает взаимосвязь.

Переменные оси X и Y взаимозаменяемы.

Измеряется r

Если поменять местами X и Y, результаты анализа изменятся.

Резюме

Итак, здесь вы познакомились со статистическими концепциями корреляции и регрессии. Это поможет вам лучше исследовать и понимать данные, с которыми вы работаете, путем изучения взаимосвязей в них.

FAQ

Вопрос: Что такое корреляция?

Ответ: Корреляция показывает, насколько тесно связаны две количественные переменные. Если одна переменная меняется вместе с другой, между ними может быть положительная или отрицательная корреляция.

Вопрос: Что такое регрессия?

Ответ: Регрессия — это метод анализа, который описывает зависимость одной переменной от другой или нескольких других переменных. Ее часто используют для прогнозирования.

Вопрос: Чем корреляция отличается от регрессии?

Ответ: Корреляция измеряет силу и направление связи между переменными. Регрессия строит модель зависимости и позволяет оценивать или предсказывать значение одной переменной по другой.

Вопрос: Что такое диаграмма разброса?

Ответ: Диаграмма разброса показывает пары значений двух переменных на графике. Она помогает визуально оценить наличие связи, выбросы и примерную форму зависимости.

Вопрос: Почему корреляция не означает причинность?

Ответ: Две переменные могут изменяться вместе, но это не доказывает, что одна вызывает другую. На связь может влиять третья переменная, случайность или скрытый фактор.

#dataliteracy, #информационная грамотность, #DataLiteracyProject

Следующая статья: Дополнительно

← Предыдущая статья

Исследование хорошо структурированных данных

Следующая статья →

Грамотность данных: сокращение разрыва и открытие новых возможностей для бизнеса