Контентная фильтрация в машинном обучении

Большинство систем рекомендаций используют фильтрацию на основе контента и совместную фильтрацию, чтобы показывать рекомендации пользователю, и чтобы обеспечить лучший пользовательский опыт. Фильтрация на основе контента генерирует рекомендации, основанные на поведении пользователя. В этой статье я расскажу, что такое контентная фильтрация в машинном обучении и как ее реализовать с помощью Python.

Что такое система рекомендаций?

Система рекомендаций используется для выработки персонализированных рекомендаций путем оценки предпочтений пользователя с использованием таких данных, как история пользователя, время просмотра или чтения и т. д. Существует множество приложений, основанных на системах рекомендаций. Вот основные категории этих приложений:

Интернет-магазины (Amazon, Zomato и т. д.)
Аудио (песни, аудиокниги, подкасты и т. д.)
Рекомендации по видео (YouTube, Netflix, Amazon Prime и т. д.)

Итак, существует два типа рекомендательных систем:

Совместная фильтрация
Контентная фильтрация

Совместная фильтрация использует поведение других пользователей, у которых есть такие же интересы, как и вас, и на основе действий этих пользователей показывает вам идеальные рекомендации. Система рекомендаций, основанная на методе, основанном на контенте, покажет вам рекомендации, основанные на вашем поведении. В следующем разделе я подробно расскажу, как работает контентная фильтрация в машинном обучении, а затем мы посмотрим, как реализовать ее с помощью Python.

Контентная фильтрация

Система рекомендаций, основанная на фильтрации на основе контента, предоставляет рекомендации пользователю путем анализа описания контента, которое было оценено пользователем. В этом методе алгоритм обучается понимать контекст контента и находить сходства в другом контенте, чтобы рекомендовать тот же класс контента конкретному пользователю.

Давайте разберемся в процессе фильтрации по контенту, посмотрев на все этапы этого метода для выработки рекомендаций для пользователя:

Все начинается с определения ключевых слов, чтобы понять контекст. На этом этапе он игнорирует ненужные слова, такие как стоп-слова.
Затем он находит такой же контекст в другом контенте, чтобы найти сходства. Чтобы определить сходство между двумя или более текстами, метод, основанный на контенте, использует косинусное сходство.
Он находит сходство, анализируя корреляцию между двумя или более пользователями.
Затем он генерирует рекомендации, вычисляя средневзвешенное значение всех пользовательских оценок для активных пользователей.

Надеюсь, вы теперь понимаете, как работает контентная фильтрация. В следующем разделе я расскажу, как реализовать это с помощью языка программирования Python.

Контентная фильтрация с помощью Python

Надеюсь, что теперь вы поняли, что такое системы рекомендаций и как контентный метод используется для выработки рекомендаций для пользователя. Теперь давайте посмотрим, как реализовать метод, основанный на контенте, с помощью Python. Для этой задачи я буду использовать набор данных, предоставленный MovieLens, для создания системы рекомендаций фильмов с использованием фильтрации на основе содержимого с помощью Python.

Давайте начнем решать эту задачу с импорта необходимых библиотек Python и набора данных:

Набор данных

import numpy as np
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
movies = pd.read_csv('movies_metadata.csv')
print(movies.head())

  adult                              belongs_to_collection    budget  ...  video vote_average vote_count
 0  False  {'id': 10194, 'name': 'Toy Story Collection', ...  30000000  ...  False          7.7     5415.0
 1  False                                                NaN  65000000  ...  False          6.9     2413.0
 2  False  {'id': 119050, 'name': 'Grumpy Old Men Collect...         0  ...  False          6.5       92.0
 3  False                                                NaN  16000000  ...  False          6.1       34.0
 4  False  {'id': 96871, 'name': 'Father of the Bride Col...         0  ...  False          5.7      173.0

Теперь я собираюсь реализовать все шаги, о которых я говорил, в упомянутом выше процессе фильтрации на основе содержимого с использованием Python. Здесь я сначала подготовлю данные, затем выберу столбцы, которые мы будем использовать для понимания контекста контента, затем мы удалим стоп-слова и, наконец, найдем косинусное сходство для выработки рекомендаций:

tfidf = TfidfVectorizer(stop_words='english')
movies['overview'] = movies['overview'].fillna('')
overview_matrix = tfidf.fit_transform(movies['overview'])
similarity_matrix = linear_kernel(overview_matrix,overview_matrix)
mapping = pd.Series(movies.index,index = movies['title'])
print(mapping)

Результат:

title
Toy Story	0
Jumanji	1
Grumpier Old Men	2
Waiting to Exhale	3
Father of the Bride Part II	4
...
Subdue	45461
Century of Birthing	45462
Betrayal	45463
Satan Triumphant	45464
Queerama	45465
Length: 45466, dtype: int64

Теперь давайте создадим функцию и посмотрим, как работает система рекомендаций:

def recommend_movies(movie_input):
    movie_index = mapping[movie_input]
    similarity_score = list(enumerate(similarity_matrix[movie_index]))
    similarity_score = sorted(similarity_score, key=lambda x: x[1], reverse=True)
    similarity_score = similarity_score[1:15]
    movie_indices = [i[0] for i in similarity_score]
    return (movies['title'].iloc[movie_indices])

print(recommend_movies('Life Begins for Andy Hardy'))

Результат:

23530	Andy Hardy Meets Debutante
21422	A Family Affair
26304	You're Only Young Once
10301	The 40 Year Old Virgin
29369	Andy Hardy's Private Secretary
23843	Andy Hardy's Blonde Trouble
15348	Toy Story 3
43427	Andy Kaufman Plays Carnegie Hall
38476	Superstar: The Life and Times of Andy Warhol
42721	Andy Peters: Exclamation Mark Question Point
8327	The Champ
28128	The Mayor of Casterbridge
21359	Andy Hardy's Double Life
32086	Brother's Keeper
Name: title, dtype: object

Итак, я надеюсь, вам понравилась эта статья о том, что такое контентный метод в машинном обучении и его реализация с использованием Python.