[추천시스템] 영화 평점 데이터로 협업필터링 추천시스템 (Collaborative Filtering) 구현

시작하며..! :) 

데이터 분석 수업을 수강하며 배우게된 추천시스템!
유튜브가 상용화 된 요즘, '유튜브 알고리즘 일잘하네~'라는 말을 입에 달고 살면서 실생활에 추천시스템이 녹아들어있다 .이런 추천시스템을 직접 구현해볼 수 있다는 것 자체만으로도 굉장한 흥미가 생겼고, 내 졸업프로젝트 또한 추천시스템으로 주제가 정해지게 되었지... 어쨌든, 미래에 나는 실무에서 어떤 데이터를 가지고 얼마나 대단한 추천시스템을 구현할 수 있을까!? 벌써 설렌당! 얼른 취업하자....★

-- 본 자료는 동국대학교 데이터어낼리틱스 강의 자료를 활용하여 진행한 프로젝트 입니다 :)

 

1. 프로젝트 진행 방향

R 언어를 활용하여 Collaborative Filtering 기법을 활용한 Recommendation System을 구현할 것이다. Collaborative Filtering 기법 중에서도, Item-Based 와 User-Based 두가지의 방법을 이용해 볼것이다! 두 기법에 대한 차이와 자세한 설명은 조만간 또 업로드 해야겠다 :) (공부 필요해...!)

 

2. 프로젝트 주제

사용자가 남긴 영화 평점 데이터를 활용하여 추천시스템을 구현한다.

User-base, Item-based 두가지의 방식을 사용해보고, Best한 모델이 무엇인지 살펴보도록 한다.

 

3. 활용 데이터

• MovieLense에서 제공하는 데이터를 활용했다.
• 1682개의 영화에 943명의 유저가 남긴 10만개의 평점 리뷰를 활용했다. (평점은 1~5점 사이)
• 각 유저는 최소 20개의 영화에 리뷰 평점을 남겼다.
• 유저의 간단한 demo 정보도 들어있다. (age, gender, occupatin, zip)

 

3. 데이터 불러오기

3.1 환경 구성

이번 프로젝트를 진행하기 위한 library를 설치 및 불러와준다. 

install.packages("SnowballC") #tf-idf를 구성하기 위한 패키지
install.packages("class") #KNN 분석을 위한 패키지
install.packages("dbscan") #KNN 분석을 위한 패키지
install.packages("proxy") #코사인 유사도, 거리를 계산하기 위한 패키지
install.packages("recommenderlab") #추천 시스템을 위한 패키지
install.packages("dplyr") #데이터 프레임을 처리하는 함수 패키지
install.packages("tm") #tf-idf matrix를 구성하기 위한 패키지
install.packages('caTools')

library(recommenderlab)
library(dplyr)
library(tm)
library(SnowballC)
library(class)
library(dbscan)
library(proxy)
library(caTools)

 

3.2 데이터 불러오기

# 경로 설정하고 데이터 읽기
  setwd("C:\\Users\\ml-100k")
data <- read.table('u.data')
colnames(data) <- c('user_id','item_id','rating','timestamp')
data = data[,-which(names(data) %in% c('timestamp'))]

# 읽어온 데이터 확인하기
summary(data)
str(data)
hist(data$rating, main="Histogram of Rating")

# Data sparsity
RatingNumber = nrow(data)
MovieNumber = length(unique(data$item_id))
UserNumber = length(unique(data$user_id))

data summary 결과

데이터의 histogram

 

3.3 데이터를 Matrix 형태로 변환

추천시스템은 행렬 기반으로 돌아가기에, Matrix 로 변화해서 사용해주어야 한다.

# 매트릭스 형태로 변환
data.frame2matrix = function(data, rowtitle, coltitle, datatitle, 
                             rowdecreasing = FALSE, coldecreasing = FALSE,
                             default_value = NA) {
  ## 열 이름 존재하는지 확인
  if ( (!(rowtitle%in%names(data))) 
       || (!(coltitle%in%names(data))) 
       || (!(datatitle%in%names(data))) ) {
    stop('data.frame2matrix: bad row-, col-, or datatitle.')
  }
  
  ## 열 개수
  ndata = dim(data)[1]
  
  ## 행 및 열 이름
  rownames = sort(unique(data[[rowtitle]]), decreasing = rowdecreasing)
  nrows = length(rownames)
  colnames = sort(unique(data[[coltitle]]), decreasing = coldecreasing)
  ncols = length(colnames)
  
  ## matrix 초기화
  out_matrix = matrix(NA, 
                      nrow = nrows, ncol = ncols,
                      dimnames=list(rownames, colnames))
  
  ## 데이터의 행 반복
  for (i1 in 1:ndata) {
    ## 현재 데이터 행에 대한 행렬-행 및 행렬-열 색인 가져오기
    iR = which(rownames==data[[rowtitle]][i1])
    iC = which(colnames==data[[coltitle]][i1])
    
    ## matrix 항목 (iR, iC)가 공백이 아니라면 에러 발생
    if (!is.na(out_matrix[iR, iC])) stop('data.frame2matrix: double entry in data.frame')
    out_matrix[iR, iC] = data[[datatitle]][i1]
  }
  
  ## matrix 결측치에 default 값 삽입하기
  out_matrix[is.na(out_matrix)] = default_value
  
  # return matrix
  return(out_matrix)
  
}
# colnames(data) <- c('user_id','item_id','rating','timestamp')

pre_data = data.frame2matrix(data, 'user_id', 'item_id', 'rating')
target_data <- as(as.matrix(pre_data), "realRatingMatrix")

반응형

3.4 데이터 Partitions

데이터는 30회 이상의 리뷰가 존재하는 영화만 사용할 것이다.

# 리뷰가 30번 이상 달린 영화만 이용
useData <- data[data$user_id
                %in% names(table(data$user_id))
                [table(data$user_id)>30],]

 

그리고 Train과 Test를 7:3 비율로 나누어 주었다.

# Train:Test = 7:3
spl <- sample.split(useData$rating,0.7)
train <- subset(useData,spl==TRUE)
test <- subset(useData,spl==FALSE)

 

평점이 가장 높은 영화, 조회수가 높은 영화를 조회해보자.

# 평균 평점 Top 5
avg_top5 <- target_data %>% normalize %>% colMeans %>% sort(decreasing=TRUE) %>% head(5)
avg_top5

# 조회수 Top 5
freq_top5 <- target_data %>% normalize %>% colCounts %>% sort(decreasing=TRUE) %>% head(5)
freq_top5

# 평점 & 조회수 Top 5
avg_freq_top5 <- target_data %>% normalize %>% binarize(minRating=1) %>% colCounts() %>% sort(decreasing=TRUE) %>% head(5)
avg_freq_top5

결과값

• 평균 평점이 가장 높은 영화 Top 5
  
  • 814번 영화, 1536번 영화, 1467번영화, 1500번 영화, 1599번 영화 순으로 평점이 높다.
  • 평점의 평균은 각각 1.90, 1.70, 1.49, 1.47, 1.41 이다!
• 조회수가 높은 영화 Top5
  • 50번 영화, 258번 영화, 100번 영화, 181번 영화, 294번 영화 순으로 조회수가 높다.
  • 조회수는 각각 583, 509, 508 507, 485 순으로 보여진다.
• 평점과 평균 동시에 고려한 점수가 높은 영화 Top5
  • 50번, 100번, 127번 174번, 313번 순으로 높다.
  • 각각 280, 190, 182, 168, 159점이다.

4. User-based Collaborative Filtering

4.1 데이터의 train/test를 나누어준다.

75 %의 train set 과 25%의 test set으로 분류해주었다.

# Train / Test data 나누기
set.seed(100)
index <- sample(1:nrow(target_data), size=nrow(target_data)*0.75)

# 데이터 구분(train/test데이터로 구분)
train <- target_data[index, ]
test <- target_data[-index, ]

dim(train) 

 

4.1 User-based Collaborative Filtering 모델링

# User-based Collaborative Filtering 모델링
recommender_models <- recommenderRegistry$get_entries(dataType="realRatingMatrix")
model_UBCF <- Recommender(data=train, method="UBCF")
model_UBCF
model_UBCF@model$data

 

4.2 예측 수행

# Test data 예측 (가장 많이 추천받을 가능성이 높은 영화 상위 10개)
pred_UBCF <- predict(model_UBCF, newdata=test, n=10)
pred_UBCF

# Test data에 있는 해당 사용자가 몇 번째 영화를 추천받을지 예측
pred_list_UBCF <- sapply(pred_UBCF@items, function(x) { colnames(pre_data)[x] })
pred_list_UBCF[5]   ## 5번 사용자에게 추천하는 영화

# Test에 속한 사용자들에게 몇개의 영화가 추천되었는가?
table(unlist(lapply(pred_list_UBCF, length)))

 

4.3 모델 평가

#모델평가 ( train = 0.8, k = 10 )
data_modify <- target_data[rowCounts(target_data)]

eval_sets_UBCF <- evaluationScheme(data = data_modify,
                                   method = "cross-validation",
                                   train = 0.8, k = 10, goodRating = 3, given = 3)
sapply(eval_sets_UBCF@runsTrain, length)
getData(eval_sets_UBCF, "train")


# Traning
recomm_eval <- Recommender(data = getData(eval_sets_UBCF, "train"),
                           method = "UBCF", parameter = NULL)
recomm_eval

# prediction
pred_eval <- predict(recomm_eval, 
                     newdata = getData(eval_sets_UBCF, "known"),
                     n = 10, type = "ratings")
pred_eval

위 코드의 결과

 

# Calculate accuracy(각 사용자별 추천이 적절했는지)
accuracy_eval_UBCF <- calcPredictionAccuracy(x = pred_eval,
                                             data = getData(eval_sets_UBCF,
                                                            "unknown"),
                                             byUser = TRUE)
head( accuracy_eval_UBCF, 10 )

# User-based Collaborative Filtering 정확도
colMeans(accuracy_eval_UBCF, na.rm = TRUE)

# 정밀도/재현율을 이용한 정확도
accuracy_eval2_UBCF <- evaluate(x=eval_sets_UBCF, method="UBCF" )
head( getConfusionMatrix(accuracy_eval2_UBCF), 10)

# ROC 커브
plot(accuracy_eval2_UBCF, annotate=TRUE, main="ROC Curve")

 

5. Item-based Collaborative Filtering

5.1 Item-based Collaborative Filtering 모델링

list(k)는 아이템의 유사도 값을 계산하는데 고려하는 이웃의 수를 의미한다. k=30으로 지정!

# Item-based Collaborative Filtering
model_IBCF <- Recommender(data = train, 
                             method = "IBCF",
                             parameter = list(k = 30))
model_IBCF
str( getModel(model_IBCF) )

 

5.2 예측

# Test data 내용 예측
pred_IBCF <- predict(model_IBCF, newdata=test, n=10)
pred_list_IBCF <- sapply(pred_IBCF@items, function(x) { colnames(target_data)[x] })
pred_list_IBCF[1]
table(unlist(lapply(pred_list_IBCF, length)))

5.3 모델평가

리뷰가 30개 이상인 데이터만 사용해서, Train 과 Test를 7:3으로 나누고 상위 10개의 결과를 예측햇다.
k값은 5로 지정했다. 

# 모델평가
data_modify <- target_data[rowCounts(target_data)]

eval_sets_IBCF <- evaluationScheme(data = data_modify,
                                   method = "cross-validation",
                                   train = 0.7,
                                   k = 5,
                                   goodRating = 3,
                                   given = 15)

# 데이터 세트 추출
sapply(eval_sets_IBCF@runsTrain, length)

getData(eval_sets_IBCF, "train")

# Training
recomm_eval_IBCF <- Recommender(data = getData(eval_sets_IBCF, "train"),
                                method = "IBCF", 
                                parameter = NULL)
recomm_eval_IBCF

# Prediction
pred_eval_IBCF <- predict(recomm_eval_IBCF, 
                          newdata = getData(eval_sets_IBCF, "known"),
                          n = 10, type = "ratings")
pred_eval_IBCF

# 정확도 계산
accuracy_eval_IBCF <- calcPredictionAccuracy(x = pred_eval_IBCF,
                                             data = getData(eval_sets_IBCF, 
                                                            "unknown"),
                                             byUser = TRUE)

head(accuracy_eval_IBCF,10)

# 평균 정확도
meanitem<- colMeans(accuracy_eval_IBCF,na.rm = TRUE)

# Item-based Collaborative Filtering 정확도
meanitem

# 정밀도/재현율 정확도
accuracy_eval_IBCF <- evaluate(x = eval_sets_IBCF, 
                               method = "IBCF", 
                               n = seq(10, 100, by = 10))
head( getConfusionMatrix(accuracy_eval_IBCF) )

#ROC 커브
plot(accuracy_eval_IBCF, annotate = TRUE, main = "ROC Curve")

5.4 매개변수 튜닝

• 아이템 간 유사도를 계산하는데 필요한 최적의 이웃의 수(K)를 알아보기 위해 매개변수 튜닝을 진행하였다.
• 코사인 또는 피어슨 상관계수 중 유사도 계산 기준을 선택했다.

#매개변수 튜닝
#1. 아이템 간 유사도를 계산하는데 필요한 최적의 이웃의 수
#2. 코사인 또는 피어슨 상관계수 중 유사도 계산 기준 선택
vector_k <- c(5, 10, 20, 30, 40)
mod1 <- lapply(vector_k, function(k, l) { list(name = "IBCF", 
                                               parameter = list(method = "cosine", 
                                                                k = k)) })
names(mod1) <- paste0("IBCF_cos_k_", vector_k)
names(mod1)

mod2 <- lapply(vector_k, function(k, l) { list(name = "IBCF", 
                                               parameter = list(method = "pearson", 
                                                                k = k)) })
names(mod2) <- paste0("IBCF_pea_k_", vector_k)
names(mod2)

mod <- append(mod1, mod2)

list_results <- evaluate(x = eval_sets_IBCF, 
                         method = mod,
                         n = c(1, 5, seq(10, 100, by = 10)))

#매개변수 별 ROC 커브
plot(list_results, annotate = c(1, 2), legend = "topleft")
title("ROC Curve")

#매개변수 별 재현/회상
plot(list_results, "prec/rec", annotate = 1, legend = "bottomright")
title("Precision-Recall")

getTopNLists signature(x = "realRatingMatrix"):
getTopNLists()

 

6. 최종 모델 선정

RMSE 란, 관측값에서 나타나는 오차를 제곱해서 평균한값의 제곱근을 의미한다. RMSE에 대한 자세한 설명은 다른 포스팅에서 다루도록 하고, RMSE값이 가장 최소화 되게끔 모델을 만드는 것이 중요하다.

따라서 위 두개의 모델 (User-based, Item-based) 중에서 RMSE가 더 낮은 Item-based 모델을 최종 모델로 선정하면 되겠다.

Item-based RMSE가 더 작다.

 

마치며,,!

수업에서 배운 내용을 활용하여 두 가지의 모델을 구현해보고, RMSE를 활용하여 best 모델을 선정해 보았다. 다음에는 리뷰 텍스트 데이터를 활용해서 추천시스템을 구현해보고싶다고 느꼈다.