[NLP] 텍스트 데이터를 인코딩하는 방법 / NLP에서의 지도학습

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다.

 

1. 지도학습

지도학습이란 알고리즘에 주입되는 훈련 데이터(샘플)에 레이블(타겟값)이 포함되어 있는 방식을 말한다. 

1.1 NLP에서의 지도 학습

문서 분류 시스템을 예시로 든다면, 훈련데이터(샘플)은 문서가 될 것이고, 레이블(타겟)은 범주형 레이블이 될 것이다. 기계번역을 예시로 든다면 훈련데이터(샘플)은 한 언어의 문장, 레이블(타겟)은 다른 언어의 문장이 될 것이다.

1.2 지도학습의 프레임 워크

지도학습의 프레임워크를 그려본다면 아래와 같다. 파라미터는 모델을 규정할때의 가중치를 의미한다. 손실함수는 모델을 통해 구해진 예측된 값이 실제 타겟과 얼마나 가까운지, 먼지를 비교하는 함수인데, 이를 'loss(손실)'이라고 한다. 이 loss값을 최소로 하는 모델을 구축해야만 한다.

2. 인코딩 방식

2.1 인코딩

딥러닝/머신러닝 알고리즘에 데이터를 입력하기 위해서는 data를 수치로 표현해야 한다. NLP에서는 위에 보이는 프레임 워크에 입력값이 되는 data(샘플+타겟)에 텍스트 형태의 데이터가 입력될 것이다. 따라서 '타겟'과 '샘플'이 될 수많은 텍스트 데이터는 다양한 방식으로 정형화된 데이터로 변경해주어야 한다. '정보의 형식을 변환하는 처리 방식'을 인코딩이라고 하고 우리는 이 과정을 다양한 방법으로 수행할 수 있다.

2.2 원핫인코딩 (one-hot encoding)

원핫 인코딩이란, 텍스트를 0 또는 1로 표현하는 인코딩 방식이다. 단어의 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1을, 나머지 단어의 인덱스를 0으로 지정하는 방식이라고 설명할 수 있다. 아래 예시로 설명해 보면,

I like apple.
I like banana.

이렇게 두 문장을 토큰*으로 나누고 표현해보면, 

{i, like, apple, banana}

이렇게 크기가 4인 어휘 사전이 생성된다. 
이렇게 어휘 사전으로 표현됐다면, 이 어휘 사전을 '4차원 벡터'로 나타낼 수 있다. 

각 단어가 하나의 벡터로 표현되었기 때문에, "I like apple" 문장을 원핫인코딩 하게 되면, 3x4 형태의 행렬로 표현될 것이다.

# I like apple 원핫인코딩
[[1, 0, 0, 0],
[0, 1, 0, 0],
[0, 0, 1, 0]]

하지만 어휘사전을 살펴보면, like는 무조건 동일 단어라고 생각되어 어휘사전에 '하나'만 들어가는 것을 볼 수 있을 것이다. 하지만 like는 좋아한다 의 의미와, ~와 같은 등 한 단어에 여러가지 뜻을 가진 다의어 이다. 하지만 이렇게 원핫인코딩은 다의어에 대한 처리가 불분명하고, like가 포함된 문장의 문맥을 파악 할 수 없다는 단점이 분명히 존재한다. 따라서 문맥을 파악하고, 해당 단어의 뜻을 파악하는 방법론은 요즘 주목받고 있다, 이는 추후 추가로 공부하면서 다뤄보기로 하자.

 

2.3 TF 표현

TF 표현은 Term Frequency의 줄임말로 해당 단어가 문서(문장or말뭉치)에 등장하는 횟수를 활용한 표현 방식이다. 

from sklearn.feature_extraction.text import CountVectorizer
import seaborn as sns

corpus = ['I like apple',
         'I like banana']
one_hot_vectorizer = CountVectorizer(binary = True)
one_hot = one_hot_vectorizer.fit_transform(corpus).toarray()
vocab = one_hot_vectorizer.get_feature_names()
sns.heatmap(one_hot, annot = True,
           cbar = False, xticklabels = vocab,
           yticklabels = ['Sentence1', 'Sentence2'])

첫번째 문장에서는 banana가 등장하지 않아서 0이 출력됐고, 두번쨰는 apple이 0이다.

2.4 TF-IDF 

TF는 Term Frequency 의 줄임말이고, IDF는 Inverse Document Frequency 의 줄임말이다. 말그대로 idf는 '역문서 빈도'를 의미한다. 

TF는 단어의 등장 횟수에 비례하게 가중치를 부여하게 되어있다. 하지만, 한 문장이 아니라, '문서 전체'를 본다면, 아주 자주 등장하는 말 보다는, 적게 등장하지만, 아주 핵심적인 의미를 담고 있는 경우가 많이 있다. 따라서 말그대로 IDF는 흔한 토큰의 점수를 낮게, 드물게 등장하는 토큰의 점수는 높게 가중치를 부여하는 방식을 말한다.

토큰 w의 IDF는 아래 공식으로 구할 수 있다. (log를 취해준 이유는, 빈도수가 커지면 수가 광범위하게 커지는 것을 방지하기 위해 스케일 조정을 이유로 log를 취해주었다고 간단하게 이해하면 된다.)

TF-IDF는 TF(w)와 IDF(w)를 곱한 값을 의미한다.
이 공식으로부터 생각해보면 모든 문서에서 빠짐없이 등장하는 단어는 (N = nw) 가 되기 때문에 IDF(w)가 0이 된다. 따라서 TF-IDF 점수도 0이 되게 된다. 반면에 단어가 드물게 등장하는 단어일 경우, 특히 w를 포함하는 문서가 딱 한 개일 경우는 IDF 최댓값은 logN이 될 것이다.

아래는 sklearn을 활용하여 TF-IDF를 만들어본 코드 예시이다. (파이토치로 배우는 자연어처리 p.26)

from sklearn.feature_extraction.text import TfidfVectorizer
import seaborn as sns

tfidf_vectorizer = TfidfVectorizer()
tfidf = tfidf_vectorizer.fit_transform(corpus).toarray()
sns.heatmap(tfidf, annot= True, cbar = False,
           xticklabels = vocab, yticklabels = ['sentence1', 'sentence2'])

--> like는 sentence1, sentence2 두개에서 모두 등장했기 때문에 tfidf가 상대적으로 낮게 나왔고, 유니크한 단어인 apple과 banana는 tfidf가 상대적으로 높게 출력되는 것을 볼 수 있다.

 

앞의 코드를 보았듯이, sklearn에서는 tfidf를 계산하는 메서드가 따로 존재한다. 따라서 편하게 인코딩을 수행할 수 있다. sklearn에서 수행되는 IDF의 계산 과정을 살펴보면 아래와 같다.

분모와 분자에 1을 더해 분모가 0이 되는 상황을 방지한다. 또한 마지막에 1을 더해서 모든 문서에 포함된 단어가 있을 때 IDF가 0이 되지 않게 만들어주는 식이다. 

sklearn에서 계산하는 IDF를 파이썬으로 구현해보는 방법은 아래 위키독스 문서에서 살펴볼 수 있다.
참고) https://wikidocs.net/31698

위키독스

2.5 타겟인코딩 (Target Encoding)

라벨인코딩, 원핫인코딩과 같이 각 값에 숫자(인덱스)를 부여하는 방식의 인코딩 방법의 단점은, 해당 데이터를 인식할때 범주형의 의미를 담은 숫자(인덱스)가 아니라, 해당 수의 크기, 해당 수의 순서 등을 고려하게 될 수도 있다. 그렇게 된다면 라벨인코딩, 원핫인코딩의 목적 자체를 잃어버리게 된다. 또한 레이블 수가 너무 커지면 문제가 생기기도 한다.

따라서 등장한게 TF 인코딩 방식과 타겟 인코딩 방식이다.

대부분의 NLP 문제에서는 범주형 레이블을 사용한다. 모델은 고정된 한 세트의 레이블 중 하나를 예측해야 한다.  일부 NLP문제는 어떤 수필에 숫자 등급을 예측하거나, 해당 문서를 읽을 연령대를 예측하거나, 리뷰의 평점을 예측해야하는 등 주어진 텍스트에서 수치를 예측하게 된다. 이럴때는 수치 타겟을 인코딩하는 '타겟인코딩'이 적합한 방법일 것이다.

간단하게 타겟을 '0-18'', '19-25', '25-30'과 같은 범주형 구간으로 바꾸고, 순서가 있는 분류 문제로 다루는 방법이 있다. 혹은, 값의 평균값으로 문제를 다뤄 수치로 표현하는 방법도 있다. 

타겟인코딩의 예시는 아래 참고글에서 자세한 예시를 볼 수 있다.

참고) https://eda-ai-lab.tistory.com/569

범주형 변수의 인코딩 방법