[NLP] 텍스트 데이터의 기초 / 말뭉치, 토큰화, n-gram

- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다.

1. 텍스트 데이터의 구성

• 말뭉치 (corpus, 코퍼스) = 일반적인 원시텍스트와 이 텍스트에 연관돤 메타데이터를 포함한 것
• 원시텍스트 = 문자(바이트)시퀀스 이지만 일반적으로 문자를 토큰이라는 연속된 단위로 묶여 있음
• 메타데이터가 붙어있는 텍스트 = 샘플(Sample) or 데이터포인트 라고 부름
• 말뭉치 = 샘플들의 모음 = 데이터셋

2. 토큰화 

• 주어진 말뭉치(코퍼스)를 토큰으로 나누는 과정을 토큰화 라고 함

"Maria frapis la verda sorcistino"

해당 터키어 문자에는 6개의 토큰이 존재 (공백문자와 구두점) 한다. 하지만 터키어는 한국어와 같이 '교착어'라고 불린다. 교착어란, 실질적인 단어 또는 어간에 문법적인 요소가 차례대로 결합함으로써 문장 속에서 문법적인 역할이나 관계의 차이를 나타내는 언어이다. 이럴경우, '토큰'을 기준으로만 토큰화를 진행하는 것은 충분하지 않다.

2.1 Spacy 와 NLTK 로 토큰화 진행해보기

import spacy
nlp = spacy.load('en')
text = "Mary, don't slap the green witch"
print([str(token) for token in nlp(text.lower())])

from nltk.tokenize import TweetTokenizer
tweet = u"Snow White and the Seven Degrees #MakeAMovieCold@midnight:-)"
tokenizer = TweetTokenizer()
print(tokenizer.tokenize(tweet.lower()))

해당 코드에서는 해시테그(#), 멘션(@), 그리고 :-) 이모티콘을 완벽하게 토큰화 했다. 그 이유는 nltk에서 제공하는 tweettokenizer 기능 떄문이다. tweettokenizer는 이모티콘을 인식하는 토큰화를 지원한다.

import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize  
print(word_tokenize("Snow White and the Seven Degrees #MakeAMovieCold@midnight:-)"))

만약 그냥 단어 단위로 나누는 토크나이저인 word_tonkenize를 사용한다면 :-) 와 멘션, 테크와 같은 것을 모두 분해해서 토큰화 하게 된다. 

따라서 어떤 토크화 방식을 원하는지에 대해 명확하게 하는 것이 추후 정확도에 영향을 끼칠 것이다. 아래 블로그에 nltk에서 사용가능한 tokenizer에 대한 설명이 자세하게 나와있다.

https://jaaamj.tistory.com/77

NLTK 패키지 활용한 텍스트 전처리 (1) 토큰화

3. 타입

• 타입 = 말뭉치에 등장하는 고유한 토큰
• 말뭉치에 있는 모든 타입의 집함 = 어휘사전 or 어휘
• 단어 = 내용어 / 불용어로 구분
  • 불용어 = 관사와 전치사 같은 대부분 내용어를 보충하는 문법적인 용도로 사용

4. n-gram 

• n-gram = 텍스트에 있는 고정길이(n)의 연속된 토큰 시퀀스
• 바이그램 = 토큰 두 개로 이루어짐
• 유니그램 = 토큰 한 개로 이루어짐

1. n-gram을 이해하기 위한 함수 정의해서 살펴보기

def n_grams(text, n):
  return[text[i:i+n] for i in range(len(text)-n+1)]

cleaned = ['mary', ',', "n't", 'slap', 'green', 'witch', '.' ]
print(n_grams(cleaned, 3))

토큰화된 cleaned 를 트라이그램(3-gram)으로 표현하니 위와 같은 결과가 도출되었다. 문자의 3개의 단어를 묶어 토큰 하나로 취급하고 있는 것을 볼 수 있다.

n-gram을 계산하는 간단한 방법과  n-gram모델을 활용할 경우의 한계점에 대한 설명은 아래 링크에서 참고할 수 있다.

https://wikidocs.net/21692

위키독스