[NLP] 표제어추출(lemmatization)과 어간추출(stemming)

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다.
-- 참고문서는 링크로 첨부해 두었습니다.

 

▶ 표제어와 어간

• 표제어 = 단어의 기본형
  • 동사 'fly'의 변형된 형태 → flow, flew, flies, flown, flowing... 어미가 변하면서 여러 단어로 변형
  • 이 모든 단어의 표제어는 fly 하나

1. 표제어 추출 (Lemmatization)

표제어 추출은 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방식이다.  예를들어 am, are, is 는 서로 다른 단어 이지만, be 동사 하나로 줄일 수 있다. 

표제어를 추출하는 가장 섬세한 방법은 형태학적 파싱을 먼저 진행하는 것이다. 즉 '형태소'에대한 분석이 필요하다. '형태소'란, '의미를 가진 가장 작은 단어'를 의미한다.

• 형태소의 구성
  • 어간(stem) : 단어의 의미를 담고 있는 단어의 핵심 부분
  • 접사(affix) : 단어에 대한 추가적인 의미를 주는 부분

표제어를 추출하기 위한 패키지는 nltk와 Spacy에서 지원한다.

1.1 nltk에서 표제어 추출 진행해보기

from nltk.stem import WordNetLemmatizer
nltk.download('wordnet')
n=WordNetLemmatizer()
words=['policy', 'doing', 'organization', 'have', 'going', 'love', 'lives', 'fly', 'dies', 'watched', 'has', 'starting']
print([n.lemmatize(w) for w in words])

lives는 life로 표제어 추출이 잘 진행되었지만, dy, ha, doing 등 알 수 없는 단어나 표제어추출이 되지 않은 부분이 존재한다. 이는 표제어 추출을 위해서는 표제어추출기(lemmatizer)가 원래 단어의 품사 정보를 미리 알고 있어야만 표제어 추출이 가능하다는 것을 알 수 있다.

따라서 lemmatizer에 해당 단어의 품사를 알려준다면, 정확하게 출력이 가능하다.

n.lemmatize('dies', 'v')

이렇게 dies가 동사임을 알려주니, die라고 적절하게 표제어 추출이 되는 것을 확인해볼 수 있다.

1.2 spacy에서 표제어 추출 진행해보기

import spacy
nlp = spacy.load('en')
doc = nlp(u"he was running late")
for token in doc:
  print('{} -> {}'.format(token, token.lemma_))

2. 어간추출(Stemming)

어간(stem)을 추출하기 위해 정해진 규칙만 보고 단어를 자르는 방법. 따라서 잘라진 단어는 현존하지 않는 단어일 수 있다. 

nltk에서 지원하는 대표적인 stem알고리즘이 두 개가 있다.

2.1 porterstemmer (porter 알고리즘)

from nltk.stem import PorterStemmer
s=PorterStemmer()
words=['policy', 'doing', 'organization', 'have', 'going', 'love', 'lives', 'fly', 'dies', 'watched', 'has', 'starting']
print([s.stem(w) for w in words])

2.2 LancasterStemmer

from nltk.stem import LancasterStemmer
l=LancasterStemmer()
words=['policy', 'doing', 'organization', 'have', 'going', 'love', 'lives', 'fly', 'dies', 'watched', 'has', 'starting']
print([l.stem(w) for w in words])

두개의 결과를 비교해 보면 doing을 자르는 방법, organ을 자르는 방법이 모두 다르다. 이처럼 어떤 규칙을 가진 알고리즘을 사용하느냐에 따라 어간추출 결과가 달라진다.

참고내용  ) https://wikidocs.net/21707

위키독스