[NLP] 품사태깅 (pos-tagging) / 부분구문분석(chunking) / 개체명 인식(NER)

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다.

 

1. NLP의 분류 문제

• 문서를 분류하는 작업이 NLP 분야의 초기 응용분야 중 하나이다.
• TF-IDF를 활용하면 문서나 문장같은 긴 텍스트를 분류하는데 유용하다.
• Topic 레이블 할당, 리뷰의 감성 예측, 스팸 메일 필터링, 언어 식별, 이메일 분류 작업은 지도학습 기반의 문서 분류 문제임

 

2. 단어 분류하기

▶ 품사태깅 (POS-tagging)

• 품사태깅은 형태소를 분석하기 위한 방법 중 하나
• 형태소에 품사를 붙이는 작업
  • 품사의 구분은 사람마다, 언어마다, 학자마자, 알고리즘마다 다를 수 있다.

1. spaCy를 활용한 품사태깅

import spacy
nlp = spacy.load('en')
doc = nlp(u"Mary slapped the green witch.")
for token in doc:
  print('{} -> {}'.format(token, token.pos_))

2. nltk를 활용한 품사태깅

nltk.download('tagsets')
import nltk
nltk.download('averaged_perceptron_tagger')

word = ['Mary', 'slapped', 'the', 'green', 'witch']

from nltk.tag import pos_tag
pos_tag(word)

참고문헌) https://ysyblog.tistory.com/88

 

3. 부분구문분석(청크나누기, chunking)과 개체명 인식

3.1 부분구문분석(shallow parsing) = 청크나누기 (chunking)

• 명사, 동사, 형용사와 같은 문법 요소로 구성된 고차원의 단위를 유도해 내는 것
• 사전 훈련된 품사태깅 모델이 존재함

1. spaCy을 활용한 chunking

import spacy
nlp = spacy.load('en')
doc = nlp(u"Mary slapped the green witch.")
for chunk in doc.noun_chunks:
  print('{} -> {}'.format(chunk, chunk.label_))

이렇게 명사구가 추출된다.

2. 정규식을 활용한 chunking

부분구문분석(chunking)모델 훈련에 사용될 데이터가 없다면, 정규식을 활용하여 부분구문분석을 진행할 수 있다. nltk에서 RegexpParser를 사용할 수 있다고 한다.

참고문헌) https://jynee.github.io/NLP%EA%B8%B0%EC%B4%88_3/

 

3.2 개체명 인식 (Named Entity Recognition)

• 사람, 장소, 회사, 약 이름 등과 가은 실제 세상의 개념을 의미하는 문자열
• 개체명 인식을 위해서는 전처리 과정이 필요 (보통은 pos tagging 된 형태로 입력을 요구한다)

▶ nltk를 활용한 개체명 인식
(nltk는 NER chunker를 지원하기 때문에 별도의 개체명 인식기를 구현할 필요가 없다.)
(아래 코드는, 품사태깅을 진행하고 개체명인식을 수행한 코드이다.)

from nltk import word_tokenize, pos_tag, ne_chunk
sentence = "James is working at Disney in London"
sentence=pos_tag(word_tokenize(sentence))
print(sentence) # 토큰화와 품사 태깅을 동시 수행

nltk.download('maxent_ne_chunker')
nltk.download('words')

sentence=ne_chunk(sentence)
print(sentence) # 개체명 인식

 James는 PERSON(사람) / Disney는 ORGANIZATION(기관) / London은 GPE(위치) 으로 정상적으로 개체명이 인식된 것을 확인할 수 있다.
참고문헌) https://wikidocs.net/30682