potato's devlog

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다. 1. NLP의 분류 문제 문서를 분류하는 작업이 NLP 분야의 초기 응용분야 중 하나이다. TF-IDF를 활용하면 문서나 문장같은 긴 텍스트를 분류하는데 유용하다. Topic 레이블 할당, 리뷰의 감성 예측, 스팸 메일 필터링, 언어 식별, 이메일 분류 작업은 지도학습 기반의 문서 분류 문제임 2. 단어 분류하기 ▶ 품사태깅 (POS-tagging) 품사태깅은 형태소를 분석하기 위한 방법 중 하나 형태소에 품사를 붙이는 작업 품사의 구분은 사람마다, 언어마다, 학자마자, 알고리즘마다 다를 수 있다. 1. spaCy를 활용한 품사태깅 import spacy nlp = spacy.load('en') do..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다. -- 참고문서는 링크로 첨부해 두었습니다. ▶ 표제어와 어간 표제어 = 단어의 기본형 동사 'fly'의 변형된 형태 → flow, flew, flies, flown, flowing... 어미가 변하면서 여러 단어로 변형 이 모든 단어의 표제어는 fly 하나 1. 표제어 추출 (Lemmatization) 표제어 추출은 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방식이다. 예를들어 am, are, is 는 서로 다른 단어 이지만, be 동사 하나로 줄일 수 있다. 표제어를 추출하는 가장 섬세한 방법은 형태학적 파싱을 먼저 진행하는 것이다. 즉 '형태..

- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. 텍스트 데이터의 구성 말뭉치 (corpus, 코퍼스) = 일반적인 원시텍스트와 이 텍스트에 연관돤 메타데이터를 포함한 것 원시텍스트 = 문자(바이트)시퀀스 이지만 일반적으로 문자를 토큰이라는 연속된 단위로 묶여 있음 메타데이터가 붙어있는 텍스트 = 샘플(Sample) or 데이터포인트 라고 부름 말뭉치 = 샘플들의 모음 = 데이터셋 2. 토큰화 주어진 말뭉치(코퍼스)를 토큰으로 나누는 과정을 토큰화 라고 함 "Maria frapis la verda sorcistino" 해당 터키어 문자에는 6개의 토큰이 존재 (공백문자와 구두점) 한다. 하지만 터키어는 한국어와 같이 '교착어'라고 불린다. 교착어란, 실질적..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. 지도학습 지도학습이란 알고리즘에 주입되는 훈련 데이터(샘플)에 레이블(타겟값)이 포함되어 있는 방식을 말한다. 1.1 NLP에서의 지도 학습 문서 분류 시스템을 예시로 든다면, 훈련데이터(샘플)은 문서가 될 것이고, 레이블(타겟)은 범주형 레이블이 될 것이다. 기계번역을 예시로 든다면 훈련데이터(샘플)은 한 언어의 문장, 레이블(타겟)은 다른 언어의 문장이 될 것이다. 1.2 지도학습의 프레임 워크 지도학습의 프레임워크를 그려본다면 아래와 같다. 파라미터는 모델을 규정할때의 가중치를 의미한다. 손실함수는 모델을 통해 구해진 예측된 값이 실제 타겟과 얼마나 가까운지, 먼지를 비교하는 함수인데, 이를 'los..