potato's devlog

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 와 딥러닝을 이용한 자연어 처리 입문(위키독스) 저서를 참고해서 작성된 글입니다. 1. Sequence-to-Sequence (seq2seq) 번역기에서 대표적으로 사용되는 모델 인코더와 디코더로 구성된 인코더 - 디코더 모델의 일종 조건부 생성 모델 (conditioned generation model)의 일종이기도 함 조건부 생성 모델이란? 입력표현 대신 일반적인 조건 문맥을 활용하여 디코더가 출력을 만드는 모델 1.1 seq2seq 모델의 구성 인코더는 입력 문장의 모든 단어를 순차적으로 입력받은 뒤에 마지막에 모든 단어의 정보를 압축해서 하나의 벡터로 만들어줌 (즉, context vector를 생성) context 벡터로 모두 문장의..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. 어텐션 (Attention) 1.1 어텐션 등장 배경 앞서 언급한 seq2seq 모델은 '전체 입력 문장'을 하나의 벡터로 인코딩하기에, 짧은 문장에만 적합하고 긴 문장에서는 전체 입력 정보를 제대로 감지하지 못한다는 문제점 발생 즉, 하나의 고정된 크기의 벡터에 모든 정보를 담다보니 정보 손실이 발생한다. RNN의 고질적인 문제인 기울기 소실 문제 (Vanishing Gradient)가 존재한다. ▶ 이런 RNN에 기반한 sequence모델의 문제들은 기계 번역 분야에서 입력 문장이 길면 품질이 떨어지는 치명적인 단점으로 작용 ▶ 따라서 이를 위한 대안으로 입력 시퀀스가 길어지면 출..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 [NLP] Pytorch를 활용하여 CBOW 임베딩 학습하기 (1) -- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. CBOW 란 Word2Vec CBOW 모델 다중 분류 작업 단어를 스캔하여 단어의 문맥 Window를 didu-story.tistory.com 1. 모델 생성 embedding층을 사용하여 문맥의 단어를 나타내는 인덱스를 각 단어에 대한 벡터로 만든다. 전반적인 문맥을 감지하도록 벡터를 결합한다. Linear 층에서 문맥 벡터를 사용하여 예측 벡터를 계산한다. 이 예측벡터는 전체 어휘 사전에 대한 확률 ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. 임베딩(Embedding) 이란? 이산 타입의 Word 데이터를 밀집 벡터 표현으로 바꿔주는 방법을 단어 임베딩이라고 함 이산타입? 문자, 개체명, 어휘사전 등 유한한 집합에서 얻은 모든 입력 특성을 이산타입이라고 한다. 자연어를 기계가 이해할 수 있는 숫자형태인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 임베딩이라고 함 대표적으로 원핫인코딩, TF-IDF 방법이 있다. 2. 임베딩 기법의 흐름와 종류 점차 통계기반의 기법에서 Neural Network 기법으로 통계기반의 기법 잠재의미분석 : 단어의 사용 빈도 등 Corpus의 통계량 정보가 들어있는 행렬에 특이값 분해 등 수학적..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 위한 저장 github.com https://didu-story.tistory.com/83?category=952805 [NLP] 레스토랑 리뷰 감성 분류하기 (1) (feat.파이토치로 배우는 자연어 처리) -- 본 포스팅은 파이토치로 ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 레스토랑 리뷰 감성 분류하기 아래 포스팅에서 어떻게 전처리된 데이터를 사용하게 됐는지 미리 학습하면 좋을 것이다. 하지만 해당 코드에서는 '전처리 과정'이 생략된 '전처리 되어진 데이터'를 활용하고 있다는 것만 알아두자. https://didu-story.tistory.com/83 [NLP] 레스토랑 리뷰 감성 분류하기 (1) ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다. -- 참고문서는 링크로 첨부해 두었습니다. ▶ 표제어와 어간 표제어 = 단어의 기본형 동사 'fly'의 변형된 형태 → flow, flew, flies, flown, flowing... 어미가 변하면서 여러 단어로 변형 이 모든 단어의 표제어는 fly 하나 1. 표제어 추출 (Lemmatization) 표제어 추출은 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방식이다. 예를들어 am, are, is 는 서로 다른 단어 이지만, be 동사 하나로 줄일 수 있다. 표제어를 추출하는 가장 섬세한 방법은 형태학적 파싱을 먼저 진행하는 것이다. 즉 '형태..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. 지도학습 지도학습이란 알고리즘에 주입되는 훈련 데이터(샘플)에 레이블(타겟값)이 포함되어 있는 방식을 말한다. 1.1 NLP에서의 지도 학습 문서 분류 시스템을 예시로 든다면, 훈련데이터(샘플)은 문서가 될 것이고, 레이블(타겟)은 범주형 레이블이 될 것이다. 기계번역을 예시로 든다면 훈련데이터(샘플)은 한 언어의 문장, 레이블(타겟)은 다른 언어의 문장이 될 것이다. 1.2 지도학습의 프레임 워크 지도학습의 프레임워크를 그려본다면 아래와 같다. 파라미터는 모델을 규정할때의 가중치를 의미한다. 손실함수는 모델을 통해 구해진 예측된 값이 실제 타겟과 얼마나 가까운지, 먼지를 비교하는 함수인데, 이를 'los..