potato's devlog

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 와 딥러닝을 이용한 자연어 처리 입문(위키독스) 저서를 참고해서 작성된 글입니다. 1. Sequence-to-Sequence (seq2seq) 번역기에서 대표적으로 사용되는 모델 인코더와 디코더로 구성된 인코더 - 디코더 모델의 일종 조건부 생성 모델 (conditioned generation model)의 일종이기도 함 조건부 생성 모델이란? 입력표현 대신 일반적인 조건 문맥을 활용하여 디코더가 출력을 만드는 모델 1.1 seq2seq 모델의 구성 인코더는 입력 문장의 모든 단어를 순차적으로 입력받은 뒤에 마지막에 모든 단어의 정보를 압축해서 하나의 벡터로 만들어줌 (즉, context vector를 생성) context 벡터로 모두 문장의..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. 어텐션 (Attention) 1.1 어텐션 등장 배경 앞서 언급한 seq2seq 모델은 '전체 입력 문장'을 하나의 벡터로 인코딩하기에, 짧은 문장에만 적합하고 긴 문장에서는 전체 입력 정보를 제대로 감지하지 못한다는 문제점 발생 즉, 하나의 고정된 크기의 벡터에 모든 정보를 담다보니 정보 손실이 발생한다. RNN의 고질적인 문제인 기울기 소실 문제 (Vanishing Gradient)가 존재한다. ▶ 이런 RNN에 기반한 sequence모델의 문제들은 기계 번역 분야에서 입력 문장이 길면 품질이 떨어지는 치명적인 단점으로 작용 ▶ 따라서 이를 위한 대안으로 입력 시퀀스가 길어지면 출..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. NLP에서의 시퀀스 1.1 시퀀스란 순서가 있는 항목의 모음 순차 데이터 ▶ 예시 The book is on the table. The boos are on the table. 위 두개의 문장은 영어에서 다수인지 복수인지에 따라 동사가 달라진다. 이런 문장은 아래와 같이 문장이 길어질 수록 의존성이 더 높아질 수 있다. The book that I got yesterday is on the table. The books read by the second=grade children are shelved in the lower rack. 딥러닝에서의 시퀀스 모델링은 숨겨진 '상태 정보(은..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 [NLP] Pytorch를 활용하여 CBOW 임베딩 학습하기 (1) -- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. CBOW 란 Word2Vec CBOW 모델 다중 분류 작업 단어를 스캔하여 단어의 문맥 Window를 didu-story.tistory.com 1. 모델 생성 embedding층을 사용하여 문맥의 단어를 나타내는 인덱스를 각 단어에 대한 벡터로 만든다. 전반적인 문맥을 감지하도록 벡터를 결합한다. Linear 층에서 문맥 벡터를 사용하여 예측 벡터를 계산한다. 이 예측벡터는 전체 어휘 사전에 대한 확률 ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. CBOW 란 Word2Vec CBOW 모델 다중 분류 작업 단어를 스캔하여 단어의 문맥 Window를 만든 후 문맥 Window에서 중앙의 단어를 제거하고 문맥 WIndow를 활용하여 누락 단어를 예측하는 모델 단어가 누락된 문장에서 누락 단어가 무엇인지 파악하는 역할을 수행 2. 활용 데이터 http://bit.ly/2T5iU8J 에서 메리 셸리의 소설 [프랑켄슈타인]의 디지털 버전을 받아 구축한 텍스트 데이터셋 활용 파이토치의 Dataset 클래스를 만들고 마지막에 데이터를 훈련, 검증, 테스트 세트로 분할하여 사용 3. 데이터 전처리 3.1 텍스트를 개별 문장으로 분할 # Spl..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. 임베딩(Embedding) 이란? 이산 타입의 Word 데이터를 밀집 벡터 표현으로 바꿔주는 방법을 단어 임베딩이라고 함 이산타입? 문자, 개체명, 어휘사전 등 유한한 집합에서 얻은 모든 입력 특성을 이산타입이라고 한다. 자연어를 기계가 이해할 수 있는 숫자형태인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 임베딩이라고 함 대표적으로 원핫인코딩, TF-IDF 방법이 있다. 2. 임베딩 기법의 흐름와 종류 점차 통계기반의 기법에서 Neural Network 기법으로 통계기반의 기법 잠재의미분석 : 단어의 사용 빈도 등 Corpus의 통계량 정보가 들어있는 행렬에 특이값 분해 등 수학적..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 위한 저장 github.com 1. 성씨 데이터셋 18개 국적의 성씨 10,000개를 모은 성씨 데이터셋 매울 불균형함 최상위 클래스 3개가 데이터의 60%를 차지 27%가 영어, 21%가 러시아어, 14%가 아랍어 나머지 15개국의 빈도..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - GitHub - rickiepark/nlp-with-pytorch: (한빛미디어, 2021)의 소스 코드를 위한 저장 github.com https://didu-story.tistory.com/83?category=952805 [NLP] 레스토랑 리뷰 감성 분류하기 (1) (feat.파이토치로 배우는 자연어 처리) -- 본 포스팅은 파이토치로 ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 레스토랑 리뷰 감성 분류하기 아래 포스팅에서 어떻게 전처리된 데이터를 사용하게 됐는지 미리 학습하면 좋을 것이다. 하지만 해당 코드에서는 '전처리 과정'이 생략된 '전처리 되어진 데이터'를 활용하고 있다는 것만 알아두자. https://didu-story.tistory.com/83 [NLP] 레스토랑 리뷰 감성 분류하기 (1) ..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 레스토랑 리뷰 감성 분류하기 이전 포스팅에서 배운 퍼셉트론과 지도 학습 훈련 방법을 사용하여 옐프(Yelp)의 레스토랑 리뷰가 긍정적인지부정적인지 분류하는 작업을 진행해 보자. 해당 프로젝트는 리뷰와 감성레이블(긍정or부정)이 쌍을 이루는 옐프 데이터셋을 사용한다. 데이터를 정제하고, 훈련, 검증, 테스트세트로 나누는 전처리 단..