potato's devlog

1. 파이토치의 Custom dataset / DataLoader 1.1 Custom Dataset 을 사용하는 이유 방대한 데이터의 양 --> 데이터를 한 번에 불러오기 쉽지 않음 데이터를 한 번에 부르지 않고 하나씩만 불러서 쓰는 방식을 택해야 함 따라서 모든 데이터를 불러놓고 사용하는 기존의 Dataset 말고 Custom Dataset 이 필요한 것 1.2 Dataset 이란? from torch.utils.data import Dataset, DataLoader 파이토치에서 지원하는 기능이다. dataset과 dataloader 기능을 기반으로 미니배치 학습, 데이터 셔플, 병렬 처리까지 간단하게 수행할 수 있다. 튜닝할 때 사용 (?) Dataset 클래스는 전체 Dataset을 구성하는 단계..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 레스토랑 리뷰 감성 분류하기 이전 포스팅에서 배운 퍼셉트론과 지도 학습 훈련 방법을 사용하여 옐프(Yelp)의 레스토랑 리뷰가 긍정적인지부정적인지 분류하는 작업을 진행해 보자. 해당 프로젝트는 리뷰와 감성레이블(긍정or부정)이 쌍을 이루는 옐프 데이터셋을 사용한다. 데이터를 정제하고, 훈련, 검증, 테스트세트로 나누는 전처리 단..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ▽ rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 활성화 함수 (activation function) 신경망에서, 입력 신호의 총합을 출력 신호로 변환하는 함수 데이터가 학습이 가능하게끔 만들어주는 함수 (미분가능한함수) 신경망에서, 한 노드에서 다음 노드로 보낼지 말지 결정하는 함수 (입력받은 신호를 얼마나 출력할지 결정해주고, 비선형으로 표현할 수 있게 도와준다) ▷ 활성화함수를 사용하는 이유? (참고글 https://ganghee-lee.tistory.c..

1. 퍼셉트론 (Percepttron) 생물학적 뉴런을 본떠 만든 가장 간단한 신경망의 구조 입력신호와 출력신호가 퍼셉트론에서 각각 입력값과 출력값에 해당 입력(x), 출력(y), 가중치(w), 절편(b), 활성화함수(f) 수학적으로 표현하면 인공뉴런에 보내지는 값 x는 각각의 가중치 w와 함께 최종 종착지인 인공 뉴런에 전달 활성화함수 f는 일반적으로 비선형함수 wx+b 는 선형함수 (아핀변환이라고 부름) 즉, 퍼셉트론은 선형함수와 비선형함수의 조합 절편(b)는 그림이나 수식에서 많이 생략되기도 하지만, 실제로 b또한 딥러닝이 최적의 값을 찾아야할 변수 중 하나 ▶ 아래는 파이토치로 구현한 간단한 퍼셉트론 코드 (참고) https://github.com/rickiepark/nlp-with-pytorch..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다. 1. NLP의 분류 문제 문서를 분류하는 작업이 NLP 분야의 초기 응용분야 중 하나이다. TF-IDF를 활용하면 문서나 문장같은 긴 텍스트를 분류하는데 유용하다. Topic 레이블 할당, 리뷰의 감성 예측, 스팸 메일 필터링, 언어 식별, 이메일 분류 작업은 지도학습 기반의 문서 분류 문제임 2. 단어 분류하기 ▶ 품사태깅 (POS-tagging) 품사태깅은 형태소를 분석하기 위한 방법 중 하나 형태소에 품사를 붙이는 작업 품사의 구분은 사람마다, 언어마다, 학자마자, 알고리즘마다 다를 수 있다. 1. spaCy를 활용한 품사태깅 import spacy nlp = spacy.load('en') do..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책과 위키독스를 참고해서 작성된 글입니다. -- 참고문서는 링크로 첨부해 두었습니다. ▶ 표제어와 어간 표제어 = 단어의 기본형 동사 'fly'의 변형된 형태 → flow, flew, flies, flown, flowing... 어미가 변하면서 여러 단어로 변형 이 모든 단어의 표제어는 fly 하나 1. 표제어 추출 (Lemmatization) 표제어 추출은 단어들이 다른 형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방식이다. 예를들어 am, are, is 는 서로 다른 단어 이지만, be 동사 하나로 줄일 수 있다. 표제어를 추출하는 가장 섬세한 방법은 형태학적 파싱을 먼저 진행하는 것이다. 즉 '형태..

- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. 텍스트 데이터의 구성 말뭉치 (corpus, 코퍼스) = 일반적인 원시텍스트와 이 텍스트에 연관돤 메타데이터를 포함한 것 원시텍스트 = 문자(바이트)시퀀스 이지만 일반적으로 문자를 토큰이라는 연속된 단위로 묶여 있음 메타데이터가 붙어있는 텍스트 = 샘플(Sample) or 데이터포인트 라고 부름 말뭉치 = 샘플들의 모음 = 데이터셋 2. 토큰화 주어진 말뭉치(코퍼스)를 토큰으로 나누는 과정을 토큰화 라고 함 "Maria frapis la verda sorcistino" 해당 터키어 문자에는 6개의 토큰이 존재 (공백문자와 구두점) 한다. 하지만 터키어는 한국어와 같이 '교착어'라고 불린다. 교착어란, 실질적..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch 0. 텐서의 타입, 크기, 값을 나타내는 함수 작성 확실한 타입, 크기의 변화를 확인하기 위해 아래와 같은 헬퍼 함수를 작성한다. def describe(x): print("타입: {}".format(x.type())) print("크기: {}".format(x.shape)) print("값: {}".format(x)) 1. 텐서의 타입과 크기 (속성) 텐서에는 FloatTensor, LongTensor, DoubleTensor 등 다양한 형태의 텐서가 존재한다. 모든 텐서를 다루기 전에는 언제나 텐서의 속성을..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. Colab으로 파이토치 이용하기 https://pytorch.org/ PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org GPU 없는 환경에서 파이토치를 설치할 수는 없는걸까? 시간이 촉박하여 자세히 찾아보진 못했지만, 대부분 pytorch는 gpu cuda환경에서 설치를 지원하는 것 같다. 나는 그램.. 노트북 사용자이기 때문에 gpu가 없어서 하는 수없이 colab으로 파이토치를 이용해야했다. 1.1 Col..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. 지도학습 지도학습이란 알고리즘에 주입되는 훈련 데이터(샘플)에 레이블(타겟값)이 포함되어 있는 방식을 말한다. 1.1 NLP에서의 지도 학습 문서 분류 시스템을 예시로 든다면, 훈련데이터(샘플)은 문서가 될 것이고, 레이블(타겟)은 범주형 레이블이 될 것이다. 기계번역을 예시로 든다면 훈련데이터(샘플)은 한 언어의 문장, 레이블(타겟)은 다른 언어의 문장이 될 것이다. 1.2 지도학습의 프레임 워크 지도학습의 프레임워크를 그려본다면 아래와 같다. 파라미터는 모델을 규정할때의 가중치를 의미한다. 손실함수는 모델을 통해 구해진 예측된 값이 실제 타겟과 얼마나 가까운지, 먼지를 비교하는 함수인데, 이를 'los..