potato's devlog

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ▽ rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 활성화 함수 (activation function) 신경망에서, 입력 신호의 총합을 출력 신호로 변환하는 함수 데이터가 학습이 가능하게끔 만들어주는 함수 (미분가능한함수) 신경망에서, 한 노드에서 다음 노드로 보낼지 말지 결정하는 함수 (입력받은 신호를 얼마나 출력할지 결정해주고, 비선형으로 표현할 수 있게 도와준다) ▷ 활성화함수를 사용하는 이유? (참고글 https://ganghee-lee.tistory.c..

1. 퍼셉트론 (Percepttron) 생물학적 뉴런을 본떠 만든 가장 간단한 신경망의 구조 입력신호와 출력신호가 퍼셉트론에서 각각 입력값과 출력값에 해당 입력(x), 출력(y), 가중치(w), 절편(b), 활성화함수(f) 수학적으로 표현하면 인공뉴런에 보내지는 값 x는 각각의 가중치 w와 함께 최종 종착지인 인공 뉴런에 전달 활성화함수 f는 일반적으로 비선형함수 wx+b 는 선형함수 (아핀변환이라고 부름) 즉, 퍼셉트론은 선형함수와 비선형함수의 조합 절편(b)는 그림이나 수식에서 많이 생략되기도 하지만, 실제로 b또한 딥러닝이 최적의 값을 찾아야할 변수 중 하나 ▶ 아래는 파이토치로 구현한 간단한 퍼셉트론 코드 (참고) https://github.com/rickiepark/nlp-with-pytorch..

시작하며 딥러닝모델 구축 도중 손실함수 때문에 오류가 났다. 아마 손실함수와 활성화 함수의 조합이 맞지 않았던 것 같다. 일단 그래서 이대로는 안되겠다 싶어서 자세한 수식까지는 아니더라도 언제, 어떻게, 무슨 종류의 손실함수가 있는지 살펴보기로 한다!!! 아자아자 화이팅 ⋌༼ •̀ ⌂ •́ ༽⋋ 손실 함수(loss function) 란? 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미 손실함수는 정답(y)와 예측(^y)를 입력으로 받아 실숫값 점수를 만드는데, 이 점수가 높을수록 모델이 안좋은 것 손실함수의 함수값이 최소화 되도록 하는 가중치(weight)와 편향(bias)를 찾는 것이 목표 파이썬에서 지원하는 다양한 라이브러리에서는 많은 손실함수를 지원한다. 해당 포스팅에서는..

지도학습 (Supervised Learning 알고리즘에 주입되는 훈련데이터에 레이블(y값)이 포함되어 있다. 예) 고양이사진(1,0), 강아지사진 (0,1) 이런식으로 정확한 라벨링이 되어있는 데이터를 훈련데이터로 이용한다. 대표적인 지도학습 방법 분류 종류를 예측하는 것 데이터를 특정 라벨값(y값)으로 분류(예측)하는 작업 스팸분류 ( 스팸이다 (1) / 스팸 아니다 (0) ) : 보통 Yes / No 를 1과 0으로 표현한다. - 이진분류 어떤 데이터에 대해 여러값 중 하나로 분류하기도 한다. - 다중분류 고양이 (1,0,0) / 강아지 (0,1,0) / 토끼 (0,0,1)... 회귀 연속된 값을 예측하는 것 어떤 데이터들의 특징 (feature)을 토대로 값(수치)을 예측 하는 작업 예) feat..