[딥러닝] 손실함수 (loss function) 종류 및 간단 정리 (feat. keras & pytorch)

시작하며

딥러닝모델 구축 도중 손실함수 때문에 오류가 났다. 아마 손실함수와 활성화 함수의 조합이 맞지 않았던 것 같다. 일단 그래서 이대로는 안되겠다 싶어서 자세한 수식까지는 아니더라도 언제, 어떻게, 무슨 종류의 손실함수가 있는지 살펴보기로 한다!!! 아자아자 화이팅  ⋌༼ •̀ ⌂ •́ ༽⋋ 

 

손실 함수(loss function) 란?

• 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미
  • 손실함수는 정답(y)와 예측(^y)를 입력으로 받아 실숫값 점수를 만드는데, 이 점수가 높을수록 모델이 안좋은 것
• 손실함수의 함수값이 최소화 되도록 하는 가중치(weight)와 편향(bias)를 찾는 것이 목표

파이썬에서 지원하는 다양한 라이브러리에서는 많은 손실함수를 지원한다. 해당 포스팅에서는 keras에서 존재하는 손실함수와, pytorch를 활용해서 손실함수를 살펴볼 것인데, 아래 공식문서에서 다양한 손실함수를 살펴볼 수 있다.

www.tensorflow.org/api_docs/python/tf/keras/losses

Module: tf.keras.losses  |  TensorFlow Core v2.4.1

 

 

1. binary_crossentropy (이항 교차 엔트로피)

• y값이 (ex. 0,1) 인 이진 분류기를 훈련할 때 자주 사용되는 손실 함수 (multi-label classification)
• 활성화 함수 : sigmoid 사용 (출력값이 0과 1사이의 값)
• 수식
  • 아래 함수에 예측값(Yi) 과 실제값(ti) 에 1을 대입하면, 수식은 0에 수렴하게 됨
  • 아래 함수에 예측값(Yi =0)과 실제값(ti = 1)을 대입한다면, 수식은 양의 무한대가 됨
  • 따라서 이진 분류에 적합하다고 합니다 :) 

▷ keras에서 지원하는 이항 교차 엔트로피

tf.keras.losses.BinaryCrossentropy( from_logits=False, label_smoothing=0, reduction="auto", name="binary_crossentropy" )

▷ pytorch에서 지원하는 범주형 교차 엔트로피

신경망의 출력을 가장한 랜덤 벡터에 시그모이드 활성화 함수를 적용해 이진 벡터인 probabilities를 만든다. 그 다음 target을 0과 1로 이루어진 벡터로 만들어서 손실을 계산한다.

import torch
import torch.nn as nn

bce_loss = nn.BCELoss()
sigmoid = nn.Sigmoid()
probabilities = sigmoid(torch.randn(4, 1, requires_grad=True))
targets = torch.tensor([1, 0, 1, 0], dtype=torch.float32).view(4,1)
loss = bce_loss(probabilities, targets)
print(probabilities)
print(loss)

 

2. categorical_crossentropy (범주형 교차 엔트로피)

• 출력을 클래스 소속 확률에 대한 예측으로 이해할 수 있는 문제에서 사용 (즉, 레이블 (y) 클래스가 2개 이상일 경우 사용 즉, 멀티클래스 분류에 사용됨)
• 활성화 함수 : softmax (모든 벡터 요소의 값은 0과 1사이의 값이 나오고, 모든 합이 1이 됨)
• 라벨이 (0,0,1,0,0) , (0,1,0,0,0) 과 같이 one-hot encoding 된 형태로 제공될 때 사용 가능
• 수식
  • 아래 수식에서 C 는 클래스의 개수
  • 실제값과 예측값이 모두 동일하게 될 경우 손실함수의 값은 0이 나옴
  • 실제값과 예측값이 다를 경우 수식에 대입하면 양의 무한대로 발산

▷ keras에서 지원하는 범주형 교차 엔트로피

tf.keras.losses.CategoricalCrossentropy( from_logits=False, label_smoothing=0, reduction="auto", name="categorical_crossentropy", )

▷ pytorch에서 지원하는 범주형 교차 엔트로피

반응형

import torch
import torch.nn as nn

ce_loss = nn.CrossEntropyLoss()
outputs = torch.randn(3, 5, requires_grad = True)
targets = torch.tensor([1, 0, 3], dtype = torch.int64)
loss = ce_loss(outputs, targets)
print(loss)

랜덤한 벡터를 출력으로 가정하고, 그 target 벡터를 정수 벡터로 만든다. 파이토치의 CrossEntropyLoss() 클래스는 각 입력이 클래스 하나에 속하고 각 클래스에는 고유한 인덱스가 있다고 가정하기 때문이다. 

 

3. sparse_categorical_crossentropy

tf.keras.losses.sparse_categorical_crossentropy(y_true, y_pred, from_logits=False, axis=-1)

• 범주형 교차 엔트로피와 동일하게 멀티 클래스 분류에 사용
• one-hot encoding 된 상태일 필요 없이 정수 인코딩 된 상태에서 수행 가능
• 라벨이 (1,2,3,4) 이런식으로 정수형태일때 사용! 

 

4. 평균 제곱 오차 손실 (means squared error, MSE)

• 신경망의 출력(^y)과 타겟(y)이 연속값인 회귀 문제에서 널리 사용하는 손실함수
  • 회귀문제에 사용될 수 있는 다른 손실 함수
    • 평균 절댓값 오차 (Mean absolute error, MAE)
    • 평균 제곱근 오차 (Root mean squared error, RMSE)
• 예측과 타겟값의 차이를 제곱하여 평균한 값 (모두 실숫값으로 계산)
• MSE가 크다는 것은 평균 사이에 차이가 크다는 뜻 / MSE가 작다는 것은 데이터와 평균사이의 차이가 작다는 뜻
  • 즉, MSE는 데이터가 평균으로부터 얼마나 떨어져있나를 보여주는 손실함수
• 연속형 데이터를 사용할 때 주로 사용 (주식 가격 예측 등)

▷ pytorch에서 지원하는 MSE

import torch
import torch.nn as nn

mse_loss = nn.MSELoss()
outputs = torch.randn(3, 5, requires_grad = True)
targets = torch.randn(3, 5)
loss = mse_loss(outputs, targets)
print(loss)

▷ keras 에서 지원하는 MSE

keras.losses.mean_squared_error(y_true, y_pred)

https://www.tensorflow.org/api_docs/python/tf/keras/metrics/mean_squared_error?hl=ko 

tf.keras.metrics.mean_squared_error  |  TensorFlow Core v2.5.0

 

 

 

 

참고문헌 (도와주셔서 감사합니다. 글 잘읽었어요!)

wordbe.tistory.com/entry/ML-Cross-entropyCategorical-Binary%EC%9D%98-%EC%9D%B4%ED%95%B4

bskyvision.com/822

needjarvis.tistory.com/567

 

마치며

방금 공부하다가 알게 된 건데, 아까 딥러닝 모델을 돌리다가 오류가 난 이유는 활성화 함수 때문이 아니라 아마 오류가 난 이유가, 정수 형태의 라벨이었는데 binary cross entrophy를 사용했기 때문이었던 것 같다. 티스토리에 업로드하는 게 시간이 좀 더 걸리긴 하지만 머릿속에 확실하게 정리가 되는 것 같다!!  ღ(· ᴥ ·)ｯ 

그동안 많은 프로젝트도 진행하고 상도 타고 했었는데, 이렇게 세세하게 고민하고 공부해보니 정말 부족함을 많이 느낀다. 얼른 TF 자격증 따자 !! 화이탱탱탱  ค^•ﻌ•^ค