[딥러닝] 활성화 함수 (feat.파이토치) / 시그모이드(sigmoid), 하이퍼볼릭 탄젠트 (tanh), 렐루(ReLU), 소프트맥스(Softmax)

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다.
-- 소스코드 ▽

rickiepark/nlp-with-pytorch

 

▶ 활성화 함수 (activation function)

• 신경망에서, 입력 신호의 총합을 출력 신호로 변환하는 함수
• 데이터가 학습이 가능하게끔 만들어주는 함수 (미분가능한함수)
• 신경망에서, 한 노드에서 다음 노드로 보낼지 말지 결정하는 함수 (입력받은 신호를 얼마나 출력할지 결정해주고, 비선형으로 표현할 수 있게 도와준다)

▷ 활성화함수를 사용하는 이유? (참고글 https://ganghee-lee.tistory.com/30)

• 입력값을 비선형 방식의 출력값으로 도출하기 위해 사용
• 이를 통해 선형 (linear) 시스템을 비선형 시스템으로 바꿀 수 있게 되는 것
• 이렇게 활성화 함수를 활용해서 비선형 시스템인 XOR 문제는 해결 될 수 있었다. 하지만, MLP 의 파라미터 개수가 많아지면서, 각각의 가중치(weight)와 편향(bias)을 학습시키는 것이 어려워 '역전파'라는 개념이 등장했다.
  • 역전파의 개념은 추후 해당 블로그에 업로드 해보는 것으로 하자.
  • 퍼셉트론의 개념 : https://didu-story.tistory.com/73

[딥러닝] 퍼셉트론 Perceptron (feat.파이토치)

어쨌든, 해당 포스팅에서는 활성화 함수의 종류와, 그 특징 그리고 파이토치로 간단하게 구현해보기로 했다.

 

1. 시그모이드 함수 (sigmoid)

▷ 시그모이스 함수의 특징

• 비선형함수 => 선형형태인 MLP에서 비선형 값을 얻기위해 사용하기 시작했음
• 실숫값을 입력받아 0과 1사이의 범위로 압축해서 출력
• 즉, 출력값이 0과 1사이의 값이다
• 따라서 출력을 확률로 압축하기 위해서 시그모이드 함수를 활용한다. 

▷ 시그모이드 함수식

▷ pytorch에서 지원하는 sigmoid 함수

import torch
import matplotlib.pyplot as plt

x = torch.range(-5., 5., 0.1)
y = torch.sigmoid(x)
plt.plot(x.numpy(), y.numpy())
plt.show()

▷ 시그모이드 함수의 단점 (한계)

•  그래프에서 볼 수 있듯, 시그모이드 함수는 입력 범위가 대부분 매우 빠르게 포화 (즉, 극단적인 출력값을 만듦)
• 이로 인해 Gradient Vanishing (그라디언트 소실 문제 & 그라디언트 폭주 문제) 발생
  • 그라디언트가 0이 되거나 발산하게 되어 나타나는 문제
  • 미분함수에 대해 x는 0에서 최대값 1/4을 가지고, input값이 일정 이상 올라가면 미분값이 거의 0에 수렴하게 된다. 이는 x의 절댓값이 커질 수록 미분값이 소실될 가능성이 크다는 것을 알려준다. 
• 함수값의 중심이 0이 아니기 때문에 문제가 발생한다.
  • 중심값이 0이 아니라서 학습 속도가 저하될 수 있다. 시그모이드의 미분함수식을 살펴보면, 한 노드에 대해 모든 파라미터 w의 미분값은 모두 같은 부호를 같게 된다. 따라서 같은 방향으로 업데이트 되는데 학습을 zigzag로 만들어버리게 되어 속도가 느려진다고 한다. (https://reniew.github.io/12/)
• 따라서, 시그모이드함수는 거의 출력층에서만 사용하게 됐다.

 

 

2. 하이퍼볼릭 탄젠트 (Hyperbolic Tangent (tanh))

▷ tanh 함수의 특징

• 시그모이드 함수의 변종 (시그모이드 함수의 선형 변환)
• 릭탄젠트라는 쌍곡선 함수 중 하나
  • 쌍곡선 함수 : 삼각함수와 유사한 성질을 가지고, 표준 쌍곡선을 매개변수로 표시할 때 나오는 함수
• 함수의 중심값을 0으로 옮겨서 sigmoid 함수의 최적화 과정이 느려지는 문제를 해결
• 하지만 미분함수에 대해서는 일정값 이상 커질시 미분값이 소실되는 gradient vanishing 문제는 여전히 남아있음
• 시그모이드와 비슷한 형태의 압축 함수이지만, 출력값은 (-∞, +∞) 범위의 실숫값을 [-1, +1]로 바꿔준다.

▷ tanh 함수식

하늘색 부분이 tanh식이고, 전개하면 최종적으로 시그모이드함수를 활용한 선형 모양으로 전개가 가능하다.

▷ pytorch에서 지원하는 tanh 함수

import torch
import matplotlib.pyplot as plt

x = torch.range(-5.,5., 0.1)
y = torch.tanh(x)

plt.plot(x.numpy(), y.numpy())
plt.show()

 

 

3. ReLU 함수

▷ ReLU 함수의 특징

• 렐루는 최근 딥러닝의 혁신에 가장 중요한 역할을 하는 가장 많이 사용되고, 중요한 함수
  
  • 신경망에서 은닉층부분에서 가장 많이 사용되는 함수가 relu이다.
• 연산비용이 크지않고 구현이 매우 간단하여 학습속도가 매우 빠르다.
• x>0 이면 기울기가 1인 직선, x<0이면 함숫값이 0이된다. (음숫값을 0으로 자른다)
  
  • 음수를 제거해버리기 때문에 Gradient Vanishing (그라디언트 소실문제)에 도움이 된다. 
• 죽은 렐루 문제 = 하지만, x<0인 것들에 대해서는 기울기가 0이기 때문에, 뉴런이 죽을 수 도 있는 단점이 존재
  • 이러한 현상을 줄이기 위해 새로운 파라미터 α를 추가하여 x<0에서도 기울기를 학습할 수 있게 만든 PReLU함수등 여러가지 변종함수가 등장했다.

▷ ReLU 함수식

▷ pytorch에서 지원하는 ReLU 함수

import torch
import matplotlib.pyplot as plt

x = torch.range(-5.,5., 0.1)
y = torch.relu(x)

plt.plot(x.numpy(), y.numpy())
plt.show()

 

 

4. 소프트맥스 함수 (Softmax)

▷ softmax 함수의 특징

• 시그모이드 함수처럼 신경망 유닛의 출력을 0과 1사이로 압축
• 모든 출력의 합으로 각 출력값을 나누어 k개 클래스에 대한 이산확률분포를 만듦
  • 모든 출력의 합이 1
  • 출력을 해석하는데 매우 유용
  • 따라서 소프트맥스 함수는 대부분 확률 기반의 목적함수인 범주형 크로스 엔트로피와 함께 사용된다.

▷ softmax 함수식

▷ pytorch에서 지원하는 softmax 함수

import torch.nn as nn
import torch

softmax = nn.Softmax(dim=1)
x_input = torch.randn(1,3)
y_output = softmax(x_input)

print(x_input)
print(y_output)
print(torch.sum(y_output, dim=1))

input을 랜덤으로 지정하고 softmax 함수를 이용하여 y출력값을 출력했다. 그리고 sum을 해보니, 모든 output 출력값의 합이 1이 되는 것을 확인 할 수 있다.

 

 

딥러닝에서 사용하는 활성화함수