[딥러닝] 퍼셉트론 Perceptron (feat.파이토치)

1. 퍼셉트론 (Percepttron)

• 생물학적 뉴런을 본떠 만든 가장 간단한 신경망의 구조
• 입력신호와 출력신호가 퍼셉트론에서 각각 입력값과 출력값에 해당
• 입력(x), 출력(y), 가중치(w), 절편(b), 활성화함수(f) 

• 수학적으로 표현하면

• 인공뉴런에 보내지는 값 x는 각각의 가중치 w와 함께 최종 종착지인 인공 뉴런에 전달
• 활성화함수 f는 일반적으로 비선형함수
• wx+b 는 선형함수 (아핀변환이라고 부름)
• 즉, 퍼셉트론은 선형함수와 비선형함수의 조합
• 절편(b)는 그림이나 수식에서 많이 생략되기도 하지만, 실제로 b또한 딥러닝이 최적의 값을 찾아야할 변수 중 하나

▶ 아래는 파이토치로 구현한 간단한 퍼셉트론 코드
(참고) https://github.com/rickiepark/nlp-with-pytorch

import torch
import torch.nn as nn

class Perceptron(nn.Module):
    """ 퍼셉트론은 하나의 선형 층입니다 """

    def __init__(self, input_dim):
        """
        매개변수:
            input_dim (int): 입력 특성의 크기
        """
        super(Perceptron, self).__init__()
        self.fc1 = nn.Linear(input_dim, 1)

    def forward(self, x_in):
        """퍼셉트론의 정방향 계산
        
        매개변수:
            x_in (torch.Tensor): 입력 데이터 텐서
                x_in.shape는 (batch, num_features)입니다.
        반환값:
            결과 텐서. tensor.shape는 (batch,)입니다.
        """
        return torch.sigmoid(self.fc1(x_in))

• 파이토치는 torch.nn 모듈 아래 가중치와 절편에 필요한 부가 작업과 아핀변환을 수행해주는 Linear  클래스 제공

 

2. 단층 퍼셉트론 (Single-Layer Perceptron)

• 한개의 계층으로 이루어진 퍼셉트론을 단층 퍼셉트론이라고 함
• 보내는 값과 출력하는 단계, 딱 두 단계로 이루어짐
  • input layer / output layer 두 개의 층으로 이루어짐
• 각 단계를 보통 layer 라고 부름
• 그림으로 표현하면 단층 퍼셉트론은 아래와 같음

 

3. 다층 퍼셉트론 (Multi-Layer Perceptron, MLP)

• 입력층과 출력층 사이에 중간층이 더 존재하는 신경망 구조
• '은닉층 (Hidden Layer)' 존재

https://wikidocs.net/24958

• 은닉층이 두개 이상인 신경망 = 심층신경망 (Deep Nueural Network, DNN)

머신러닝에서는 스스로 가중치를 찾아내도록 자동화시켜야하는데, 이 과정을 '학습 (Training)' 단계에서 수행한다. 이 과정에서는 손실함수(Loss Function)과 옵티마이저(optimizer)를 사용한다. 추후 이 개념에 대해서 다시 다뤄보도록 하자.

 

참고문헌) https://wikidocs.net/24958

위키독스