[Pytorch] 파이토치의 Custom dataset과 DataLoader 이해하기

1. 파이토치의 Custom dataset / DataLoader 

1.1 Custom Dataset 을 사용하는 이유

• 방대한 데이터의 양 --> 데이터를 한 번에 불러오기 쉽지 않음
• 데이터를 한 번에 부르지 않고 하나씩만 불러서 쓰는 방식을 택해야 함
• 따라서 모든 데이터를 불러놓고 사용하는 기존의 Dataset 말고 Custom Dataset 이 필요한 것

1.2 Dataset 이란?

• from torch.utils.data import Dataset, DataLoader 
  • 파이토치에서 지원하는 기능이다. dataset과 dataloader 기능을 기반으로 미니배치 학습, 데이터 셔플, 병렬 처리까지 간단하게 수행할 수 있다.
• 튜닝할 때 사용 (?)
• Dataset 클래스는 전체 Dataset을 구성하는 단계
• input으로 전체 x (input feature)와 y (label)을 tensor로 넣어주면 됨
• __len__ 메서드와 __getitem__ 메서드를 지닌 어떤 것도 다 Dataset이 될 수 있음

★ Dataset 의 구성 / Custom Dataset 도 동일한 구성 ★

• __init__(self) : 필요한 변수들을 선언하는 메서드. input으로 오는 x와 y를 load 하거나, 파일목록을 load한다.
• __len__(self) : x나 y 는 길이를 넘겨주는 메서드.
• __getitem__(self, index) : index번째 데이터를 return 하는 메서드.

from torch.utils.data import Dataset

class MyDataset(Dataset):
    def __init__(self):
        @@@@
    def __getitem__(self, index):
        @@@@@
    def __len__(self):
        @@@@@

개인 데이터 (custom dataset)을 구축하기 위해서는 위의 형태를 꼭 기억하자!

1.2 DataLoader 란?

• 배치사이트 형태로 만들어서 우리가 실제로 학습할 때 이용할 수 있게 형태를 만들어주는 라이브러리
• 데이터가 생성되면, 배치형태로 만들어줘야하니까 DataLoader 라이브러리를 활용하여 형태를 만들어준다. 
• 아래 DataLoader의 정의 (매개변수)를 확인해볼 수 있다.

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None)

2. Custom Dataset 간단하게 만들어보기

2.1 import

import torch
from torch.utils.data import DataLoader, Dataset
import numpy as np

 

2.2 사용할 데이터 불러오기

해당 코드에서는 분석하려는 데이터가 이미지라는 가정하에, 데이터를 numpy형태로 만들어 주었다.

train_images = np.random.randint(256, size=(20,32,32,3))
train_labels = np.random.randint(2, size=(20,1))
print(train_images.shape, train_labels.shape)

• numpy 형태로 가짜 데이터를 넣어줬다. (20, 32, 32, 3)
  • 일반적인 이미지 데이터의 형태는 (갯수, 이미지 크기, 이미지의 크기, 채널수) 로 구성된다.
• 20개,  크기가 32*32이고 채널의 수가 3인 이미지 데이터가 있다고 가정했다.
• 그에 따른 레이블이 20개라고 train_labels에 저장했다.

 

2.3 Custom Dataset 만들어주기

from torch.utils.data import Dataset, DataLoader 에서 불러왔던 Dataset의 클래스를 상속받을 나만의 dataset 클래스를 만들어 주어야 한다. Custom Dataset의 형태는 거의 정형화 되어있다고 생각해야 한다. 위에서 언급한 Dataset의 구성 요소를 확인하고 아래 코드를 확인하자.

class TensorData(Dataset):
    # 외부에 있는 데이터를 가져오기 위해 외부에서 데이터가 들어올 수 있도록, x_data, y_data 변수를 지정
    def __init__(self, x_data, y_data):
        #들어온 x는 tensor형태로 변환
        self.x_data = torch.FloatTensor(x_data)
        # tensor data의 형태는 (배치사이즈, 채널사이즈, 이미지 너비, 높이)의 형태임
        # 따라서 들어온 데이터의 형식을 permute함수를 활용하여 바꾸어주어야함.
        self.x_data = self.x_data.permute(0,3,1,2)  # 인덱스 번호로 바꾸어주는 것 # 이미지 개수, 채널 수, 이미지 너비, 높이
        self.y_data = torch.LongTensor(y_data) # float tensor / long tensor 로 숫자 속성을 정해줄 수 있음
        self.len = self.y_data.shape[0]

    # x,y를 튜플형태로 바깥으로 내보내기
    def __getitem__(self, index):
        return self.x_data[index], self.y_data[index]

    def __len__(self):
        return self.len

• 알아보기 힘든 문법사항은 주석으로 달아놓았다. 

 

2.4 데이터 생성 및 배치형태로 변환

# 인스터스(데이터) 생성
train_data = TensorData(train_images, train_labels)

# 만들어진 데이터가 배치형태로 만들어줘야하니까 DataLoader에다가 넣어줌
train_loader = DataLoader(train_data, batch_size=10, shuffle=True)

• 앞에서 DataLoader 가 배치형태로 변환해주는 라이브러리라고 한 것에 대해 이해가 될 것이다.
• 생성된 데이터를 DataLoader 라이브러리를 이용하여 셔플의 유무, 배치사이즈 등을 지정해준다. 

 

2.5 데이터의 사이즈와 실제 데이터 확인해보기

앞에서 tensor데이터 형태에 맞게 permute 함수를 사용하여 데이터의 형태를 변환해주었다. 형태가 잘 변환되었는지 확인해보자.

# 데이터 사이즈 확인
# 채널수, 사이즈, 사이즈로 순서가 바뀜
# 초기 데이터는 (50, 32,32,3) 이었음
train_data[0][0].size()

• 텐서 데이터의 형태에 맞게 (채널수, 크기, 크기) 로 바뀐 것을 확인할 수 있다.

이제 iter와 next 함수를 사용하여 실제 데이터를 확인해보자.

# train_loader안의 실제값 한개 뽑아서 확인 
dataiter = iter(train_loader)
images, labels = dataiter.next()
images.size()

• 10개의 배치, 3채널, 32*32 크기를 가진 이미지 데이터임을 확인 할 수 있다.

 

이제 이렇게 dataLoader 과정을 거친 데이터를 활용하여 모델에 넣고 신경망을 구현할 수 있다. 아래 블로그 에서는 DataLoader과 Dataset에 대한 개념을 설명하고, 모델을 돌리는 간단한 코드가 나와있다. 참고해서 공부하길 바란다! 

https://wikidocs.net/57165

위키독스

https://wingnim.tistory.com/33

Pytorch 머신러닝 튜토리얼 강의 8 (PyTorch DataLoader)

 

 

참고자료

https://www.youtube.com/watch?v=8PnxJ3s3Cwo&t=436s