potato's devlog

1. 파이토치의 Custom dataset / DataLoader 1.1 Custom Dataset 을 사용하는 이유 방대한 데이터의 양 --> 데이터를 한 번에 불러오기 쉽지 않음 데이터를 한 번에 부르지 않고 하나씩만 불러서 쓰는 방식을 택해야 함 따라서 모든 데이터를 불러놓고 사용하는 기존의 Dataset 말고 Custom Dataset 이 필요한 것 1.2 Dataset 이란? from torch.utils.data import Dataset, DataLoader 파이토치에서 지원하는 기능이다. dataset과 dataloader 기능을 기반으로 미니배치 학습, 데이터 셔플, 병렬 처리까지 간단하게 수행할 수 있다. 튜닝할 때 사용 (?) Dataset 클래스는 전체 Dataset을 구성하는 단계..

didu-story.tistory.com/25?category=903386 [tensorflow] 텍스트 분류 (Text Classification) - IMDB 시작하며 TF certification 을 취득하기 위해 튜토리얼부터 공부중이다. 예상보다 오랜 시간이 걸릴 것같다 .. 그래도 최대한 단기간에 취득하는것을 목표로 한다!!!!!! 화이팅 본 포스팅에서는 텍스 didu-story.tistory.com 위 포스팅을 진행하던 중 데이터셋을 다운로드 하는 과정에서 아래와 같은 오류가 발생했다. from keras.datasets import imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000..