potato's devlog

1. 파이토치의 Custom dataset / DataLoader 1.1 Custom Dataset 을 사용하는 이유 방대한 데이터의 양 --> 데이터를 한 번에 불러오기 쉽지 않음 데이터를 한 번에 부르지 않고 하나씩만 불러서 쓰는 방식을 택해야 함 따라서 모든 데이터를 불러놓고 사용하는 기존의 Dataset 말고 Custom Dataset 이 필요한 것 1.2 Dataset 이란? from torch.utils.data import Dataset, DataLoader 파이토치에서 지원하는 기능이다. dataset과 dataloader 기능을 기반으로 미니배치 학습, 데이터 셔플, 병렬 처리까지 간단하게 수행할 수 있다. 튜닝할 때 사용 (?) Dataset 클래스는 전체 Dataset을 구성하는 단계..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ) https://github.com/rickiepark/nlp-with-pytorch 0. 텐서의 타입, 크기, 값을 나타내는 함수 작성 확실한 타입, 크기의 변화를 확인하기 위해 아래와 같은 헬퍼 함수를 작성한다. def describe(x): print("타입: {}".format(x.type())) print("크기: {}".format(x.shape)) print("값: {}".format(x)) 1. 텐서의 타입과 크기 (속성) 텐서에는 FloatTensor, LongTensor, DoubleTensor 등 다양한 형태의 텐서가 존재한다. 모든 텐서를 다루기 전에는 언제나 텐서의 속성을..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. 1. Colab으로 파이토치 이용하기 https://pytorch.org/ PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org GPU 없는 환경에서 파이토치를 설치할 수는 없는걸까? 시간이 촉박하여 자세히 찾아보진 못했지만, 대부분 pytorch는 gpu cuda환경에서 설치를 지원하는 것 같다. 나는 그램.. 노트북 사용자이기 때문에 gpu가 없어서 하는 수없이 colab으로 파이토치를 이용해야했다. 1.1 Col..

시작하며 언제나 파라미터가 나를 괴롭힌다. 삭제되어 사용하는경우도 있고 디폴트값이 뭔지 모르는 경우도 있고... 그래서 나중을 위해 정리해보았다. tensorflow 공식 문서를 참고했다. 1. Conv2D tf.keras.layers.Conv2D(filters, kernel_size, strides=(1,1), input_shape=(28,28,3)) 첫번째 layer 가 Conv2D 인 경우는 "input_shape"를 입력해 주어야 함 (이미지의 높이, 이미지의 너비, 컬러채널) 형태의 tensor로 입력을 받음 컬러채널 color 인 경우 (R, G, B) 세 개의 채널을 가지기에 3 greyscale (흑백)인 경우 한 개의 채널을 가지기에 1 tf.keras.layers.Conv2D( filt..

시작하며 TF 공부가 생각보다 너무 오래걸려!! 캐글, 깃허브 등 코드를 참고하며 프로젝트를 진행했었던 내가 기본기가 많이 부족했음을 느꼈다... 하나하나 이해하고 직접 구현해보고 넘어가려니까 끝도 없다. 어쨌든, CNN모델을 만들고, ImageGenerator을 활용한 예제를 까먹지 않기 위해 포스팅 해볼까 한다. 시작! 1. import library 내가 작성한 코드에 필요한 library를 import import tensorflow as tf import os from os import path, getcwd, chdir from tensorflow.keras.optimizers imort RMSprop from tensorflow.keras.preprocessing.image import Im..

시작하며 epoch를 몇으로해야할지 고민해야될 때가 있었다. 이번 TF 자격증 공부를 하면서 callback 기능을 사용하면 자동으로 일정 accuracy 나 loss에 도달하면 멈추게 해줄 수 있다고 하길래 기록하려고 한다! 많은 프로젝트를 진행해보았지만, 이 기능은 넣어본 기억이 없다 ㅎㅅㅎ 1. callback class 구현 class callback(tf.keras.callbacks.Callback): def on_epoch_end(self, eopch, logs={}): if(logs.get('loss') < 0.4) : print("\n----reach 60% accuracy, stop training----") self.model.stop_training = True callbacks = ..

내가 헷갈려서 정리! 모델 하나를 예시로 들어서 매개변수를 설명해보겠다. 1. 모델 생성 model = models.Sequential() keras의 Sequential 모델 사용 계층을 선형으로 쌓은 모델을 의미 2. 층 (Layer) 추가 모델 구성 INPUT → 콘볼루션 레이어 (Conv2D) → ReLU 함수 → 맥스 풀링 레이어(MaxPooling2D) → 콘볼루션 레이어 (Conv2D) → ReLU 함수 → 맥스 풀링 레이어(MaxPooling2D) → 콘볼루션 레이어 (Conv2D) → 완전연결계층 (Dense) → softmax함수 → OUTPUT model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28,28,1))) ..

시작하며 TF certification 을 취득하기 위해 튜토리얼부터 공부중이다. 예상보다 오랜 시간이 걸릴 것같다 .. 그래도 최대한 단기간에 취득하는것을 목표로 한다!!!!!! 화이팅 본 포스팅에서는 텍스트 분류를 위해 뉴럴 네트워크 훈련시키는 예제를 살펴본다. 텐서플로우 공식 문서 튜토리얼을 참고하여 리뷰하는 형식의 글이 되겠다! www.tensorflow.org/tutorials/keras/text_classification 영화 리뷰를 사용한 텍스트 분류 | TensorFlow Core Note: 이 문서는 텐서플로 커뮤니티에서 번역했습니다. 커뮤니티 번역 활동의 특성상 정확한 번역과 최신 내용을 반영하기 위해 노력함에도 불구하고 공식 영문 문서의 내용과 일치하지 않을 수 www.tensorfl..

didu-story.tistory.com/25?category=903386 [tensorflow] 텍스트 분류 (Text Classification) - IMDB 시작하며 TF certification 을 취득하기 위해 튜토리얼부터 공부중이다. 예상보다 오랜 시간이 걸릴 것같다 .. 그래도 최대한 단기간에 취득하는것을 목표로 한다!!!!!! 화이팅 본 포스팅에서는 텍스 didu-story.tistory.com 위 포스팅을 진행하던 중 데이터셋을 다운로드 하는 과정에서 아래와 같은 오류가 발생했다. from keras.datasets import imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000..