potato's devlog

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드는 여기 1. 어텐션 (Attention) 1.1 어텐션 등장 배경 앞서 언급한 seq2seq 모델은 '전체 입력 문장'을 하나의 벡터로 인코딩하기에, 짧은 문장에만 적합하고 긴 문장에서는 전체 입력 정보를 제대로 감지하지 못한다는 문제점 발생 즉, 하나의 고정된 크기의 벡터에 모든 정보를 담다보니 정보 손실이 발생한다. RNN의 고질적인 문제인 기울기 소실 문제 (Vanishing Gradient)가 존재한다. ▶ 이런 RNN에 기반한 sequence모델의 문제들은 기계 번역 분야에서 입력 문장이 길면 품질이 떨어지는 치명적인 단점으로 작용 ▶ 따라서 이를 위한 대안으로 입력 시퀀스가 길어지면 출..

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다. -- 소스코드 ▽ rickiepark/nlp-with-pytorch (한빛미디어, 2021)의 소스 코드를 위한 저장소입니다. - rickiepark/nlp-with-pytorch github.com ▶ 활성화 함수 (activation function) 신경망에서, 입력 신호의 총합을 출력 신호로 변환하는 함수 데이터가 학습이 가능하게끔 만들어주는 함수 (미분가능한함수) 신경망에서, 한 노드에서 다음 노드로 보낼지 말지 결정하는 함수 (입력받은 신호를 얼마나 출력할지 결정해주고, 비선형으로 표현할 수 있게 도와준다) ▷ 활성화함수를 사용하는 이유? (참고글 https://ganghee-lee.tistory.c..

1. 퍼셉트론 (Percepttron) 생물학적 뉴런을 본떠 만든 가장 간단한 신경망의 구조 입력신호와 출력신호가 퍼셉트론에서 각각 입력값과 출력값에 해당 입력(x), 출력(y), 가중치(w), 절편(b), 활성화함수(f) 수학적으로 표현하면 인공뉴런에 보내지는 값 x는 각각의 가중치 w와 함께 최종 종착지인 인공 뉴런에 전달 활성화함수 f는 일반적으로 비선형함수 wx+b 는 선형함수 (아핀변환이라고 부름) 즉, 퍼셉트론은 선형함수와 비선형함수의 조합 절편(b)는 그림이나 수식에서 많이 생략되기도 하지만, 실제로 b또한 딥러닝이 최적의 값을 찾아야할 변수 중 하나 ▶ 아래는 파이토치로 구현한 간단한 퍼셉트론 코드 (참고) https://github.com/rickiepark/nlp-with-pytorch..

시작하며 무려 6년전에 Kaggle 대회로 올라온 자전거 수요 예측 프로젝트! 데이터 분석 역량 테스트를 대비하기 위해 가장 기본적인 Kaggle 대회 부터 연습해보기로 했다. 나의 이러한 연습이 좋게 작용하여 코테에 꼭 합격하길 바라면서 시작하는 공부리뷰 start ~ ! 1. 프로젝트 설명 www.kaggle.com/c/bike-sharing-demand/ Bike Sharing Demand Forecast use of a city bikeshare system www.kaggle.com 워싱턴 D.C 의 Capital Bikeshare 프로그램에서 자전거 대여 수요를 예측하기 위한 프로젝트이다. 과거 사용 패턴을 날씨 데이터와 결합하여 수요 예측을 수행해 본다. 2. 프로젝트 목표 특정 시간대에 얼..

시작하며 2020 하반기 취업준비 이후, 같은 스펙으로 또 취업에 도전하고 싶진 않아서 스스로 스펙 쌓기 프로젝트에 돌입했다. 목표로 잡은건, 영어성적 올리기 / 자격증 하나 더 따기 / 프로젝트 하나 진행하기 결론적으로 면접에서 탈락한 12월 이후 , 1,2,3월 동안 세가지를 모두 이룰 수 있게 되었다! 어쨋든, 자격증 중에서도 요즘 AI 및 딥러닝 관련 스펙을 요구하는 회사가 많은 관계로, 비싸지만 Tensorflow Developer Certificate 에 도전해보기로 결정! 미루고 미루던 공부를 시험 등록하고 급작스럽게 시작하여 어쩌다보니 4일만에 취득하게 되었다. (역시 돈을 들여야.. 정신을 차리고 공부를 한다) 그 이야기를 시작해 보겠다! 타임라인 3월 6일 Cousera 무료 7일 체험..

시작하며 TF 공부가 생각보다 너무 오래걸려!! 캐글, 깃허브 등 코드를 참고하며 프로젝트를 진행했었던 내가 기본기가 많이 부족했음을 느꼈다... 하나하나 이해하고 직접 구현해보고 넘어가려니까 끝도 없다. 어쨌든, CNN모델을 만들고, ImageGenerator을 활용한 예제를 까먹지 않기 위해 포스팅 해볼까 한다. 시작! 1. import library 내가 작성한 코드에 필요한 library를 import import tensorflow as tf import os from os import path, getcwd, chdir from tensorflow.keras.optimizers imort RMSprop from tensorflow.keras.preprocessing.image import Im..

시작하며 epoch를 몇으로해야할지 고민해야될 때가 있었다. 이번 TF 자격증 공부를 하면서 callback 기능을 사용하면 자동으로 일정 accuracy 나 loss에 도달하면 멈추게 해줄 수 있다고 하길래 기록하려고 한다! 많은 프로젝트를 진행해보았지만, 이 기능은 넣어본 기억이 없다 ㅎㅅㅎ 1. callback class 구현 class callback(tf.keras.callbacks.Callback): def on_epoch_end(self, eopch, logs={}): if(logs.get('loss') < 0.4) : print("\n----reach 60% accuracy, stop training----") self.model.stop_training = True callbacks = ..

시작하며 딥러닝모델 구축 도중 손실함수 때문에 오류가 났다. 아마 손실함수와 활성화 함수의 조합이 맞지 않았던 것 같다. 일단 그래서 이대로는 안되겠다 싶어서 자세한 수식까지는 아니더라도 언제, 어떻게, 무슨 종류의 손실함수가 있는지 살펴보기로 한다!!! 아자아자 화이팅 ⋌༼ •̀ ⌂ •́ ༽⋋ 손실 함수(loss function) 란? 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미 손실함수는 정답(y)와 예측(^y)를 입력으로 받아 실숫값 점수를 만드는데, 이 점수가 높을수록 모델이 안좋은 것 손실함수의 함수값이 최소화 되도록 하는 가중치(weight)와 편향(bias)를 찾는 것이 목표 파이썬에서 지원하는 다양한 라이브러리에서는 많은 손실함수를 지원한다. 해당 포스팅에서는..

딥페이크 인공지능의 바탕이 되는 머신러닝 기법인 딥러닝을 사용해 원본 이미지나 동영상 위에 다른 이미지를 중첩, 결합해서 원본과는 다른 이미지와 영상을 만들어 주는 이미지/동영상 조작 기술 딥페이크의 발전 2015년에는 얼굴을 흉내내던 수준 수천개의 이미지를 필요로하기에 주요 유명인사들이 타겟 2017년에는 실시간 재구성이 가능한 수준으로 발전 한장의 이미지만으로도 합성이 가능하기에 일반인도 타겟이 되고 있음 딥페이크의 사회적 이슈 연예인, 주변 사람 등 거짓음란물이 사회문제로 급부상 전 세계 딥페이크 음란물 피해자의 25%가 한국사람 10대가 연예인 150명을 합성한 음란물을 판매 https://www.donga.com/news/Society/article/all/20210225/105611252/2 ..