potato's devlog

시작하며 무려 6년전에 Kaggle 대회로 올라온 자전거 수요 예측 프로젝트! 데이터 분석 역량 테스트를 대비하기 위해 가장 기본적인 Kaggle 대회 부터 연습해보기로 했다. 나의 이러한 연습이 좋게 작용하여 코테에 꼭 합격하길 바라면서 시작하는 공부리뷰 start ~ ! 1. 프로젝트 설명 www.kaggle.com/c/bike-sharing-demand/ Bike Sharing Demand Forecast use of a city bikeshare system www.kaggle.com 워싱턴 D.C 의 Capital Bikeshare 프로그램에서 자전거 대여 수요를 예측하기 위한 프로젝트이다. 과거 사용 패턴을 날씨 데이터와 결합하여 수요 예측을 수행해 본다. 2. 프로젝트 목표 특정 시간대에 얼..

시작하며 2019년 AI관련 수업을 수강하며 computer vision에 대해서 배웠다. 이 이후, 비정형 데이터에 대한 욕심이 생기기 시작했으며 3학년 주제에 4학년이 졸업프로젝트로 나가는 학술대회에 참여를 도전하게 되었다. 4학년의 졸업프로젝트는 기업연계 프로젝트로 실제로 기업 현직자들과 함께하는 프로젝트들 이었다. 이 사건을 계기로, 많은 대회에 참여하는 용기를 얻게된다 :) 또, 끈기있게 도전하고 결과물을 만족스럽게 뽑아낸 결과 내 인생 처음으로 큰 대회에서 상을 받게 된다. 그 좋은 기억을 떠올리며, 우리팀이 만들었던 시스템을 리뷰해보려고 한다 . 1. 프로젝트 개요 1.1 프로젝트 주제 선정 배경 청각장애인이 소리를 듣지못해 격는 문제 정의 ① 위험 감지 어려움 차 경적소리, 사이렌 소리 등..

시작하며..! :) 데이터 분석 수업을 수강하며 배우게된 추천시스템! 유튜브가 상용화 된 요즘, '유튜브 알고리즘 일잘하네~'라는 말을 입에 달고 살면서 실생활에 추천시스템이 녹아들어있다 .이런 추천시스템을 직접 구현해볼 수 있다는 것 자체만으로도 굉장한 흥미가 생겼고, 내 졸업프로젝트 또한 추천시스템으로 주제가 정해지게 되었지... 어쨌든, 미래에 나는 실무에서 어떤 데이터를 가지고 얼마나 대단한 추천시스템을 구현할 수 있을까!? 벌써 설렌당! 얼른 취업하자....★ -- 본 자료는 동국대학교 데이터어낼리틱스 강의 자료를 활용하여 진행한 프로젝트 입니다 :) 1. 프로젝트 진행 방향 R 언어를 활용하여 Collaborative Filtering 기법을 활용한 Recommendation System을 구..

1. 프로젝트 주제 선정 1.1 주제 선정 이유 선정한 데이터는 ‘football’ 데이터셋으로, 대학 내의 미식축구 팀들의 경기에 대한 네트워크를 낸 데이터셋이다. 빅데이터를 이용한 네트워크 분석 및 링크예측은 스포츠 산업에서도 종종 쓰이고 있다. 야구처럼 정확한 타율이 계산되지 않는 미식축구와 같은 스포츠에서는 특히 네트워크 분석 및 링크예측이 중요하게 떠오르고 있다. 상대팀과의 관계를 분석을 통해 선수들의 능력을 평가할 수 있을 것이며, 네트워크 분석을 통해 승패 여부를 보다 쉽게 예측할 수 있을 것이다. 그 선수의 능력을 평가하여 이적료를 결정하고, 그 팀의 가치를 결정해야하는 미식축구에서는 특히 네트워크 분석이 중요하다고 생각된다. 따라서 실제로 수업 내 진행했던 네트워크 분석을 통해 미식축구 ..

시작하며 학부생시절 진행했던 Topic Modeling 프로젝트에 대해 작성하려고 한다. NLP에 관심이 생기기 시작하여 데이터어낼리틱스 수업을 수강했는데, 운좋게도 NLP에 대한 개념과, 실습을 진행해볼 수있었다. 그 지식을 바탕으로 여러가지 프로젝트를 진행했는데, 그 중 하나이다! 프로젝트 마무리 단계에 레포트로 작성하여 과제로 제출한 경험이 있어서, 시간이 지난 지금에도 이렇게 글로 남길 수 있게되었다. 자료의 문서화에 대한 중요성을 다시금 깨닫는 시간이다 :) -- 본 프로젝트는 학교 과제 겸 프로젝트로 진행한 내용입니다 :) 1. 주제선정 1.1 프로젝트 주제 Quantum-dot Display 기술의 특허 데이터에 대한 LDA 1.2 프로젝트 목표 Quantum dot display에 관한 7..

시작하며 이전에 진행했던 프로젝트에 대해 정리해보려고 한다. 혼자서 파일과 문서형식으로 저장해두었었지만, 공유하는 삶을 살아보고자 모든 프로젝트를 차근차근 업로드해볼 예정이다 :) 학부생 수준에서 진행한 프로젝트이기에, 대단하지도 뛰어나지도 않는다. 단지 유명한 데이터셋을 가지고 내가 가진 기술을 증명해보기 위해 진행했던 프로젝트가 대부분이다. 혼자 진행한 것이 아닌, 팀원들과 진행한 것으로 자세한 전체 코드에 대한 업로드는 하지 않을 예정이고 내가 담당했던 부분 부분만 업로드할 예정이다 ;) 그래도! 지나가시다가 혹시 읽어보시고, 잘못된 부분, 개선의 여지가 있는 부분, 문제점 등에 대한 모든 피드백은 환영입니다. 많은사람들에게 배우고싶어요! 프로젝트 주제 TM(텔레마케팅)이 상품가입으로 이어지는 고객..

시작하며 언제나 파라미터가 나를 괴롭힌다. 삭제되어 사용하는경우도 있고 디폴트값이 뭔지 모르는 경우도 있고... 그래서 나중을 위해 정리해보았다. tensorflow 공식 문서를 참고했다. 1. Conv2D tf.keras.layers.Conv2D(filters, kernel_size, strides=(1,1), input_shape=(28,28,3)) 첫번째 layer 가 Conv2D 인 경우는 "input_shape"를 입력해 주어야 함 (이미지의 높이, 이미지의 너비, 컬러채널) 형태의 tensor로 입력을 받음 컬러채널 color 인 경우 (R, G, B) 세 개의 채널을 가지기에 3 greyscale (흑백)인 경우 한 개의 채널을 가지기에 1 tf.keras.layers.Conv2D( filt..

시작하며 6개월간 IT회사에서 인턴실습을 진행하며 개발하고, 칭찬받았던 개인 과업에 대해 작성해보려고 한다. 회사 내에서 사용했던 기술이면 대외비아니야? 라고 할 순 있겠지만, 퇴사 전, '색상추출기 보고'를 마치고 센터장님께서 '뭐 퇴사하고 깃허브올리던가~ 잘 저장해둬 잘했네' 라고 칭찬을 해주셨기에, 내가 개발했던 '이미지 분석 전처리 프로세스' 코드 리뷰를 시작해본다! 프로젝트 목적 회사 내에서 사용하고 있는 다양한 AI 로직에 적용시킬 수 있는 이미지 색상추출기를 개발하고자 한다. 프로젝트 목표 이미지로부터 사람 눈으로도 인정할 수 있는 정확한 색상을 추출하는 것을 목표로 한다. 진행 조건 사내 로직은 R 로 구현되어 있기 때문에, R로 구현해 볼 것 --> 수업 실습 이후로 처음 만져보는 R....

시작하며 TF 공부가 생각보다 너무 오래걸려!! 캐글, 깃허브 등 코드를 참고하며 프로젝트를 진행했었던 내가 기본기가 많이 부족했음을 느꼈다... 하나하나 이해하고 직접 구현해보고 넘어가려니까 끝도 없다. 어쨌든, CNN모델을 만들고, ImageGenerator을 활용한 예제를 까먹지 않기 위해 포스팅 해볼까 한다. 시작! 1. import library 내가 작성한 코드에 필요한 library를 import import tensorflow as tf import os from os import path, getcwd, chdir from tensorflow.keras.optimizers imort RMSprop from tensorflow.keras.preprocessing.image import Im..

시작하며 epoch를 몇으로해야할지 고민해야될 때가 있었다. 이번 TF 자격증 공부를 하면서 callback 기능을 사용하면 자동으로 일정 accuracy 나 loss에 도달하면 멈추게 해줄 수 있다고 하길래 기록하려고 한다! 많은 프로젝트를 진행해보았지만, 이 기능은 넣어본 기억이 없다 ㅎㅅㅎ 1. callback class 구현 class callback(tf.keras.callbacks.Callback): def on_epoch_end(self, eopch, logs={}): if(logs.get('loss') < 0.4) : print("\n----reach 60% accuracy, stop training----") self.model.stop_training = True callbacks = ..