[Pytorch] Colab에 Pytorch 설치하기 / 텐서 생성하기

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다.

 

1. Colab으로 파이토치 이용하기

https://pytorch.org/

PyTorch

GPU 없는 환경에서 파이토치를 설치할 수는 없는걸까? 시간이 촉박하여 자세히 찾아보진 못했지만, 대부분 pytorch는 gpu cuda환경에서 설치를 지원하는 것 같다. 나는 그램.. 노트북 사용자이기 때문에 gpu가 없어서 하는 수없이 colab으로 파이토치를 이용해야했다.

1.1 Colab에서 파이토치 설치하기

우선 colab의 런타임 환경을 GPU로 변경시켜주어야 한다.

상단 메뉴바에서 [런타임] - [런타임 유형 변경 ] - [하드웨어가속기를 GPU로 바꿔주기] 이 과정을 거쳐 GPU환경으로 구성해주고, 아래 코드를 실행하면 간단하게 설치가 완료된다.

!pip3 install torch
!pip3 install torchvision

 

2. 파이토치와 텐서

파이토치는 오픈 소스인 딥러닝 프레임워크이다. 정적 프레임워크인 씨아노, 텐서플로우와 달리 동적 프레임워크로 '동적 계산 그래프'를 구현한다. 따라서 디버깅이 아주 편리하고 복잡한 모델을 손쉽게 만들 수 있다는 장점이 있다.

2.1 정적 프레임워크와 동적 프레임워크?

- 정적프레임워크

텐서플로우를 공부해봐서 알겠지만, 텐서플로우와 씨아노와 같은 정적 프레임워크는 먼저 계산 그래프를 정의하고 컴파일한 다음 실행해야한다. 이 방식은 제품 시스템과 모바일 환경에서는 효율적일 수 있지만, 입력마다 다른 그래프가 구현되어야 하는 복잡한 연구, 개발에서는 비효율적이다.

- 동적프레임워크

체이너, 다이넷, 파이토치와 같은 프레임워크는 동적프레임워크다. 동적 계산 그래프를 구현할 수 있다는 뜻인데, 실행할 때마다 모델을 컴파일 하지 않아도 된다. 특히 입력마다 다른 그래프 구조가 만들어질 수 있는 NLP모델에 아주 적합한 프레임워크라고 볼 수 있다. -- 이건 기술면접에서 왜 파이토치를 사용했는가? 에 대한 답변이 될 것이다.

2.2 텐서

파이토치는 텐서 조작 라이브러리인 만큼 텐서가 핵심이 된다. 텐서란, '다차원 테이블을 담은 수학 객체'라고 할 수있다. 

 

3. 텐서 생성

이 책에서는 헬퍼 함수 하나를 작성하여 텐서의 형태, 크기, 값을 편하게 보게끔 만들어 놓았다. 기초 개념을 확실히 잡아보자.

3.1 헬퍼함수 작성

def describe(x):
    print("타입: {}".format(x.type()))
    print("크기: {}".format(x.type()))
    print("값: {}".format(x.type()))

3.2 텐서 생성

기본적인 텐서 생성의 형태는 아래와 같다.

import torch
describe(torch.Tensor(2,3))

그럼 이제 다양한 형태로 텐서를 형성해 보겠다. 

3.2.1 랜덤하게 초기화한 텐서

describe(torch.rand(2,3))

3.2.2 filled() 메서드 사용하기

- 내장함수를 활용하여 일정 값으로 텐서를 채울 수 있다.

describe(torch.zeros(2,3))

x = torch.ones(2,3)
describe(x)

- filled() 메서드

fill_() 메서드를 활용하여 특정값으로 텐서를 채울 수도 있다.
fill_()에서 보이는 (_) 가 있는 메서드는 in-place 메서드라고 하고, 새로운 객체를 생성하지 않고 기존의 텐서값을 바꾸는 연산을 수행한다고 알고 있으면 된다. (uniform_,, 등 다양하게 사용)

#(_)가 포함된 메서드 이기 떄문에, x객체를 새롭게 생성하는 것이 아닌 현재값을 변경하는 방식으로 진행된다.
x.fill_(5)
describe(x)

3.2.3 파이썬 리스트, 넘파이를 활용한 텐서 만들기

- 파이썬 리스트를 값으로 하는 텐서를 만들 수 있다.

x = torch.Tensor([[1,2,3], [4,5,6]])
describe(x)

- 넘파이 배열을 활용하여 텐서를 만들 수 있다. 
넘파이 배열을 활용하면 대신, tensor의 타입이 FloatTensor가 아니라 DoubleTensor 가 된다는 점을 기억하자. 그 이유는 float, double, float64의 크기와 관련이 있다. 

import numpy as np
npy = np.random.rand(2,3)
describe(torch.from_numpy(npy))