[tensorflow] 텍스트 분류 (Text Classification) - IMDB

TF 홈페이지

시작하며

TF certification 을 취득하기 위해 튜토리얼부터 공부중이다. 예상보다 오랜 시간이 걸릴 것같다 ..
그래도 최대한 단기간에 취득하는것을 목표로 한다!!!!!! 화이팅

본 포스팅에서는 텍스트 분류를 위해 뉴럴 네트워크 훈련시키는 예제를 살펴본다.

텐서플로우 공식 문서 튜토리얼을 참고하여 리뷰하는 형식의 글이 되겠다!
www.tensorflow.org/tutorials/keras/text_classification

영화 리뷰를 사용한 텍스트 분류  |  TensorFlow Core

 

Library Import

필요한 lirary를 불러온다

# library import
import tensorflow as tf
from tensorflow import keras
import numpy as np

 

데이터셋 다운로드

해당 프로젝트에서는 keras에 내장된 IMDB 데이터셋을 사용한다.
IMDB 데이터는 5만개의 영화 리뷰 데이터로, 단어로 구성되어 있다.
단어가 긍정인지 (1) , 부정인지 (0) 예측하는 프로젝트이다.

train data 와 test data , train labels 와 test labels로 불러온다. 
(본 데이터셋은 25000개의 train data, 25000개의 test data 로 긍정, 부정인 리뷰의 수가 동일하게 균형이 맞춰져 있다.)

여기서는 labels(긍정/부정을 나타내는 라벨)가 y값 (타겟)이 된다.

imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

• 매개변수설명
  • num_words 
    • 순위를 의미한다. 즉, 단어 출연 빈도수가 1~10000위인 단어들만 가져오겠다는 뜻이다.
    • 상위 몇개의 단어를 불러올 것인지에 대한 매개변수이다.
    • 데이터의 크기를 적당하게 유지하기 위해서 사용된다.
• load_data에서 pickle 오류가 발생한다면, 아래 포스팅 확인
• didu-story.tistory.com/24

[tensorflow] imdb.load_data 오류 해결 - Object arrays cannot be loaded when allow_pickle=False

데이터 탐색

1. train data와 test data의 개수 확인

print("훈련 샘플: {}, 레이블 : {}".format(len(train_data), len(train_labels)))

# 출력 결과 - 훈련 샘플: 25000, 레이블 : 25000

 

2. train data 의 형태 살펴보기

print(train_data[0])

# 출력 결과
# [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 25, 100, 43, 838, 112, 50, 670, 2, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 2, 336, 385, 39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22, 4, 1920, 4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 18, 2, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4, 130, 12, 16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 407, 16, 82, 2, 8, 4, 107, 117, 5952, 15, 256, 4, 2, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 400, 317, 46, 7, 4, 2, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6, 194, 7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19, 178, 32]

• 특정 단어를 나타내는 정수로 변환되어 나타나져 있다.

3. 각 데이터의 길이 확인

print(len(train_data[0]), len(train_data[1]))

# 출력결과 - 218 189

• 첫번째 리뷰의 길이는 218, 두번째 리뷰의 길이는 189 임을 알 수 있다.
• 신경망은 모든 input의 길이가 같아야함을 명시하자.
• 즉, 추후 해당 데이터들의 모든 길이를 동일하게 만들어주는 작업이 필요하다.

정수를 단어로 변환해보자.

데이터 탐색 과정에서 보았듯, 해당 데이터셋은 단어들이 정수에 매핑되어 있다.
텍스트 분석을 위해 해당 정수들을 매핑된 단어로 처리할 것이다.

1. get word index 로 딕셔너리 불러오기

# 단어와 정수 인덱스를 매핑한 딕셔너리를 불러옴
word_index = imdb.get_word_index()
print(word_index)

• get_word_index() 를 활용하면 정수를 word로 얻을 수 있다.
• 아래와 같은 딕셔너리가 word_index에 저장되는 것이다.
• word_index['fawn'] 을 조회하면 34710 이 출력된다.

2. 딕셔너리에 4개의 단어를 추가해줄 것이다. 이 단어들은 0,1,2,3 index를 부여한다.
때문에 인덱스를 +3 미뤄주고, 직접 0,1,2,3 에 지정할 단어를 정해준다.

word_index = {k:(v+3) for k,v in word_index.items()}

word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3

• word_index를 출력해보면 fawn의 인덱스가 3 밀린 것을 확인 가능

3. 딕셔너리의 key 와 value값을 list로 반환시키고, 뒤집어준다.
그래야 정수르 불렀을때, 단어가 출력되기 때문이다.

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

# 출력 결과- {25184: 'bettina', 70227: "'cannes'", 87565: 'karel', 30490: 'heorot', 4112: 'karen', 34683: "1992's", 34586: 'snorer', [생략] }

4. 마지막으로 숫자를 문자로 바꾸는 decode 헬퍼 함수를 작성한다.

def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

5. 제대로 decode 되는지 확인해보자.

print(decode_review(train_data[0]))

원래 train_data[0]의 형태는 아래처럼 정수로 이루어져 있다.

[1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 25, 100, 43, 838, 112, 50, 670, 2, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 2, 336, 385, 39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22, 4, 1920, 4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 18, 2, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4, 130, 12, 16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 407, 16, 82, 2, 8, 4, 107, 117, 5952, 15, 256, 4, 2, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 400, 317, 46, 7, 4, 2, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6, 194, 7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19, 178, 32]

decode를 적용한 후의 모습을 살펴보면

<START> this film was just brilliant casting location scenery story direction everyone's really suited the part they played and you could just imagine being there robert <UNK> is an amazing actor and now the same being director <UNK> father came from the same scottish island as myself so i loved the fact there was a real connection with this film the witty remarks throughout the film were great it was just brilliant so much that i bought the film as soon as it was released for <UNK> and would recommend it to everyone to watch and the fly fishing was amazing really cried at the end it was so sad and you know what they say if you cry at a film it must have been good and this definitely was also <UNK> to the two little boy's that played the <UNK> of norman and paul they were just brilliant children are often left out of the <UNK> list i think because the stars that play them all grown up are such a big profile for the whole film but these children are amazing and should be praised for what they have done don't you think the whole story was so lovely because it was true and was someone's life after all that was shared with us all

이렇게 변한 것을 확인할 수 있다. 내가 지정해준 인덱스 1 도 <START> 로 잘 변환 되었다.

훈련을 위한 데이터 준비

'정수 배열'은 신경망에 주입하기전에 텐서플로우가 알아먹을 수 있는 형태로 변환해 주어야 한다.
변환 방법은 두 가지가 있다.

1. one-hot encoding 방식

• 만약 data 가 [3,5] 이면 인덱스 3,5 에만 1이 들어가고 나머지 인덱스에는 전부 0으로 채워진다.
• num_words * num_reviews 크기의 행렬이 필요하기 때문에 메모리가 너무 크다는 것이 단점이다.
• 이 방식을 사용한다면, 실수 벡터를 다룰 수 있는 층인 Dense층을 활용하여 신경망을 구성해야한다.

2. padding 하는 방식

• 정수 배열의 길이가 모두 같도록 padding 시켜주는 것
• max_length * num_reviews 크기의 행렬이 필요하다
• 이 방식을 사용한다면, 신경망의 첫번째 층으로 embading층을 활용해야 한다.

본 프로젝트는 padding방식을 사용했다.

train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index['<PAD>'],
                                                        padding="post",
                                                        maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index['<PAD>'],
                                                       padding='post',
                                                       maxlen=256)

• 매개변수 
  • value : 패딩된(늘어난) 자리에 들어갈 단어를 지정해준다. 
    • 앞의 dic에 따르면, <PAD>의 인덱스는 0 이다.
  • padding : 패딩을 어느 방향에 설정할 것인지에 대한 매개변수이다. 
    • 'post' 는 시퀀스의 뒷쪽에 패딩을 형성하고, 'pre'는 앞쪽에 형성한다는 뜻이다.
      • 본 프로젝트에서는 post 방식을 선택했으므로, [3,5,0,0,0,0,0,0,0,0,0] 이렇게 뒷쪽에 패딩이 형성될 것이다.

print(train_data[0])
# 출력 결과 - [ 1 14 22 16 43 530 973 1622 1385 65 458 4468 66 3941 4 173 36 256 5 25 100 43 838 112 50 670 2 9 35 480 284 5 150 4 172 112 167 2 336 385 39 4 172 4536 1111 17 546 38 13 447 4 192 50 16 6 147 2025 19 14 22 4 1920 4613 469 4 22 71 87 12 16 43 530 38 76 15 13 1247 4 22 17 515 17 12 16 626 18 2 5 62 386 12 8 316 8 106 5 4 2223 5244 16 480 66 3785 33 4 130 12 16 38 619 5 25 124 51 36 135 48 25 1415 33 6 22 12 215 28 77 52 5 14 407 16 82 2 8 4 107 117 5952 15 256 4 2 7 3766 5 723 36 71 43 530 476 26 400 317 46 7 4 2 1029 13 104 88 4 381 15 297 98 32 2071 56 26 141 6 194 7486 18 4 226 22 21 134 476 26 480 5 144 30 5535 18 51 36 28 224 92 25 104 4 226 65 16 38 1334 88 12 16 283 5 16 4472 113 103 32 15 16 5345 19 178 32 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

print(len(train_data[0]))
# 출력 결과 - 256

 

모델 구성

입력과 출력 사이에 두 개의 은닉층을 만들어서 모델을 만들어 보자.

vocab_size=10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16, input_shape=(None,)))
model.add(keras.layers.GlobalAvgPool1D()) # layer 1 output (25000, 16)
model.add(keras.layers.Dense(16, activation='relu')) # layer 2 output (25000, 16)
model.add(keras.layers.Dense(1, activation='sigmoid')) # layer 3 output (25000, 1)

model.summary()

한 줄씩 설명해보겠다.

• vocab_size = 10000
  • input의 첫번째 매개변수로 input 크기를 적어주기 위해 변수로 지정했다.
  • 처음 num_words 를 10000개로 지정했던것을 기억하자.
• model.add(keras.layers.Embedding(vocab_size, 16, input_shape=(None,)))
  • layer 0 번 
  • 해당 층을 거치고 나서의 출력되는 train_data의 shape은  (25000, 256, 16) 이다.
  • 25000은 train_data의 개수 / 256은 padding 한 최대 길이 / 16은 생성되는 embading의 크기
  • 즉, 25000개의 각 리뷰는 256개의 단어로 구성되고, 각 단어는 16개의 원소로 구성된다.
    • 하나의 리뷰 속에 16차원짜리 256개가 존재한다.
• model.add(keras.layers.GlobalAvgPool1D())
  
  • layer 1의 output : (25000, 16)
  • GlobalAvgPool1D() 레이어는 고정된 크기 (16)의 출력 벡터를 리턴해주는 함수
  • (25000, 256, 16) --> 256의 평균을 구하여 (25000, 16)으로 만들어준다.
• model.add(keras.layers.Dense(16, activation='relu'))
  • layer 2의 output : (25000, 16)
  • 뉴런이 16개인 fully-connected layer (Dense)에 입력벡터를 통과ㅣ키고, 출력차원은 16으로 지정
  • 활성화함수 relu 사용
• model.add(keras.layers.Dense(1, activation='sigmoid'))
  • layer 3의 output : (25000, 1)
  • 마지막 층으로, 하나의 노드로 구성된 fully-connected layer(Dense)에 연결
  • Binary (이진분류) 이므로, 마지막 활성화 함수를 sigmoid 함수로 지정
    • sigmoid : 출력값이 0~1 사이이며, 확률로 출력하고 싶을 때 사용한다.

 

손실함수 및 옵티마이저 설정

- 모델을 학습시키려면 손실함수 및 옵티마이저 필요
- 옵티마이저는 Adam 사용
- 손실함수로 Binary_crossentropy (확률 분포간의 거리를 측정하는 손실함수
----- 일반적으로 binary_crossentropy가 확률을 다루는데 적합
----- 여기서는 예측된 분포와 정답 (= 라벨) 분포간의 거리 측정
- 모델 성능 평가 : Accuracy 사용

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

 

검증 데이터 생성 

훈련데이터를 나누어서 검증 데이터를 생성해준다. 
본 프로젝트에서는 10000개를 검증 데이터로 사용해줄 예정이다.

x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

 

모델 훈련

- train 데이터로 모델 훈련을 진행
- 40번의 에포크
- 512개의 샘플로 이루어진 미니 배치에서
------ 즉, x,y train 텐서에 있는 모든 샘플에 대해 40번 반복해서 훈련한다는 뜻
- 훈련하는 동안 10000개의 검증데이터로 모델의 손실과 정확도를 모니터링

model.fit(partial_x_train,
            partial_y_train,
            epochs=40,
            batch_size=512,
            validation_data=(x_val, y_val),
            verbose=1)

 

모델 평가

results = model.evaluate(test_data, test_labels, verbose=2)
print(results)

# 출력 결과 -  loss: 0.3361 - accuracy: 0.8702

정확도 0.87정도 나왔다. 더 고성능의 모델을 사용하면 95가 나온다고한다. 
그것은 추후 공부하고 포스팅해보겠다.

예측하기

# 예측된 10개의 확률값 출력해보기
predictions = model.predict(test_data)
print(predictions[0:10].T)

[[0.06341892 0.9973872  0.5436513  0.7175522  0.9909915  0.93047166
  0.928525   0.01527587 0.9466015  0.99780303]]

처음 10개의 test_data는 위와 같은 확률로 예측 됐음을 알 수 있고,
labels 로 출력해보고 싶으면 아래 코드로 확인 가능하다.

predict_class=model.predict_classes(test_data)
print(predict_class[0:10].T)

[[0 1 1 1 1 1 1 0 1 1]]

이렇게 예측됐다!

 

마치며

TF 자격증을 따기 위해 공부중인데, 생각보다 오래걸린다.... 문제만 주어지고 인터넷 없이 모델을 구축해야하니 모든 것을 외워야 한다는 부담감이 앞선다... 그래서 더 오래걸리는 듯 싶다ㅠㅠ 하나하나 자세하게 짚고 넘어가야하기 때문에. 앞으로 더 열심히 해서 얼른 따야겠다!!!!!