[tensorflow] imdb.load_data 오류 해결 - Object arrays cannot be loaded when allow_pickle=False

didu-story.tistory.com/25?category=903386

[tensorflow] 텍스트 분류 (Text Classification) - IMDB

위 포스팅을 진행하던 중 데이터셋을 다운로드 하는 과정에서 아래와 같은 오류가 발생했다.

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# 출력결과 error
Object arrays cannot be loaded when allow_pickle=False

pycharm에서 코드를 실행했을때는 문제 없었지만, jupyter 에서 실행하니 오류가 떴다.

인터넷을 찾아보니 오류가 존재했고, 그 원인은... 정확히 모르겠다 사실..
(아시는 분 댓글로 알려주시면 감사하겠습니다 ㅠㅠ)

그래도 해결방법은 찾았다.

해결방법

import numpy as np
# save np.load
np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

이 코드로 진행하면 무사히 데이터 셋을 불러올 수 있다! (결과를 출력해보면,,)

print("훈련 샘플: {}, 레이블 : {}".format(len(train_data), len(train_labels)))

# 출력 결과 ↓↓↓
# 훈련 샘플: 25000, 레이블 : 25000

 

원인을 찾아보니 numpy 버전 문제라고 하시는 분도 계셨다. 근데 이게 정확한 원인인지는 모르겠다.

pycharm numpy version : 1.20.0
anaconda (jupyter) numpy version = 1.19.5

numpy의 버젼이 다른 것을 보니 맞는 것 같기도...

 

어쨋든 imdb.load_data 에서 해당 오류가 뜨면 위 코드로 재실행해보길 바란다.