Colab ReviewRadar

 

안녕하세요?
AI에 관심이 많아서, 이번에 처음으로 영화 리뷰 감정 분석 프로젝트에 도전해봤습니다.
사실 인공지능이라는 게 막연하게만 느껴졌는데,
구글 코랩에서 직접 데이터를 다루고 모델을 만들어보니까
생각보다 재미있고 신기한 경험이었어요.
이 글에서는 TensorFlow에서 제공하는 IMDB 영화 리뷰 데이터를 가지고
AI가 어떻게 사람의 감정을 이해하는지 하나씩 따라가봤던 과정을 정리해보려고 합니다.
저처럼 AI에 입문하시는 분들께 조금이나마 도움이 되었으면 좋겠습니다.

 

---

 

IMDB 데이터? 

 

IMDB 데이터셋은 스탠포드 대학에서 공개한 영화 리뷰 데이터로,
각 리뷰에 긍정(1) 또는 부정(0) 레이블이 붙어 있습니다.
자연어 처리 분야에서 감정 분석 실습용으로 자주 사용되는 대표적인 데이터셋입니다.

 

---

 

개발 환경 및 라이브러리 

 

 Google Colab
 Python 3.x
 TensorFlow, TensorFlow Hub, TensorFlow Datasets
 matplotlib, numpy

 

* TensorFlow Datasets이란 tfds의 Full Name으로 머신러닝, 딥러닝에서 자주 쓰이는 공개 데이터셋들을
 쉽게 불러와서 바로 쓸 수 있게 해주는 파이썬 라이브러리입니다.

---

Code

 

import numpy as np
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds
import matplotlib.pyplot as plt

 

데이터 다루는 데 자주 쓰는 numpy,
딥러닝 모델 만들 때 필수인 tensorflow,
사전학습된 임베딩 모델 쓸 때 필요한 tensorflow_hub,
유명한 데이터셋을 쉽게 불러오는 tensorflow_datasets(tfds),
그리고 그래프 그릴 때 쓰는 matplotlib까지 불러왔어요.

 

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub version: ", hub.__version__)
print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT AVAILABLE")

 

라이브러리들의 버전을 확인해주는 코드입니다. 

 

* 버전이 맞지 않으면 오류가 빈번합니다. 하루 사이에도 버전이  바뀌니 여러 버전으로 테스트 해보시기 바랍니다.

 

train_data, test_data = tfds.load(
    name="imdb_reviews",
    split=["train", "test"],
    batch_size=-1,
    as_supervised=True
)

 

tfds.load를 통해 IMDB 영화 리뷰 데이터셋을 다운로드 및 로드합니다.
split 옵션으로 학습(train)과 테스트(test) 데이터를 분리합니다.
batch_size=-1은 전체 데이터를 한 번에 메모리로 불러옵니다(데이터가 크지 않을 때 유용).
as_supervised=True로 (입력, 레이블) 쌍의 형태로 데이터를 반환합니다.

 

train_examples, train_labels = tfds.as_numpy(train_data)
test_examples, test_labels = tfds.as_numpy(test_data)

 

TensorFlow Dataset 객체를 numpy 배열로 변환합니다. 

IMDB 데이터셋은 리뷰와 레이블로 나누어져있습니다. 때문에 훈련데이터와 테스트데이터를 위와 같은 방식으로 나누어줍니다.

 

model_url = "https://tfhub.dev/google/nnlm-en-dim50/2"
hub_layer = hub.KerasLayer(model_url, input_shape=[], dtype=tf.string, trainable=True)

 

TensorFlow Hub에서 제공하는 사전학습된 영어 임베딩 모델(`nnlm-en-dim50/2`)을 KerasLayer로 불러옵니다.
이 레이어는 텍스트 데이터를 고정된 차원의 임베딩 벡터로 변환하여, 딥러닝 모델의 입력으로 사용할 수 있도록 합니다.

 

*임베딩 벡터란 n차원 공간을 생각하시면 됩니다. 비정형 데이터를 숫자로 바꾼 공간의 개념입니다.

model = tf.keras.Sequential()
model.add(hub_layer)
model.add(tf.keras.layers.Dense(16, activation='relu'))
model.add(tf.keras.layers.Dense(1))

 

모델 아키텍쳐를 설계합니다.

 

16개의 뉴런을 가진 은닉층과 출력층을 추가해주었습니다.

 

model.compile(
    optimizer='adam',
    loss=tf.losses.BinaryCrossentropy(from_logits=True),
    metrics=['accuracy']
)

 

모델을 컴파일합니다. 

 

Adam 옵티마이저는 학습 효율성과 안정성을 높여주는 대표적인 최적화 알고리즘입니다.
BinaryCrossentropy 손실 함수는 이진 분류 문제에서 표준적으로 사용됩니다.
metrics=‘accuracy’로 학습 및 평가 시 정확도를 함께 모니터링합니다

 

x_val = train_examples[:10000]
partial_x_train = train_examples[10000:]
y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

 

학습데이터의 일부를 분리해줍니다. 테스트 데이터는 한 번만 써 정확도를 완벽하게 체크하고자 하기 위함입니다.

 

history = model.fit(
    partial_x_train,
    partial_y_train,
    epochs=40,
    batch_size=512,
    validation_data=(x_val, y_val),
    verbose=1
)

 

모델을 학습시킵니다.

에폭은 회독이라고 생각하시면 됩니다. 40회독을 시킨겁니다.

 

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
epochs = range(1, len(acc) + 1)

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

 

그래프를 만들어줍니다.

 

 

그럼 위 사진과 같이 출력이 됩니다.

이 표를 보시면 20 에폭 후로는 검증 정확도가 미세하게 줄어드는 걸 볼 수 있습니다.

 

그럼 에폭을 줄이셔서 사용하면됩니다. 

 

두서 없는 글이지만 읽어주셔서 감사합니다. 

 

풀 코드는 아래에 첨부하겠습니다.

import numpy as np

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

import matplotlib.pyplot as plt

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub version: ", hub.__version__)
print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT AVAILABLE")

train_data, test_data = tfds.load(name="imdb_reviews", split=["train", "test"],
                                  batch_size=-1, as_supervised=True)

train_examples, train_labels = tfds.as_numpy(train_data)
test_examples, test_labels = tfds.as_numpy(test_data)

print("Training entries: {}, test entries: {}".format(len(train_examples), len(test_examples)))

model = "https://tfhub.dev/google/nnlm-en-dim50/2"
hub_layer = hub.KerasLayer(model, input_shape=[], dtype=tf.string, trainable=True)
hub_layer(train_examples[:3])

model = tf.keras.Sequential()
model.add(hub_layer)
model.add(tf.keras.layers.Dense(16, activation='relu'))
model.add(tf.keras.layers.Dense(1))

model.summary()

model.compile(optimizer='adam',
              loss=tf.losses.BinaryCrossentropy(from_logits=True),
              metrics=[tf.metrics.BinaryAccuracy(threshold=0.0, name='accuracy')])


x_val = train_examples[:10000]
partial_x_train = train_examples[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)

results = model.evaluate(test_examples, test_labels)

print(results)

model.save('imdb_model')

history_dict = history.history
history_dict.keys()

# history.history는 딕셔너리로, 각 metric의 값이 리스트로 저장되어 있습니다.
acc = history.history['accuracy']  # 또는 'binary_accuracy' (metrics 이름에 따라 다름)
val_acc = history.history['val_accuracy']  # 또는 'val_binary_accuracy'
epochs = range(1, len(acc) + 1)

plt.clf()   # clear figure

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()