이 포스트는 Github 접속 제약이 있을 경우를 위한 것이며, 아래와 동일 내용을 관련 그림 및 실행 결과와 함께 Jupyter notebook으로도 보실 수 있습니다.
You can also see the following as Jupyter notebook along with related images and execution result screens if you have no trouble connecting to the Github.

다대일 RNN Modeling Review

import os
import torch
import torch.nn as nn
import torch.nn.functional as F
from torchtext.legacy import data, datasets
import random
from torchtext.legacy.data import TabularDataset

USE_CUDA = torch.cuda.is_available()
DEVICE = torch.device("cuda" if USE_CUDA else "cpu")
print("cpu와 cuda 중 다음 기기로 학습함:", DEVICE)

SEED = 5
random.seed(SEED)
torch.manual_seed(SEED)

7-1. Review Data 수집 및 전처리

import urllib.request

urllib.request.urlretrieve("https://raw.githubusercontent.com/LawrenceDuan/IMDb-Review-Analysis/master/IMDb_Reviews.csv", filename="IMDb_Reviews.csv")

import pandas as pd

df = pd.read_csv('IMDb_Reviews.csv', encoding='latin1')
df.head()

샘플 갯수 확인

print('전체 샘플의 개수 : {}'.format(len(df)))

Sample 수가 많으므로, 연산 분석용으로 대폭 줄여 새로운 파일을 만든 후 사용

df = pd.read_csv('IMDb_Reviews_test.csv', encoding='latin1')
df.head()
print('전체 샘플의 개수 : {}'.format(len(df)))

훈련 데이터, 평가 데이터, 테스트 데이터로 분리

train_df = df[:15]
test_df = df[15:]

train_df.to_csv("train_20_data.csv", index=False)
test_df.to_csv("test_20_data.csv", index=False)

7-2. Field 정의 및 Dataset 만들기

TEXT = data.Field(sequential=True,lower=True, batch_first=True)
LABEL = data.Field(sequential=False, batch_first=True)

trainset, testset = TabularDataset.splits(
        path='.', train='train_20_data.csv', test='test_20_data.csv', format='csv',
        fields=[('text', TEXT), ('label', LABEL)], skip_header=True)

field: Data column format 정의

Dataset sample 확인

print('훈련 샘플의 개수 : {}'.format(len(trainset)))
print('테스트 샘플의 개수 : {}'.format(len(testset)))

print(trainset[0])

trainset 내용물 확인 방법
```
print(vars(testset[0]))
```

7-3. Vocabulary set 만들기

단어 집합 생성, 단어 수가 적으므로 최소 횟수를 2로 설정

TEXT.build_vocab(trainset, min_freq=2)      
LABEL.build_vocab(trainset)

n_vocab = len(TEXT.vocab)
print('단어 집합의 크기 : {}'.format(n_vocab))

수집된 전체 단어 확인
```
print(TEXT.vocab.stoi)
```

훈련 데이터와 평가 데이터 분리

trainset_2, valset = trainset.split(split_ratio=0.75)

print('훈련 샘플의 개수 : {}'.format(len(trainset_2)))
print('평가 샘플의 개수 : {}'.format(len(valset)))

7-4. Data loader

Dataloader test

BATCH_SIZE = 2

train_iter, val_iter, test_iter = data.BucketIterator.splits(
        (trainset_2, valset, testset), batch_size=BATCH_SIZE,
        shuffle=True, repeat=False, sort=False)               

print('훈련 데이터의 미니 배치의 개수 : {}'.format(len(train_iter)))
print('검증 데이터의 미니 배치의 개수 : {}'.format(len(val_iter)))
print('테스트 데이터의 미니 배치의 개수 : {}'.format(len(test_iter)))

shuffle 진행 안하면 Data 변환 추적 쉬움.
data.BucketIterator.splits 조건에 sort=False를 하지 않으면 “ ‘<’ not supported … “ Error 발생

batch = next(iter(train_iter))       # Dataloader가 iterator 역할을 잘하는지 확인.
print(batch)                         # 재실행 때마다 sample 크기 변해야 됨.

batch2 = next(iter(val_iter))
print(batch2)

print('훈련 데이터의 샘플의 개수 재확인 : {}'.format(len(train_iter.dataset)))
print('검증 데이터의 샘플의 개수 재확인 : {}'.format(len(val_iter.dataset)))
print('테스트 데이터의 샘플의 개수 재확인 : {}'.format(len(test_iter.dataset)))

batch Iterator test

for b, batch in enumerate(train_iter):
    x, y = batch.text.to(DEVICE), batch.label.to(DEVICE)
    print('b is {}. batch is {}'. format(b, batch))              # batch 개수 확인

for b, batch in enumerate(train_iter):
    x, y = batch.text.to(DEVICE), batch.label.to(DEVICE)
    print('x is {}. y is {}'. format(x, y)) 
    print('수정된 Y 값:' , y.data.sub_(1))    # lable 값 조정: y값에서 () 값을 뺌, sub 대신 add를 하면 더함

7-5. Reviewing RNN, GRU Model

Embedding, RNN/GRU, Cost Function 동작 확인

hyperparameters

n_classes = 2     # 분류되어야 할 결과 수 (긍정 or 부정)
embed_dim= 8      # 임베딩 된 차원의 크기 : RNN 층 입력 차원의 크기가 됨
hidden_size = 6   # RNN의 은닉층 크기

Embedding Test

Emb_Test=nn.Embedding(num_embeddings=n_vocab,   embedding_dim=embed_dim)

num_embedding는 trainset 단어 전체 갯수인 n_vocab로 지정

가중치 확인

print(Emb_Test.weight.shape)   # (단어갯수, embedding dim)
print(Emb_Test.weight) 

임베딩 결과 차원 확인 : (batch 크기 x 문장 단어 크기 x embedding 크기)

print(Emb_Test(x).shape)
print(Emb_Test(x).size(0))        # batch size 출력

RNN input Test

rnn_test = nn.RNN(embed_dim, hidden_size, batch_first=True) 

model에 구성된 파라미터 가중치 확인 : 추가 분석은 아래 참고

print(rnn_test.parameters())
print(next(rnn_test.parameters()).shape)     # 벡터 크기 : (hidden_size, embed_dim)

output_rnn, hidden_rnn = rnn_test (Emb_Test(x))      # Tuple 형태의 결과를 분리
print(output_rnn.shape)                # (batch 크기 x 문장 길이 x 은닉층 크기)
print(hidden_rnn.shape)                # (층 크기 x batch 크기 x 은닉층 크기)

GRU input Test

긴 문장에서는 RNN보다 GRU가 더 나은 결과를 보임

gru_test = nn.GRU(embed_dim, hidden_size, batch_first=True)

# model에 구성된 파라미터 가중치 확인 : 추가 분석은 아래 참고
print(gru_test.parameters())                # RNN과 parameter 벡터가 다름
print(next(gru_test.parameters()).shape)    # (hidden_size x3 , embed_dim)

output_gru, hidden_gru = gru_test (Emb_Test(x))      # Tuple 형태의 결과를 분리
print(output_gru.shape)             # 결과와 은닉 가중치 벡터 크기는 RNN과 동일
print(hidden_gru.shape)

Return Analysis

image-center

리뷰 감성 분류는 긍정/부정 하나의 분류이므로, RNN 다대일 구조이며, 이 경우 RNN 연산 결과는 n개 은닉 상태 중에서 마지막 번째만 선택

x_out = output_rnn[:, -1, :]
print(x_out)

dropout

dropout_p=0.3         # '0'은 dropout이 없고, '1'이면 모두 zero로 만듬
dropout = nn.Dropout(dropout_p)
x_out = dropout(x_out)
print(x_out)

Linear Regression test for Binary Selection

linear_test = nn.Linear(hidden_size, n_classes)
out=linear_test(x_out)
print(out)                          # (batch 크기 x 분류 갯수)