[NLP] 자연어 처리를 위한 시퀀스 모델링 (Attention, 어텐션 메커니즘)

 

-- 본 포스팅은 파이토치로 배우는 자연어 처리 (한빛미디어) 책을 참고해서 작성된 글입니다.
-- 소스코드는 여기

 

1. 어텐션 (Attention)

1.1 어텐션 등장 배경

1. 앞서 언급한 seq2seq 모델은 '전체 입력 문장'을 하나의 벡터로 인코딩하기에, 짧은 문장에만 적합하고 긴 문장에서는 전체 입력 정보를 제대로 감지하지 못한다는 문제점 발생
   즉, 하나의 고정된 크기의 벡터에 모든 정보를 담다보니 정보 손실이 발생한다.
2. RNN의 고질적인 문제인 기울기 소실 문제 (Vanishing Gradient)가 존재한다.

▶ 이런 RNN에 기반한 sequence모델의 문제들은 기계 번역 분야에서 입력 문장이 길면 품질이 떨어지는 치명적인 단점으로 작용

▶ 따라서 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 현상을 보정해주기 위한 기법인 어텐션이 등장했음.

 

1.2 어텐션

사람으로 예를 들어 설명하자면, 

• 일반적으로 사람은 인코더, 디코더 방식 처럼 문장의 의미를 추출한 뒤, 이를 바탕으로 번역하지 않는다
• 한글의 의자는 영어로 chair임을 알고, 한글의 ~의는 영어의 of임을 알고 번역을 한다. (즉, 머릿속에 저장된 것을 떠오르는 방식으로 번역을 진행)
• 책을 읽을 때 모든 문장을 처음과 끝으로 바라보고 기억하는 것이 아니라, 한 단어씩 읽으면서 주변 단어에 주의를 기울이고 읽어나간다.

▶ 즉, 사람들은 출력을 생성할때 관련된 입력 부분에 초점을 두어 번역을 하게되는데, 이를 '어텐션'이라고 한다. 책을 읽으면서도 모든 단어에 어텐션을 부여하며 읽게된다. 

 

1.3 어텐션 메커니즘 (Attention Mechanism)

• 전체 입력의 최종 요약이 아니라, 입력의 여러 부분에 어텐션을 부여하는 시퀀스 생성 모델
• 신경망의 성능을 높이기 위한 메커니즘
• 디코더에서 출력 단어를 예측하는 매 time step 마다 인코더에서의 전체 입력 문장을 다시 한 번 참고함
  • 전체 입력 문장 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 본다는 아이디어

1.4 dot-product Attetion의 동작방식

다양한 종류의 어텐션 메커니즘이 존재하지만, 어첸션의 이해를 위해 닷 프로덕트 어텐션 (dot_product_attention) 을 활용하여 어텐션의 동작방식을 이해해 보자. (다양한 종류의 어텐션 메커니즘은 여기를 클릭하면 확인 할 수 있다.)

출처) https://wikidocs.net/22893

1. 디코더의 첫번째, 두번째 단어는 이미 어텐션 메커니즘을 통해 예측이 완료됐다고 가정하고, 세번째 단어인 Suis를 예측하기 위한 과정을 설명하고 있다.
2. 디코더의 세번째 단어를 예측하기 위해 LSTM 셀에서 인코더의 모든 입력단어를 다시 참고하고자 한다. 그래서 세번째 LSTM 셀에서 네개의 뻗어나가는 화살표를 볼 수있다.
3. 우선 ● 부분을 보자. 이 부분에서 어텐션 스코어를 구하게 된다. (자세한 계산 방법은 여기)
4. 이후 ■ 부분을 보면, 소프트 멕스 함수를 통해 어텐션 분포를 구한다. 소프트맥스 함수를 통해 나온 결과값은 I, am, a, student 단어 각각이 출력 단어를 예측할 때 얼마나 도움이 되는지 정도를 수치화해서 표현한 값이다. 이를 빨간색 직사각형의 크기로 수치의 크기로 포현해 놓았다.
5. 다음으로 ▲ 부분을 보자. 이 부분에서는 각 어텐션의 가중치와 은닉 상태를 가중합하여 어텐션 값 (attention value)를 구하는 과정을 거친다. 즉, 앞서 소프트맥스 함수로 구한 수치화된 값을 하나의 정보로 담아서 디코더로 전송하는 과정이다.
6. 마지막 과정에서 도출된 어텐션 값(attention value)와 디코더의 t시점의 은닉상태를 연결한 후, 예측을 수행하게 된다.

 

1.5 어텐션이 필요한 이유

파이토치로 배우는 자연어 처리 p.225

• 해당 그래프는 어텐션을 사용할 때 (RNNsearch-50, RNNsearch-30)과 그렇지 않을 때(RNNenc-50, RNNenc-30) 기계 번역 시스템의 BLEU 점수 변화를 보여준다.
• 뒤에 붙어 있는 30과 50은 각각 최대 단어 길이가 30, 50 문장이라는 뜻
• 어텐션이 없는 기계번역시스템은 문장 길이가 길수록 성능이 감소한다.
• 어첸션을 사용하면 긴 문장의 번역 성능이 향상되지만, 기계번역의 성능은 훈련된 문장의 길이에 비례하게 된다. 

 

1.6 어텐션 함수

https://wikidocs.net/22893

• 쿼리(Query) : t 시점의 디코더 셀에서의 은닉 상태
• 키(Key) : 특정시점의 인코더 셀의 은닉 상태
• 값(Value) : 어텐션을 사용할 때의 인코더는 최종 은닉 상태 뿐만 아니라 중간 타임 스텝의 은닉상태도 고려하는데, 인코더의 이런 은닉상태를 값이라고 부름

파이토치로 배우는 자연어 처리 p.227

• 해당 사진은 t=0일 때의 어텐션 과정을 보여줌
• 어텐션은 주의를 기울이려는 값이ㅡ 개수와 차원이 같은 벡터 하나로 표현되는데, 이를 '어텐션벡터 or 어텐션가중치 or 정렬' 이라고 부름.
• 어텐션 가중치는 인코더 상태 (값)과 연결되어 문맥벡터를 생성
• 전체 문장의 인코딩 대신에 해당 문맥벡터가 디코더의 입력이 됨
• 다음 타입스텝의 어텐션 벡터는 호환성함수를 사용하여 업데이트 된다. 
  • 호환성 함수는 사용하는 어텐션 메커니즘에 따라 다르다.

▶ 어텐션을 구현하는 방법 (추후 자세한 설명 필요)

• Content-aware attention (콘텐츠 인식 어텐션)
• location-aware attention (위치 인식 어텐션)
  • 쿼리벡터와 키만 사용
• soft attention (소프트 어텐션)
  • 어텐션 가중치가 0과 1 사이의 실수
• global attention (전역 어텐션)
  • 입력의 모든 타임 스텝에 대해 인코더 상태를 사용하는 메커니즘
• local attention (지역 어텐션)
  • 현재 타입스텝 주위에 있는 입력에만 의존하는 메커니즘
• supervised attention (지도 어텐션)
  • 명시적으로 정렬 정보를 훈련 데이터로 제공하는 메커니즘
  • 동시에 훈련되는 별도의 신경망을 사용해서 어텐션 함수를 학습시킴
• multiheaded attention (멀티헤드 어텐션)
  • 트랜스포머 네트워크를 위한 메커니즘
  • 여러 어텐션 벡터를 사용해서 입력의 다양한 영역을 추적
• self attention (셀프 어텐션)
  • 입력의 어떤 영역에 영향을 미치는지 학습하는 메커니즘
• multimodal attention (멀티모달 어텐션)
  • 이미지와 음성처럼 입력의 형태가 다양할 때 사용하는 메커니즘

 

 

▶ 참고자료

1. 파이토치로 배우는 자연어 처리
2. 딥러닝을 이용한 자연어 처리 입문