맥북에 물을 한바가지 쏟은 후, 멘붕이 와서 3~4일 정도를 허비했다.

지금 생각해보니 그냥 어차피 맥북은 나간거고, 수리 맡긴다고 생각하고 뭐라도 할걸 그랬나 싶다.

어쨌든 조금 늦었지만, 그래도 끝까지 달려봐야 한다는 생각에 3장 후기를 남긴다.

1. 어텐션 메커니즘

3장의 주 내용은 어텐션 메커니즘이다.

어텐션은 말 그대로 문장에서 어떤 부분을 주목하고 싶은지를 나타낸다.

예를들어 나는 어제 밥을 먹었다 는 문장을 이해한다고 해보자.

우리는 자연스럽게 나, 어제, 밥, 먹었다와 같은 단어들에 집중하게 될 것이다.

이처럼 처리중인 단어를 이해하기 위해서는 어떤 단어들과의 결합이 필요하고, 어텐션 메커니즘을 통해 단어들의 조합으로 문맥을 이해하도록 하는 것이다.

2. 셀프 어텐션

셀프 어텐션은 문장 안에서 토큰들 사이의 관계를 구하는 것이다. 

이미 토큰을 아래와 같이 임배딩 벡터로 구현했다고 하자.