강의를 많이 들으면서 느끼는 거지만, 강의를 들으며 배우는 것 보다 스스로 찾아나가면서 배우는 것이 더 오래 기억에 남고 더 많은 것을 배우게 되는 것 같다.

그래서 인프런에서 '밑바닥부터 만들면서 배우는 LLM' 완독 챌린지가 열린다는 말을 듣고 바로 신청했다.

지난번에 항해 99에서 알고리즘의 중요성을 깨달은 것 처럼, 이번에도 많은 것들을 배워 나갔으면 한다.

1. 내용 요약

1장의 핵심을 요약하자면, LLM의 시작은 트랜스포머 구조에서 시작된다는 것.

트랜스포머 구조에서는 언어를 인코딩하고, 타겟 언어를 디코딩하면서 번역된 언어가 나온다.

인코더은 언어를 토큰화, 벡터화 화는 과정이며 , 디코딩은 언어를 출력하는 과정이다.

여기서 디코딩만을 떼어 프로그램으로 만들면 GPT와 같은 서비스가 된다. GPT는 문장이 완성될 때 까지 디코더를 반복적으로 실행한다.

이러한 언어 모델을 만들기 위해선 학습데이터가 필요하다.

오픈소스로 있는 학습 데이터를 활용해 모델을 만들고, 이를 미세 튜닝으로 다양한 LLM 서비스를 만들 수 있다.

2. 느낀점

책을 읽으며 LLM의 구조를 정확하게 알 수 있었다.

벡터화를 배우면서 나왔던 BERT, 인코딩을 위해 썼던 One-Hot Encoding 등 모두 단어의 벡터화 기법 중 하나였다.

이것 하나 배운 것 만으로도 챌린지에 참여한 보람이 있다.

2장도 정독 후 한번 써보려고 한다.