Aunque he asistido a muchas clases, siento que aprender de forma autodidacta se recuerda más y se aprende más.
Por eso, cuando escuché que se abría un desafío de lectura completa de 'Aprender LLM desde Cero' en Inflearn, me inscribí de inmediato.
Como descubrí la importancia de los algoritmos en la última vez en Háng Lái 99, espero aprender muchas cosas esta vez también.
1. Resumen del contenido
Resumiendo lo esencial del capítulo 1, el inicio del LLM parte de la estructura Transformer.
En la estructura Transformer, se codifica el idioma y se decodifica el idioma objetivo para obtener el idioma traducido.
El codificador es el proceso de tokenización y vectorización del lenguaje, y la decodificación es el proceso de salida del lenguaje.
Si se toma solo la decodificación y se convierte en un programa, se obtiene un servicio como GPT. GPT ejecuta el decodificador repetidamente hasta que la oración se completa.
Para crear este tipo de modelo de lenguaje, se necesitan datos de entrenamiento.
Se puede utilizar datos de entrenamiento de código abierto para crear un modelo y afinarlo para desarrollar diversos servicios de LLM.
2. Impresiones
Al leer el libro, pude entender con precisión la estructura del LLM.
BERT, que surgió al aprender sobre vectorización, One-Hot Encoding que se utilizó para la codificación, todos eran técnicas de vectorización de palabras.
Solo con aprender esto ya valió la pena participar en el desafío.
También planeo escribir sobre el capítulo 2 después de leerlo en detalle.
댓글을 불러오는 중...