从零构建中学习 LLM 第7章读书心得与挑战回顾

第7章的内容是让模型遵循指令进行微调的过程。

也就是让它针对某个问题给出我们期望的回答。

果然，最需要的还是数据。

1. 指令微调步骤

这里的核心是准备好问答数据集，用作输入-输出对来进行训练。

这就叫做提示（prompt）风格。

其他部分就像之前的流程一样，对内容进行分词（tokenize）、训练和评估，过程相似。

2. 挑战回顾

看到长达6周的挑战周期，我一开始还自信地想：这么薄一本很快就能看完！，结果还是败下阵来。

光是理解意思就花了相当多的时间。

说实话，这段时间也确实挺忙的。

有大约两周都在准备天文教室，每天晚上十点多才到家，而回到家后，孩子们又在等着我。

即便如此，我还是会为每次这样勇于挑战的自己感到欣慰，再给自己打打气，也下定决心要在 Inflearn 上把剩下的代码课程认真学完。