ゼロから作りながら学ぶ LLM 第7章 読書レビューとチャレンジの感想

第7章の内容は、指示に従うように微調整するプロセスだ。

ある質問に対して、期待する応答を返すようにすること。

やはり必要なのはデータである。

1. 指示微調整の手順

ここでの要点は、質問と応答のデータセットを用意し、入力-出力のペアとして学習させること。

これをプロンプトスタイルと呼ぶ。

その他は以前のプロセスと同様に、内容をトークン化し、学習させ、評価する流れは似ている。

2. チャレンジの感想

6週間という長いチャレンジ期間を見て、この一冊くらいならすぐ終わるさ！という自信で始めたものの、結局は敗北した。

意味を理解するだけでもかなり多くの時間を費やした。

実際、忙しかったというのもある。

2週間ほどは天文教室の準備で、毎日10時を過ぎてから家に帰り、家に着くとまた子どもたちが私を待っていたのだ。

それでも毎回こうして挑戦している自分をえらいと褒めつつ、もう一踏ん張りしようと気合を入れ、Inflearn に残っているコード講座も一生懸命受講しようと心に決めた。