1995年のテクニカルライターのようにドキュメントを書くためのLLM微調整

概要

1990年代のマイクロソフトの技術マニュアルを学習データとして、現代のLLMを当時の独特な執筆スタイルを再現するようにQLoRAで微調整した実験の記録。

詳細内容

著者は1980〜90年代のソフトウェア技術文書のスタイルを再現するため、Bitsaversにアーカイブされた古いマイクロソフトの公式マニュアル（約3700万語）をコーパスとして使用し、Llama 3.1 8BやQwen 2.5 7Bの微調整を行いました。実験ではQLoRAを用い、学習データ量やランク（Rank）、エポック数の違いがスタイル転送の精度に与える影響を分析しています。結果として、微調整されたモデルは現代的なMarkdown形式ではなく、当時の「Synopsis」や「Return Value」といった特有のセクション構造や硬い語彙を忠実に再現することに成功しました。また、ランクが低いアダプタの方が「なりきり」の強度が上がり、学習が進みすぎると現代の知識が混ざりやすくなるなどの興味深い知見が得られています。

元記事を読む他のサマリーを見る