UnslothによるQwen3.5ファインチューニング完全ガイド

概要

Unslothライブラリを使用して、Qwen3.5モデル群を1.5倍高速かつ50%少ないメモリで効率的にファインチューニングする方法を解説する技術ガイドです。

詳細内容

UnslothによるQwen3.5シリーズ（0.8B、2B、4B、9B、27B、および35B/122BのMoEモデル）の最適化された学習手順をまとめています。従来のFlash Attention 2構成と比較して、1.5倍の速度向上と50%のVRAM削減を実現しており、テキストだけでなくVision（VLM）モデルの学習にも対応しています。MoEモデル向けには、専用のカーネルにより最大12倍の高速化と35%以上のメモリ節約を提供します。ガイド内では、推論能力を維持するためのデータセットのヒント、Colabでのクイックスタート、GGUFやvLLM形式へのエクスポート方法、さらにマルチ画像対応のVisionファインチューニング設定などが具体的に示されています。また、最新のTransformers v5の使用や、MoEモデルでのQLoRA（4-bit）非推奨などの重要な注意点も網羅されています。

元記事を読む他のサマリーを見る