ファインチューニング
何をする技術か
ファインチューニングは、学習済みのモデルに対して新たなデータを膨大なリソースと時間を使用して追加で学習させる技術で、LLMに限らずディープラーニングで作成されたモデルには広く用いられています。
— IPA『テキスト生成AIの導入・運用ガイドライン』
要点は3つあります。
Googleの用語集は、より上位の語「チューニング」をこう定義しています。
チューニングとは、基盤モデルを特定のタスクでより正確に働かせるために適合させる工程である
— Google Cloud Generative AI glossary より和訳
同じ用語集は、使いどころの例として「教師ありのファインチューニングは、分類・翻訳・要約を伴うタスクによく使われる」と挙げています。
知識を足す手段ではありません
ここが一番誤解されます。Microsoftの公式ドキュメントは、用途の違いで線を引いています。
| | 使う場面（Microsoftの記述） | | --- | --- | | ファインチューニング | 新しい知識を足すのではなく、モデルの振る舞い・文体・タスクの性能を変えたいとき | | RAG | 非公開のデータ、または頻繁に変わるデータに根拠づけた回答が必要なとき |
「新しい知識を足すのではなく」と明示されています。 社内規定を覚えさせたい、という目的には設計上向きません。 答え方の癖・文体・特定タスクの精度を寄せたいときの手段です。
資料によって書き方が違います
ここは資料どうしが食い違っているので、両方を出します。
IPAのガイドラインは、効果の比較としてこう書いています。
ファインチューニングと RAG の効果は単純に比較することは難しいですが、Microsoft の検証結果では、RAGのほうがファインチューニングよりも優れたパフォーマンスを発揮するとされています
— IPA『テキスト生成AIの導入・運用ガイドライン』
一方で、Microsoft自身の公式ドキュメント（上の表）は、優劣ではなく用途の違いとして書いています。
- IPA … 「RAGのほうが優れたパフォーマンス」（Microsoftの検証結果として紹介）
- Microsoft の公式ドキュメント … 目的が違うので使い分ける
どちらが正しいとはここでは書きません。 IPAが参照している検証と、公式ドキュメントが想定している場面が同じとは限らないためです。 実務上は、「知識を足したいのか、振る舞いを変えたいのか」を先に決めるほうが判断を誤りません。
なお、IPA自身も比較は難しいと前置きしています。
やっても誤りは消えません
また、ファインチューニングを利用したテキスト生成AIにおいても同様に、追加学習に使用したデータが正しかったとしても、誤った回答を出力する可能性があります。
— IPA『テキスト生成AIの導入・運用ガイドライン』
追加学習したデータが正しくても、誤りは出ます。 ハルシネーションはファインチューニングで解消する問題ではない、ということです。
ガイドラインはそもそも、ファインチューニングとRAGを回答精度の課題への対策として並べて紹介しています（「この課題を克服するために技術開発が進められており、本項ではその技術の中でもファインチューニングとRAG」）。対策であって、解決ではありません。
用意するデータの質が効きます
ファインチューニングを行うにあたり、学習させるデータの量と質が性能に大きく影響するため、ノイズや重複の削除などを行ったデータを大量に用意することが重要になります。
— IPA『テキスト生成AIの導入・運用ガイドライン』
「大量に」と「ノイズや重複の削除」の両方が条件です。 手元に数十件の事例があるから試せる、という規模の話ではありません。学習データの整備が先に来ます。
運用で効いてくる制約
OpenAIの料金ドキュメントは、作ったモデルの寿命について書いています。
ファインチューニングしたモデルはいずれも、その基になったモデルが廃止されるまでは推論に使える状態で残る
— OpenAI API Pricing より和訳
基になったモデルが廃止されると、作ったモデルも使えなくなります。 新しいモデルに乗り換えるたびに作り直すことになるので、その前提で費用を見ることになります。
コストの構造については、NISTが工程ごとに違うと書いています。「エネルギーと炭素の排出量は、生成AIモデルで何をしているか（事前学習・ファインチューニング・推論）、扱う情報の形式、使うハードウェア、タスクや用途の種類によって変わる」。 推論と違い、ファインチューニングはかけた時点でまとまった費用が出る工程です。
こう言えば一度で済む
こう言うと伝わらない 「自社用にAIを学習させたいです」
こう言えば一度で済む 「回答の文体を社内の問い合わせ対応マニュアルに寄せたいです。参照する資料そのものは毎月変わるので、資料は外から渡す形にしたいです」
後者なら、相手は文体はファインチューニング、資料はRAGと切り分けて設計できます。