学習データ

IPAのガイドラインの用語解説が、そのまま定義になっています。

学習データ 機械学習モデルを学習させる上で必要となる情報のこと。

— IPA『テキスト生成AIの導入・運用ガイドライン』

同じ資料は、生成AIの場合の重みづけも書いています。

特に生成AIに関しては、学習データの品質が回答精度に大きく影響を与える。

— IPA『テキスト生成AIの導入・運用ガイドライン』

「量が多ければよい」ではなく、品質が精度に効くという書き方です。

ここを分けておくと話が通りやすくなります。総務省の白書は、機械学習で使うデータを2種類に分けています。

ここでは便宜的に、前者を「学習用データ」、後者を「推論用データ」と呼ぶ。

— 総務省『令和元年版 情報通信白書』

前者がこの記事の「学習データ」、後者は推論のときに入力するデータです。 モデルを作るために使うのか、出来上がったモデルに入れるのかで、別の名前が付いています。

白書は、どちらもそのまま使えるわけではないとも書いています。

次に、学習用データと推論用データは、学習・推論に適した形とする必要がある。

— 総務省『令和元年版 情報通信白書』

これらを学習用・推論用データの加工あるいは前処理といい、この部分が機械学習にデータを活用する際のハードルとなることがあり得る。

— 総務省『令和元年版 情報通信白書』

ここは確認できた範囲が限られます。

IPAのガイドラインは、情報源の例を挙げています。

訓練データの情報源として、CommonCrawl、WebText、OpenWebText、書籍などが使われます。

— IPA『テキスト生成AIの導入・運用ガイドライン』

ただし、これは一般的な例示です。個別のモデルが何で学習したかは、別の問題として扱われています。

学習データにおいて透明性を有する状態とは、LLMがどのようなデータを元に学習を行ったのかが可視化された状態にあることです。

— IPA『テキスト生成AIの導入・運用ガイドライン』

そのうえで、同じ資料は現実的な見通しを書いています。

なお、学習データはLLMの性能に直結する重要な情報であることから、開示されない可能性が十分に考えられますが、責任分界点の明確化のために学習データを確認する行動そのものが重要になります。

— IPA『テキスト生成AIの導入・運用ガイドライン』

「開示されないことが多い」と公的資料が書いているという点が重要です。「このAIは何で学習しているのか」は、多くの場合答えが得られません。

NISTは、これがリスク評価そのものを難しくすると書いています。「リスクの見積りの難しさは、生成AIの学習データが見えないことと、AIの計測と安全性に関する科学が今のところ未成熟であることによって、さらに大きくなっている」。

公的資料が名前を挙げているものを挙げます。

1. バイアスが出力に残る

生成物にはモデルが使用した学習データに基づくバイアスが含まれる可能性があります。

— IPA『テキスト生成AIの導入・運用ガイドライン』

NISTはより踏み込んで、何の害になるかまで書いています。「生成AIモデルの有害なバイアスは学習データに由来することがあり、表象上の害を生じさせたり、人種・性別・障害その他の保護される属性に基づくバイアスを固定・増幅させたりしうる」。

2. 入力したものが学習データになる場合がある

生成AIに入力したプロンプトが学習データとして利用されると、第三者によるプロンプトの生成物にそれらの情報が含まれる可能性があります。

— IPA『テキスト生成AIの導入・運用ガイドライン』

これはプロンプトに何を書くかの話に直結します。 社内の機密を貼る前に、そのサービスが入力を学習に使う設定かどうかを確認することになります。

3. 汚染される

IPAは攻撃手法としても挙げています。「LLMの訓練データが改ざんされ、セキュリティ、有効性、倫理的行動を損なう脆弱性やバイアスなどが入り込むことです。」

NISTも、攻撃手法として同じものを挙げています。

生成AIに対するもう一つのセキュリティ上のリスクはデータポイズニングであり、攻撃者がモデルの使う学習データセットを侵害して、出力や動作を操作するものである

— NIST AI 600-1 より和訳

IPAのガイドラインは、争点をはっきり書いています。

つまり、インターネット上に存在する個人情報や著作物をAIモデルの学習データとして利用することの是非が争点となっています。

— IPA『テキスト生成AIの導入・運用ガイドライン』

「決着した」とは書かれていません。 争点である、という段階の記述です。

IPAのガイドラインは、AIの性能向上が鈍化しうる理由のひとつとして「その一つが学習データの枯渇に関する問題です。」と書いています。

ただし、この先の具体的な年代はIPAが別の報告書（AI Index Report）を引いて紹介しているもので、IPA自身の推計ではありません。ここでは「そういう見通しが紹介されている」までにとどめます。

こう言うと伝わらない 「このAIは何を学習しているんですか」

こう言えば一度で済む 「こちらが入力した文章が学習に使われる設定になっていますか。使われない設定に変えられますか」

前者は多くの場合答えが得られません（上記のとおり、開示されないことが多い）。 後者は契約や設定の話なので、確認できます。