マルチモーダル

形式（モード）が複数、という意味です。 テキストだけでなく、画像・音声・動画も同じモデルで扱えることを指します。

Googleの用語集は、入力の側からこう書いています。

モデルによっては、プロンプトにテキスト・画像・動画・音声・文書その他の形式、あるいは複数の形式（マルチモーダル）を含められる

— Google Cloud Generative AI glossary より和訳

「モデルによっては」と条件が付いている点が大事です。すべてのモデルが対応しているわけではありません。

変化は、ここを読むと一番はっきりします。

従来の典型的な開発の流れでは、音声を処理するために、音声からテキストへのモデルとテキストからテキストへのモデルのように、分野ごとの複数のモデルをつなぎ合わせる必要があった

— Gemini API Docs「Long context」より和訳

つまり以前は、音声を文字に起こすモデル → 文字を処理するモデルという順番で、別々のものを並べて使っていました。 同じ資料は、いまのモデルについて「これらのモデルは、テキスト・動画・音声・画像をそのまま理解できる」と書いています。

繋ぎ替えが要らなくなったことで何が困らなくなるか、についても書かれています。

内容をざっと見ることは難しく、書き起こしでは動画の細かな意味を捉えきれないことが多く、ほとんどのツールは画像・テキスト・音声をまとめて処理しない

— Gemini API Docs「Long context」より和訳

書き起こしを経由すると落ちる情報がある、というのが「まとめて扱える」ことの実利です。

総務省の白書は、マルチモーダルを生成AIの特徴として挙げています。

生成AIは、ユーザー側の調整やスキルなしに自然な言語で指示を出すだけで容易に活用できるものであり、テキスト、画像、映像等の多様な形式（マルチモーダル）のアウトプットが取得できるものである

— 総務省『令和6年版 情報通信白書』

高い汎用性・マルチモーダル機能を通じてAIが単一のタスクに限定されず、様々なデータ形式や入力に対応し、多様なタスクを同時に処理できるようになったことで、その有用性が一層高まった。

— 総務省『令和6年版 情報通信白書』

白書は出力の多様さを、Geminiのドキュメントは入力の扱いを書いています。どちらも「形式が複数」という同じ性質の別の面です。

Googleの用語集は、ここを区別しています。

ただしLLMはテキストを扱うものであり、一方で基盤モデルはテキスト・画像・音声・動画を含む複数の形式で学習し、入力として受け取ることができる

— Google Cloud Generative AI glossary より和訳

用語の上では、マルチモーダルなのは基盤モデルのほうで、LLMはテキストのものという整理です。 ただし同じ用語集は、この2語が同じ意味で使われることがあるとも書いています。製品名で語られるときは、この区別は保たれていません。

形式が違っても、処理する単位は共通です。

トークンは、画像・動画・音声のようなマルチモーダルの入力も表しうる

— Google Cloud Generative AI glossary より和訳

エンベディングの手法は、マルチモーダルの入力を、モデルがトークンとして処理できる数値表現に変換する

— Google Cloud Generative AI glossary より和訳

画像や音声もトークンとして数えられます。 料金やコンテキストウィンドウの上限は、この単位で効いてきます。 形式の違いは、エンベディングの段階で数値表現に揃えられています。

「いまのAIは何でも入れられる」

資料の書き方はもっと控えめです。Geminiのドキュメントは「ほとんどの生成モデルにとって標準的な使い方は今でもテキスト入力だが、Geminiのモデル群はマルチモーダルな使い方という新しい形を可能にしている」と書いています。

ベンダー自身の資料が「ほとんどのモデルでは今でもテキストが標準」と書いているということです。使うモデルごとに、対応形式を確認することになります。

こう言うと伝わらない 「マルチモーダル対応のAIを使いたいです」

こう言えば一度で済む 「会議の録音ファイルをそのまま渡して、議事録と決定事項を出させたいです。文字起こしを別で取る工程を省きたいです」

後者なら、相手は音声を直接入力できるモデルを探す話だと判断できます。