マルチモーダルとは?文字だけでなく、写真や声でAIとやり取りできる仕組みと、仕事での使い方

結論:文字・画像・音声・動画を、まとめて扱えるAIの性質

AIの説明を読んでいると、「マルチモーダル対応」という言葉が出てきます。難しそうに見えますが、写真を見せて質問したり、声で話しかけたりできるのは、この性質のおかげです。この記事では、マルチモーダルの意味と、仕事での使い方を説明します。

目次

結論:文字・画像・音声・動画を、まとめて扱えるAIの性質

結論:文字・画像・音声・動画を、まとめて扱えるAIの性質

マルチモーダルの「モーダル」は、情報の種類のことです。Google Cloudの説明では、マルチモーダルのモデルは、画像、動画、テキストなど、異なる種類の情報を処理できるモデルとされています。例として、クッキーの載ったお皿の写真を見せると、そのレシピを文章で返し、その逆もできる、という使い方が挙げられています(参考:マルチモーダル AI|Google Cloud)。

文字だけを読み書きするAIは、シングルモーダル(1つの種類だけ)と呼ばれます。マルチモーダルのAIは、「写真を見て、文章で答える」「声を聞いて、文字にする」のように、種類をまたいでやり取りできます。

生成AIとの関係

生成AIとの関係

Google Cloudの説明では、生成AIは、文章や画像、音声などの新しいコンテンツを作るAIの総称で、マルチモーダルは、複数の種類の情報を扱えるようにして、その力を広げるもの、とされています。つまり、マルチモーダルは生成AIの種類の名前ではなく、「どんな種類の情報を扱えるか」という性質の名前です。今のChatGPTやGeminiの多くは、マルチモーダルに対応しています。

身近な使い方の例

身近な使い方の例
  • 写真を見せて聞く:エラーが出た画面の写真を送って「何が起きていますか」と聞く。手書きのメモを撮って、文字に起こしてもらう
  • 資料を読ませる:グラフの入ったPDFを読ませて、要点をまとめてもらう
  • 声で話す:話しかけて、声で答えてもらう。ChatGPTの音声会話もこの例です(参考:ChatGPT 音声モード|OpenAI Help Center)
  • 文章から画像を作る:説明の文章をもとに、資料用のイラストを作ってもらう

仕事で写真や画像を使うときの頼み方

仕事で写真や画像を使うときの頼み方

画像を送るときも、文字だけのときと同じで、何をしてほしいかを一緒に書くことが大切です。写真だけを送ると、AIは何を答えればいいのかを推測で決めてしまいます。

  • 例:「この画面はExcelでエラーが出たところです。何が原因で、どこを直せばいいかを、手順で教えてください」
  • 例:「このホワイトボードの写真の内容を、決まったこと・担当者・期限に分けて表にしてください」

写真の文字や表は、読み間違えることがあります。数字や名前は、元の写真と見比べて確かめてください。

写真や画面を送るときの注意

写真や画面を送るときの注意

写真や画面には、伝えたいこと以外の情報も写ります。画面の端の通知、背景のホワイトボード、名札、取引先の名前などです。送る前に、写っているものを見直し、必要な部分だけを切り取りましょう。何を入力してはいけないかは、生成AIに個人情報を入力して大丈夫?で説明しています。

まとめ|写真も声も、頼み方は文字と同じ

まとめ|写真も声も、頼み方は文字と同じ

マルチモーダルとは、文字・画像・音声・動画など、いろいろな種類の情報をまとめて扱えるAIの性質です。写真を見せて質問したり、声で話したりできるのは、この性質のおかげです。画像を送るときも、何をしてほしいかを一緒に書き、写っている情報を確かめてから送りましょう。

あわせて読みたい

  • URLをコピーしました!
目次