「このブログ投稿は、NotebookLMで作成されました。」 🎧 音声でサクッと聴く（AI日本語ラジオ） マルチモーダルAIの「常識」が覆る！入力順序のたった1つで回答が変わる脆弱性 画像、テキスト、音声など、複数のモダリティを理解し、人間のような推論を行う「マルチモーダル大規模言語モデル（MLLMs）」は、AIの未来を切り開く技術として注目されています。しかし、最新の論文は、その信頼性を揺るがす衝撃の事実を明らかにしました。 なんと、MLLMsは入力される情報の「順序」が少し変わるだけで、全く異なる回答を導き出してしまうというのです。これは、まるで証拠の提示順序によって裁判官の判断が変わるようなもの。従来の評価方法では見過ごされてきた、AIの隠れた「気まぐれ」が露呈しました。 実はAIは気まぐれ？驚きの調査結果 本論文では、「Facet-Probe」という独自の手法を用い、18種類の最先端MLLMs（フロンティアモデルからオープンウェイトモデルまで）を詳細に監査しました。その結果は驚くべきものでした。 順序不変なモデルは「ゼロ」 : 監査された18モデルのうち、入力順序の変化に対して完全に一貫した回答を出すモデルは一つもありませんでした。 高い回答の反転率 : オプション、証拠チャンク、文書ランク、画像セット、混合モダリティといった5つの異なる側面で順序を変えると、回答が反転する確率は驚異の24〜50%にも達しました。 トップモデルも例外ではない : Googleの最先端モデル「Gemini」でさえ、13.4%もの試行で回答が反転することが確認されました。 プロンプトだけでは不十分 : 回答の安定化を試みるプロンプトの変更も、特定のモダリティに限定され、汎用的な効果は見られませんでした。 これは、AIが表面的な理解に留まり、情報の意味内容ではなく、その提示順序に大きく左右されていることを示唆しています。特に、監査、医療診断、法務など、高い信頼性と一貫性が求められる分野へのAI導入においては、非常に深刻な課題となります。 日本のビジネスパーソンが知るべき未来への示唆 この研究結果は、日本のビジネスパーソンにとって、マルチモーダルAIの導入と活用において重要な示唆を与えます。 信頼性への影響とリス...