ハルシネーション

« Back to Glossary Index

( 1 ) ハルシネーションとは

ハルシネーションとは、生成AIが事実と異なる情報を回答してしまう現象を指します。ハルシネーション(Hallucination)は、もともと「幻覚、幻影」を意味する言葉で、AIがあたかも事実のような「もっともらしいうそ」を出力することに由来します。

ハルシネーションによって、存在しない事例や虚偽の情報が生成されることで、深刻なトラブルに発展するリスクがあります。ハルシネーション対策は急務の課題とされており、モデルの改良や出力の精査など、さまざまな取り組みが進められています。しかし、現時点ではハルシネーションを完全に防ぐことはできません。ハルシネーションによるリスクを防ぐためには、利用者もその特性を理解し、適切に活用することが求められます。

( 2 ) ハルシネーションの原因

ハルシネーションが発生する原因として、主に次のような問題が考えられます。

●学習データの不完全さ

AIは、インターネット上から収集した膨大なデータをもとに学習します。学習データに誤った情報や偏った情報が含まれていると、不正確な回答を生成してしまう可能性があります。また、最新の情報や特定のカテゴリに関してデータが不足している場合、無関係の情報や、関連性の低い情報を組み合わせてしまうことがあります。

●生成AIの特性と限界

生成AIの設計自体が原因となる場合があります。テキスト生成などの場合、文脈に基づいて次に続く単語を確率的に予測します。そのため、情報の正確性よりも自然な文脈を重視して、事実と異なる回答を出力することがあります。また、AIは単語の意味や文脈を深く理解しているわけではないため、文脈に適さない単語を使用してしまうこともあります。

( 3 ) ハルシネーションの種類

ハルシネーションには、大きく分けて2つの種類があります。

内在的ハルシネーション(Intrinsic Hallucinations)学習データとは異なる内容を出力する現象で、AIが学習データの関連性や解釈を誤ることで発生します。学習データに存在する情報をもとに、誤った出来事や不正確な情報を生成するものです。

外在的ハルシネーション(Extrinsic Hallucinations)学習データに存在しない内容を出力する現象で、生成AIが学習データにない情報や概念を新たに作り出すケースです。実在しない人物や出来事に関する説明、または完全に架空の情報を生成するものです。

( 4 ) ハルシネーションの事例

事例1:対話型AIサービスが不正確な情報を拡散

2023年、クラウド大手が発表した対話型AIサービスにおいてハルシネーションが発生し、不正確な情報が拡散されました。発表時のデモ動画内の回答に誤りがあると複数の専門家がSNSで指摘したことで発覚し、大きな混乱を招きました。発覚後の対応の遅れにより企業の信頼が損なわれ、株価が大幅に下落するなど経済的損失につながりました。

事例2:虚偽情報の生成により開発元を訴訟

2023年、米国のラジオパーソナリティが、生成AIの虚偽情報によって名誉を毀損されたとして、開発元を提訴しました。あるジャーナリストが裁判資料の要約を生成AIで作成した際、当該パーソナリティが非営利団体の資金を横領したとする誤った内容が含まれていたというものです。実際にはそのような事実はありませんでした。

事例3:弁護士が存在しない判例を引用

2023年、米国の弁護士が生成AIを利用して作成した裁判資料に、存在しない判例が引用されていたとして問題視されました。この弁護士はAIが生成した情報を真実と信じて提出しましたが、相手方の指摘で誤りが判明。「判例が捏造されるとは考えていなかった」と証言したものの、裁判所は意図的行為と判断し、5000ドルの罰金を科しました。

( 5 ) ハルシネーションの対策

ハルシネーションを抑制するためにさまざまな研究が進められていますが、現時点で完全に制御する方法は見つかっていません。そのため、生成AIを業務に活用する企業は、ハルシネーションが発生することを前提に対策を講じる必要があります。

●プロンプトを工夫する

プロンプト(質問や指示)の内容によって、ハルシネーションの発生が左右されます。
以下のようにプロンプトを工夫することで、ハルシネーションの発生を抑えることが期待できます。

  • 具体的かつ明確な指示をする
  • 信頼できる情報源を指定する
  • 一度に複数の質問をしない

また、プロンプトの最後に「わからない場合、わからないと答えてください」と付け加えるだけでも、ハルシネーションを抑制する効果があります。

●マニュアルを作成する

生成AIの使用に関するマニュアルを作成し、使用者すべてに周知徹底します。マニュアルには、ハルシネーションの原因やリスク、対策方法を具体的に記載し、機密情報を取り扱う場合の使用制限やルールを策定することで、情報漏洩のリスクを軽減できます。

●ファクトチェックを徹底する

生成AIの回答を使用する際は、ファクトチェックは欠かせません。特に、正確性が求められる場合、ファクトチェックを徹底するプロセスを構築し、回答結果を検証する仕組みを整備することが重要です。また、ファクトチェックは情報の正誤性だけでなく、「差別や偏見を助長する表現がないか」「知的財産権を侵害していないか」など情報モラルへの配慮も必要です。

« Back to Glossary Index