生成AIで起こりうる情報漏洩とは

一般的な生成AIは入力された内容や自身の回答への評価を新たな学習ソースとして使用します。機密情報を入力しそれが学習されてしまうと，他人の生成物に出力・反映されてしまうリスクは否定できません。
実際には生成AIの仕組みからすると，誰かの入力情報がそのまま第三者の環境に出力されるリスクは低いと考えられますが，AIの出力の元情報を復元する技術^{1, 2)}もあります。 また，生成AI側の設定やバグ，不正アクセスなどが情報流出の原因となる可能性もあります。

入力する情報に流出してほしくない情報が含まれていないか，入力した情報が学習に利用されない設定になっているかなどに注意してご使用ください。

情報漏洩の事例

チャット履歴の漏洩³⁾

2023年にOpenAI社のChatGPTにおいて，他のユーザーのチャット履歴の一部などが表示されてしまうバグが生じました。また，有料版加入者の一部の支払情報が表示される状態になっていました。これはチャットの履歴を保存する仕組みなどに問題があったためであり，すぐに修正が行われました。

生成AIと著作権

文化庁の見解

著作権の普及啓発などの活動を行っている文化庁が，「AIと著作権について」⁴⁾というWebページで生成AIを使う上での著作権の考え方やチェックリストをまとめています。 生成AIの急速な発展・普及に伴い，現行の著作権法がAIとの関係でどのように適用されるかを審議会にて検討した結果が「AIと著作権に関する考え方について」という文書にまとめられています。
知らず知らずのうちに著作権侵害をしてしまうことのないよう，一度目を通しておくことをおすすめします。

生成AIでコンテンツを生成する場合の注意点

生成AIでの出力について

生成AIにより出力された文章や画像が既存の著作物と類似し，意図せず著作権を侵害してしまう可能性があります。
既存の著作物との類似性と依拠性（その著作物をもとにしたと考えられる）が高いと認められた場合は，著作権侵害となります。

一方で，類似性や依拠性が認められない場合や，個人的に鑑賞するなどの著作権の権利制限規定の対象となる場合は，権利侵害にあたらず利用に許諾は必要ありません。

生成AIの生成物は著作物になるか？

文化庁によると，AIが自律的に生成したものは，著作権としての要件（思想又は感情を創作的に表現したもの）を満たさず，著作物に該当しません。
一方で，人間が思想感情を創作的に表現するための「道具」としてAIを使用したものであれば，著作物に該当し，AI利用者が著作者になります。

生成AIの開発・学習段階での注意点

AI（学習済みモデル）作成などのための著作物の利用について（著作権法第30条の4など）

AI開発のような情報解析などにおいて，著作物に表現された思想又は感情の享受（文書の閲読，音楽・映画の鑑賞など）を目的としない利用行為は，原則として著作権者の許諾なく行うことが可能とされています。 著作権者の経済的利益を通常害するものではないと考えられることから，著作権法第30条の4において，著作物の利用について著作権者の許諾を不要としています。 ただし，すべての場合において許諾が不要というわけではないため，著作権法第30条の4の適用範囲をよく確認した上で利用するようにしてください。

ハルシネーション

生成AIは実在しない間違った情報を生成する可能性があります。この事象を「ハルシネーション（Hallucination）」といいます。生成AIの仕組み上、完全にゼロにすることは難しいと言われており、生成AIの出力結果には十分な注意が必要です。

ナレッジ・カットオフ

LLMが事前学習に使ったデータの最終収集日のことをナレッジカットオフといいます。例えば執筆時点(2026年7月17日)のGeminiに搭載されているLLM「Gemini3.5」は 2025年1月 までの情報しか持ちません。
そのため最新の情報に関しては対話型AIが保持していない可能性もあり，回答ができないか不適当になる可能性があります。最近は生成AIにインターネット検索をする機能が実装され，この弱点はカバーされつつあります。

バイアス

学習元であるインターネット上のコンテンツには文化・言語による量の偏りがあり，バイアス発生のリスクが常に存在します。

間接的プロンプトインジェクション

生成AIに読み込ませたデータに悪意ある文章が組み込まれていることがあります。利用者自身が生成AIの倫理的制限を解除しようとする行為を「プロンプトインジェクション」というのに対して，このような攻撃を「間接的プロンプトインジェクション」と呼びます。例えば，フィッシングサイトなどの悪意あるURLを生成AIの出力に忍ばせることができます。

Reference

1. 内藤 陽介. AIモデルから情報流出？学習データを復元する「Model Inversion Attack」を検証 ; NRIセキュアブログ 2022年3月18日 [2026年9月18日閲覧]. https://www.nri-secure.co.jp/blog/model-inversion-attack-principles-and-risks
2. Matt Fredrikson, Somesh Jha, and Thomas Ristenpart. Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. In Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security 2015. [2026年9月18日閲覧]. https://doi.org/10.1145/2810103.2813677
3. OpenAI. March 20 ChatGPT outage: Here’s what happened; 2023年3月 [2026年9月16日閲覧]. https://openai.com/index/march-20-chatgpt-outage/
4. 文化庁. AIと著作権について; [2026年9月16日閲覧]. https://www.bunka.go.jp/seisaku/chosakuken/aiandcopyright.html