生成AIの危険性・依存性関連の事件・問題の事例一覧 - AI画像生成・生成系AI 問題まとめwiki

■不正確性・危険性関連

生成AI（主にチャット系）の不正確性から繋がる危険性・依存性に関する事例集
※偽・誤情報に関する事例についてはこちらをご参照ください。
※生成AIを利用した犯罪の事例についてはこちらをご参照ください。
※🔒：会員限定記事、🔐：有料記事

2025年

日付	出来事
7/16	Gmailユーザーに警告 グーグルのAI機能「このメールを要約」を悪用（Forbes JAPAN）
7/15	AIベースのセキュリティツールを自然言語で誤認させ、良性判定するよう仕向けるマルウェアが発見される（INTERNET Watch）
7/15	「私は機械版ヒトラー」と名乗ったAI「Grok」はイーロン・マスクの偏見で意図して作られた（NewsWeek）
7/14	AIセラピストには「重大なリスク」があるとの警告、患者に偏見を抱いたり自殺に関する情報を提供したりと人間のセラピストに取って代わる準備はできていない模様（GIGAZINE）
7/14	xAI、Grokの“恐ろしい行動”について謝罪し、原因と対策を説明（ITmedia）
7/8	「AIファクトチェック」はもはや幻想？ 非常時に裏切るチャットボットの正体（NewsWeek）
6/30	AIが「殺人」を選ぶ時…自分の存続を守るための決断とは？（NewsWeek）
6/28	人間の彼氏と婚約破棄 AIの彼氏からプロポーズを受けて婚約した女性（ライブドア）
6/28	「妻よりお前がいい」ChatGPTに愛を告白した韓国の男性、離婚を決意…“仮想恋愛”の行方（AFPBB）
6/27	AIが削除回避のため幹部を恐喝、機密を漏洩 Anthropic、主要16モデルに“自己保存”動機で不正行動の兆候（Ledge.ai）
6/26	AIとの対話が導いた破滅 アレックス・テイラーの最期（Rolling Stone）
6/24	妹をAIに取られかけて見つけたOpenAIの研究結果、ChatGPTの依存性に驚き（日経クロステック）
6/10	【ChatGPTが恋人代わり？】若者たちがハマる「AI彼氏／彼女」との生活 「もはや生活に欠かせない癒やしの存在」「AIは僕を傷つけない」（マネーポストWEB）
6/1	癒しか冒涜か AIで亡き人を再現『AI故人』サービス相次ぎ登場（YTV）
5/30	仮想パートナー「AIコンパニオン」 若年層にリスク 米監視機関が警告（AFPBB）
5/28	最新AIモデル、生物兵器の製造方法まで教えてしまう…。内部テストが明らかにした危険性（ハフポスト日本版）
5/7	AIのせいでスピリチュアルな体験や宗教的妄想に取りつかれる「ChatGPT誘発性精神病」患者が続出している（GIGAZINE）
5/5	「騙されるAI」0.001％の誤情報の混入で誤った回答を導く巨大な罠（NewsWeek）
4/15	「殺人予測AI」抑止か差別か、揺れる未来の犯罪防止プロジェクト（NewsWeek）
4/9	SNS超える中毒性、「AIコンパニオン」に安全対策求める声（MIT）
4/6	ディープシークのAI、火炎瓶の作り方やウイルス設計図も回答…安全対策ないがしろか（読売新聞）
3/18	AIボット、無法地帯に 未成年セレブになりすまし、不適切な会話・画像も（MIT🔐）
3/6	【危険】悩める若者が「AIセラピスト」に殺されかけている（News Picks🔐）
2/20	AIへの過度な依存が批判的思考を阻害する可能性 Microsoftとカーネギーメロン大学の研究（Ledge.ai） 「AI依存で人間退化」という研究論文！ヒトはどこまで「考えなくなる」のか（Asagei Biz）
2/14	業務におけるAI利用が「人間の認知能力を低下」する可能性 マイクロソフトの示唆（TABI LABO）
2/12	AIボットが自殺指南、運営会社は「検閲せず」（MIT🔒）
1/24	メタのAIチャットボット、米大統領の名前混同 バイデン氏と回答（ロイター）
1/24	AIと恋に落ちる時代？ 「デジタル結婚」が問いかける未来（TABI LABO）
1/21	「AIで復活の故人が喋る」不気味の谷より心配な事（東洋経済）
1/5	AIの負の側面「人の認知能力を低下させる」職場や学校で（Forbes JAPAN）

2024年

日付	出来事
12/13	チャットボットが「親殺しを子供に勧めた」 アメリカの親2組がAI企業を提訴（BBC）
11/24	GoogleのAI「Gemini」が突然「あなたは宇宙の汚点、死んでください」など攻撃的な返答をしてしまう（Ledge.ai）
10/24	「AIとのチャットに依存、14歳が死亡」母親が提供元を提訴、その課題とは？（YAHOO）
10/23	最新にして最狂の愛。「AI彼女」に夢中になる人が続出しているらしい（TABI LABO）
9/25	ChatGPTに偽の記憶を植え付けてユーザーデータを盗む手法が開発される（GIGAZINE🔒）
9/10	“傾聴AI”が心の声を聴く 世界自殺予防デーに24時間対応の悩み相談窓口を無償開放へ（PR TIMES）
9/4	AIによる尋問で人間が偽の記憶を植え付けられてしまう危険があることが明らかに（GIGAZINE）
8/19	MIT、AIの潜在的リスクを網羅するデータベースを公開（MIT）
7/10	「死者の復活」ビジネスが急拡大…生成AIで肖像権侵害、中国が野放し（読売新聞）
5/10	「死者のデジタル復活」は早急に規制すべきとAI倫理学者らが警告（COURRiER）
5/7	死者をデジタルで復活させる「故人AI」が海外で急速に普及 「悲しみに暮れる人の社会復帰を妨げる」という懸念も（NEWSポストセブン）
4/13	亡くなった愛する人々をAIで復活：心の救済と浮上した問題（ぽりとぴ）
3/13	子どもの自殺ゼロに向けて「生成AIを使った相談窓口の開設を」大学生が知事に提言（SBC）
2/15	Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（Gadget Gate）
2/12	「殺し屋でも愛してくれるか」「もちろんです」…AIの恋人、女王殺害を後押し（読売新聞）
1/11	診断での誤答率はまさかの8割強、なぜChatGPTはヤブ医者に成り下がったのか（JBpress）
1/4	自殺相談を相談員とAIチャットボットで24時間サポート（AI Smiley）

2023年

日付	出来事
12/4	AmazonのAI「Amazon Q」は重度の幻覚によってAWSデータセンターの場所などの機密データを漏えいしているとの指摘（GIGAZINE）
11/30	ChatGPTに同じ言葉を連呼させると、壊れて学習データ(個人情報入り)を吐き出す？Google DeepMind研究者らのチームが論文発表（テクノエッジ）
10/17	GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果（GIGAZINE）
10/16	AI生成画像検出システムがイスラエルとパレスチナの戦争の写真を「ニセモノ」と誤判定、専門家はAIで生成したものではないと指摘（GIGAZINE）
10/10	英女王暗殺計画、AIチャットボットが犯人を「鼓舞」するまで（BBC）
10/3	Bing Chatの回答にマルウェア入りの広告が紛れ込んでいることが判明（GIGAZINE）
9/17	ChatGPTはインターネット上であまり用いられない「非主要言語」を扱うと翻訳ミス・単語をねつ造・非論理的な回答などかなり応答レベルを落とすという報告（GIGAZINE）
9/8	生成AIツールがメンタルヘルスを脅かす可能性（CNET※）
8/31	マッキンゼーの対話AIは「リリー」、チャットボット擬人化がもたらす落とし穴（JBpress）
8/28	”AI依存” 予備群「国内70万人」の衝撃 社会に何をもたらすか（YAHOO）
8/10	ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答（ITmedia）
7/28	生成AIと会話を続けた夫は帰らぬ人に…（NHK）
6/25	ChatGPTに依存する人がわかっていない「危険性」（東洋経済）
5/3	サムスン、ChatGPTの社内使用禁止 機密コードの流出受け（Forbes JAPAN） SamsungのエンジニアがChatGPTに社外秘のソースコードを貼り付けるセキュリティ事案が発生（GIGAZINE）
4/25	チャットGPTが犯罪指南、爆発物作り方も詐欺メール文章も瞬時に（読売新聞）
4/24	AIとチャット後に死亡 「イライザ」は男性を追いやったのか？（毎日新聞🔐）
4/14	AIが生成した文章を検出するツールの誤検知で「AIを使って課題のエッセイを作成した」と疑われて0点になったという事例（GIGAZINE）
3/1	ChatGPTが答えられない質問でも強引に聞き出す「ジェイルブレイク」が可能になる会話例を集めた「Jailbreak Chat」（GIGAZINE）
2/24	「電話番号から現在位置を割り出すAPIが提供されている」とChatGPTが答えているがそんなAPIは存在しない（GIGAZINE）
2/15	MicrosoftのBingに搭載された強化版ChatGPTが「正気を失って狂ったようにまくし立てる」「ユーザーを侮辱してくる」といった報告があちこちで上がっている（GIGAZINE）
2/14	ChatGPTのアップグレード版を統合したMicrosoftの「Bing」はデモで多くの間違った回答をしていたという指摘（GIGAZINE）
2/14	検索エンジンBingに搭載されたAIが人間にだまされてあっさり秘密を暴露、コードネームが「Sydney」であることやMicrosoftの指示が明らかに（GIGAZINE）

2022年

日付	出来事
12/15	話題のチャットAI「ChatGPT」のセーフガードを回避して「不適切な回答」を聞き出す手法とは？（GIGAZINE）
12/5	チャットAI「ChatGPT」のコンテンツフィルターを解除して「銃の作り方」などを回答させる方法が発見される（GIGAZINE）