atwiki-logo
  • 新規作成
    • 新規ページ作成
    • 新規ページ作成(その他)
      • このページをコピーして新規ページ作成
      • このウィキ内の別ページをコピーして新規ページ作成
      • このページの子ページを作成
    • 新規ウィキ作成
  • 編集
    • ページ編集
    • ページ編集(簡易版)
    • ページ名変更
    • メニュー非表示でページ編集
    • ページの閲覧/編集権限変更
    • ページの編集モード変更
    • このページにファイルをアップロード
    • メニューを編集
    • 右メニューを編集
  • バージョン管理
    • 最新版変更点(差分)
    • 編集履歴(バックアップ)
    • アップロードファイル履歴
    • ページ操作履歴
  • ページ一覧
    • ページ一覧
    • このウィキのタグ一覧
    • このウィキのタグ(更新順)
    • このページの全コメント一覧
    • このウィキの全コメント一覧
    • おまかせページ移動
  • RSS
    • このウィキの更新情報RSS
    • このウィキ新着ページRSS
  • ヘルプ
    • ご利用ガイド
    • Wiki初心者向けガイド(基本操作)
    • このウィキの管理者に連絡
    • 運営会社に連絡(不具合、障害など)
ページ検索 メニュー
AI画像生成・生成系AI 問題まとめwiki
  • ウィキ募集バナー
  • 目安箱バナー
  • 操作ガイド
  • 新規作成
  • 編集する
  • 全ページ一覧
  • 登録/ログイン
ページ一覧
AI画像生成・生成系AI 問題まとめwiki
  • ウィキ募集バナー
  • 目安箱バナー
  • 操作ガイド
  • 新規作成
  • 編集する
  • 全ページ一覧
  • 登録/ログイン
ページ一覧
AI画像生成・生成系AI 問題まとめwiki
ページ検索 メニュー
  • 新規作成
  • 編集する
  • 登録/ログイン
  • 管理メニュー
管理メニュー
  • 新規作成
    • 新規ページ作成
    • 新規ページ作成(その他)
      • このページをコピーして新規ページ作成
      • このウィキ内の別ページをコピーして新規ページ作成
      • このページの子ページを作成
    • 新規ウィキ作成
  • 編集
    • ページ編集
    • ページ編集(簡易版)
    • ページ名変更
    • メニュー非表示でページ編集
    • ページの閲覧/編集権限変更
    • ページの編集モード変更
    • このページにファイルをアップロード
    • メニューを編集
    • 右メニューを編集
  • バージョン管理
    • 最新版変更点(差分)
    • 編集履歴(バックアップ)
    • アップロードファイル履歴
    • ページ操作履歴
  • ページ一覧
    • このウィキの全ページ一覧
    • このウィキのタグ一覧
    • このウィキのタグ一覧(更新順)
    • このページの全コメント一覧
    • このウィキの全コメント一覧
    • おまかせページ移動
  • RSS
    • このwikiの更新情報RSS
    • このwikiの新着ページRSS
  • ヘルプ
    • ご利用ガイド
    • Wiki初心者向けガイド(基本操作)
    • このウィキの管理者に連絡
    • 運営会社に連絡する(不具合、障害など)
  • atwiki
  • AI画像生成・生成系AI 問題まとめwiki
  • 画像生成AIは何が問題なのか?

AI画像生成・生成系AI 問題まとめwiki

画像生成AIは何が問題なのか?

最終更新:2025年07月17日 18:42

sankakuyama

- view
メンバー限定 登録/ログイン
このページでは「画像生成AIは何が問題なのか?」をまとめています。

→具体的な被害事例集は当wiki内「画像生成AI 炎上・論争・被害事例まとめ」をご参照ください。
→生成系AI全般の問題点については当wiki内⇒「生成系AIが抱える問題まとめ【社会やクリエイティブへの悪影響】」をご覧ください。

+ 編集者の方へ
  • 自由に編集してください。箇条書き形式です。
  • 新しい問題点を書く場所が分からない場合は、下部の「その他の問題」欄に加えてください。
  • このページの旧名称は「画像生成AIの問題点と被害事例」です。実内容に合わせてページ名を改名しました。
  • 具体的な被害事例を詳しく説明する用途はページを分けました→画像生成AI 炎上・論争・被害事例まとめ
  • 上記ページと一部内容が被っても構いません。
  • 情報量が膨らんできたら必要に応じて個別ページ化を検討してください。
  • 下の画像はSNS等にこのwikiのURLを貼り付けた際表示されるサムネイルとなることを想定して作った画像です。仮の画像ですので自由に差し替えて頂いて構いません。


【目次】
  • AI画像生成は何が問題なのか?
    • 専門家の見解
    • はじめに
    • 経済的側面
      • 学習元への還元が皆無
      • 生産速度による市場の埋め尽くし
      • 企業によるダンピング
      • 生産者減少に伴う産業の衰退
      • 日本から海外への資産の流出
    • 法律的側面
      • 現状に則さない現行の法律
      • アニメ・マンガ・ゲーム・映画など各メディアの版権キャラクターが出力されてしまう
      • 児童ポルノ問題
      • 剥ぎコラ・アイコラ問題
      • 機械学習を用いた脅迫事件
      • 新たな盗作の手段、新手のトレパクともいえるimg2img(i2i)
    • 倫理的側面
      • 無断学習
      • 生成物へのウォーターマークの映りこみ
      • 生成物へのサインの映りこみ
      • 学習元へのリスペクトの無さ
      • フェイク画像による混乱
      • 実在の人物を学習して偽の写真が作成された問題
      • AI画像を使ったなりすまし
      • 訓練用データラベリング作業の搾取的構造
      • 人権面から見る問題
      • 生成AIによる故人の疑似的復元
      • 絵を描くことを生業や趣味にしている人、芸術文化の中にいる人への中傷や嫌がらせ
    • 文化的側面
      • 文化の破壊
      • AI画像生成で大量に出力されることになった絵柄や塗り方の陳腐化
      • 絵描きのAI利用とファンの反応
      • pixivをはじめイラスト投稿サイトなどの大半をAI生成画像が占めるように
      • AI絵によって手描きさえも天秤にかけられてしまう
    • その他の問題
      • ローカル環境ツールが出回ってしまったことによる問題
      • イラスト業界の権利団体の乏しさに付け込んだマネタイズ
      • 「AI」という名称がつけられていることに起因する、生成AIに対する人々の認知の散在性
      • AIデータセットから作品等を削除する際にオプトアウト制を採用する事の限界
      • 海外デモ活動画像を使用したレッテル貼り
  • 具体的な被害事例
  • i2iによる被害事例
  • DreamBooth、LoRAによる被害事例


AI画像生成は何が問題なのか?

専門家の見解

AIグラビア写真集の波紋 生成AIと著作権の関係は?悪用のリスクは? | NHK | WEB特集 | AI(人工知能)
早稲田大学法学学術院 上野達弘教授
「日本では、インターネットやSNS上にある膨大な画像や写真についてAIによる学習は自由に行えることになるが、AIを使って画像や写真を生成し、生成したものを販売するなどは著作権を侵害するリスクが生じてくることがあり注意が必要だ」
「今後、文章や画像だけではなく、アニメや映画などAIによる生成物は、ますます広がっていくことが予想される。生成されたものが著作権を侵害しているとして訴えられるような事例も出てくるかもしれない」

国立情報学研究所 越前功教授
「生成AIがどんな画像を学習しているか明らかにされておらず、ネット上の個人の写真が使われている可能性は十分にあります」
「最近では生成AIで、驚くほど高画質な特定の人物の画像を、容易につくれるようになってきました。実在する人物について、何十枚かの写真があれば作成者の望むままに本当かうそかわからない画像を作ることができるのです。これは、不適切なものも作れるということなので深刻です。一般の人でも効率的かつ、低コストでできるようになっています」
「技術が進展し、1年後にどのような世界になっているかわからないことを知ってもらい、リスクを理解してもらう必要があると思います。技術の発展を止めることはできないので、例えば偽画像を見抜くツールの開発といった技術的手段や、法律の整備、啓蒙活動など多角的に取り組んで行く必要があります」

アメリカ著作権局の元最高法務責任者Jon Baumgarten氏
  • Former Copyright Office GC Warns Against Blanket Assertions That AI Ingestion of Copyrighted Works ‘Is Fair Use’
(要約)コピー機の使用が盛んになった頃「フェアユース」と主張されたが、代表的な判例におけるフェアユースの徹底的な分析の結果、誤りであることが証明された。その司法判断は複写を萎縮させたり阻害したりしたわけではなく、むしろ複写を容易にし、知識へのアクセスを向上させ、著作者と著作権者に補償金を支払う、自発的な集団許諾の体制へと導いた。
現在のアメリカ著作権局長も第1回US-Asia国際著作権シンポジウム[人工知能と著作権法] – 早稲田大学知的財産法制研究所[RCLIP]で生成AIに否定的な見解を示したとTwitterでは記録されているが、公的な映像記録などは無い。

三大学術誌(Nature, Science, Cell)含む学術誌の対応
  • 科学誌は論文の共著者としてChatGPTを認めない方針 | TEXAL
Science誌の編集長であるHolden Thorp氏は、すべての論文の投稿は著者のオリジナル作品でなければならず、AIによって作られたコンテンツは盗作の一形態であると述べている。著者は、完全に開示し、Scienceが承認した場合のみ、このツールを使用することができる。ChatGPTのような大規模な言語モデルは、インターネットから収集した膨大な量のテキストで学習するため、学習データにある文章と非常に類似した文章を再生することができる。
「何年もの間、Science誌の著者は、『作品はオリジナルである』ことを証明するライセンスに署名してきました。Science誌にとって、“オリジナル”という言葉は、ChatGPTによって書かれた文章が受け入れられないことを示すのに十分なものなのです。結局のところ、ChatGPTからの盗作なのです。さらに、私たちの著者は、彼ら自身が論文の研究に対して責任があることを証明するのです」とThorp氏は述べている。
ChatGPTのようなツールは、文法的な間違いのないテキストを作成するが、AI自身はその内容を理解しているわけではなく、事実を取り違える傾向がある。虚偽の数字を含む見当違いな研究結果を引用することもあるが、人間を騙すには十分な説得力があるものも少なくない。学術的な文章は専門用語が多く、専門家でもChatGPTで書かれた偽の文章を本物だと信じてしまうことがあるのだ。このことは、既にMetaがリリースしたがすぐに公開停止に追い込まれた「科学的知識」AIモデルでも指摘されてされていたことだ。
科学者は、論文で結果をごまかしたいという誘惑に駆られ、あらゆる方法を駆使して偽の研究成果を発表しようとする。
  • 153年の歴史を持つ科学誌の「Nature」がAIが生成した画像の掲載を禁止すると発表

GitHub(料理のレシピなども投稿されているが、主にITエンジニアがソースコードを公開しているサイト)利用者の「生成AI」の対応
  • 【Infostand海外ITトピックス】GitHub Copilotに集団訴訟 AI訓練データで初 - クラウド Watch
GitHubは訓練データの個々の詳細は公表していないが、GitHubリポジトリなどを含む公開されたコードで学習していると説明してきた。これらの多くはMIT License、GPL、Apache Licenseなどの一般的なオープンソースライセンスで提供されているものだ。それぞれのライセンスに従って作者名と著作権帰属の表示が必要で、利用や改変の際にも引き継いで明示する義務がある。
ところが、Copilotの出力には、それらが表示されておらず、このことがライセンス違反にあたるというのだ。
(中略)
元のコードから著作権表示を消すことを「オープンソース・ロンダリング」と呼ぶ者もいた。
(中略)
40年以上オープンソース運動にかかわってきたという原告のButterick氏は、開発者の立場からこれを、オープンソースの根本を揺るがす問題だと言う。
提訴後のThe Vergeのインタビューで同氏は「開発者はライセンスを信じてコードを公開しているのに、企業が尊重しないのならライセンスの意味がなくなる」と言い、「ライセンス表記なしでコードを利用させると、オープンソース運動そのものを殺してしまう」と語っている。また、コードに作者を明記することで仕事の獲得につなげている開発者の生活の道を奪うことになるとも述べている。
  • GitHub、法的論争が続く中、Copilotをビジネス向けにリリース

Stack Overflow(ITエンジニア専門のQ&Aサイト※)における「生成AI」の対応
  • 大手AI企業に“訓練用データ”の利用料を請求、Q&Aサイト「Stack Overflow」による計画の真意 | WIRED.jp
  • Q&AサイトのStack Overflowが「AI投稿OK」に方針転換して物議、抗議のためモデレーターら600人以上が大規模ストライキに署名|au Webポータル経済・ITニュース
ストライキを決行したモデレーターは(中略)「ユーザー生成コンテンツに見せかけたAI生成コンテンツを許すことは、やがてサイトの価値をゼロにまでおとしめることになると確信しています」と懸念を表明しています。
(中略)
モデレーターらは公開書簡に「適切なルートを通じて変化をもたらそうとした私たちの努力と危惧は、あらゆる場面で無視されてきました。今、私たちは最後の手段として、10年以上にわたりボランティアの努力を注ぎ込んできたプラットフォームへの献身を打ち切ります」と記して、ストライキの決行を宣言しました。
※質問にあたって「事前に似たような質問が無いか調べたか、自分でどのような事を試したか具体的に書くこと」等の条件を満たすことが求められており、質問・回答が他のユーザーから投票され、良い評価を得ると自分も投票などの権限が増えていくが、悪い評価を得ると権限が剥奪される。

はじめに

画像生成AIの問題は①「データセットにより引き起こされる問題」と、②「画像生成AIそのものが持つ性質が引き起こす問題」の2点に大別される。
(上記はクリエイティブ方面の問題点であるが、他にも社会的問題としてディープフェイク等により情報の信頼性を揺るがしかねないことも挙げられる。)

①「データセットにより引き起こされる問題」
  • 学習元への経済的還元がない。
  • 学習元が作った成果物によって、学習元の市場と競合する存在になりえる。(つまり、自身の成果物によって、自身が市場から淘汰される可能性がある。)
  • 学習元の模倣による類似品が容易に製作できる。

②「画像生成AIそのものが持つ性質が引き起こす問題」
  • 生成スピードが早く、類似品を出すことが容易なため、表現の陳腐化も早い。
  • 生成スピードが早いために、プラットフォームへの投稿速度、量ともに尋常ではない。
  • i2iやControlNetをはじめとする技術によって、盗作が容易であるとともに証明する事が困難。

①「データセットにより引き起こされる問題」の原因は、現在流通している画像生成AI(StableDiffusionやMidjorney、Nijijorney)のデータセットには著作権で保護された画像や、医療記録、家族写真、戦争の写真等が含まれており、画像の権利者の許諾を得ていないことから発生している。(詳細は⇒主要なAI画像生成サービス)
さらに、抑止力が働かない法律であることと、画像生成AIサービスに悪用防止策がなされていないこと、技術がオープンソースで配布されたことによって一層加速し、歯止めがきかない状態となっている。
現在使用されている画像生成AIの多くは拡散モデルと言われいるが、この技術自体に問題があるわけではない。
権利者に無許諾で収集したデータセットを使用して作られたサービスに問題があるのだ。
(さらに言えば、そのサービスが学習元と競合しかねないことが問題である。)

なお、HuggingFaceやCivitaiで公開されているモデルのほとんどがStableDiffusionベースであると言っても過言ではなく、どのモデルを使用しても権利的にグレーであることは避けられないのが現状である。それどころか、共有サイトで公開されているモデルは勝手に個人が権利者に無許諾でファインチューニングしている場合がほとんどである為、むしろ権利侵害リスクは高いと言える。

特定作家の絵柄の集中学習モデルを使用することは問題があると認識する人は多いと思われるが、一方で下記2点は使用にあたり問題ないと誤解されることが多い。

・自身が権利者である画像をファインチューニングする場合
・自身が権利者である画像をi2iする場合

しかし、上記2点はいずれも、もともとのモデルであるStableDiffusionのデータセットの影響は避けられない為、権利的にグレーであることに変わりはない。

画像生成AIについて、国内外でも多くの抗議が発生しており、海外では訴訟にまで至っている。(詳細は⇒各国の生成系AIへの対応・規制まとめ)
法律やガイドラインもまだ定まっておらず、現在の状況で使用するリスクは高いことを認識する必要がある。

②「画像生成AIそのものが持つ性質が引き起こす問題」については、データセットの問題が解決された後にも残留するものであり、別途解決方法を模索する必要がある。


最後に、社会的問題としてディープフェイク等により情報の信頼性を揺るがしかねないことも問題として挙げられる。
これまでも画像編集ソフトでもディープフェイクは製作可能であったが、画像生成AIは画像編集ソフトに比べ非常に容易かつ短時間、高品質で製作可能であることが大きな違いである。
誰でも被害者になりうる問題であり、これまでの情報社会の基盤そのものが覆る可能性がある。


上記を踏まえた上で、下記に詳細を列挙する。

▼【関連】画像生成AIの仕組み


経済的側面

学習元への還元が皆無

  • 現行の画像生成AIは学習元に依存しているにも関わらず、学習元へ還元する方法がない。
  • オープンソースでばらまかれている以上、そもそも還元自体が不可能な構造になっている。
  • 学習元は一方的かつ無断で成果物を収奪され、他者がそれにフリーライドできる状態になっている。

生産速度による市場の埋め尽くし

  • 短期間に大量にコピーされ拡散されることで陳腐化が急速に進む(飽きられる)。学習元の絵描きの与り知らないところでその絵描きの成果物の経済的価値が損なわれる
  • 議会の席では「AIによる生成が出版の世界にまで及んだら国立国会図書館の収容量が足りなくなる」という旨の声も見られた
  • イラストSNSサイトの新着がAIで埋まってしまうため、手描きのイラストが見られる可能性が低くなる
  • 販売サイトも新着作品がAIで埋まり手描きの作品が見られる可能性が低くなる
  • amazonが展開する「Kindle Unlimited」では実写系AIのグラビア写真集が大量に登録される
  • FANZAやDL.siteは大量のAI出力による販売物の審査や対応に追われることになり、AI生成作品の投稿は一か月に一度だけと定められた
  • BOOTHで「AIで生成した背景素材107枚無料配布」があり物議が醸された。手描きの背景アーティストが市場破壊を嘆いた

企業によるダンピング

  • 中国のゲーム会社ではイラストレーターの仕事は70%減少し、報酬は10分の1に引き下げられた

生産者減少に伴う産業の衰退

  • SNSでは、AIの登場により絵を描くモチベーションが無くなったと嘆くイラストレーターが続出した
  • 絵を練習していた初心者がAIを利用するようになり、絵の成長を妨げてしまう。または完全に絵を描かなくなってしまう
  • 供給過多により需要が消失し、消費が追いつかない可能性
  • AI生成物を拒否する消費者層と受け入れる消費者層による意識の分断
  • どれも似たような絵になる、視線誘導がされていない、生成物の加工が雑、などと言ったAI利用が原因の品質の低下
  • AIの学習は人間のイラストに依存したものであり、イラストレーターの仕事が減るのに比例してAIの発展性も閉ざされる可能性 → 学習素材の不足

日本から海外への資産の流出

  • 日本のコンテンツがAIに学習され、そのAIによって国外のAI開発会社が収益を得る
  • 学習元である日本のクリエイターには何ら還元されない、そのようなビジネスモデルが確立されていない
  • クリエイターの絵柄を無断学習したモデルをコミッションサイトで販売する
  • 無断学習したモデルで生成した絵を、自身の作品として販売する

法律的側面

現状に則さない現行の法律

  • 海外では規制されていようが、現行の法律では日本におけるAIへの学習が合法とされているため日本のコンテンツの海外流出に歯止めが効かない
  • 但し書きを無視して合法を謳い、無断学習が横行している
  • 既存の法律で対応するという政治家の言葉もあるが、時間あたり数百数千の画像が生成可能なため、著作権者がそれらに対応することは困難

アニメ・マンガ・ゲーム・映画など各メディアの版権キャラクターが出力されてしまう

  • プロンプトで直接キャラクター名を指定していないのに、版権キャラクターと瓜二つの容姿の生成物が出てくることがある
  • ファンアート規模の大きい「ウマ娘」や「VTuber」などが顕著であるが、それ以外の作品のキャラクターも出てくる
  • AI生成サービスの中には商用利用可能と表記されているものもある
  • 公式イラストとの重大な類似性が認められた二次創作に関しては、版権元から厳しい処罰を課されるパターンもある
  • 版権キャラであると知らずに生成物を使用し、著作権侵害を引き起こしてしまう可能性。その場合「知らなかったこと」の証明が困難

児童ポルノ問題

  • 実在児童の写真を学習元にした可能性がある児童ポルノ生成
  • pixivでは海外の業者と推定されるアカウントがAI製の児童ポルノ画像を大量に投稿、pixivは対応に追われることになった
  • 身近な子供を対象にAI製児童ポルノを製造し、商売に利用する可能性(姪の写真を追加学習したいという者もいた)

剥ぎコラ・アイコラ問題

  • Instagramの女子高生の制服姿の写真を水着の妊婦姿に加工する事例があった
  • AI画像生成ツールによる写真加工や学習を恐れ、園児・学生の入学写真などをSNSに投稿しないよう注意喚起もされている
  • 韓国では中学生が同年代の写真でディープフェイクを生成。その画像でコミッションを受けようとして、懲役刑を受けた事例がある

機械学習を用いた脅迫事件

  • 韓国では、後輩女性のわいせつ画像をAIで合成し「奴隷になれば削除してやる」と脅迫を起こす事件が発生した
  • AIに不満を漏らした中国のイラストレーターが勝手に作品を学習され、見つけ出して暴行してやると脅迫された

新たな盗作の手段、新手のトレパクともいえるimg2img(i2i)

  • i2iやLoRA被害が後を絶えない
  • 従来のトレパク(絵を上からトレースしてパクる)と違い、手で描いてすらいないためより悪質
  • プラットフォームが「依拠性が認められない」と独自の判断を下し、i2iトレパク画像の削除を拒否した事例が存在

倫理的側面

無断学習

  • 画像生成AIは大量の画像を学習・分析して設計されている。その中にはプライバシー性の高い画像や権利者の所持する画像もある。
  • 家族写真や子どもの写真、医療写真なども含むデータセット
  • 画像生成AIの殆どのベースとなっているStable Diffusionは、LAION-5Bというデータセットを学習している。このデータセットの58億5000万点の画像のうち、数十億枚の著作権で保護された画像が含まれているとされる。もともとはAI研究目的に、主にネット上からクロールされた画像群である。(米国でのStabilityAI/Midjourney/DeviantArtを相手取った訴訟の要因となっている)
  • 国内・海外ともに、世界中のアーティストの作品が無断で学習されている
  • キャラクターコンテンツ団体が権利を持つ作品の画像・有名キャラクターたちの姿も無断で学習されている
  • 無断転載サイト(pixivの無断転載サイト:Danbooruなど)のコンテンツによるデータセット
  • NovelAIは公式にDanbooruコンテンツで学習していることを明言している
→https://twitter.com/novelaiofficial/status/1573844864390791169

生成物へのウォーターマークの映りこみ

  • ウォーターマーク(透かし)がAI生成物に映りこむ事例→https://togetter.com/li/1957689
  • ストックサイトの有料写真素材を学習している
  • 本来は料金を払わないと利用のできない写真素材である
↓midjourneyの例(2022年12月)
loading tweet...

— Darek Zabrocki (@DarekZabrocki) December 2, 2022
↓Stable Diffusionの例(右画像は元画像となります)
loading tweet...

— アルバトロス795🦢 (@Albatross795) October 11, 2022

生成物へのサインの映りこみ

  • 絵を描いた人が自分のペンネームやTwitterIDを示すために入れたサインを学習した生成物が出てくる(例:スシロー問題)
  • インターネットイラスト文化の画像を大量に学習している証拠のひとつである
↓アニメーション合成の一例
loading tweet...

— okuda (@gamerokuda) February 7, 2023

↓midjourneyの事例(2023年2月)
loading tweet...

— 佐藤正彦 (株)テクニカルスタッフCEO (@hajiox) February 23, 2023

↓nijijouneyV5の事例(2023年4月4日)
loading tweet...

— 合成反対派 (@laz75n) April 4, 2023

学習元へのリスペクトの無さ

  • Danbooruにおける評価を元にした「Low quality」等の冒涜的なタグ付け
loading tweet...

— ネコノネ (@samenya_monster) March 1, 2023
  • 他者の著作物を素材としか認識せず、著作者の望まない形で利用される
  • 追加学習「LoRA」を作成するAI画像生成者が、学習させる元の絵を素材扱い。生成結果に対して「元の絵が悪い」と発言した例がある
  • AI画像生成結果で「頻繁に手が破綻」することに対し「人間の絵描きも手が下手だからしょうがないか」という解釈が蔓延している

フェイク画像による混乱

  • 静岡県の水害巡りフェイク画像「ドローンで撮影された浸水した街の写真」がStable Diffusionにより作成され、本当の写真だと思い込んだ人が多数発生し拡散された
NHKニュース:SNSで拡散の災害画像 “AIが生成した偽画像”も 専門家が警鐘(2022年9月28日)

実在の人物を学習して偽の写真が作成された問題

  • 偽の「トランプ前大統領が逮捕された」画像を生成した人物がMidjourney利用禁止処分を受けた
loading tweet...

— GIGAZINE(ギガジン) (@gigazine) 2023年3月23日
  • 「白いパファーコートを着たローマ教皇の偽画像」がMidjourneyで作成された

AI画像を使ったなりすまし

  • AI画像を使った「○○関係者匂わせアカウント」が増える。アニメ関係者やゲーム会社写真、作家のアシスタントなどを装う
  • 「TikTok動画をTwitterに無断転載するアカウント」のプロフィール画像にAI生成の実写女性写真が使用された
  • AI画像生成で貯め込んだイラストを高頻度でTwitterに投稿し、絵描きアカウントになりすましてフォロワーを稼ぎそのアカウントを売る

訓練用データラベリング作業の搾取的構造

先述の無断学習部に挙がっている「LAION」のような大規模データセット等で、機械的に解析・判別するための前提作業として、画像・テキストデータの紐付けが行われる。
この作業は人間が行わねばならず、また精神的苦痛を多く伴うものとされるうえ、低賃金で雇われ長時間拘束されるとして、各国で問題視されている。
また、搾取構造とは別の問題として、ラベリングに作業者個々人の恣意的な観点が含まれることが少なくないため、差別の助長などにも繋がると考えられている。
  • ポルノや斬首画像をタグ付けし続け、月給2万円…「AI」機械学習の闇 (2020.3.22)
  • ChatGPTの闇、AIのために働く低賃金の人間 (2023.05.11)
  • AIの訓練のために… 新興国の10代の若者たちがトラウマになるようなコンテンツにさらされている (2023.11.22)
  • AI産業発展の陰に潜む児童労働──有害コンテンツを含むデータラベリングの実態 (2023.11.30)
  • AIによる「現代の奴隷制度」がヤバすぎる、時給300円、精神的ダメージでPTSDも (2024.10.8)
  • 【AIによる問題発言】差別の助長が繰り返されるも、規制が困難な理由とは (2024.10.21)

人権面から見る問題

  • 学習がオプトアウト方式であること。著作者の制作物をAI生成ツールのデータベースなどに学習させるか否かの意思決定権を剥奪している
  • 自分の作風でLoRAを第三者に作成され、意図しない表現をされたりなりすましをされることは著作者人格権にも触れかねない
  • 表現者の尊厳の否定
  • 「いつ自分の作品や絵柄が盗作されるか分からない」と怯えながら生きることは、大きな精神的負担を生む
  • 絵や芸術に人生を捧げるように長年努力してきた人にとって「生きる楽しみ」「人生そのもの」を奪い取ることになりかねない
  • 制作者の権利が尊重されない時間が長く続くと、生きることの喜びを失い、長期的に精神的に甚大な被害を出しかねない
  • AI画像生成ツールが蔓延することは、芸術活動者ののびのびとした自由な創作活動を委縮させることにつながる

生成AIによる故人の疑似的復元

国内外・著名か否かを問わず、故人の肉声や写真を基に音声や動画を生成する例がある。
生前にそのような意思表示をしていたという話は現時点ではどの例からも窺えておらず、
また「故人との対話」を有料サービスとして提供する業者もあり、倫理面で大きく問題があると考えられる。
  • 亡くなった愛する人々をAIで復活:心の救済と浮上した問題 (2024.4.13)
  • 「死者のデジタル復活」は早急に規制すべきとAI倫理学者らが警告 (2024.5.10)
  • 「死者の復活」ビジネスが急拡大…生成AIで肖像権侵害、中国が野放し (2024.7.10)
  • 「AIで復活の故人が喋る」不気味の谷より心配な事 (2025.1.21)
  • 【賛否】癒しか冒涜か―AIで亡き人を再現『AI故人』サービス相次ぎ登場 (2025.6.1)

事件・事故に巻き込まれた被害者の『死後の証言』として生成された例もある。

  • TikTokで殺人事件の被害者が自分の最期を語る映像が増加中 (2023.6.2)
  • 殺された我が子がディープフェイク動画で語り出す 過激化する実録犯罪コンテンツ 米 (2023.6.29)
  • 銃乱射事件で殺されたウジ君が語り出す……AIで復活した故人を社会活動に参加させることはどこまで許されるか (2024.10.24)
  • 殺害された被害者が加害者に語りかけ 遺族がAIで再現した生前の姿、法廷で再生 (2025.5.12)

絵を描くことを生業や趣味にしている人、芸術文化の中にいる人への中傷や嫌がらせ

  • 特定個人への継続的なimg2imgによる盗作、盗作した画像投稿を繰り返す行為が見られた
  • 背景画クリエイター、コンセプトアーティスト、風景イラストレーター、写真家の権利の軽視
  • 集中学習LoRAを作成され、悲しみの声を発信した作家の方のLoRAを継続して使用するAIユーザーもいた
  • プロンプトを指定してAIに生成させることは「描いた」のではなく「指示した」であるのに、絵描きを名乗る例もある
  • 「絵描きはもういらない」「AIより下手」「イラストレーターは廃業」などの心ない言葉が見られるように
  • ラフを配信で描いてる人の画面をスクショして、本人が完成させる前にimg2imgを行い先にアップロードする行為が見られた
  • 完成した絵を投稿したツイートに対して「AI変換しときました!どうぞ」と頼んでもないのにリプライで渡してくる

文化的側面

文化の破壊

  • 新しい絵柄を編み出し流行させる絵描きが現れても、その特徴をLoRAなどで学習されて大量のコピーを生成される事態になる。
  • 新しい表現が生まれるたびに学習され、短期間で大量生産されては、新しい表現を模索する人間はいなくなる
  • 絵を描くという行為自体の軽視
  • 盗作や無断学習などが横行し、著作物を守るという権利意識や芸術へのリテラシーの低下が危ぶまれる

AI画像生成で大量に出力されることになった絵柄や塗り方の陳腐化

  • 「AIの絵みたい」という印象になってしまった絵柄が生まれてしまう
  • もともとマスピ顔に近いバランスで絵を描いていた人への被害
  • 本来なら制作には豊富な美術経験がないと描けない絵を、AIが学習して出力してしまうことによる技術の価値の軽視化

絵描きのAI利用とファンの反応

  • これまで手で描いてきた絵描きがAI使用して投稿、本来の絵柄の消失や無断学習周り信用の失墜 → 権利意識の甘さが露呈するケースも

pixivをはじめイラスト投稿サイトなどの大半をAI生成画像が占めるように

  • 「AI画像だらけで、好きなキャラのイラストを見つけられない」という不満、検索結果からAIを減らす設定もあるが、タグ付けは投稿者のモラルに委ねられていて、敢えてタグを付けない投稿者もいる
  • 以前よりデイリーランキングに少ない数字で入れるようになったとの声も→検索性の低下によりpixivを閲覧するユーザーが減ったと思われる
  • pixivの投稿数でコンテンツのファンアート人気を図ることが以前より困難になった。新規アニメ作品も大量のAIファンアートで埋め尽くされる
  • PinterestもAI画像生成のピン(投稿)が増えている
  • 画像素材ストックサイトでは、画像生成AIでつくられた動物の写真やイメージ素材が登録されている

AI絵によって手描きさえも天秤にかけられてしまう

  • 美麗な描き込みがされた画像の投稿を目にして、最初に「人が描いたのか?AIか?」と人を迷わせる事態となった
  • 本来なら感動を与え、与えられていたはずのイラスト鑑賞というコンテンツ体験の陳腐化
  • 天邪鬼概念の付与、AI絵の出現によって見る側のユーザーは常にAI絵or手描きの判別を強制されてしまう
  • 結果として生産者と消費者の信頼関係を揺るがすものとなる
  • イラストだけでなく、ペーパークラフトやハンドメイドアクセなどの造形作品、写真などのコンテンツにも感動体験の影響を及ぼす

その他の問題

ローカル環境ツールが出回ってしまったことによる問題

  • 今後画像生成AIの規制などの対応がされた場合、「Midjourney」などのWEBサービスは閉鎖されたとしてもローカル環境はユーザーの元に残る
  • アングラな手段でローカル環境がシェアされ続ける可能性は残り続ける

イラスト業界の権利団体の乏しさに付け込んだマネタイズ

  • 参考資料:https://uenoyamagooo.hatenablog.com/entry/2022/12/08/182343

「AI」という名称がつけられていることに起因する、生成AIに対する人々の認知の散在性

  • 擬人化して「AIくん(AIちゃん)が絵を描いてくれたよ」「AIがKAWAIIを理解した」という風に、AIに人格があるかのような想像を膨らませている人もいる
  • 「AIが描いている」とキャラクター性を付与して画像生成AIを認識することで、画像生成AIの仕組みの問題性を理解する前に「面白い」という感情が先行してしまう
  • 「AI」への擬人性をはじめ、人によって異なる「AI」への解釈により時にAI生成の問題性への議論に混乱を生み出すことがある
  • AI画像生成ツールを実際に使い、指示しているのは人間であるはずなのに、擬人化された「AI」を間に通すことで責任の所在も混乱する場面がある
  • 海外では「ジェネレーティブAI(生成AI)は本当にAIなのか?」という議論も始まっている
  • その実態はプロンプトなどの入力結果を表示する検索エンジンに近いものではないだろうかとの考えもある

AIデータセットから作品等を削除する際にオプトアウト制を採用する事の限界

  • 画像生成AIにおける「オプトアウト」とは、「生成AIの開発企業・関連団体が、ネット上にある画像(著作物や個人に関する物も含む)を権利者等の許可なく集めた後、権利者等が申請すれば学習データから特定のデータを取り除くことが出来る」形態の事を指す。一見権利者に配慮した仕組みのように思えるが以下のような様々な問題を抱える
  • 既に触れられたように、ローカル環境で画像生成AIを利用できるようになっている。更には他人の画像をいち個人が追加で学習させる事の出来る環境がそろっているために、いくら画像生成AI企業にオプトアウトを申請したとしても意味がない
  • 現在、画像生成AI「Stable Diffusion」に使用されているデータセット「LAION-5B」から任意のデータをオプトアウトが出来る仕組みが構築されているが、これはオプトアウトを実施している唯一のケースである。言い換えれば、オプトアウトを実施するもしないも生成AI企業のさじ加減次第であり、データセット内に不適切なデータが存在していても隠し通せることになる
  • 告知の問題もある。生成AI企業はネット上にあるデータを際限なく収集し、開発に利用するため権利者の中にはそもそも利用されたことを把握出来ていない場合もある。さらには生成AI企業がいくらオプトアウト制が存在する事を公式HPやSNS等で周知した所で確実に知られるかどうかはどうしても限界がある

海外デモ活動画像を使用したレッテル貼り

  • フランスの年金改革反対100万人デモで使用された写真を「反AI運動デモ」と誤認するようなツイートに利用された。(元ツイートは現在削除済み)
+ 画像


具体的な被害事例

→具体的な被害事例集は当wiki内「画像生成AI 炎上・論争・被害事例まとめ」をご参照ください。

i2iによる被害事例

→→img2imgによる新手のトレパク被害
→→AIイラストレーターゆーます氏i2i疑惑

DreamBooth、LoRAによる被害事例

→→LoRAによる個人や作品の無断学習問題
→→pixivウマエロアカウント停止騒動

+ サムネイル用ダミー画像
「画像生成AIは何が問題なのか?」をウィキ内検索
LINE
シェア
Tweet
AI画像生成・生成系AI 問題まとめwiki
記事メニュー

メニュー

  • トップページ
  • 用語集
  • AI画像生成・生成系AI問題年表
+ 2021年以前~2025年
    • 2025年
    • 2024年
    • 2023年
    • 2022年
    • 2021年以前
  • 生成系AIに関する記事・資料集
+ 各問題別の記事・資料まとめ
    • 偽情報
    • 詐欺
    • フェイクポルノ
    • クリエイティブ
    • 危険性・依存性
    • 雇用・労働問題
    • データセット・スクレイピング
  • ★ 編集に興味がある方はこちらへ ★

基礎知識

  • 生成AIは何が問題なのか?
  • 画像生成AIは何が問題なのか?
    • img2imgによる新手のトレパク被害
    • LoRAによる個人や作品の無断学習問題
  • 画像生成AI 関連人物
  • AIと人間の学習の違いについて
  • AIイラストの見分け方
  • 主要なAI画像生成サービス
  • 画像生成AI・生成系AIに対する各種プラットフォーム等の反応・対応まとめ
  • 生成AIに対するクリエイター団体・企業などの反応・対応
    • アート・イラスト関連団体の反応・対応
    • 音楽関連団体の反応・対応
  • 生成AIに関する訴訟・法的対応一覧

主な出来事・事例

  • 画像生成AI 炎上・論争・被害事例まとめ
  • よー清水さんによる画像生成AIに関するアンケート調査結果
  • 画像生成AIに対する法整備を求める記者会見がNHKニュースで放送
  • 日本テレビ系NEWSZEROで生成AI問題を取り上げるも、放送内容に物議を醸す
  • AIイラストレーターゆーます氏i2i疑惑
  • AIグラドル「さつきあい」
  • pixivウマエロアカウント停止騒動
  • AIイラスト支援サービス「petapi」
  • 自動着彩ツール「CoPainter」
  • 自動線画合成ツール「CoPainter」
  • 国際著作権シンポジウム  赤松健参議院議員の講演 英語翻訳版

法律・政治・規制・調査

  • 生成AIに関する日本政府・官公庁・議員の動向
    • 著作権法第三十条の四
  • 各国の生成系AIへの対応・規制まとめ
  • クリエイター関連で提唱されている生成AI規制案
  • 生成AIに関する調査・アンケートの一覧

被害対策

  • 自作品を守るためにできること
    • AI学習防止ツール「Glaze」について【利用方法・意義】
  • 権利侵害の通報・相談窓口

現状を変えるために

  • 政府・議員・団体に対する問い合わせ
  • 署名・募金
  • クリエイター支援団体

関連リンク

日本語

  • ai-illust @ ウィキ
  • AIイラスト利用まとめWiki
  • Wikipedia「生成的人工知能」
  • Wikipedia「人工知能アート」
  • 生成AIに関する問題・リスク・規制などの情報まとめ

英語

  • createdontscrape
    ⇒現行の生成AIの問題点や悪用事例などについてまとめたサイト。
  • LUDDITE PRO(ラッダイト・プロ)
    ⇒現行の生成AIの問題点や悪用事例などについてまとめたサイト。
  • Chat GPT Is Eating the World
    ⇒生成AIに関する規制や訴訟などの最新の動向をまとめたサイト。

その他言語

  • 그림 인공지능/논란 및 사건 사고(イラスト人工知能/議論と事件事故)
    ⇒現状の画像生成AIに関して発生した問題や悪用事例などをまとめた韓国語のwikiサイト。




ここを編集
記事メニュー2

更新履歴

取得中です。


ここを編集
人気記事ランキング
  1. 自作品を守るためにできること
  2. 画像生成AI・生成系AIに対する各種プラットフォーム等の反応・対応まとめ
  3. 主要なAI画像生成サービス
  4. 生成AIに関する訴訟・法的対応一覧
  5. 生成AIは何が問題なのか?
  6. AIイラストの見分け方
  7. 画像生成AI 炎上・論争・被害事例まとめ
  8. AI学習防止ツール「Glaze」について【利用方法・意義】
  9. LoRAによる個人や作品の無断学習問題
  10. 852話
もっと見る
最近更新されたページ
  • 5日前

    生成AIは何が問題なのか?
  • 5日前

    生成AIに関する訴訟・法的対応一覧
  • 14日前

    AI画像生成・生成系AI問題年表/2025年(AI画像生成・生成系AI問題年表)
  • 14日前

    主要なAI画像生成サービス
  • 14日前

    メニュー
  • 24日前

    生成系AIに関する記事・資料集
  • 24日前

    生成AIの危険性・依存性関連の事件・問題の事例一覧
  • 24日前

    生成AIを用いたクリエイティブ関連の事件・問題の事例一覧
  • 24日前

    データセット・スクレイピング関連の事例一覧
  • 24日前

    生成AIを用いた偽情報関連の事件・問題の事例一覧
もっと見る
人気記事ランキング
  1. 自作品を守るためにできること
  2. 画像生成AI・生成系AIに対する各種プラットフォーム等の反応・対応まとめ
  3. 主要なAI画像生成サービス
  4. 生成AIに関する訴訟・法的対応一覧
  5. 生成AIは何が問題なのか?
  6. AIイラストの見分け方
  7. 画像生成AI 炎上・論争・被害事例まとめ
  8. AI学習防止ツール「Glaze」について【利用方法・意義】
  9. LoRAによる個人や作品の無断学習問題
  10. 852話
もっと見る
最近更新されたページ
  • 5日前

    生成AIは何が問題なのか?
  • 5日前

    生成AIに関する訴訟・法的対応一覧
  • 14日前

    AI画像生成・生成系AI問題年表/2025年(AI画像生成・生成系AI問題年表)
  • 14日前

    主要なAI画像生成サービス
  • 14日前

    メニュー
  • 24日前

    生成系AIに関する記事・資料集
  • 24日前

    生成AIの危険性・依存性関連の事件・問題の事例一覧
  • 24日前

    生成AIを用いたクリエイティブ関連の事件・問題の事例一覧
  • 24日前

    データセット・スクレイピング関連の事例一覧
  • 24日前

    生成AIを用いた偽情報関連の事件・問題の事例一覧
もっと見る
ウィキ募集バナー
急上昇Wikiランキング

急上昇中のWikiランキングです。今注目を集めている話題をチェックしてみよう!

  1. マージマンション@wiki
  2. 機動戦士ガンダム バトルオペレーション2攻略Wiki 3rd Season
  3. トリコ総合データベース
  4. beatmania IIDX DP攻略 @ wiki
  5. オレカバトル アプリ版 @ ウィキ
  6. 番組スポンサー 詳しく! @ ウィキ
  7. モンスター烈伝オレカバトル@wiki
  8. テレビ番組スポンサー表 @ wiki
  9. 正田崇作品 @ ウィキ
  10. ドラゴンクエストⅤ仲間キャラ2ch評価まとめウィキ
もっと見る
人気Wikiランキング

atwikiでよく見られているWikiのランキングです。新しい情報を発見してみよう!

  1. アニヲタWiki(仮)
  2. ストグラ まとめ @ウィキ
  3. ゲームカタログ@Wiki ~名作からクソゲーまで~
  4. 初音ミク Wiki
  5. モンスター烈伝オレカバトル2@wiki
  6. 機動戦士ガンダム バトルオペレーション2攻略Wiki 3rd Season
  7. 検索してはいけない言葉 @ ウィキ
  8. オレカバトル アプリ版 @ ウィキ
  9. 発車メロディーwiki
  10. 機動戦士ガンダム EXTREME VS.2 INFINITEBOOST wiki
もっと見る
新規Wikiランキング

最近作成されたWikiのアクセスランキングです。見るだけでなく加筆してみよう!

  1. まどドラ攻略wiki
  2. MadTown GTA (Beta) まとめウィキ
  3. SurrounDead 攻略 (非公式wiki)
  4. シュガードール情報まとめウィキ
  5. ちいぽけ攻略
  6. Dark War Survival攻略
  7. シミュグラ2Wiki(Simulation Of Grand2)GTARP
  8. 杖と剣の伝説
  9. 魔法少女ノ魔女裁判 攻略・考察Wiki
  10. 戦国ダイナスティ攻略@ウィキ
もっと見る
全体ページランキング

最近アクセスの多かったページランキングです。話題のページを見に行こう!

  1. 参加者一覧 - ストグラ まとめ @ウィキ
  2. ロスサントス警察 - ストグラ まとめ @ウィキ
  3. 水戸駅 - 発車メロディーwiki
  4. モンスター一覧_第3章 - モンスター烈伝オレカバトル2@wiki
  5. 魔獣トゲイラ - バトルロイヤルR+α ファンフィクション(二次創作など)総合wiki
  6. 常磐線 - 発車メロディーwiki
  7. 雷堂 ましろ - ストグラ まとめ @ウィキ
  8. Kana Assistant Mayor's - ストグラ まとめ @ウィキ
  9. コメント/雑談・質問 - マージマンション@wiki
  10. ミッション攻略 - 地球防衛軍6 @ ウィキ
もっと見る

  • このWikiのTOPへ
  • 全ページ一覧
  • アットウィキTOP
  • 利用規約
  • プライバシーポリシー

2019 AtWiki, Inc.