AIを悪用した攻撃 - Cyber SEC TSM | サイバーセキュリティTSM

AIを悪用した攻撃

概要

AI（人工知能）技術の進化に伴い、サイバー攻撃も高度化しています。攻撃者はAIを利用して従来の攻撃手法を強化し、新たな攻撃手法を開発しています。以下に、AIを悪用した主要な攻撃手法とその詳細を説明します。

AIを利用した標的型攻撃

''標的型攻撃 (Spear Phishing)''

• 概要: 特定の個人や組織を狙ったフィッシング攻撃。AIを用いてターゲットに合わせた内容を生成し、攻撃の成功率を高める。
• 手法:
  • 自然言語処理 (NLP) を用いて、ターゲットの興味や関心に基づいたメールやメッセージを生成。
  • ソーシャルメディアや公開情報を分析し、ターゲットの特性を学習。

なりすましの巧妙化

• 概要: AIを用いて、特定人物の声や文体を模倣し、信頼性の高いなりすましを行う。
• 手法:
  • 音声合成技術 (Voice Cloning) を用いて、ターゲットの声を模倣。
  • テキスト生成モデルを用いて、ターゲットの文体を模倣したメールやメッセージを作成。

AIを利用したマルウェア生成

バリアント（亜種）の生成

• 概要: AIを用いて、既存のマルウェアの亜種を自動生成し、検出を困難にする。
• 手法:
  • 生成モデル（例えば、Generative Adversarial Networks, GANs）を用いて、既存のマルウェアコードを基に新しい亜種を生成。
  • マルウェアのコードを多様化し、シグネチャベースの検出を回避。

システムの脆弱性発見の効率化

[[脆弱性]]発見

• 概要: AIを利用して、システムやアプリケーションの脆弱性を自動的に発見し、攻撃に利用する。
• 手法:
  • 機械学習を用いて、コードベースの脆弱性を自動検出。
  • 自動化されたペネトレーションテストツールを利用して、システムの脆弱性を効率的に探索。

ディープフェイク

概要

• ''ディープフェイク (Deepfake)'': AI技術を用いて、映像や音声を偽造する技術。
• 手法:
  • GANsを用いて、実在する人物の映像や音声を偽造し、誤情報を拡散。
  • 政治的な操作や名誉毀損、詐欺行為に利用される。

敵対的サンプル（Adversarial Examples）

概要

• 敵対的サンプル: AIモデルに誤認識を引き起こすために意図的に作成されたデータ。
• 手法:
  • AIモデルが誤った出力をするように、微細なノイズを追加。
  • 画像認識モデルに対して、視覚的にはほとんど変化のない画像を与え、誤分類を引き起こす。

プロンプトインジェクション

概要

• プロンプトインジェクション: 自然言語処理モデルのプロンプトに悪意ある入力を挿入し、予期しない応答を引き出す。
• 手法:
  • テキスト生成モデルに対して、悪意ある質問や命令を含むプロンプトを入力し、機密情報を漏洩させたり、誤情報を生成させたりする。

データポイズニング

概要

• データポイズニング: AIモデルの訓練データに悪意あるデータを混入させ、モデルの性能を低下させる攻撃。
• 手法:
  • 訓練データセットに意図的なエラーやバイアスを含むデータを挿入し、モデルの学習を歪める。

モデルインバージョン攻撃

概要

• モデルインバージョン攻撃: AIモデルの出力から、元の訓練データを逆推定する攻撃。
• 手法:
  • モデルの予測結果と内部の状態を分析し、訓練データの特徴を再構築。

メンバーシップ推測攻撃

概要

• メンバーシップ推測攻撃: 特定のデータポイントがモデルの訓練データセットに含まれているかどうかを推測する攻撃。
• 手法:
  • モデルの出力の違いを分析し、特定のデータポイントが訓練データに含まれているかを推測。

まとめ

AI技術の進化により、サイバー攻撃も高度化しています。攻撃者はAIを利用して攻撃の精度を高め、新たな手法を開発しています。防御側もAIを活用してこれらの新たな脅威に対応する必要があります。攻撃者の手法を理解し、適切な防御策を講じることが重要です。

検知と対策（防御側の観点）

このページの攻撃は2種類に分かれます。''攻撃者が AI を道具として使う攻撃と、AI システムそのものを狙う攻撃''です。対策も分けて考えます。

攻撃者が AI を道具として使う攻撃（フィッシング・なりすまし・ディープフェイク）

文面や声が本物らしくなるほど、「見た目で見分ける」対策は効かなくなります。見た目ではなく手続きで守ります。

• 送金・認証情報の変更・機密の送付などの依頼は、メールや電話で来た連絡先ではなく、あらかじめ登録した別の経路で本人に確かめる（ビジネスメール詐欺）
• 多要素認証を、フィッシングに強い方式（FIDO2 などのパスキー）で導入する。文面がどれほど巧妙でも、認証情報だけでは入れないようにする
• ソーシャルエンジニアリングの訓練で、「急がせる」「秘密にさせる」依頼を疑う習慣をつける（フィッシング、ビッシング）
• マルウェアの亜種が増えても、シグネチャだけに頼らず、振る舞いで検知する（コード難読化、検知）

AI システムそのものを狙う攻撃

米国国立標準技術研究所の NIST AI 100-2 E2025（2025年3月）は、敵対的機械学習の攻撃を次のように整理しています。予測型の AI への攻撃は、回避（evasion）・汚染（poisoning）・プライバシーへの攻撃に分けます。生成 AI への攻撃は、攻撃者の目的（可用性・完全性・プライバシーの侵害と、悪用＝misuse）と、攻撃の種類（直接のプロンプト攻撃・間接プロンプトインジェクション・サプライチェーン攻撃など）で整理しています。大規模言語モデル（LLM）を組み込んだアプリケーションについては、OWASP の「Top 10 for LLM Applications」2025年版が、次のような項目を挙げています。

ID	項目	このページの対応する攻撃
LLM01	Prompt Injection（プロンプトインジェクション）	プロンプトインジェクション
LLM02	Sensitive Information Disclosure（機微な情報の漏えい）	モデルインバージョン、メンバーシップ推測
LLM04	Data and Model Poisoning（データとモデルの汚染）	データポイズニング
LLM06	Excessive Agency（過剰な権限）	―（AI に与えた権限が悪用される）
LLM07	System Prompt Leakage（システムプロンプトの漏えい）	―
LLM03	Supply Chain（サプライチェーン）	―（外部のモデルやデータの改ざん）
LLM05	Improper Output Handling（出力の不適切な扱い）	―（AI の出力をそのまま使う）

対策の考え方：

• ''AI の出力を信用しない''：モデルの出力を、そのまま命令の実行・データベースの操作・画面の表示に使わない。通常の入力と同じく検証する
• 権限を絞る：AI に渡すツールや API の権限は、最小限にする。重要な操作の前には人の確認を挟む（最小権限の原則）
• 学習データの出どころを管理する：外部から集めたデータやモデルは、サプライチェーンの一部として扱い、出どころと改変の有無を確かめる
• 機微な情報を学習・入力させない：個人情報や秘密をモデルやプロンプトに入れない。入れる場合は、出力から漏れうる前提で設計する

出典

• OWASP Top 10 for LLM Applications 2025
• NIST AI 100-2 E2025 Adversarial Machine Learning

確認日：2026年10月14日