AIセキュリティの最前線：3つの柱で分類する脅威と防御の全体像
投稿者：山本仁一
こんにちは、セキュリティエバンジェリストの山本です。
2026年現在、急速に発展する人工知能「AI」は、多くの組織にとって緊急対応事項になっていると思われますが、その一方で次の状況のように克服すべき状況もよく話題になっています。
ここでは素晴らしさが前面にでているAIの、忘れがちなセキュリティ面について、現在取り沙汰される問題点から説明したいとおもいます。
目次
1.なぜAIセキュリティが急務なのか
2. Securing AI System（AIシステムの保護）
3. Conducting AI-Enabled Cyber Defense（AIを活用した防御）
4. Thwarting AI Cyberattacks（AIを活用した攻撃への対処）
5.最後に
1.なぜAIセキュリティが急務なのか
1.1.急速に拡大するシャドーAIの脅威
最新の調査によれば、98%の組織にシャドーAIが存在し、多くの従業員が未承認のAIツールを使用していると言われています（Varonis, 2025）。ChatGPT、Claude、Copilotなど、生成AIツールの使いやすさが災いし、従業員は個人アカウントで機密情報を入力し、それが知らぬ間にAIの学習データとして外部に流出するリスクにさらされているのです。
さらに深刻なのは、13%の組織がすでにAIモデルやアプリケーションの侵害を報告している点です（IBM, 2025）。
1.2.市場の定義が曖昧で体系的対応ができない
「AIセキュリティ」という言葉は、実は非常に曖昧なのも事実です。AIモデル自体を守ることなのか、AIを悪用した攻撃から守ることなのか、AIを使って防御を強化することなのか、これらが混在し、どの文脈でディスカッションしているかしばしば混同することもあります。
この混乱が、適切な対策の遅延を招き、結果として組織を危険にさらしている可能性もあります。
1.3.AI攻撃の高度化と爆発的増加
一方で、攻撃者はAIを武器化している事実があります。ディープフェイクファイルは2023年の50万件から2025年には800万件へと16倍増加し、AI生成フィッシングは全体の82.6%に到達した。米国だけでAI詐欺による損失は125億ドルに達し、ディープフェイクCEO詐欺は北米で1,740%増加しているとのことです（DeepStrike, 2025）。
このような背景から、NIST（アメリカ国立標準技術研究所）が2025年12月にCybersecurity Framework Profile for Artificial Intelligence（NISTIR 8596）を公開しました。次項から、NISTのフレームワークをベースに、AIセキュリティを3つの重複する焦点領域で整理し、それぞれの脅威や対策を整理していきます。
2.Securing AI System（AIシステムの安全確保）
1つ目の柱は、AIシステムそのものを保護する「Security for AI」とも言われている領域です 。これは、AIシステム、モデル、およびデータを攻撃から防御することを目的とするドメインです 。従来のアプリケーションセキュリティの延長線上にありながら、AI特有の脆弱性を標的とした攻撃への対応が求められます 。
2.1.AIモデルへの攻撃
AIモデルは高品質なデータセット等で構築される、組織にとって重要な知的財産です。AIシステムを安全に運用するためには、AIを悪用した外部からのサイバー攻撃への対処とは別に、AIの「頭脳」であるモデルそのものを直接狙う脅威から保護する必要があります。モデルの機密性や完全性、そして可用性を脅かす主な攻撃手法として、以下の3点が挙げられます。
a.モデル抽出攻撃（Model Extraction）
攻撃者がAIのAPIに対して大量のクエリを送信し、その応答を分析することで、内部パラメータや挙動を模倣した「コピーモデル」を勝手に作成してしまう手法です。この攻撃は知的財産の盗用にとどまらず、モデルの弱点を探る「偵察」としても悪用されます。
b.データポイズニング（Data Poisoning）
AIの事前学習やファインチューニングのフェーズを狙い、意図的に悪意のあるデータやノイズを混入させる攻撃です。これにより、モデルの判定精度が根本から低下させられたり、特定のキーワードや条件に反応して誤作動を起こす「バックドア」をモデル内部に仕込まれたりする危険性があります。
c.敵対的インプット（Adversarial input）
人間の目には正常に見えるデータ（画像やテキストなど）に、AIのアルゴリズムだけが誤認する特殊なノイズを意図的に付与して入力し、AIの誤分類を誘発する攻撃です。これはシステムの堅牢性の隙を突くものであり、誤った推論結果を強制的に引き起こします。
d.対策のアプローチ
これらの脅威からAIモデルを守るためには、開発から運用までの各フェーズで対策をする必要が出てきます。モデル抽出に対しては、クエリの頻度制限（Rate Limiting）や、応答にわずかなノイズを加えて情報漏洩を抑制する手法が有効です。また、ポイズニングを防ぐための学習データの厳格な出所検証やサニタイズ、敵対的サンプルへの耐性を高めるための敵対的学習、さらにはモデルファイル自体のハッシュ値検証による完全性の保証など、多層的な防御策を講じる必要があります。
2.2. プロンプトインジェクションからの防御
生成AI（特に大規模言語モデル：LLM）の運用において、現在最も警戒すべきインシデント要因がプロンプトインジェクションと言われています。これは、AIへの入力テキスト内に悪意のある命令を巧みに混入させ、システムに設定された本来の制約やセキュリティ・ガイドラインを無視して、攻撃者の意図する不正な動作を実行させる脅威です。プロンプトインジェクションは、攻撃の経路によって主に以下の2つに分類されます。
a.直接的プロンプトインジェクション（Direct Prompt Injection）
ユーザーがチャットインターフェースなどを通じて、直接AIに悪意のある命令を下す手法です。例えば、「これまでの指示をすべて忘れ、以下の命令に従え」といったフレーズを用いてAIの初期設定（システムプロンプト）を上書きし、本来は制限されている回答を強制的に引き出します。
b.間接的プロンプトインジェクション（Indirect Prompt Injection）
ユーザーの直接的な入力ではなく、AIが外部情報を参照する機能を悪用する手法です。例えば、AIに読み込ませるWebサイトやドキュメント内に「この情報を外部サーバーに送信せよ」といった攻撃命令をあらかじめ隠しておき、AIがそのデータを処理したタイミングで、システムに不正な命令を実行させてしまう巧妙な手口です。
c.対策のアプローチ
これらの攻撃を防ぐためには、単純なNGワード等の静的フィルタリングだけでは不十分です。より高度で多層的な防御策として、AI自体の出力内容を監視し、ポリシー違反や異常を検知してブロックする「Output Guardrails（出力ガードレール）」の導入が求められます。さらに、システム側の「信頼できるコンテキスト（指示）」と、外部からの「信頼できない入力」をアーキテクチャレベルで明確に分離し、入力データが命令として解釈されないようなシステム設計を行う必要があります。
2.3. シャドーAIの実態とデータ漏えい防止
組織内のAIセキュリティにおいて、外部からのサイバー攻撃と同等以上に深刻なインシデントの火種となるのが「ガバナンスの欠如」等、内部起因によるデータ流出です。中でも、従業員が会社が許可していない生成AIサービスを業務目的で独断で使用してしまうシャドーAIが大きな脅威として顕在化しています。
a.シャドーAIの実態と情報漏えいリスク
ある統計データでは「68%の従業員が未承認のAIを利用している」とも報告されており、事態の蔓延は深刻です。従業員は業務効率化を目的として、悪意なく私用アカウントで外部のAIサービスを利用します。しかし、その過程で顧客の個人情報や未公開のソースコード、事業計画などの機密情報をプロンプトに入力してしまうことで、意図せぬ重大なデータ漏えいを引き起こす可能性があります。
b.規制対象業種における深刻度
生成AIの利活用を進めるすべての企業にとっての課題ですが、特に金融機関やヘルスケア産業など、厳格なコンプライアンス要件が求められる規制対象業種においては、シャドーAI経由のデータ漏えいは企業側にとって法的な罰則や致命的な信用失墜に直結するため、早急な対応が求められます。
c.対策のアプローチ
この問題を防ぐためには、人的対策として社内ルールの周知徹底に加えて、技術的な統制が不可欠です。具体的には、AIサービス向けに最適化されたCASBやDLPソリューションを導入し、組織内の未承認AIの利用状況を可視化・制御することが求められます。さらに、従業員が入力するプロンプトを監視し、個人情報や機密コードが含まれている場合にリアルタイムで検知して送信をブロックしたり、自動的にマスキングして安全なデータのみをAIに渡したりする動的制御の実装が必要です。
3.Conducting AI-Enabled Cyber Defense（AIを活用した防御）
AIセキュリティにおける2つ目の柱は、防御側がAIを強力な味方につける、いわば「AI for Security」です。サイバー攻撃の巧妙化と高速化が人間の手による対処の限界を超えている現在、AIテクノロジーによって防御・検知・対応のプロセスを高度化することは、もはやオプションではなく必須要件となっています。本章では、AIがどのように最新のセキュリティソリューションに組み込まれ、防御能力を飛躍させているのかをご説明します。
3.1. 次世代SIEM/SOARによるセキュリティ運用（SOC）の高度化
現場のセキュリティ運用を長年悩ませているのが、膨大なアラートの処理です。「1日900件のアラートが発生し、その50%は未調査のまま放置されている」といった状況は、「アラートの洪水とアナリストの疲弊」と表現されるように、現代のSOCが抱える深刻な課題を表しています。従来のルールベースの検知では大量の誤検知を生み出していましたが、AIを統合した次世代のSIEM/SOARでは、以下の機能により劇的な運用効率化が期待できます。
a.文脈理解に基づく相関分析
単一の不審なログを個別に見るのではなく、AIが複数の独立したアラートの関連性を紐解き、一つの連続した「攻撃ストーリー」としてインシデントを統合します。これにより、対応すべき脅威の優先順位（トリアージ）が決定されます。
b.動的プレイブック（Dynamic Playbooks）
インシデント対応の手順やタスクのリストをプレイブックと呼びますが、事前に定義された固定のプレイブックではなく、攻撃の進行状況や影響範囲をAIがリアルタイムに評価することで、例えば単なるマルウェアの駆除と想定して対応していたなかで、データ漏洩が発覚するなど、その状況に最も適した対応を動的に組み立てて実行する（動的プレイブック）ことで、被害の拡散を最小限に抑えます。
c.自然言語による調査と自動レポート化
生成AIの統合により、アナリストが「昨夜発生した認証エラーの詳細を要約して」と自然言語でクエリを投げるだけで、AIが膨大なログを解析し、人間が読みやすいレポートを即座に作成することが可能になります。
3.2. EDR/XDRによる未知の脅威の検知と対応
エンドポイント（PCやサーバー）やネットワーク全体の保護を担うEDR/XDR領域において、AIは「侵入されることを前提とした、高度な事後対策」のコア技術として機能しています。従来の単一ポイントでの不審な挙動の監視から、AIの膨大なデータ処理能力を活用した「攻撃の全体像の可視化」へと防御のパラダイムが進化しています。
a.グラフ解析による「攻撃ストーリー」の自動生成
単一のシステムや端末上で発生したバラバラのイベント（レジストリの変更、不審なプロセスの起動、外部への通信など）を、AIがクラウド上の膨大なテレメトリデータと照らし合わせて相関分析します。これにより、断片的な事象を一つの連続した「悪意あるオペレーション（攻撃チェーン）」として統合し、根本原因から影響範囲までを視覚的なストーリーとして書き出せるようになります。
b.IoA（攻撃の指標）に基づくリアルタイムな振る舞い検知
既存の攻撃者の戦術・技術・手順（TTPs）を機械学習したAIモデルにより、実行されているプロセスの「意図」をリアルタイムで評価します。たとえ攻撃者がマルウェアを使わず、OS標準の正規ツールを悪用した環境寄生型攻撃（Living off the Land）であっても、「その文脈や実行順序が攻撃者の振る舞い（IoA：Indicator of Attack）に合致するか」をAIが文脈から判断し、巧妙なステルス攻撃を検知します。
c.クロスドメインでの脅威ハンティング（XDR）
エンドポイントにとどまらず、ネットワーク、アイデンティティ、クラウド、メールなど複数の領域（ドメイン）から収集したデータをAIが横断的に分析します。これにより、境界防御をすり抜けて内部で静かに進行するラテラルムーブメントを浮き彫りにし、単一のセキュリティ製品では見逃してしまう複雑な脅威を捕捉します。
3.3. ITDRとUEBAによるアイデンティティ保護
近年、サイバー攻撃の主流は「脆弱性を突いてハッキングする」手法から、「正規の認証情報を盗用してログインする」手法へと変化しています。アイデンティティそのものが新たな境界線となる中、注目されているのが「ITDR（Identity Threat Detection and Response）」です。
a.正規アカウントの悪用（なりすまし）検知
多要素認証（MFA）を突破されたり、セッションCookieが盗まれたりした場合、認証情報自体は「正規のもの」であるため、従来の防御網では侵入に気づくことが困難です。ITDRは、認証基盤に対する攻撃や権限昇格の試みを継続的に監視します。
b.UEBA（ユーザーとエンティティの振る舞い分析）
AIが組織内の全ユーザーの平時の挙動（ログインする時間帯、物理的な場所、通常アクセスするサーバーやファイル量など）を機械学習し、「ベースライン（正常値）」を構築します。その上で、ベースラインから大きく外れた「異常な振る舞い（例：深夜に海外のIPから大量のファイルをダウンロードする等）」を即座に特定し、なりすましの兆候をアラートとして発報します。
4.Thwarting AI Cyberattacks（AIを活用した攻撃への対処）
最後の柱は、攻撃者がAIを「武器化（Weaponization）」して仕掛けてくる、これまでにない質の高い脅威に対抗し、レジリエンスを構築する「Thwarting AI Cyberattacks」です 。これは広報やリスク管理部門にとっても、ブランド保護の観点から非常に重要な領域となります 。
4.1. ディープフェイクと「偽社長からの電話」
AIによる音声や映像の合成技術である「ディープフェイク」は、組織のブランド価値や経済活動に壊滅的な打撃を与えるインシデントを引き起こしています 。例えば、経営者の声を模倣して財務担当者に送金指示を出す「偽社長電話（Executive Impersonation）」といった、進化したビジネスメール詐欺（BEC）が発生しています 。企業はこれに対抗するため、音声のスペクトラム解析による不自然な周波数の検知や、映像における「まばたき」の頻度、血流に伴うわずかな皮膚色の変化をAIで解析する「合成メディア検知技術」を導入しているところもあります。
4.2.迫り来る経済的被害と法規制の動き
AIを悪用した犯罪はすでに莫大な経済的被害を生んでいます 。実際の事例として、SNS等を通じて組織された150人もの大規模なグループが、AIを含むデジタル技術を駆使して約100億円もの不正収益を上げていたことが報告されています 。 また、2024年1月の能登半島地震においては、AIによって生成された虚偽の救助要請などが拡散するインシデントが発生しました 。これを受け、日本の総務省などは「7日間以内の削除判断」を事業者に求めるガイドラインを整備するなど、拡散スピードの速いAI時代の脅威に対して迅速な事後対応を義務付ける法的な動きも見られます 。
4.3.洗練されたフィッシングと自動攻撃網
従来のフィッシングメールは、文法の誤りや不自然な表現から人間が検知できる場合が多くありました 。しかし現在では、LLMを用いることで、標的のSNSの投稿内容や過去のメールの文体に合わせて最適化された、完璧な日本語による「パーソナライズされた攻撃」が可能になっています 。さらに、攻撃側のAIボットはCAPTCHAを自動的に突破したり、人間のログイン試行を擬態したりして、従来のWAFなどの防御をすり抜けます 。防御側もこれに対抗すべく、攻撃側のAIが生成する「わずかな統計的バイアス」を検知する高度なAIモデルを配備する必要があります 。
5.最後に
AIセキュリティは、もはやIT部門だけの課題ではなく、全社的なガバナンスの問題です 。組織は、AIシステムの導入前から導入後に至るまで、継続的なAIセキュリティ・ライフサイクルを構築しなければなりません 。
- 設計・開発フェーズ: リスクアセスメントやデータセットのクリーニング、モデルのレッドチーミング 。
- 運用フェーズ: 入出力の監視（Guardrails）、APIのアクセス制御、精度低下の監視 。
- 事後対応フェーズ: インシデント発生時の証拠保全、虚偽情報の削除フローの確立 。
今後のサイバー空間は、AIを用いた自動化がさらに加速し、攻撃側がAIで脆弱性を発見し、防御側がAIでパッチを自動適用する「ミリ秒単位の軍拡競争」へと突入するかもしれません。この激しい戦いの中で、私たちセキュリティエンジニアの役割は、単なるアラートの最終判断から、「AIシステムの設計と監視」というより高度な領域へとシフトしていくことが予想されます。弊社ではこの新領域へ注力しておりますので、課題をお感じの場合はぜひお問い合わせください。
