MLSecRecommendations
Глава 09 · Безопасность

Threat Modeling для ML-систем: Рекомендации ИБ

~37 мин ≈ 37 мин осталось 8 241 словОбновлено 13 мая 2026 г.STRIDE-AIMITRE ATLASOWASP LLMOWASP MLDFDMAESTRO

Threat Modeling для ML-систем: Рекомендации ИБ

Версия: 2.0 · Обновлено: 2026-04-23 · Теги: STRIDE-AI, OWASP LLM, OWASP ML, MITRE ATLAS, DFD, MAESTRO, LINDDUN · Tier: 1-2

TL;DR. STRIDE-AI / MAESTRO / LINDDUN, OWASP ML Top 10, OWASP LLM Top 10 (2025), MITRE ATLAS v5.4+ для построения DFD-моделей угроз на этапе проектирования. Threat model без DFD - это набор страхов; с DFD - карта контрмер.

Навигация: методологии · OWASP Top 10 · MITRE ATLAS · DFD примеры · новый раздел с интерактивным threat-walkthrough · новый раздел "С чего начать по вашей роли".

1. Краткое содержание раздела

STRIDE-AI: карта угроз в ML-пайплайне

flowchart TB
    subgraph S[Spoofing]
      S1["Подмена источника<br/>данных"]
      S2["Фальшивый клиент<br/>API"]
    end
    subgraph T[Tampering]
      T1[Data poisoning]
      T2["Backdoor<br/>в весах"]
      T3["Supply chain<br/>атаки"]
    end
    subgraph R[Repudiation]
      R1["Нет аудита<br/>обучения"]
      R2["Отказ от<br/>решения модели"]
    end
    subgraph I[Information Disclosure]
      I1["Membership<br/>inference"]
      I2[Model inversion]
      I3["Prompt injection<br/>+ leakage"]
    end
    subgraph D[Denial of Service]
      D1["Resource<br/>exhaustion"]
      D2["DDoW<br/>token budget"]
    end
    subgraph E[Elevation of Privilege]
      E1["Jailbreak<br/>LLM"]
      E2["Function-calling<br/>abuse"]
    end

    ML((ML System)) --> S & T & R & I & D & E

Раздел посвящён систематическому моделированию угроз (Threat Modeling) применительно к системам машинного обучения. Традиционные подходы к threat modeling (STRIDE, PASTA, Attack Trees) адаптируются с учётом специфики ML: наличие обучающих данных, модели как артефакта, пайплайна MLOps, а также новых векторов атак - adversarial-примеры, отравление данных, извлечение модели, prompt injection и др.

Ключевые тезисы раздела:

  • Триада CIA в контексте ML приобретает дополнительные измерения: конфиденциальность распространяется на обучающие данные и параметры модели, целостность - на весь пайплайн от данных до инференса, доступность - на сервисы предсказаний и обучающую инфраструктуру.
  • Существуют адаптированные методологии моделирования угроз для AI/ML: STRIDE-AI, MITRE ATLAS, OWASP ML Top 10, OWASP LLM Top 10, LINDDUN (для privacy), PASTA, DREAD, FMEA.
  • Threat modeling должен быть интегрирован в жизненный цикл ML-системы - от проектирования до эксплуатации, включая CI/CD-пайплайн (Shift-Left подход).
  • Для каждого ML-проекта рекомендуется строить DFD (Data Flow Diagram), идентифицировать trust boundaries и применять структурированные шаблоны угроз.
  • Инструменты автоматизации (pytm, OWASP Threat Dragon, ATLAS Navigator) позволяют встроить моделирование угроз в DevSecOps-процесс.

2. Верификация методологий и инструментов

2.1. STRIDE-AI

Параметр Значение
Статус Актуален
Источник Mauri L., Damiani E. - «Modeling Threats to AI/ML Systems Using STRIDE» (2022)
Суть Расширение классического STRIDE для AI-систем: учёт adversarial-атак, отравления данных, model stealing, inference attacks
Применимость Любые ML-системы, особенно системы с внешними входами

STRIDE-AI сохраняет шесть категорий угроз (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege), но адаптирует их к компонентам ML-пайплайна:

  • Spoofing - подмена источников данных, подмена модели в реестре.
  • Tampering - adversarial-примеры, отравление обучающих данных, модификация весов модели.
  • Repudiation - отсутствие логирования предсказаний, невозможность воспроизвести обучение.
  • Information Disclosure - извлечение обучающих данных (membership inference, model inversion), утечка гиперпараметров.
  • Denial of Service - перегрузка сервиса инференса, sponge-примеры (замедляющие инференс).
  • Elevation of Privilege - эксплуатация LLM для обхода авторизации, prompt injection для выполнения привилегированных действий.

2.2. MITRE ATLAS

Параметр Значение
Статус Актуален (версия обновляется регулярно)
Источник atlas.mitre.org
Русскоязычный ресурс atlas.securityhub.ru - переведённая версия
Суть Матрица тактик и техник атак на AI-системы, аналог ATT&CK для ML

ATLAS (Adversarial Threat Landscape for AI Systems) содержит:

  • Тактики: разведка, сбор ресурсов, начальный доступ, выполнение на модели, уклонение, воздействие и др.
  • Техники: отравление данных, adversarial evasion, model extraction, prompt injection, backdoor в модели и др.
  • Реальные case studies - задокументированные инциденты атак на ML-системы.

Рекомендация ИБ: использовать ATLAS Navigator для маппинга угроз конкретного ML-проекта на известные техники атак.

2.3. OWASP ML Top 10 (2023)

Параметр Значение
Статус Актуален
Источник owasp.org/www-project-machine-learning-security-top-10

Перечень рисков:

ID Угроза
ML01 Input Manipulation (Adversarial Attack)
ML02 Data Poisoning
ML03 Model Inversion
ML04 Membership Inference
ML05 Model Stealing (Extraction)
ML06 AI Supply Chain Attack
ML07 Transfer Learning Attack
ML08 Model Skewing
ML09 Output Integrity Attack
ML10 Model Poisoning (Backdoor)

2.4. OWASP LLM Top 10 (2025)

Параметр Значение
Статус Актуален
Источник genai.owasp.org

Перечень рисков:

ID Угроза
LLM01 Prompt Injection
LLM02 Sensitive Information Disclosure
LLM03 Supply Chain Vulnerabilities
LLM04 Data and Model Poisoning
LLM05 Improper Output Handling
LLM06 Excessive Agency
LLM07 System Prompt Leakage
LLM08 Vector and Embedding Weaknesses
LLM09 Misinformation
LLM10 Unbounded Consumption

2.5. LINDDUN

Параметр Значение
Статус Актуален
Источник linddun.org - KU Leuven
Суть Методология моделирования угроз приватности

Категории угроз приватности:

  • Linkability - возможность связать записи/действия одного субъекта.
  • Identifiability - возможность идентифицировать субъекта данных.
  • Non-repudiation - невозможность отрицания действия (в контексте приватности - нежелательное).
  • Detectability - возможность обнаружить факт наличия данных.
  • Disclosure of information - раскрытие персональных данных.
  • Unawareness - субъект не осведомлён об обработке его данных.
  • Non-compliance - несоответствие требованиям регуляторов (GDPR, 152-ФЗ).

Применимость в ML: критически важна для систем, обрабатывающих персональные данные - RAG-системы с корпоративными документами, рекомендательные системы, модели для HR/финансов.

2.6. PASTA (Process for Attack Simulation and Threat Analysis)

Параметр Значение
Статус Актуален
Суть Risk-centric методология из 7 этапов

Этапы PASTA, адаптированные для ML:

  1. Определение бизнес-контекста - бизнес-цели ML-системы, допустимые риски.
  2. Описание технического окружения - архитектура ML-пайплайна, DFD.
  3. Декомпозиция приложения - компоненты: хранилище данных, обучение, реестр моделей, инференс, API.
  4. Анализ угроз - применение ATLAS, OWASP ML/LLM Top 10.
  5. Анализ уязвимостей - сканирование зависимостей, аудит конфигураций.
  6. Моделирование сценариев атак - Attack Trees, табличные сценарии.
  7. Определение мер защиты - контрмеры, приоритизация по DREAD.

2.7. Инструменты

Инструмент Тип Статус Назначение
OWASP Threat Dragon Open source Актуален Визуальное построение DFD и моделей угроз, поддержка STRIDE
pytm Open source (Python) Актуален Threat modeling as code - описание системы на Python, автоматическая генерация DFD и списка угроз
ATLAS Navigator Веб-инструмент (MITRE) Актуален Навигация по тактикам и техникам ATLAS, построение профилей угроз
Microsoft Threat Modeling Tool Бесплатный Актуален Построение DFD, автоматическое предложение угроз по STRIDE
Threatspec Open source Актуален Threat modeling as code, аннотации в исходном коде
Доступ по подписке#09-threat-modeling

Дальше — практика и артефакты

Полная версия главы «Threat Modeling для ML-систем: Рекомендации ИБ» с готовыми артефактами, шаблонами, чек-листами и подробными процедурами доступна по подписке.

12% прочитано88% в подписке
Внутри:Готовые playbook'иШаблоны документовЧек-листыDetection-правила
2код-блоков28таблиц50чек-пунктов10интерактивов
  • Полный доступ ко всем главам и обновлениям 30 дней
  • Готовые playbook'и, шаблоны и runbook'и под копирование
  • Поддержка автора — paywall не для заработка, а для развития справочника
Открыть подписку· от 49 USD / 30 днейУже оплатил(а) — войти

Можно отменить в любой момент. Возврат средств в первые 7 дней без вопросов.

Упоминается в (11)