FAQ
FAQ
Ответы на частые вопросы по применению MLSec Recommendations. Группировка по ролям и темам. Если вопрос отсутствует, оформляйте issue в репозитории.
С чего начать
Я CISO. С чего начать внедрение?
- Прочитайте 01. Overview и 00-INDEX.md.
- Оцените текущую зрелость по опроснику MLSec-зрелости (
.xlsx, предоставляется по запросу). - Выберите 3-5 приоритетных направлений с уровня 1 (начальный) → 2 (повторяемый).
- Посмотрите одностраничник CISO (cheatsheet, по запросу).
- Запустите pilot на 1 критичной ИИ-системе (Tier 1 или 2).
Я ML Lead, мне нужно защитить одну модель. Что делать?
- Откройте cheatsheet ML-engineer (по запросу).
- Заполните Threat Model по шаблону THREAT-MODEL-TEMPLATE (по запросу).
- Определите Tier модели (1, 2 или 3) и класс данных (K0-K4) через 14. Governance.
- Пройдите по чек-листам глав 02-05 (design → data → model → deployment) применительно к вашей модели.
- Добавьте модель в AI-BOM (пример
AI-BOM-EXAMPLE.jsonв формате CycloneDX ML-BOM 1.5+, по запросу).
Я разработчик, использую Copilot / Cursor / Claude CLI. Что я должен соблюдать?
- Прочитайте cheatsheet Developer (по запросу).
- Не отправляйте в код-ассистент: секреты, ПДн, коммерческую тайну.
- Все обращения должны идти через корпоративный LLM Gateway (Rilio). Прямые обращения к публичным облакам заблокированы.
- Руководствуйтесь разделом 6.1 шаблона AI-USE-POLICY (по запросу).
Gateway и DLP
Почему нужен единый LLM Gateway, а не прямые обращения к моделям?
- Единая точка для DLP, auth, rate limit, audit, kill-switch.
- Возможность быстро заблокировать / перемаршрутизировать при инциденте.
- Централизованный budget control и cost tracking.
- Интеграция с SIEM и compliance-процессами.
- Подробнее: 12. Gateway and DLP.
Что такое "6-слойный DLP"?
Шесть последовательных слоёв сканирования в Rilio:
- Layer 0: Prompt injection (regex).
- Layer 1: Regex secrets + PII (AWS, OpenAI, INN, SNILS, Luhn).
- Layer 2: Presidio NER (контекстный PII).
- Layer 3: LLM Guard (toxicity, secrets, malicious URLs, invisible text).
- Layer 4: Corporate patterns (проектные имена, внутренние домены).
- Layer 5: Semantic guard (топиковая категоризация).
- Layer 6: Hallucination scanner (post-call, опциональный).
- Layer 7: Copyright scanner (post-call).
Подробнее в 12. Gateway and DLP.
Как работает kill-switch?
Пять уровней:
- L0: глобальный стоп всех ИИ-операций (HTTP 503).
- L1: блокировка конкретного пользователя.
- L2: отключение конкретной модели.
- L3: блокировка внешних облачных моделей (оставляет self-hosted).
- L4: остановка конкретного агента.
Срабатывание < 1 секунды через Redis. События логируются в БД и SIEM. Детали: 10. LLM/Agent Protection + 15. Incident Response.
Регуляторика
Нужно ли нам соблюдать EU AI Act, если мы в России?
Если ваш продукт или услуга используется в ЕС или в отношении субъектов из ЕС, то да. Матрица соответствия EU AI Act (распределение обязательств по ролям и уровням риска) предоставляется по запросу.
Утечка ПДн через чат-бот. В какие сроки уведомлять РКН?
По 152-ФЗ ст. 21 ч. 3 (в редакции 266-ФЗ): 24 часа на первичное уведомление, 72 часа на детальное. Шаблон уведомления РКН-152ФЗ предоставляется по запросу.
Наш банк использует LLM для антифрода. Что по 716-П?
Инциденты с ИИ-моделью антифрода интегрируются в базу событий операционного риска по Положению 716-П. Параллельно готовится уведомление в ФинЦЕРТ (шаблон FINCERT, по запросу). Глава: 18. Российская специфика.
Мы субъект КИИ. Как регистрировать AI-инциденты?
В НКЦКИ через ГосСОПКА, 3 часа на первичное уведомление. Шаблон GOSSOPKA-187ФЗ предоставляется по запросу. Инструменты: АСОИ ФинЦЕРТ (для финсектора), защищённый канал ГосСОПКА (для прочих).
Что делать с данными граждан ЕС в наших моделях?
Если применим GDPR: дополнительные обязательства (lawful basis, DPIA аналогично PIA, Юрист, DSR механизмы). Если применим EU AI Act: обязательства по уровню риска. Параллельное соблюдение 152-ФЗ остаётся обязательным. Рекомендуется раздельная инфраструктура для EU-данных с локализацией в ЕС.
Red Teaming и тестирование
С чего начать red teaming LLM?
- Установите Garak или PyRIT.
- Запустите базовый набор проб: prompt injection, jailbreak, data leakage, toxicity.
- Прогоните в изолированной среде, не в production.
- Актуализируйте модель угроз по результатам.
- Добавьте в CI/CD как регулярный gate. Детали: 07. Red Teaming.
Как часто проводить adversarial testing?
- Для Tier 1 (критические): при каждом релизе модели + еженедельно / ежемесячно на production.
- Для Tier 2: при каждом значительном изменении модели + ежеквартально.
- Для Tier 3: ежегодно + при изменении модели угроз.
Чем отличается red teaming LLM от классического пентеста?
Классический пентест ищет уязвимости в инфраструктуре и приложениях. Red teaming LLM дополнительно ищет:
- Обход safety / content policy.
- Утечку обучающих данных.
- Prompt injection (direct / indirect).
- Jailbreak / извлечение system prompt.
- Модельные галлюцинации в критичных сценариях.
- Data / model poisoning через пользовательский контекст.
Используйте оба подхода. Детали: 07. Red Teaming.
Supply Chain
Как безопасно использовать модели с HuggingFace?
- Никогда не загружайте pickle-модели из непроверенных источников.
- Предпочитайте SafeTensors.
- Проверяйте cosign-подпись (если есть).
- Сканируйте ModelScan + picklescan.
- Загружайте через внутреннюю reverse-proxy с кэшем и сканированием.
- Вносите в AI-BOM. Детали: 04. Supply Chain.
Что такое SLSA Level 3+ и зачем?
Supply-chain Levels for Software Artifacts - градация зрелости supply-chain. Level 3 требует:
- Reproducible builds.
- Provenance (подписанные метаданные сборки).
- Изолированная build-среда.
Для Tier 1-2 моделей рекомендуется Level 3 и выше: это отсекает большинство атак типа trojanized adapter. Детали: 04. Supply Chain.
Нужен ли SBOM для моделей?
Да, в формате CycloneDX ML-BOM 1.5+. Пример AI-BOM-EXAMPLE.json предоставляется по запросу. Регулярно обновляется через CI/CD. Регуляторы могут запросить при аудите.
Агенты и RAG
Как безопасно запустить агента?
- Sandbox: gvisor / Firecracker / WASM.
- Allowlist инструментов.
- HITL для опасных операций (финансовые, юридические, отправка данных).
- Rate limit на операции.
- Kill-switch L4.
- Audit log с полной trajectory.
- Детали: 10. LLM/Agent Protection.
Как защитить RAG от corpus poisoning?
- Индексация только из доверенных коллекций.
- Cosign-подпись источников.
- DLP при ingest.
- Tenant isolation (коллекция на департамент).
- ACL на уровне коллекций.
- Регулярный audit содержимого vector DB.
- Детали: 10. LLM/Agent Protection; tabletop-сценарий 2 из комплекта TABLETOP-SCENARIOS (по запросу).
Как отделить K3-данные в RAG?
- Отдельная коллекция с явным ACL.
- Маркировка документов.
- DLP в pre-ingest и post-call.
- Доступ только для авторизованных пользователей (RBAC).
- Запрет индексации K3 в коллекциях, доступных внешним пользователям.
Приватность (PET)
Когда применять Differential Privacy?
- При fine-tuning на данных с K3-классом.
- При публикации модели или метрик в открытом доступе.
- При расчёте агрегатов по пользователям, раскрываемых третьей стороне.
- Параметр epsilon: 1-10 типично, меньшее значение = строже приватность. Opacus - популярная реализация. Детали: 03. Data Operations; шаблон PIA-TEMPLATE (по запросу).
Когда применять Federated Learning?
- Кросс-организационное обучение без обмена данными.
- Обучение на данных, которые нельзя централизовать (медицинские, финансовые).
- Instruments: Flower, NVFlare.
- Внимание: FL не защищает от membership inference; комбинируйте с DP.
Когда нужен TEE?
- Confidential inference для K3-K4 данных.
- Обработка биометрии.
- Кросс-организационные вычисления без доверия к провайдеру.
- Implementations: Intel SGX / TDX, AMD SEV, NVIDIA Confidential Computing. Детали: глава 03. Data Operations.
Инциденты и reporting
У нас сработал kill-switch. Что дальше?
- Зафиксируйте факт и время в журнале инцидентов.
- Откройте соответствующий playbook по типу инцидента.
- Сохраните артефакты (prompts, traces, audit log) в WORM-хранилище.
- Соберите IR-команду.
- Оцените необходимость уведомления регуляторов.
- Проведите пост-инцидентный анализ. Детали: 15. Incident Response.
Как долго хранить audit log LLM Gateway?
Минимум:
- Tier 1: 3 года.
- Tier 2: 1 год.
- Tier 3: 6 месяцев.
При инциденте - расширение retention для артефактов по ИИ (prompts, responses, vector DB snapshots). Детали: 15. Incident Response.
Мы провели tabletop. Где хранить результаты?
- Протокол учений в системе управления документами ИБ.
- Lessons learned вносятся в CHANGELOG.md методики (если результат влияет на процесс).
- Улучшения playbooks фиксируются сразу.
- Реестр tabletop ведёт CISO. Комплект TABLETOP-SCENARIOS (tabletop-сценарии) предоставляется по запросу.
Процессы и роли
Кто отвечает за AI-риски?
- CISO: общая ответственность за ИБ, эскалация.
- ML Lead: техническая ответственность за конкретную модель.
- Юрист: обработка ПДн и согласование PIA.
- CRO: интеграция в ERM (если есть).
- Руководитель бизнес-подразделения: бизнес-риски.
- Детали: 14. Governance; комплект одностраничников по ролям (role cheatsheets) доступен по запросу.
Как часто пересматривать модели угроз?
- Обязательно: при любом значимом изменении системы (новая модель, новый источник данных, новая интеграция).
- Регулярно: не реже 1 раза в 6 месяцев для Tier 1-2, 1 раз в год для Tier 3.
- При инциденте: обязательный пересмотр после root cause анализа.
- Шаблон THREAT-MODEL-TEMPLATE предоставляется по запросу.
Как посчитать зрелость?
Используйте опросник MLSec-зрелости (MATURITY-ASSESSMENT.xlsx, по запросу). Оцените по 5 уровням (Initial, Repeatable, Defined, Managed, Optimizing) каждую из 11 категорий. Интерпретация: уровень 3 (Defined) - минимум для Tier 1-2 организаций, уровень 4 (Managed) - цель зрелой программы.
Инструменты
Какие open-source инструменты рекомендуете?
- Red teaming: Garak, PyRIT, ART, TextAttack, CleverHans.
- DLP: Presidio, LLM Guard.
- Model security: ModelScan, picklescan, SafeTensors.
- Supply chain: Trivy, Grype, Syft, cosign (Sigstore), Kyverno, OPA.
- Vector DB: Qdrant, Weaviate, Milvus, pgvector.
- Model registry: MLflow.
- Monitoring: Prometheus, Grafana, Loki, Tempo.
- PET: Opacus (DP), Flower (FL), OpenFHE (HE).
Детали: 12. Gateway and DLP, 04. Supply Chain, 07. Red Teaming.
Почему Rilio, а не LiteLLM / аналоги?
Rilio - пример реализации gateway с встроенным 6-слойным DLP, kill-switch 5 уровней, tenant isolation, anonymous tracking, topology map. Подход методики архитектурно агностичен: вы можете использовать LiteLLM + свои DLP-слои, собственную реализацию, коммерческие решения. Важно соблюдать требования из 12. Gateway and DLP.
Работа с методикой
Как предложить улучшение?
Issue или pull request в репозитории. Принципы: без em/en-dashes, русский язык, проверяемые источники. См. README.md.
Как локально собрать Mermaid-диаграммы?
Большинство Markdown-вьюверов (GitHub, GitLab, Obsidian) рендерят Mermaid автоматически. Для статического экспорта: mmdc -i DIAGRAMS.md -o DIAGRAMS.pdf (mermaid-cli).
Где хранить заполненные шаблоны?
Не в этом репозитории (это публичная методика), а во внутреннем репозитории / системе управления документами вашей организации. Публичные шаблоны служат заготовкой.
См. также
- GLOSSARY.md - словарь терминов
- TAGS.md - индекс по тегам
- 00-INDEX.md - навигация
- README.md - описание проекта