LLM Firewall: устарел, не успев родиться? Почему защита чатов не работает в мире AI-агентов
История про сумасшедшую скорость изменений. Пока мы в Ideco создавали задачи в Jira, исследовали технологии и возможность реализации модуля «LLM Firewall» в Ideco NGFW – ландшафт угроз использования AI принципиально изменился и все приходится переделывать заново.Первое поколение LLM Firewall проектировалось для защи...
История про сумасшедшую скорость изменений. Пока мы в Ideco создавали задачи в Jira, исследовали технологии и возможность реализации модуля «LLM Firewall» в Ideco NGFW – ландшафт угроз использования AI принципиально изменился и все приходится переделывать заново.Первое поколение LLM Firewall проектировалось для защиты чат-интерфейсов: пользователь отправил запрос – модель ответила – файрвол отфильтровал. Похоже на известную нам работу прокси-сервера или DLP-решения. Но за 2025–2026 годы индустрия резко перескочила от «чатов» к автономным агентам, которые вызывают инструменты, ходят в базы данных, принимают решения и общаются с другими агентами. Концепция LLM Firewall переродилась раньше, чем полностью оформилась –в Agent Runtime Security. Но назвать сегодняшние stateless-фильтры промптов «решением проблемы безопасности агентов» – значит обманывать всех и продавать «воздух».Два года назад разговор об LLM-безопасности сводился к простой формуле: не дать пользователю сломать чатбот (если конечно отбросить «драконовские» и не выполнимые в современных компаниях требования – ЗАПРЕТИТЬ). Prompt injection, jailbreak, утечка персональных данных – вот и весь threat model. Ответ рынка был логичен: поставить прокси между пользователем и моделью, отфильтровать вредоносный или содержащий чувствительные данные промпт на входе, проверить ответ на выходе. Но тут уже можно было столкнуться со сложностью – «фильтрующей» модели нужно было поддерживать контекст в водовороте вопросов и ответов в чате, что не просто и требует большой мощности.
Связанные теги
Компании и люди
Линия сюжета
AI
Последние материалы и связанный контекст по теме AI.
Habr
Последние материалы и связанный контекст по теме Habr.
Habr
Последние материалы и связанные ссылки по теме Habr.
Ideco
Последние материалы и связанные ссылки по теме Ideco.
Ideco Ngfw
Последние материалы и связанные ссылки по теме Ideco Ngfw.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Пишем AI-помощника для ревью пулл-реквестов: как выбрать модель и разработать серверную часть
Привет, Хабр! Я Полина Ященко, старший инженер по разработке ПО в YADRO. Мы с командой тестируем гипотезы и активно применяем искусственный интеллект, чтобы усовершенствовать пр...
Как использовать koda-cli в своей IDE без терминала
Привет. В свежей версии CLI-ассиcтента Koda 0.3.1 мы доработали поддержку ACP (Agent Client Protocol) и хотим поделиться туториалом — как настроить интеграцию с ним прямо сейчас...
Оказание проактивных сервисных услуг и проверка HealthCare
Информационная безопасность в классическом понимании часто работает как экстренная служба: «горит — тушим, не горим — отдыхаем». Но современная ИТ-инфраструктура слишком сложна ...
4 недели после открытия MENO для всех
Четыре недели. В первой части было 120 пользователей и баги в парсинге. Во второй - 149 и новый онбординг. В третьей - 216 и первый фидбек с Запада. Сейчас - четвёртая.Коротко: ...
Зачем ИИ-генератору презентаций собственный редактор
Привет, Хабр. На связи тим-лид разработки Кэмпа. Это третья статья цикла о релизе нового генератора презентаций в Кэмпе. Ранее разбирали, почему первая версия не взлетела, и что...
Как мы построили интегрированное планирование для фармхолдинга, растущего в 6 раз быстрее рынка
Привет, Хабр! Не мне вам рассказывать, что мы живем в эпоху цифровизации производств — вы наверняка читали статьи о «тяжёлой цифре». Но история цифровизации, которой я хочу поде...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Пишем AI-помощника для ревью пулл-реквестов: как выбрать модель и разработать серверную часть
Привет, Хабр! Я Полина Ященко, старший инженер по разработке ПО в YADRO. Мы с командой тестируем гипотезы и активно применяем искусственный интеллект, чтобы усовершенствовать пр...
Как использовать koda-cli в своей IDE без терминала
Привет. В свежей версии CLI-ассиcтента Koda 0.3.1 мы доработали поддержку ACP (Agent Client Protocol) и хотим поделиться туториалом — как настроить интеграцию с ним прямо сейчас...
Оказание проактивных сервисных услуг и проверка HealthCare
Информационная безопасность в классическом понимании часто работает как экстренная служба: «горит — тушим, не горим — отдыхаем». Но современная ИТ-инфраструктура слишком сложна ...
4 недели после открытия MENO для всех
Четыре недели. В первой части было 120 пользователей и баги в парсинге. Во второй - 149 и новый онбординг. В третьей - 216 и первый фидбек с Запада. Сейчас - четвёртая.Коротко: ...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Пишем AI-помощника для ревью пулл-реквестов: как выбрать модель и разработать серверную часть
Привет, Хабр! Я Полина Ященко, старший инженер по разработке ПО в YADRO. Мы с командой тестируем гипотезы и активно применяем искусственный интеллект, чтобы усовершенствовать пр...
Как использовать koda-cli в своей IDE без терминала
Привет. В свежей версии CLI-ассиcтента Koda 0.3.1 мы доработали поддержку ACP (Agent Client Protocol) и хотим поделиться туториалом — как настроить интеграцию с ним прямо сейчас...
Оказание проактивных сервисных услуг и проверка HealthCare
Информационная безопасность в классическом понимании часто работает как экстренная служба: «горит — тушим, не горим — отдыхаем». Но современная ИТ-инфраструктура слишком сложна ...
4 недели после открытия MENO для всех
Четыре недели. В первой части было 120 пользователей и баги в парсинге. Во второй - 149 и новый онбординг. В третьей - 216 и первый фидбек с Запада. Сейчас - четвёртая.Коротко: ...