Перехід підприємств від експериментів із генеративним ШІ до впровадження автономних AI-агентів (agentic workflows) створює критичний виклик: як надати агенту автономію без ризику несанкціонованих системних дій. Бізнес прагне делегувати ШІ рутинні операції, але стикається з дилемою втрати контролю над конфіденційними даними та ризиком того, що агент перевищить повноваження співробітника, якого він заміщує.
Безпека AI-агентів у корпоративних процесах досягається не спробами зробити велику мовну модель (LLM) абсолютно надійною, а жорстким архітектурним обмеженням її дій у межах BPMN/DMN-моделей та рольового доступу (RBAC/RLS) на рівні базової платформи.
Анатомія загрози Excessive Agency: чому AI-агенти виходять з-під контролю
Організація OWASP класифікує «Excessive Agency» (Надмірні повноваження) як одну з критичних вразливостей для інтегрованих LLM-систем. Цей ризик виникає, коли AI-агенту надають занадто широкі права на виконання дій через API (наприклад, проведення транзакцій, зміна статусів у базі даних) без належної зовнішньої верифікації та обмежень.
ШІ-моделі за своєю природою вразливі до непрямих ін'єкцій (Indirect Prompt Injection) та галюцинацій. Якщо агент аналізує вхідний документ, у якому приховано шкідливу інструкцію, він може спробувати виконати несанкціоновану дію, наприклад, затвердити фінансову транзакцію, що перевищує ліміт повноважень користувача. Захист від цього не може базуватися лише на системних промптах (guardrails) самої моделі. Безпека має контролюватися зовнішнім оркестратором, який обмежує права агента на рівні метаданих.
Концепція NIST AI RMF 1.0: Govern, Map, Measure, Manage
Для побудови системної стратегії управління ризиками доцільно спиратися на методологію Artificial Intelligence Risk Management Framework (AI RMF 1.0) від NIST. Цей стандарт структурує управління ризиками ШІ навколо чотирьох основних функцій:
- Govern (Керувати): Створення архітектурної культури, де ШІ-агенти діють із чітко визначеними ролями та обов'язковим логуванням дій.
- Map (Картографувати): Виявлення контекстів прийняття рішень та класифікація ризиків. Наприклад, ризик витоку конфіденційних даних (Sensitive Information Disclosure) розглядається як високопріоритетна загроза на рівні архітектури.
- Measure (Вимірювати): Оцінка надійності роботи агентів на основі еталонних даних та системних логів.
- Manage (Управляти): Впровадження технічних обмежень доступу та ізоляція середовищ виконання для мінімізації ризиків у реальному часі.
Архітектурний бар'єр: інтеграція AI-агентів у BPMN 2.0 та DMN
Найбільш дієвим методом контролю поведінки AI-агентів є їх інтеграція в стандарти BPMN 2.0 (Business Process Model and Notation) та DMN (Decision Model and Notation). Замість того, щоб дозволяти агенту самостійно визначати потік бізнес-процесу, архітектура будується на відокремленні логіки прийняття рішень від процесного рушія.
У такій архітектурі AI-агент виступає виключно як виконавець ізольованого сервісного завдання (Service Task). Переходи між кроками процесу контролює BPMN-двигун. Логіка бізнес-правил виноситься в таблиці DMN, які визначають жорсткі межі дій. Наприклад, якщо під час обробки звернень клієнтів ШІ-агент намагається запропонувати умови, що суперечать корпоративним політикам, DMN-правило миттєво заблокує цю дію, оскільки агент фізично не має права його порушити.
Контроль доступу на рівні метаданих: роль платформи UnityBase
Типовою помилкою багатьох інтеграцій є підключення AI-агента до корпоративних баз даних через сервісний обліковий запис із широкими правами, покладаючись на обмеження всередині промпту. Це створює прямий ризик витоку даних.
Надійне рішення полягає в обмеженні прав на рівні платформи. Побудова безпечних агентних робочих процесів можлива з використанням low-code платформи Scriptum або системи електронного документообігу Megapolis.DocNet, які базуються на механізмах платформи UnityBase (спільна розробка компаній Intecracy Group). UnityBase забезпечує контроль доступу на рівні метаданих за допомогою Role-Based Access Control (RBAC) та Row-Level Security (RLS).
Коли AI-агент робить запит, UnityBase автоматично фільтрує дані на рівні запиту до бази, спираючись на системну роль агента. Дані, до яких агент не має доступу, просто не потрапляють до контексту LLM. UnityBase не робить саму мовну модель безпомилковою, але створює жорсткий зовнішній контур безпеки, який унеможливлює несанкціонований доступ до чутливої інформації.
Human-in-the-loop та Process Mining: аудит та верифікація
Для операцій із високим рівнем ризику — затвердження фінансових рішень або підписання юридичних документів — обов'язковим є впровадження контрольних точок «Human-in-the-loop». У BPMN-процесі AI-агент може підготувати проект документа, але фінальний цифровий підпис (КЕП) ставить виключно людина. ШІ-агенти не повинні замінювати людське судження у критичних compliance-сценаріях.
Для постійного аудиту дій ШІ використовується технологія Process Mining. Аналізуючи системні лог-файли, організації можуть відновити фактичний хід процесів. Оскільки оркестратори реєструють дії AI-агентів з тією ж гранулярністю, що й дії людей, Process Mining дозволяє вчасно виявляти відхилення, «тіньові маршрути» та спроби автоматизованого зловживання повноваженнями.
Матриця контролю ризиків AI-агентів у корпоративній архітектурі
| Клас ризику за OWASP | Технічний прояв у workflow | Архітектурний метод захисту (Mitigation) |
|---|---|---|
| Excessive Agency (LLM01:2025) | Агент виконує несанкціоновану транзакцію через API. | Обмеження прав виклику API через RBAC; оркестрація кроків виключно через BPMN-двигун. |
| Sensitive Information Disclosure (LLM02:2025) | Витік персональних даних через контекст промпту. | Фільтрація даних на рівні RLS (Row-Level Security) платформи до їх передачі в LLM. |
| Indirect Prompt Injection (LLM05:2025) | Шкідливі інструкції у вхідному документі змінюють логіку агента. | Валідація результатів роботи агента через DMN-таблиці рішень та обов'язковий Human-in-the-loop. |
Підсумовуючи: надійна інтеграція AI-агентів вимагає відмови від ілюзії «абсолютно безпечної LLM». Реальна безпека досягається шляхом керування середовищем виконання — через оркестрацію бізнес-процесів, контроль доступу на рівні метаданих платформи та верифікацію критичних транзакцій людиною.
Поширені питання
Як обмежити права доступу AI-агента до корпоративних баз даних?
Замість спроб обмежити агента системними промптами, необхідно використовувати механізми платформи (RBAC та RLS). Наприклад, платформа UnityBase автоматично фільтрує дані на рівні запиту до бази, спираючись на роль агента, ще до того, як інформація потрапить у контекст LLM.
Що таке Excessive Agency в контексті OWASP Top 10 для LLM?
Excessive Agency — це критичний ризик, при якому AI-агенту надаються надмірні повноваження на виконання дій через API, що дозволяє йому здійснювати несанкціоновані транзакції або змінювати дані поза межами призначених йому бізнес-правил.
Як реалізувати Human-in-the-loop у процесах автоматизації Scriptum?
Це реалізується шляхом налаштування BPMN-моделі: AI-агент виконує лише ізольовані сервісні завдання (Service Task), наприклад, підготовку або первинний аналіз документа, після чого процес переходить до завдання користувача (User Task), де людина здійснює фінальну перевірку та накладає цифровий підпис.