Чому Excessive Agency — це критичний ризик для корпоративного AI
Інтеграція генеративного AI у бізнес-процеси відкриває нові можливості, проте створює серйозну вразливість. OWASP у звіті 'Top 10 Risk & Mitigations for LLMs and Gen AI Apps 2025' виділяє «Excessive Agency» як окремий клас ризиків. Це стан, коли AI-модель отримує можливість виконувати дії, що виходять за рамки її початкового бізнес-призначення. Типові приклади включають спроби агента схвалити фінансову транзакцію, що перевищує ліміт повноважень користувача, або доступ до конфіденційних даних клієнта, які не потрібні для виконання конкретного завдання.
BPMN як архітектурний «скелет» контролю
Проблема «безпритульності» AI-агентів виникає через їх розгортання як окремих сервісів поза межами бізнес-логіки. Згідно зі стандартом BPMN 2.0, процес має бути передбачуваним та виконуваним. Інтеграція AI-агента безпосередньо у BPMN-схему дозволяє обмежити його роль до конкретного виконавця в межах визначеного потоку. Якщо агент намагається оминути обов'язковий етап погодження або виконати недопустиму дію, процесний рушій блокує запит. Такий підхід робить поведінку AI детермінованою.
Безпека на рівні даних: RLS та RBAC
Для запобігання витоку конфіденційної інформації (Sensitive Information Disclosure) недостатньо лише логічного потоку. Необхідно впровадити суворий контроль доступу на рівні даних. Використання механізмів Role-Based Access Control (RBAC) та Row-Level Security (RLS) на рівні платформи дозволяє обмежити видимість даних для агента виключно тими записами, які йому необхідні. Наприклад, рішення, побудовані на платформі UnityBase, використовують ці механізми для ізоляції даних відповідно до ролі користувача чи агента.
Human-in-the-loop: архітектурний запобіжник
Керування ризиками AI, відповідно до структури NIST AI RMF 1.0 (функції Govern, Map, Measure, Manage), вимагає наявності людини у критичних вузлах процесу. Архітектура Human-in-the-loop не повинна бути опцією — це базове обмеження поверхні атаки. Для виконання фінансових чи юридично значущих операцій агент готує аналітику або чернетку, тоді як фінальне рішення залишається за людиною.
Аудит дій агента: від логів до доказів
Необхідно записувати кожну дію агента у незмінні event logs. За допомогою Process Mining можна аналізувати ці дані, виявляючи відхилення від еталонного процесу та спроби обходу правил. Це перетворює логи на доказову базу, необхідну для дотримання вимог комплаєнсу.
Критерії архітектурної готовності AI-агента
- Агент має чітко визначений Scope дій, обмежений BPMN-процесом.
- Реалізовано RBAC/RLS на рівні платформи для обмеження доступу до даних.
- Впроваджено обов'язкові точки перевірки (Human-in-the-loop) для критичних рішень.
- Кожна дія агента записується в незмінні event logs.
- Налаштовано механізм автоматичного блокування при виході за межі бізнес-логіки.
Поширені питання
Як обмежити доступ AI-агента до конфіденційних даних?
Використовуйте механізми RLS (Row-Level Security) та RBAC (Role-Based Access Control) на рівні платформи, що забезпечує доступ лише до необхідних даних для конкретної ролі.
Чи може BPMN бути запобіжником від помилок AI?
Так, BPMN 2.0 визначає виконувану модель процесу, яка блокує дії агента, що виходять за межі визначеного бізнес-потоку.
Як впровадити AI без порушення політик безпеки?
Дотримуйтесь архітектури Orchestration-first, впроваджуючи Human-in-the-loop для критичних рішень та забезпечуючи повний аудит дій через event logs.