Методи моніторингу та діагностики помилок у роботі складних мультиагентних AI-систем
Як спостерігати за мультиагентними ШІ-системами: трасування, метрики, оцінювання якості, пошук агента-винуватця збою та вимоги EU AI Act до журналювання.
Oleksandr Ivanchuk
Software Developer
Мультиагентна система може відпрацювати без жодної технічної помилки — і при цьому видати хибний результат. Класичні засоби моніторингу цього не помітять. У статті ми розглядаємо, чим спостереження за агентними системами відрізняється від моніторингу звичайного програмного забезпечення, які рівні спостережуваності потрібні, чому знайти агента, що спричинив збій, складніше, ніж здається, і що з цього випливає для промислового підприємства.
Вступ
Коли в системі працює один агент, розслідування помилки зводиться до перегляду одного діалогу. Коли агентів кілька, і кожен із них викликає інструменти, передає доручення іншим та приймає проміжні рішення, один запит користувача породжує десятки або сотні кроків. Помилка, допущена на третьому кроці, може проявитися на тридцятому — у вигляді цілком правдоподібної, але неправильної відповіді.
Про принципи організації співпраці агентів ми писали у статті про оркестрацію мультиагентних систем. Тут розглянемо наступне питання, яке неминуче постає після запуску: як дізнатися, що система працює неправильно, і як знайти причину.
У нашій практиці саме відсутність засобів спостереження, а не якість моделей, найчастіше зупиняє перехід агентних рішень від пілота до постійної експлуатації. Систему, поведінку якої неможливо пояснити, підприємство не готове допустити до виробничих процесів — і це обґрунтована позиція.
Чому класичного моніторингу недостатньо
Усталена інженерна практика спостереження за розподіленими системами спирається на чотири «золоті сигнали»: час відповіді, обсяг навантаження, частку помилок і завантаженість ресурсів [5]. Для агентних систем ці показники залишаються необхідними, але перестають бути достатніми — з кількох причин.
Відмова не виглядає як відмова. Агент, який неправильно зрозумів завдання, повертає коректно сформовану відповідь без жодного коду помилки. З погляду інфраструктури запит виконано успішно.
Поведінка недетермінована. Той самий запит за тих самих даних може пройти різними шляхами. Відтворити проблему повторним запуском вдається не завжди. Інженери Anthropic, описуючи досвід експлуатації власної мультиагентної системи, відзначають, що це суттєво ускладнює налагодження порівняно зі звичайним програмним забезпеченням [4].
Помилки накопичуються. Агенти зберігають стан упродовж багатьох кроків, тому незначне відхилення на початку змінює всю подальшу траєкторію. Те, що у звичайній програмі було б локальним збоєм, тут перетворюється на систематичне відхилення від мети [4].
Причина і прояв рознесені між агентами. Неправильний результат видає один агент, а причиною є неповне доручення, отримане від іншого.
Звідси випливає головна відмінність: в агентних системах об'єктом спостереження є не лише стан інфраструктури, а й якість рішень.
Три рівні спостережуваності
На основі досвіду впроваджень ми розділяємо засоби спостереження на три рівні, кожен із яких відповідає на власне коло питань.
| Рівень | Що фіксується | На які питання відповідає |
|---|---|---|
| Трасування | Повний ланцюжок кроків: виклики моделей, інструментів, передачі між агентами, вхідні та вихідні дані кожного кроку | Що саме відбулося? Який агент що отримав і що повернув? |
| Метрики | Час виконання, споживання токенів, кількість кроків і викликів інструментів, частка технічних помилок, вартість задачі | Чи змінилася поведінка системи? Де вузькі місця та перевитрати? |
| Оцінювання якості | Відповідність результату завданню, повнота, фактична точність, дотримання обмежень | Чи правильний результат? Чи погіршується якість із часом? |
Трасування є основою всього іншого. Без запису повної траєкторії жоден подальший аналіз неможливий. Тут варто відзначити появу галузевого стандарту: проєкт OpenTelemetry розвиває семантичні конвенції для генеративного ШІ, які уніфікують опис викликів моделей, роботи агентів і виконання інструментів [3]. Для підприємства це означає можливість збирати дані про роботу агентів тими самими засобами, що й про решту ІТ-систем, і не залежати від формату окремого постачальника.
Метрики в агентних системах мають власну специфіку. Найбільш показовими в нашій практиці виявляються не абсолютні значення, а відхилення від звичного профілю: різке зростання кількості кроків на задачу, повторювані виклики одного інструмента з тими самими параметрами, збільшення споживання токенів без зміни типу запитів. Такі ознаки зазвичай вказують на зациклення або на те, що агент не може отримати потрібні дані й намагається компенсувати це повторними спробами.
Оцінювання якості — рівень, якого класичний моніторинг не має взагалі. Він передбачає регулярну перевірку вибірки реальних результатів: автоматичну — за допомогою окремої моделі-оцінювача з чіткими критеріями, і людську — для калібрування автоматичної. Підходи до побудови таких критеріїв ми докладно розглядали у статті про оцінку якості ШІ-агентів.
Класифікація збоїв як основа діагностики
Діагностика починається з мови, якою описують проблеми. Без спільної класифікації кожен інцидент розслідується як унікальний, а закономірності залишаються непоміченими.
Найбільш ґрунтовну таксономію запропонували дослідники Каліфорнійського університету в Берклі. На основі аналізу понад 1600 анотованих трас із семи мультиагентних фреймворків вони виділили 14 типів збоїв у трьох категоріях: проблеми проєктування системи, неузгодженість між агентами, а також перевірка й завершення задачі [1]. До типових прикладів належать порушення агентом меж своєї ролі, втрата контексту розмови, ігнорування даних, отриманих від іншого агента, передчасне завершення роботи та формальна перевірка результату.
Практична цінність такої класифікації полягає в тому, що кожній категорії відповідає свій спосіб усунення. Проблеми першої категорії виправляють зміною ролей та інструкцій. Проблеми другої — зміною формату обміну між агентами. Проблеми третьої — додаванням незалежної перевірки. Якщо ж інциденти не класифікуються, типовою реакцією стає заміна моделі на потужнішу, яка, за висновками авторів, значну частину таких збоїв не усуває [1].
Хто винен: проблема атрибуції збою
Найскладнішим діагностичним завданням є встановлення, який саме агент і на якому кроці спричинив невдачу. Інтуїтивно здається, що це можна доручити самій мовній моделі: надати їй трасу й запитати. Дослідження показують, що така автоматизація поки далека від надійної.
Автори роботи, представленої на конференції ICML 2025, зібрали набір журналів збоїв зі 127 мультиагентних систем із ручною розміткою відповідального агента та вирішального кроку. Найкращий з автоматичних методів правильно визначав агента-винуватця у 53,5% випадків, а конкретний крок — лише у 14,2% [2].
Для практики це означає, що повністю автоматичне розслідування інцидентів сьогодні неможливе. Автоматичні засоби корисні для попереднього відбору підозрілих трас і звуження кола пошуку, але остаточний висновок робить фахівець. Відповідно, система спостереження має бути спроєктована так, щоб людина могла швидко пройти траєкторією: побачити, що знав кожен агент у момент ухвалення рішення, і порівняти це з тим, що він мав знати.
Методи, які працюють на практиці
Узагальнюючи досвід власних проєктів і опубліковані практики [4], виділю підходи, що дають найбільший ефект.
Контрольні точки між агентами. На межах передачі роботи результат перевіряється на формальну повноту й відповідність очікуваному формату. Це перетворює прихований збій на явний і локалізує його там, де він виник.
Регресійний набір задач. Сталий перелік типових і проблемних запитів, на якому система перевіряється після кожної зміни інструкцій, інструментів або моделі. Кожен розслідуваний інцидент поповнює цей набір.
Порівняння траєкторій. Успішні й невдалі виконання однотипних задач зіставляються між собою: на якому кроці вони розходяться. Це часто швидше приводить до причини, ніж аналіз окремої невдалої траси.
Обмеження бюджетів. Граничні значення кількості кроків, часу та витрат на одну задачу. Їх перевищення є і захисним механізмом, і діагностичним сигналом.
Спостереження за патернами без перегляду вмісту. Аналіз структури взаємодій — хто кого викликав, скільки разів, з яким результатом — дозволяє виявляти аномалії, не розкриваючи зміст запитів користувачів. Це суттєво для систем, що працюють із конфіденційними даними [4].
Поступове розгортання змін. Оскільки агенти можуть виконувати тривалі задачі, одночасна заміна версії для всіх запитів створює ризик збою посеред виконання. Нова версія вводиться в роботу поступово, паралельно зі старою [4].
Регуляторний вимір
Журналювання роботи ШІ-систем перестає бути лише інженерною практикою. Акт ЄС про штучний інтелект вимагає, щоб високоризикові системи технічно забезпечували автоматичний запис подій упродовж усього життєвого циклу, а постачальники таких систем запроваджували моніторинг після виведення на ринок [7]. Рамкова модель управління ризиками ШІ, розроблена NIST, виокремлює вимірювання та постійне відстеження поведінки системи як окремі функції поряд з управлінням і картуванням ризиків [6].
Для промислових підприємств, що працюють на ринку ЄС або планують вихід на нього, з цього випливає практичний висновок: засоби спостереження доцільно проєктувати одразу з урахуванням вимог до зберігання, цілісності та доступності журналів, а не додавати їх після перших зауважень аудиту. Ширший контекст ми розглядали в матеріалі про відповідальне використання ШІ на підприємстві.
Авторська оцінка та висновки
Спостережуваність — це умова експлуатації, а не додаткова функція. Агентну систему без повного трасування неможливо ані вдосконалювати, ані відповідально використовувати. Вважаю, що засоби спостереження мають з'являтися в проєкті раніше, ніж другий агент.
Технічна справність не дорівнює правильності. Моніторинг, що обмежується часом відповіді та часткою помилок, створює хибне відчуття контролю. Оцінювання якості результатів має бути постійним процесом із визначеним відповідальним.
Класифікація інцидентів цінніша за їх усунення поодинці. Спільна таксономія збоїв дозволяє бачити закономірності та спрямовувати зусилля туди, де вони дають системний ефект [1].
Автоматичній діагностиці поки не можна довіряти остаточний висновок. Дані досліджень однозначні: навіть найкращі методи помиляються у визначенні причини збою частіше, ніж це прийнятно для практики [2]. Роль фахівця в розслідуванні залишається визначальною.
Вимоги до журналювання слід враховувати заздалегідь. Регуляторні очікування щодо простежуваності рішень ШІ-систем зростають, і їх дешевше закласти в архітектуру, ніж упроваджувати заднім числом [6][7].
Складність мультиагентних систем сама по собі не є перешкодою для промислового застосування. Перешкодою є непрозорість. Підприємство може довірити агентам відповідальні задачі тією мірою, якою здатне побачити й пояснити, що саме вони роблять.
Джерела
- Cemri M., Pan M. Z., Yang S. et al. "Why Do Multi-Agent LLM Systems Fail?" arXiv:2503.13657, 2025. https://arxiv.org/abs/2503.13657
- Zhang S., Yin M., Zhang J. et al. "Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems." arXiv:2505.00212, 2025. https://arxiv.org/abs/2505.00212
- OpenTelemetry. "Semantic Conventions for Generative AI Systems." https://opentelemetry.io/docs/specs/semconv/gen-ai/
- Anthropic. "How We Built Our Multi-Agent Research System." 2025. https://www.anthropic.com/engineering/multi-agent-research-system
- Beyer B., Jones C., Petoff J., Murphy N. R. (eds.). "Site Reliability Engineering: Monitoring Distributed Systems." Google, 2016. https://sre.google/sre-book/monitoring-distributed-systems/
- NIST. "Artificial Intelligence Risk Management Framework (AI RMF 1.0)." 2023. https://www.nist.gov/itl/ai-risk-management-framework
- European Parliament and Council. "Regulation (EU) 2024/1689 (Artificial Intelligence Act)." 2024. https://eur-lex.europa.eu/eli/reg/2024/1689/oj