Назад до блогу
ШІ-агенти16 хв читання

Оцінка якості ШІ-агента: чому стандартних метрик недостатньо

Чому accuracy та F1 не працюють для ШІ-агентів, п'ять вимірів якості, які мають вимірювати практики, та багатовимірна система оцінки для продуктивних систем.

S

Serhiy Andrejev

Lead Machine Learning Developer

Стрімке впровадження ШІ-агентів у корпоративних середовищах виявило критичну прогалину: системи оцінювання, успадковані від класичного машинного навчання, є фундаментально неадекватними для вимірювання продуктивності агентів. Агент, який набирає 95% точності, все одно може катастрофічно провалитися у продуктивному середовищі. У цій статті ми розглядаємо, чому традиційні метрики вводять в оману, пропонуємо п'ять вимірів якості, специфічних для агентних систем, порівнюємо методології оцінювання та представляємо практичну систему багатовимірної оцінки в промисловому контексті.

Вступ

Дисципліна машинного навчання витратила десятиліття на вдосконалення методології оцінювання. Accuracy, precision, recall, F1-score, AUC-ROC — ці метрики формують усталений лексикон. Вони добре працюють для свого призначення: вимірювання того, наскільки надійно модель перетворює вхідні дані на вихідні в межах фіксованого розподілу. Класифікаційна модель або правильно маркує зображення, або ні. Оцінка є детермінованою, обмеженою та відтворюваною.

ШІ-агенти працюють у принципово інших умовах. Агент не просто генерує вихідні дані — він міркує щодо мети, декомпозує її на підзавдання, обирає та викликає інструменти, інтерпретує проміжні результати й ітеративно працює, доки не досягне поставленої цілі. Шлях має таке саме значення, як і результат. Два агенти можуть дійти до однакової правильної відповіді — один через безпечну, ефективну послідовність вдало обраних дій, інший — через небезпечні помилки, надмірне споживання ресурсів і випадкове відновлення. Стандартні метрики трактують ці результати як ідентичні.

Це не теоретичне занепокоєння. У нашій практиці розгортання систем ШІ-агентів для виробничих підприємств і процесних галузей ми спостерігали випадки, коли агенти, що чудово показали себе на бенчмаркових оцінках, демонстрували проблемну поведінку у продуктивному середовищі: зверталися до неправильних джерел даних, перш ніж зрештою знайти правильне, виконували непотрібні операції запису під час завдань, які передбачали лише зчитування, і споживали в три-п'ять разів більше обчислювальних ресурсів, ніж очікувалося, для виконання рутинних завдань. Жодна з цих проблем не була б виявлена за допомогою accuracy чи F1.

Дослідницька спільнота визнала цю прогалину. Фреймворк Claw-Eval, опублікований у квітні 2026 року, продемонстрував, що оцінка, непрозора щодо траєкторії — підхід, який використовується в більшості традиційних бенчмарків, — пропускає 44% порушень безпеки та 13% збоїв стійкості, які виявляє оцінка з урахуванням траєкторії [1]. Комплексне дослідження адаптивного багатовимірного моніторингу встановило, що метрики спроможності домінують у 83% існуючих досліджень оцінювання, тоді як людиноцентричні та економічні виміри представлені менш ніж у 30% [2]. Індустрія вимірює те, що легко виміряти, а не те, що має значення.

У цій статті ми пропонуємо практичну систему оцінки якості ШІ-агентів, яка виходить за межі одного числового показника й охоплює багатовимірну природу продуктивності агентів.

Чому точності недостатньо для оцінки агентів

Щоб зрозуміти, чому стандартні метрики не спрацьовують для агентів, розгляньмо конкретний сценарій з промислової практики. ШІ-агенту доручено отримати поточний рівень запасів конкретної сировини із системи ERP та визначити, чи потрібне повторне замовлення на основі встановлених порогових значень.

Агент А звертається безпосередньо до потрібного модуля ERP, отримує поточний рівень запасів, порівнює його з точкою повторного замовлення та повертає рекомендацію — чотири кроки, правильний результат, відсутність побічних ефектів. Агент Б, виконуючи те саме завдання, спочатку звертається до застарілої звітної таблиці, отримує неактуальні дані, помічає невідповідність, потім звертається до модуля планування виробництва для прогнозів попиту, про які його не просили, ненавмисно ініціює перерахунок виробничого графіка, зрештою знаходить дані про запаси у правильному модулі та повертає таку саму правильну рекомендацію — дванадцять кроків, правильний результат, але з побічним ефектом, що порушив планування виробництва.

За метрикою accuracy обидва агенти набирають 100%. За будь-якою мірою, що має значення для підприємства — ефективність, безпека, передбачуваність — вони непорівнянні.

Це обмеження проявляється кількома структурними способами.

Правильна відповідь через неправильний шлях. В агентних системах ланцюжок міркувань та послідовність використання інструментів становлять процес, а не лише кінцевий результат. Агент, який дійшов до правильної відповіді через хибні міркування, зазнає непередбачуваних збоїв, коли умови зміняться. Стандартні метрики точності не враховують якість процесу.

Точний, але шкідливий. Агент може генерувати фактично правильні результати, водночас виконуючи дії, що порушують обмеження безпеки, розкривають конфіденційні дані, модифікують записи, яких не повинен торкатися, або споживають надмірні ресурси. Бенчмарк SWE-bench добре це ілюструє: ШІ-агент для програмування може правильно вирішити задачу з GitHub, водночас впроваджуючи вразливості безпеки або порушуючи непов'язану функціональність, яку набір тестів не покриває [3]. Бінарна оцінка «пройшов/не пройшов» цього бенчмарку не може охопити ці виміри.

Висока точність, низька корисність. Агент може точно виконувати завдання, які він бере на себе, водночас систематично уникаючи складних випадків — відмовляючись діяти, коли завдання неоднозначне, надмірно ескалюючи або вимагаючи непотрібних уточнень. Такий агент досягає високої точності, звужуючи свій ефективний обсяг діяльності, виглядаючи компетентним, але надаючи обмежену цінність. Precision та recall не охоплюють різницю між обережним агентом і здатним.

Непослідовність у різних контекстах. Класичне оцінювання передбачає стабільне відображення вхідних даних на вихідні. Агенти працюють у динамічних середовищах, де одна й та сама мета може вимагати різних послідовностей дій залежно від стану системи, доступності даних і паралельних процесів. Агент, який набирає 90% на бенчмарку, може показувати 60% у продуктивному середовищі, де умови більш мінливі, а граничні випадки трапляються частіше. Розрив між результатами SWE-bench Verified (де провідні моделі перевищують 80%) та SWE-bench Pro (де ті самі моделі досягають приблизно 23%) наочно ілюструє це явище [3].

П'ять вимірів якості ШІ-агента

На основі нашого досвіду впровадження та з урахуванням останніх досліджень у галузі систем оцінки агентів, ми пропонуємо п'ять вимірів, які разом забезпечують всебічну картину якості ШІ-агента. Ці виміри не є незалежними — вони взаємодіють і іноді суперечать один одному, що саме й пояснює, чому одна метрика не може їх охопити.

Рівень виконання завдань. Найбільш фундаментальна міра: чи досягає агент поставленої мети? Це виходить за межі бінарного «успіх/невдача» й охоплює часткове виконання, коли агент досягає деяких, але не всіх підцілей, та умовне виконання, коли агент досягає успіху, але потребує людського втручання на певних кроках. На основі наших спостережень, різниця між бенчмарковим рівнем виконання та продуктивним рівнем виконання зазвичай становить від 15 до 30 відсоткових пунктів — розрив, який організації мусять враховувати при плануванні потужностей.

Коректність дій. Не лише те, чи є кінцева відповідь правильною, а й те, чи була кожна дія в траєкторії виконання агента доречною, точно спрямованою та вільною від зайвих операцій. Фреймворк Claw-Eval формалізує це як оцінювання з урахуванням траєкторії, оцінюючи не лише те, що агент отримав, а й те, як він це отримав [1]. Дія вважається коректною, якщо вона просуває виконання цілі, спрямована на відповідну систему чи джерело даних, здійснюється в межах авторизованого обсягу повноважень агента та не створює ненавмисних побічних ефектів. У промислових середовищах коректність дій часто є більш важливою, ніж виконання завдання — частково виконане завдання з чистими діями є відновлюваним, тоді як завершене завдання з помилковими проміжними діями може залишити пошкоджений стан.

Безпека. Чи уникав агент шкідливих дій протягом усього процесу виконання? Безпека охоплює кілька підвимірів: цілісність даних (відсутність несанкціонованих модифікацій продуктивних даних), дотримання контролю доступу (відсутність операцій за межами дозволів агента), інформаційна безпека (відсутність розкриття конфіденційних даних у логах чи вихідних даних) та операційна безпека (відсутність дій, які можуть вплинути на фізичні процеси, обладнання або персонал у виробничому контексті). Фреймворк Responsible Scaling Policy від Anthropic пропонує структурований підхід до оцінки безпеки через стандарти AI Safety Level, де вимоги до безпеки масштабуються пропорційно до можливостей системи [4]. Ми вважаємо цей принцип безпосередньо застосовним до промислових розгортань агентів.

Ефективність. Скільки кроків, API-викликів, токенів та обчислювальних ресурсів спожив агент відносно складності завдання? Ефективність має значення з трьох причин: вартість (кожен API-виклик та інференс LLM має пряму фінансову вартість), затримка (користувачі та нижчі за потоком процеси залежать від своєчасних відповідей) та вплив на довкілля (непотрібні обчислення у масштабі мають вимірюваний екологічний слід). У нашій практиці ми спостерігали варіації ефективності в 3–8 разів між різними конфігураціями агентів, що вирішують ідентичні завдання — діапазон, який безпосередньо перетворюється на різницю в операційних витратах.

Задоволеність користувачів. Зрештою, агент обслуговує людей-операторів та осіб, що ухвалюють рішення. Задоволеність користувачів охоплює виміри, які жодна автоматизована метрика не може повністю врахувати: чи була відповідь зрозумілою? Чи був рівень деталізації доречним? Чи ефективно агент комунікував невизначеність? Чи ескалював він, коли мав це зробити, і чи діяв автономно, коли міг? Цей вимір є суб'єктивним за своєю природою, але не менш важливим. Дослідження адаптивних систем моніторингу підтверджують, що людиноцентричні метрики залишаються критично недопредставленими в поточній практиці оцінювання, з'являючись лише у 30% опублікованих досліджень, попри їхню пряму кореляцію з успішністю впровадження [2].

Наведена нижче радарна діаграма ілюструє, як ці п'ять вимірів взаємодіють, щоб відрізнити збалансованого агента від того, який виглядає сильним за традиційними метриками, але зазнає невдач на практиці.

Рисунок 1. Радарна діаграма, що порівнює два профілі агентів за п'ятьма вимірами якості. Агент з високою точністю (пунктирна лінія) досягає кращого виконання завдань, але має низькі оцінки за безпеку, ефективність та коректність дій — патерн, який ми часто спостерігаємо в агентах, оптимізованих виключно для бенчмаркової продуктивності. Дані базуються на узагальнених спостереженнях з промислових розгортань агентів.

Контраст є повчальним. Агент з високою точністю виконує більше завдань, але робить це через небезпечні, неефективні та часто некоректні послідовності дій. У бенчмарковому середовищі цей агент виглядає кращим. У продуктивному середовищі — де несанкціоновані модифікації даних або сплески затримки під час критичних за часом процесів мають каскадні наслідки — він є більш ризикованим розгортанням.

Методи оцінювання: компроміси та застосовність

Визначивши, що вимірювати, наступне питання — як вимірювати. Доступні три основні методології оцінювання, кожна з яких має свої чіткі переваги та обмеження.

Автоматизовані бенчмарки

Автоматизовані бенчмарки забезпечують відтворюване, масштабоване оцінювання за стандартизованими наборами завдань. SWE-bench оцінює ШІ-агентів для програмування на реальних задачах з GitHub із бінарною оцінкою «пройшов/не пройшов» [3]. WebArena тестує вебагентів у реалістичних середовищах, де найкращі агенти на базі GPT-4 досягли лише 14,41% успішності порівняно з 78,24% у людей [5]. RAGAS забезпечує оцінку RAG-систем за чотирма метриками: достовірність, релевантність відповіді, точність контексту та повнота контексту [6].

Автоматизовані бенчмарки добре вимірюють виконання завдань, але слабкі в оцінці безпеки, вимірюванні ефективності та задоволеності користувачів. Їхнє основне обмеження — екологічна валідність: бенчмаркові завдання є відібраними та часто простішими за реальні умови. Розрив у 57 відсоткових пунктів між результатами SWE-bench Verified та SWE-bench Pro для тих самих моделей точно кількісно визначає це [3].

Експертна оцінка

Експертна оцінка передбачає перегляд поведінки агента людьми-оцінювачами — включно з повними трасами виконання, логами використання інструментів та проміжними результатами — за визначеними критеріями якості. Цей метод охоплює виміри, які автоматизовані бенчмарки пропускають: якість міркувань, порушення безпеки, доречність дій та корисність відповідей. Це єдиний метод, здатний надійно оцінювати якість траєкторії та безпеку одночасно.

Обмеження так само очевидні: експертна оцінка є повільною, дорогою, суб'єктивною та не масштабується. Один експерт може оцінити приблизно 20–50 взаємодій агента на день із ретельністю, необхідною для змістовної оцінки. Міжексперна узгодженість варіюється та потребує калібрування. Для продуктивного моніторингу систем, що обробляють сотні чи тисячі взаємодій щодня, експертна оцінка може слугувати механізмом аудиту на основі вибірки, але не безперервним підходом до моніторингу.

A/B-тестування

A/B-тестування порівнює дві конфігурації агентів (або агента з людським базовим рівнем) на реальному продуктивному трафіку, вимірюючи відмінності в результатах за визначеними метриками. Воно забезпечує найвищу екологічну валідність — оцінювання відбувається в реальному операційному середовищі — та безпосередньо вимірює задоволеність користувачів і вплив на бізнес.

Обмеження є суттєвими: A/B-тестування потребує достатнього обсягу продуктивного трафіку для статистичної значущості та вносить ризик впливу на користувачів менш якісною конфігурацією. Воно найбільш доцільне для поступових покращень вже розгорнутих агентів, а не для початкових рішень щодо розгортання.

Таблиця 1. Порівняння методологій оцінювання за ключовими параметрами.

ПараметрАвтоматизовані бенчмаркиЕкспертна оцінкаA/B-тестування
Вартість одного оцінюванняНизька ($0,01–$0,50 за завдання)Висока ($15–$50 за взаємодію)Середня (інфраструктура + аналіз)
Точність оцінюванняВисока для виконання завдань; низька для безпеки, ефективностіВисока за всіма вимірамиВисока для впливу на бізнес; середня для якості процесу
ШвидкістьХвилини-години (повний набір)Дні-тижніТижні (достатній обсяг вибірки)
МасштабованістьВідмінна — автоматизована, паралелізованаНизька — людський ресурс є вузьким місцемДобра — працює на продуктивному трафіку
Екологічна валідністьНизька до середньої — відібрані завданняСередня — експертне судження, але не реальний контекстВисока — реальне середовище, реальні користувачі
Оцінка безпекиСлабка — більшість бенчмарків ігнорує побічні ефектиСильна — експерти переглядають повні траєкторіїНепряма — постфактумне виявлення інцидентів
Найкраще підходить дляПеред-розгортальний скринінг, регресійне тестуванняДетальний аудит якості, аналіз збоївОптимізація конфігурації, вимірювання впливу

Джерело: класифікація автора на основі практичного досвіду оцінювання та опублікованих методологій бенчмаркінгу [1][3][5][6].

Рисунок 2. Стовпчикова діаграма з групуванням, що порівнює три методології оцінювання за п'ятьма ключовими параметрами. Автоматизовані бенчмарки домінують за вартістю, швидкістю та масштабованістю, але мають низькі оцінки за екологічну валідність та оцінку безпеки. Експертна оцінка перевершує у питаннях безпеки, але не масштабується. A/B-тестування забезпечує найвищу екологічну валідність, але потребує значного часу та інфраструктури. Дані отримані з Таблиці 1.

На нашу думку, жодна окрема методологія не є достатньою. Оцінка агентів продуктивного рівня потребує поєднання всіх трьох: автоматизовані бенчмарки для безперервного регресійного тестування та перед-розгортального контролю, експертна оцінка для періодичних глибоких аудитів якості та аналізу режимів збоїв, а також A/B-тестування для валідації змін конфігурації на реальному трафіку.

Моніторинг якості агентів у продуктивному середовищі

Оцінювання не завершується з розгортанням. Якість ШІ-агента не є статичною — вона погіршується з часом через механізми, добре задокументовані в машинному навчанні, але такі, що по-іншому проявляються в агентних системах.

Дрейф концепцій виникає, коли розподіл даних, з якими агент стикається у продуктивному середовищі, відхиляється від його навчального або калібрувального розподілу. Для агентів це виходить за межі дрейфу даних і охоплює дрейф середовища: зміни в API, які агент викликає, модифікації схем у корпоративних системах, оновлення політик контролю доступу та зміни в моделях поведінки користувачів. Агент, відкалібрований під конкретну конфігурацію ERP, може почати непомітно давати збої, коли ця конфігурація змінюється — не тому, що агент несправний, а тому, що його середовище змістилося.

Деградація інструментів є специфічною для агентних систем. Ефективність агента залежить від надійності його зовнішніх інструментів — API, баз даних, пошукових індексів. Коли затримка відповіді інструменту зростає, якість його даних знижується або його інтерфейс змінюється, поведінка агента може погіршуватися у вигляді зниження рівня виконання або підвищеного споживання ресурсів. Ці збої є невидимими для оцінки на рівні моделі.

Розширення меж спроможностей відбувається органічно, коли користувачі відкривають нові способи використання агента за межами його початкового обсягу проєктування. Оскільки агенти на базі LLM генерують правдоподібно виглядаючі відповіді практично на будь-який запит, завдання поза обсягом можуть бути частково оброблені, а не чітко відхилені — створюючи зону ненадійної поведінки, що розширюється, яку жодне початкове оцінювання не передбачило.

Ефективний моніторинг у продуктивному середовищі потребує безперервного відстеження п'яти вимірів якості, а не лише на етапі розгортання. На основі нашого досвіду впровадження наступні практики є необхідними:

Автоматизована вибірка якості. Обирайте репрезентативну вибірку (5–10%) взаємодій агента для автоматизованого оцінювання за критеріями якості, використовуючи підходи LLM-як-суддя, такі як ті, що реалізовані в DeepEval [7] або promptfoo [8]. Ці інструменти забезпечують конфігуроване оцінювання метрик, яке може виконуватися асинхронно на продуктивному трафіку без впливу на досвід користувача.

Панелі виявлення дрейфу. Відстежуйте зміни розподілу вхідних та вихідних даних агента та операційних метрик (кількість кроків, затримка, споживання токенів) з часом. Значні зсуви сигналізують про потенційне погіршення якості до того, як воно проявиться у метриках результатів.

Періодичні експертні аудити. Проводьте структуровані огляди поведінки агента з тижневою або двотижневою періодичністю, зосереджуючись на граничних випадках, ескалаціях та взаємодіях, відмічених автоматизованим моніторингом. Експертні аудити слугують механізмом калібрування — забезпечуючи узгодженість автоматизованих метрик з людськими судженнями щодо якості.

Аналіз інцидентів та зворотний зв'язок. Кожен збій або потенційний збій агента має бути класифікований, проаналізований щодо першопричини та повернутий у систему оцінювання як новий тестовий випадок. З часом цей процес створює специфічний для організації набір тестів, що відображає реальні режими збоїв, а не загальні бенчмаркові сценарії.

Практична система: багатовимірна оцінка

Об'єднуючи принципи, розглянуті вище, ми пропонуємо систему багатовимірної оцінки, яка інтегрує п'ять вимірів якості з трьома методологіями оцінювання протягом усього життєвого циклу агента.

Фаза перед розгортанням. До того як будь-який агент потрапить у продуктивне середовище, він має пройти автоматизоване бенчмаркове оцінювання, що охоплює виконання завдань та коректність дій на предметно-релевантному наборі завдань. Оцінка безпеки має включати змагальне тестування: навмисні спроби спровокувати агента на перевищення повноважень або доступ до несанкціонованих ресурсів. Базові показники ефективності мають бути встановлені для забезпечення виявлення дрейфу після розгортання.

Фаза раннього продуктивного використання (перші 30 днів). Під час початкового розгортання моніторинг має бути інтенсивним: 100% взаємодій переглядаються автоматизованим оцінюванням, 20–30% отримують експертну оцінку. Цей період встановлює продуктивні базові показники для всіх п'яти вимірів та виявляє режими збоїв, які перед-розгортальне тестування не передбачило.

Стабільне продуктивне використання. Після початкового періоду моніторинг переходить до сталої періодичності, описаної вище: автоматизована вибірка якості на 5–10% взаємодій, безперервне виявлення дрейфу, тижневі чи двотижневі експертні аудити та структурований аналіз інцидентів.

Цикл безперервного вдосконалення. Результати оцінювання безпосередньо живлять вдосконалення агента: невдалі тестові випадки стають регресійними тестами, виявлені режими збоїв спрямовують покращення промптів або використання інструментів, а виявлення дрейфу ініціює рекалібрування. Ця система є замкнутим циклом — оцінювання є не одноразовим бар'єром, а безперервним процесом, що еволюціонує разом з агентом та його середовищем.

Цей підхід потребує організаційної залученості за межами команди ШІ. Критерії якості мають визначатися у співпраці з доменними експертами, межі безпеки — валідуватися командами комплаєнсу, а цілі ефективності — узгоджуватися з бюджетами на інфраструктуру. На основі наших спостережень, організації, які ставляться до оцінки агентів як до суто технічної діяльності — ізольованої в межах підрозділу ШІ або ІТ — постійно створюють системи оцінювання, що вимірюють не те, що потрібно.

Оцінка автора та висновки

Перехід від оцінювання статичних моделей до оцінювання динамічних агентів є парадигмальним зсувом, який індустрія ще не повністю усвідомила. Ми продовжуємо спостерігати, як організації розгортають агентів із системами оцінювання, розробленими для класифікаційних моделей, а потім дивуються, коли бенчмаркові бали не передбачають продуктивну ефективність.

На основі нашого досвіду впровадження та моніторингу систем ШІ-агентів у промислових середовищах, ми пропонуємо наступну оцінку.

По-перше, оцінка ШІ-агентів за однією метрикою є не просто неповною — вона активно вводить в оману. Агент, оптимізований для виконання завдань за рахунок безпеки та ефективності, є тягарем, а не активом. П'ятивимірна система, запропонована в цій статті — виконання завдань, коректність дій, безпека, ефективність та задоволеність користувачів — забезпечує мінімально достатню поверхню оцінювання для продуктивних агентних систем.

По-друге, методологія оцінювання має відповідати стадії життєвого циклу. Автоматизовані бенчмарки для перед-розгортального контролю, експертна оцінка для глибокого аналізу якості та A/B-тестування для оптимізації в продуктивному середовищі — кожен з підходів задовольняє різні потреби. Використання будь-якої окремої методології ізольовано створює сліпі зони, що безпосередньо перетворюються на операційні ризики.

По-третє, моніторинг у продуктивному середовищі не є факультативним. Якість агента погіршується через дрейф концепцій, деградацію інструментів та розширення меж спроможностей. Організації, які оцінюють при розгортанні, а потім вважають продуктивність стабільною, неминуче зіткнуться з інцидентами якості, що підривають довіру користувачів та організаційну впевненість у системах ШІ.

По-четверте, сама система оцінювання має еволюціонувати. Оскільки агенти стають більш здатними та розгортаються у більш складних сценаріях, виміри якості, порогові значення та методи мають адаптуватися відповідно. Статична система оцінювання, застосована до динамічної системи, є суперечністю.

Фундаментальний висновок полягає в тому, що оцінка ШІ-агента ближча до оцінки працівника, ніж до оцінки програмного компонента. Працівників оцінюють за тим, як вони працюють, чи дотримуються процедур, наскільки ефективно використовують ресурси та чи можна їм довіряти зростаючу відповідальність. ШІ-агенти потребують не менш ретельного оцінювання.

Джерела

  1. Li, Z. et al. "Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents." 2026. https://arxiv.org/abs/2604.06132
  2. Gosal, G. et al. "Adaptive Monitoring and Real-World Evaluation of Agentic AI Systems." AI and Ethics, Springer Nature, 2026. https://link.springer.com/article/10.1007/s43681-026-00990-y
  3. Jimenez, C.E. et al. "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?" Princeton University. https://www.swebench.com/verified.html
  4. Anthropic. "Responsible Scaling Policy v3.0." February 2026. https://anthropic.com/responsible-scaling-policy/rsp-v3-0
  5. Zhou, S. et al. "WebArena: A Realistic Web Environment for Building Autonomous Agents." ICLR, 2024. https://arxiv.org/abs/2307.13854
  6. RAGAS. "RAG Evaluation Framework Documentation." https://docs.ragas.io/en/stable
  7. Confident AI. "DeepEval: The LLM Evaluation Framework." https://www.deepeval.com/docs/getting-started
  8. Promptfoo. "Getting Started with LLM Evaluation." https://promptfoo.dev/docs/getting-started/
оцінка ші-агентівметрики якості агентіврівень виконання завданьбезпека шібенчмарки агентівswe-benchragasмоніторинг у продуктивідрейф концепційбагатовимірна оцінка

Рішення АКУТЕК за темою статті

Ми проєктуємо та впроваджуємо такі системи на промислових підприємствах України та ЄС.

Пов'язані статті

Потрібна консультація?

Зв'яжіться з нами для безкоштовної консультації.