Коли обирати донавчання нейромереж замість динамічного підключення контексту
Донавчання чи RAG: за якими ознаками підприємству обирати між зміною моделі та підключенням контексту під час запиту — дані досліджень і практичні критерії.
Oleksandr Ivanchuk
Software Developer
Адаптувати мовну модель до потреб підприємства можна двома принципово різними шляхами: змінити саму модель через донавчання або залишити її незмінною й надавати потрібну інформацію під час кожного запиту. Ці підходи розв'язують різні задачі, і помилка у виборі коштує місяців роботи. У статті ми розглядаємо, що показують дослідження, за якими ознаками донавчання справді виправдане і чому в більшості корпоративних сценаріїв воно не є першим кроком.
Вступ
Запит «навчіть модель на наших документах» — один із найчастіших, з якими ми стикаємося на початку проєктів. За ним стоїть зрозуміла інтуїція: якщо людину можна навчити, то й модель також. Проте в цьому формулюванні змішано дві різні потреби. Перша — щоб модель знала факти підприємства: регламенти, специфікації, історію рішень. Друга — щоб модель поводилася певним чином: дотримувалася формату, термінології, стилю, логіки класифікації.
Для першої потреби основним інструментом сьогодні є динамічне підключення контексту — насамперед Retrieval-Augmented Generation (RAG), коли релевантні фрагменти документів знаходяться й додаються до запиту в момент його виконання [1]. Для другої — донавчання, тобто додаткове тренування моделі на прикладах, яке змінює її параметри.
Основи RAG ми розглядали у статті про технологію RAG для корпоративних документів. Тут зосередимося на протилежному питанні: коли цього підходу недостатньо і зміна самої моделі стає обґрунтованим рішенням.
Два способи адаптації: що саме змінюється
Різниця між підходами полягає в тому, де зберігається знання.
Динамічний контекст залишає модель незмінною. Знання перебуває в зовнішньому сховищі — базі документів, корпоративній системі, результатах виклику інструментів — і потрапляє до моделі лише на час одного запиту. Оновити знання означає оновити сховище. Джерело кожної відповіді можна вказати.
Донавчання записує закономірності безпосередньо в параметри моделі. Після цього модель не потребує підказок, щоб діяти потрібним чином, але й «забути» або оновити засвоєне можна лише новим циклом тренування. Сучасні методи, зокрема LoRA, суттєво здешевили цей процес: автори методу показали скорочення кількості параметрів, що тренуються, до 10 000 разів і потреби у відеопам'яті втричі порівняно з повним донавчанням [5]. Проте вартість обчислень — лише частина витрат; основна частина припадає на підготовку даних і подальший супровід.
| Критерій | Динамічний контекст (RAG, інструменти) | Донавчання |
|---|---|---|
| Що змінюється | Вхідні дані запиту | Параметри моделі |
| Оновлення знань | Одразу після оновлення джерела | Новий цикл тренування та перевірки |
| Посилання на джерело | Можливе для кожної відповіді | Неможливе: знання розчинене в параметрах |
| Розмежування доступу | На рівні документів і користувачів | Модель знає все, на чому тренувалася |
| Потрібні дані | Документи у наявному вигляді | Сотні й тисячі якісних розмічених прикладів |
| Вартість запиту | Вища: довший контекст | Нижча: короткий запит, можлива менша модель |
| Залежність від моделі | Модель легко замінити | Донавчання повторюється для кожної нової базової моделі |
| Найкраще підходить для | Фактів, що змінюються | Стійких навичок і форматів |
Що показують дослідження
Емпіричні порівняння двох підходів дають досить узгоджену картину.
Дослідники Microsoft порівняли донавчання без учителя та RAG на задачах, що потребують фактичних знань. RAG стабільно показував кращі результати — як для інформації, що вже траплялася моделі під час тренування, так і для цілком нової. Автори окремо відзначають, що моделям важко засвоювати нові факти через донавчання, якщо той самий факт не подано в багатьох формулюваннях [2].
Інше дослідження, проведене на сільськогосподарських даних, показало, що підходи не виключають один одного: донавчання підвищило точність більш ніж на 6 відсоткових пунктів, а додавання RAG дало ще 5 пунктів понад це [3]. Тобто ефекти накопичуються, і питання «або — або» часто поставлено некоректно.
Третій напрям робіт стосується поєднання підходів. Метод RAFT передбачає донавчання моделі саме для роботи зі знайденими документами — зокрема для вміння ігнорувати нерелевантні фрагменти, — і стабільно покращує результати в галузевих сценаріях [6].
Нарешті, варто пам'ятати, що можливості динамічного контексту самі не є сталими. Якість пошуку суттєво залежить від його організації. За даними Anthropic, додавання пояснювального контексту до фрагментів документів перед індексацією зменшує частку невдалих пошуків на 49%, а в поєднанні з повторним ранжуванням — на 67% [4].
Для практики з цього випливає важливий наслідок: перш ніж робити висновок, що «RAG не справляється, потрібне донавчання», варто перевірити, чи вичерпано можливості самого пошуку. У нашій практиці у більшості випадків, коли замовник був незадоволений якістю відповідей, причина полягала в якості підготовки документів і пошуку, а не в моделі.
Ознаки, за якими донавчання виправдане
На основі досвіду впроваджень виділю ситуації, у яких зміна самої моделі є обґрунтованим рішенням.
Потрібна стійка поведінка, а не нові факти. Суворий формат вихідних даних, галузева термінологія, усталена логіка класифікації звернень або дефектів. Якщо для досягнення потрібної поведінки доводиться щоразу додавати до запиту довгі інструкції та десятки прикладів, ці закономірності ефективніше закласти в модель.
Навичку неможливо описати словами. Досвідчений технолог відрізняє типове відхилення від аварійного, але не завжди може сформулювати правило. Якщо існує архів із тисячами таких рішень, модель може засвоїти закономірність із прикладів.
Жорсткі обмеження на час відповіді або обчислювальні ресурси. Донавчена компактна модель здатна виконувати вузьку задачу на рівні великої універсальної, але швидше й дешевше. Це особливо важливо для периферійних обчислень та ізольованих виробничих мереж, де запуск великої моделі неможливий.
Великий і сталий потік однотипних запитів. Коли система обробляє десятки тисяч однакових за структурою звернень на добу, економія на довжині кожного запиту починає перевищувати витрати на тренування та супровід.
Мова або предметна область слабо представлені в базовій моделі. Вузькогалузевий жаргон, внутрішні позначення, специфічні формати документів, з якими універсальна модель працює нестабільно.
Спільна умова для всіх цих випадків — наявність достатнього обсягу якісних прикладів і стабільність задачі в часі. Якщо правила змінюються щокварталу, донавчена модель застаріває швидше, ніж окупається.
Коли донавчання не допоможе
Не менш важливо розуміти ситуації, у яких донавчання обирають помилково.
Знання часто змінюються. Прайс-листи, залишки, регламенти, графіки. Модель, натренована на вчорашніх даних, упевнено відтворює застарілу інформацію.
Потрібне посилання на джерело. У регульованих галузях відповідь без посилання на конкретний документ і його редакцію не має цінності. Донавчена модель такого посилання надати не може.
Доступ до інформації розмежовано. Усе, на чому модель тренувалася, потенційно доступне кожному, хто нею користується. Розділити знання за ролями всередині однієї моделі неможливо; у разі динамічного контексту права перевіряються на етапі пошуку. Це питання ми розглядали в матеріалі про конфіденційність корпоративних даних.
Даних мало або вони неякісні. Кілька десятків прикладів не формують стійкої навички, а помилки в розмітці модель засвоює так само старанно, як і правильні відповіді.
Очікується усунення вигаданих відповідей. Донавчання змінює стиль і схильності моделі, але не гарантує фактичної точності. Для цього потрібні джерела та перевірка.
Окремо слід згадати про обмеження протилежного підходу. Збільшення вікна контексту не робить питання відбору інформації зайвим: дослідження показують, що моделі гірше використовують відомості, розташовані в середині довгого контексту, ніж на його початку чи наприкінці [7]. Завантажити «всі документи одразу» — не заміна якісному пошуку.
Послідовність рішень, яку ми застосовуємо
У нашій практиці склалася така логіка руху від простого до складного, яка узгоджується і з рекомендаціями розробників моделей [8].
- Чітке формулювання задачі та інструкцій. Значна частина проблем із якістю зникає вже на цьому етапі.
- Динамічний контекст. Підключення документів і корпоративних систем, налаштування пошуку, оцінювання на контрольному наборі запитань.
- Аналіз залишкових помилок. Якщо модель отримала правильні дані, але відповіла не так, як потрібно, — це проблема поведінки, і лише тут з'являється підстава для донавчання. Якщо потрібні дані до моделі не потрапили — це проблема пошуку.
- Донавчання під конкретну залишкову проблему — зі збереженням динамічного контексту для фактів.
Ключовим у цій послідовності є третій крок. Без розділення помилок на «модель не знала» та «модель знала, але діяла неправильно» вибір між підходами перетворюється на вгадування. Методи такого оцінювання ми описували у статті про оцінку якості ШІ-агентів.
Авторська оцінка та висновки
Донавчання та динамічний контекст — не конкуренти. Перше формує навичку, друге постачає знання. У зрілих системах вони поєднуються: модель, адаптована до галузевої мови та форматів, працює з актуальними даними, отриманими під час запиту [3][6].
Починати варто з динамічного контексту. Він швидше дає результат, не потребує розмічених даних, зберігає можливість замінити модель і дозволяє посилатися на джерела. Для більшості корпоративних сценаріїв цього достатньо.
Підставою для донавчання є виміряна проблема поведінки. Не загальне відчуття, що «модель недостатньо розуміє нашу специфіку», а конкретний клас помилок, який зберігається за правильно наданого контексту.
Основна вартість донавчання — не обчислення. Підготовка та підтримання набору прикладів, повторне тренування за кожної зміни вимог або базової моделі, регресійна перевірка — це постійні витрати, які слід закладати в бюджет із самого початку.
Рішення про донавчання — це рішення про дані. Підприємство, яке не має впорядкованого архіву рішень, класифікацій чи еталонних документів, не готове до донавчання незалежно від бюджету. І навпаки: наявність такого архіву є активом, який варто використовувати.
Вибір підходу зрештою визначається не модою і не доступністю інструментів, а природою задачі: що саме має змінитися — те, що модель знає в момент запиту, чи те, як вона діє завжди.
Джерела
- Lewis P., Perez E., Piktus A. et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks." arXiv:2005.11401, 2020. https://arxiv.org/abs/2005.11401
- Ovadia O., Brief M., Mishaeli M., Elisha O. "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs." arXiv:2312.05934, 2023. https://arxiv.org/abs/2312.05934
- Balaguer A., Benara V., Cunha R. et al. "RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture." arXiv:2401.08406, 2024. https://arxiv.org/abs/2401.08406
- Anthropic. "Introducing Contextual Retrieval." 2024. https://www.anthropic.com/news/contextual-retrieval
- Hu E., Shen Y., Wallis P. et al. "LoRA: Low-Rank Adaptation of Large Language Models." arXiv:2106.09685, 2021. https://arxiv.org/abs/2106.09685
- Zhang T., Patil S., Jain N. et al. "RAFT: Adapting Language Model to Domain Specific RAG." arXiv:2403.10131, 2024. https://arxiv.org/abs/2403.10131
- Liu N., Lin K., Hewitt J. et al. "Lost in the Middle: How Language Models Use Long Contexts." arXiv:2307.03172, 2023. https://arxiv.org/abs/2307.03172
- OpenAI. "Optimizing LLM Accuracy." Документація для розробників. https://platform.openai.com/docs/guides/optimizing-llm-accuracy