Якість даних — основа якості ШІ: уроки з промислових проєктів
Чому 80% часу ШІ-проєкту витрачається на підготовку даних, типові проблеми з даними у виробництві та практичний чеклист оцінки готовності даних до ШІ.
Serhiy Andrejev
Lead Machine Learning Developer
«Сміття на вході — сміття на виході» — мабуть, найчастіше цитований і водночас найчастіше ігнорований принцип у сфері штучного інтелекту. У цій статті ми розглядаємо, чому якість даних залишається вирішальним чинником успіху ШІ-проєктів, які саме проблеми з даними є типовими для виробничих середовищ і як організації можуть системно оцінити готовність своїх даних до впровадження ШІ.
Вступ: трюїзм, який усі знають і всі ігнорують
Кожна розмова про штучний інтелект у виробництві рано чи пізно повертається до однієї й тієї самої відправної точки: модель настільки хороша, наскільки якісні дані, на яких вона навчається. Це спостереження настільки загальноприйняте, що перетворилося на трюїзм — твердження, настільки очевидно правдиве, що вже не привертає уваги. І саме в цьому полягає проблема.
У нашій практиці ми спостерігаємо стійку й тривожну закономірність. Організації інвестують значні ресурси у вибір фреймворків ШІ, оцінювання архітектур моделей та бенчмаркінг алгоритмів — діяльність, яка в сукупності становить приблизно 10–20% загального обсягу зусиль ШІ-проєкту. Водночас дані, що врешті-решт визначатимуть успіх чи невдачу моделі, отримують порівняно мало стратегічної уваги — допоки проблеми не проявляться під час навчання або розгортання.
Google Research задокументувала це явище в знаковому дослідженні 2021 року щодо «каскадів даних» (data cascades) — кумулятивних негативних ефектів, що виникають через проблеми з якістю даних і поширюються далі по всьому життєвому циклу ШІ. Дослідження показало, що 92% практиків у галузі ШІ стикалися з каскадами даних у своїй роботі, проте більшість із цих каскадів можна було запобігти завдяки ранній, більш системній увазі до якості даних [1]. Дослідники дійшли висновку, що спільнота ШІ системно недооцінює роботу з даними порівняно з роботою над моделями — висновок, який тісно корелює з тим, що ми спостерігаємо в промислових упровадженнях ШІ.
Фінансові наслідки є значними. За даними IBM, понад чверть організацій оцінюють свої щорічні втрати від низької якості даних на рівні понад 5 мільйонів доларів США, а деякі повідомляють про втрати, що перевищують 25 мільйонів доларів [3]. Gartner прогнозує, що до 2026 року 60% ШІ-проєктів буде згорнуто через відсутність даних, придатних для ШІ [5]. Це не теоретичні ризики. Це операційна реальність для організацій, які розглядають якість даних як другорядне питання.
Ця стаття базується на нашому досвіді впровадження рішень ШІ у виробничих середовищах в Україні та Європейському Союзі — контекстах, де сенсорні дані є зашумленими, успадковані системи гетерогенними, а розрив між лабораторними наборами даних і реальністю виробничого цеху вимірюється не в незначних розбіжностях, а в принципових несумісностях.
Типові проблеми з даними у виробництві
Виробничі дані існують у стані постійної недосконалості. На відміну від курованих дослідницьких наборів даних або чистих корпоративних сховищ, виробничі дані відображають фізичну реальність промислових операцій — обладнання, що деградує, сенсори, які дрейфують, оператори, що припускаються помилок, і системи, які ніколи не були спроєктовані для взаємодії одна з одною. На основі наших спостережень у десятках промислових упроваджень п'ять категорій проблем із даними повторюються з разючою сталістю.
Прогалини та відсутні значення — найпоширеніша проблема якості даних. Сенсори виходять з ладу, комунікаційні зв'язки між ПЛК та історіанами даних переривають, збої живлення скидають системи журналювання. У типовому середовищі SCADA ми регулярно спостерігаємо рівень повноти даних у діапазоні 85–95% — діапазон, що звучить прийнятно, доки не врахувати, що відсутні 5–15% часто припадають саме на ті експлуатаційні умови (пуски, зупинки, аномалії обладнання), які несуть найбільшу аналітичну цінність. Модель предиктивного обслуговування, навчена на даних із систематичними прогалинами під час аварійних станів, за визначенням не зможе розпізнати саме ті патерни, для виявлення яких вона була створена.
Дублікати та надлишкові записи виникають із різних джерел. Ручне введення даних у системи ERP та MES за своєю природою схильне до помилок — подвійні записи, типографічні варіації, непослідовні перетворення одиниць виміру. Автоматизовані системи також створюють дублікати, коли повторні спроби передачі генерують кілька записів для однієї події. На одному харчовому підприємстві ми виявили, що приблизно 8% записів контролю якості були фактичними дублікатами — ідентичні вимірювання, зафіксовані з незначними відмінностями в мітках часу через проблеми синхронізації годинників між лабораторною інформаційно-керуючою системою та виробничою MES.
Дрейф сенсорів та зміщення параметрів відбуваються поступово й часто залишаються невиявленими протягом тривалого часу. Температурні сенсори втрачають калібрування. Витратоміри накопичують відкладення, що змінюють показники. Датчики вібрації зміщують свою базову лінію в міру ослаблення кріпильних елементів. Підступна природа дрейфу полягає в тому, що кожне окреме вимірювання виглядає правдоподібним — відхилення від справжніх значень достатньо невелике, щоб пройти базові перевірки валідації. Проте протягом тижнів або місяців накопичений дрейф спотворює статистичні розподіли, на які покладаються моделі машинного навчання, створюючи форму «отруєння даних», яку важко діагностувати постфактум.
Десинхронізація між системами є ендемічною для виробничих середовищ, що розбудовувалися поступово протягом десятиліть. Система ERP працює у бізнес-часі (межі змін, мітки часу завершення замовлень). Система SCADA фіксує дані з точністю до мілісекунд. Система управління якістю реєструє результати на рівні партій із різною затримкою. Коли ці потоки даних потрібно об'єднати для навчання ШІ, часова неузгодженість вносить шум, що знижує ефективність моделі. Ми стикалися з ситуаціями, коли дві хвилини розходження годинників між системами робили модель прогнозування якості фактично непридатною, оскільки виробничі параметри, що корелювалися з результатами якості, належали до неправильної партії.
Застарілість документації та метаданих часто лишається поза увагою, але завдає не менш відчутної шкоди. Технічні специфікації обладнання посилаються на замінені моделі сенсорів. Рецептури процесів містять параметри для сировини, склад якої змінився. Журнали обслуговування описують процедури для обладнання, яке було замінене. Коли системи ШІ споживають ці метадані — а вони все частіше це роблять у архітектурах зі збагаченням знаннями та RAG — застаріла документація генерує впевнено хибні рекомендації.
У наведеній нижче таблиці узагальнено ці проблеми з даними, їхні прояви та наслідки для якості моделей ШІ:
| Проблема з даними | Опис | Наслідок для моделі ШІ | Метод виявлення |
|---|---|---|---|
| Прогалини та відсутні значення | Відмови сенсорів, перебої зв'язку, збої журналювання | Зміщені навчальні дані; «сліпі зони» моделі під час критичних експлуатаційних режимів | Аудити повноти; аналіз неперервності часових рядів |
| Дублікати та надлишкові записи | Подвійне ручне введення, повторні записи через ретрансмісію, дублювання систем збору | Надмірне представлення певних умов; спотворені статистичні розподіли | Алгоритми дедуплікації; пошук подібностей за мітками часу |
| Дрейф сенсорів | Поступова втрата калібрування температурних, витратних, вібраційних та тискових сенсорів | Систематичне зміщення значень ознак; погіршення точності прогнозів з часом | Статистичне управління процесами; періодичні перехресні перевірки калібрування |
| Десинхронізація | Розходження годинників між системами ERP, MES, SCADA та лабораторними системами | Некоректні кореляції «ознака–ціль»; причинно-наслідкові зв'язки втрачаються у часовому шумі | Аудит часових міток між системами; аналіз кореляції подій |
| Застарілість документації | Неактуальні специфікації обладнання, замінені рецептури, застарілі процедури обслуговування | Некоректна контекстна інформація; хибні рекомендації в системах зі збагаченням знаннями | Відстеження версій; періодичні ревізії валідності метаданих |
Таблиця 1. Поширені проблеми якості даних у виробничих середовищах та їхній вплив на ефективність моделей ШІ. Джерело: спостереження автора з промислових упроваджень ШІ.
Чому виробничі дані відрізняються від «чистих» наборів даних
Існує фундаментальний розрив між наборами даних, на яких навчається більшість практиків ШІ, та даними, з якими вони стикаються у виробничому середовищі. Університетські програми, онлайн-курси та платформи на кшталт Kaggle надають набори даних, які за задумом є зручними для роботи — очищеними, розміченими та відформатованими для полегшення порівняння алгоритмів. Виробничі дані позбавлені будь-яких таких зручностей.
Ендрю Нг, обґрунтовуючи концепцію data-centric AI (ШІ, орієнтованого на дані), наголошував, що традиційна модель-центрична парадигма — коли дані фіксуються, а ітерації відбуваються над алгоритмами — інвертує пріоритет, який має найбільше значення на практиці [4]. У виробничих середовищах алгоритм рідко є вузьким місцем. Вузьким місцем є дані. І характеристики, що ускладнюють роботу з виробничими даними, — це не випадковий шум, а структуровані, систематичні спотворення, що не піддаються простим процедурам очищення.
Виробничий шум якісно відрізняється від гауссового шуму, який закладається в більшість статистичних моделей. Електромагнітні завади поблизу важкого обладнання створюють корельовані артефакти в показниках сенсорів. Вібрації від суміжного обладнання забруднюють вимірювання прискорення. Температурні градієнти по всьому виробничому цеху означають, що датчики навколишнього середовища в різних точках вимірюють справді різні умови — а не однорідне середовище, яке передбачає більшість моделей процесів.
Аномалії у виробничих даних — це не викиди, які потрібно видалити, а часто саме той сигнал, який потрібно знайти. У стандартному робочому процесі аналізу даних екстремальні значення позначаються і часто відкидаються. У предиктивному обслуговуванні ці екстремальні значення можуть бути найранішніми індикаторами початку відмови. Розрізнення між справжньою аномалією, що заслуговує на дослідження, та артефактом вимірювання, що підлягає видаленню, потребує експертизи у предметній галузі, яку жоден автоматизований конвеєр очищення не може повністю замінити.
Людський чинник вносить варіативність, яку складно змоделювати й неможливо усунути. Оператори коригують уставки на основі досвіду та інтуїції. Зміни змін створюють розриви в операційних патернах. Ручні інспекції якості несуть притаманну суб'єктивність — один і той самий дефект може бути класифікований по-різному різними інспекторами. За нашим досвідом, міжоператорська варіативність становить 10–15% загальної дисперсії в наборах даних із ручних або напівавтоматизованих процесів.
Дослідження McKinsey щодо бар'єрів якості даних у виробництві підтверджує ці спостереження в масштабі, ідентифікуючи відсутні точки даних, зламані або некалібровані сенсори, неповні маппінги даних та несумісні системи — посилені успадкованими архітектурами та слабкими практиками управління, накопиченими за десятиліття поступової цифровізації [6].
Практичний висновок є простим, але вагомим: організації, які очікують застосувати ШІ до виробничих даних, використовуючи ті самі методи та припущення, що працюють на курованих наборах даних, зіткнуться із систематичною недоефективністю, яку жоден обсяг налаштування моделей не зможе подолати.
Що насправді означає «80% часу на підготовку даних»
Широко цитована статистика про те, що фахівці з даних витрачають 80% свого часу на підготовку даних, стала професійним наріканням. Різні дослідження повідомляють різні цифри — CrowdFlower зафіксувала 60% лише на очищення, з досягненням 80% при включенні збору та розмічування; опитування Anaconda 2020 року повідомило приблизно 45% на підготовчі завдання [2]. Точний відсоток має менше значення, ніж базова реальність: підготовка даних домінує в часових рамках ШІ-проєктів, а у промислових умовах ця частка часто є ще вищою.
На основі нашого досвіду, показник «80% на підготовку даних» декомпонується на п'ять окремих етапів, кожен з яких має свої виклики, вимоги до ресурсів та типові точки збоїв.
Рисунок 1. Розподіл часу в типовому промисловому ШІ-проєкті. Діяльність із підготовки даних (інвентаризація, очищення, нормалізація, валідація, збагачення) сукупно споживає приблизно 80% проєктних зусиль. Джерела: опитування CrowdFlower, Anaconda State of Data Science 2020 [2], спостереження автора.
Інвентаризація та виявлення даних (приблизно 15% загального обсягу зусиль) передбачає визначення того, які дані існують, де вони зберігаються, в якому форматі та якого рівня якості. У виробничих середовищах із кількома виробничими лініями та гетерогенними історіанами даних лише цей етап може тривати тижнями. Ми вважаємо за важливе зазначити, що організації часто переоцінюють своє знання власного ландшафту даних — фактичний вміст, повнота й надійність потоків даних часто виявляються погано зрозумілими до проведення системної інвентаризації.
Очищення та виправлення даних (приблизно 25%) спрямоване на вирішення проблем, описаних у попередньому розділі: заповнення або маркування прогалин, видалення дублікатів, ідентифікацію та виправлення вимірювань, уражених дрейфом, усунення розбіжностей синхронізації. Це саме той етап, який більшість людей уявляють, коли чують «підготовка даних», проте він становить лише приблизно третину загального обсягу підготовчих робіт.
Нормалізація та трансформація (приблизно 20%) перетворює гетерогенні дані у формати, придатні для споживання моделями ШІ. Це включає стандартизацію одиниць виміру (Цельсій у Кельвін, бар у Паскаль), часове вирівнювання (передискретизацію даних із різних систем до спільної часової бази), конструювання ознак (обчислення похідних змінних із первинних вимірювань) та кодування категоріальних змінних із систем ERP та MES.
Валідація та тестування (приблизно 10%) верифікує, що очищені та трансформовані дані точно відображають фізичні процеси, які вони описують. Статистичні тести підтверджують правдоподібність розподілів. Експерти предметної галузі переглядають граничні випадки та крайові умови. Перехресна валідація з відомими результатами процесу гарантує, що конвеєр трансформації даних не вніс артефактів.
Збагачення та аугментація даних (приблизно 10%) доповнює первинні дані процесу контекстною інформацією: історіями обслуговування обладнання, сертифікатами на сировину, умовами навколишнього середовища, виробничими графіками. У промисловому ШІ контекстне збагачення часто є тим, що відрізняє модель із прийнятною точністю в лабораторних умовах від моделі, яка надійно працює у виробництві.
Решта 20% проєктних зусиль розподіляється приблизно порівну між розробкою моделі (вибір, навчання, налаштування) та розгортанням, тестуванням і моніторингом. Такий розподіл дивує організації, які звикли сприймати ШІ-проєкти як переважно алгоритмічні зусилля. Проте він є послідовним у практично кожному промисловому впровадженні ШІ, в якому ми брали участь, і узгоджується з ширшим дослідницьким консенсусом [1, 2, 4].
Як оцінити готовність даних до ШІ: чеклист практика
Перш ніж виділяти ресурси на ШІ-ініціативу, організації мають провести системну оцінку готовності своїх даних. На основі нашого досвіду роботи у виробничих та процесних галузях ми розробили оціночну структуру, що охоплює сім вимірів готовності даних. Кожен вимір слід оцінювати за трибальною шкалою: достатній (готовий до ШІ), умовний (потребує виправлення перед початком роботи з ШІ) або недостатній (фундаментальні прогалини, які необхідно усунути в першу чергу).
Повнота. Який відсоток очікуваних точок даних фактично присутній протягом цільового часового періоду? Для більшості промислових застосувань ШІ повнота нижче 90% є значним фактором ризику, а нижче 80% зазвичай робить набір даних непридатним для надійного навчання моделі без суттєвої імпутації або доповнення. Оцінка має розглядати не лише загальну повноту, але й розподіл прогалин — випадкові відсутні значення завдають значно менше шкоди, ніж систематичні прогалини, що корелюють із конкретними експлуатаційними умовами.
Консистентність. Чи узгоджуються ті самі вимірювання, зафіксовані різними системами або в різних точках процесу, в межах прийнятних допусків? Перевірки консистентності мають порівнювати перекриваючі джерела даних (надлишкові сенсори, паралельні системи реєстрації) та верифікувати, що обчислені значення є математично узгодженими з їхніми вихідними вимірюваннями. У нашій практиці порушення консистентності часто виявляють інтеграційні проблеми, які інакше залишалися б прихованими, доки навчання моделі не видасть незрозумілі результати.
Своєчасність. Чи доступні дані з достатньою часовою роздільною здатністю та прийнятною затримкою для передбачуваного застосування ШІ? Модель предиктивного обслуговування, яка потребує вібраційних даних із роздільною здатністю 1 кГц, не може функціонувати на усереднених значеннях із частотою 1 Гц. Система прогнозування якості в реальному часі, яка отримує лабораторні результати із чотиригодинною затримкою, не може забезпечити швидкий зворотний зв'язок, для якого вона була створена. Вимоги до своєчасності суттєво різняться залежно від сценарію використання й мають бути визначені явно до того, як можна буде оцінити готовність даних.
Точність. Наскільки точно записані значення відповідають фактичним фізичним умовам? Цей вимір вимагає верифікації калібрування, порівняння з еталонними стандартами та перегляду експертами предметної галузі. Оцінка точності особливо важлива для сенсорних даних, що перебували в безперервній експлуатації — дрейф калібрування міг внести систематичні зміщення, невидимі для автоматизованої валідації, але суттєві для ефективності моделі.
Репрезентативність. Чи охоплюють наявні дані повний діапазон експлуатаційних умов, варіантів продукції, сезонних патернів та аномальних подій, з якими модель ШІ зіткнеться у виробництві? Набір даних, що охоплює лише нормальні умови роботи, створить модель, яка добре працюватиме за нормальних умов, але відмовить саме тоді, коли організація потребує її найбільше — під час відхилень процесу, деградації обладнання або нетипових виробничих вимог.
Простежуваність. Чи може кожна точка даних бути простежена до свого джерела, з чітким аудиторським слідом, що документує будь-які застосовані трансформації, агрегації або виправлення? У регульованих галузях — харчова промисловість, фармацевтика, автомобілебудування — простежуваність є не просто питанням якості даних, а вимогою відповідності нормативам. Стандарти HACCP та ISO вимагають задокументованого походження даних, і системи ШІ, побудовані на непростежуваних даних, створюють регуляторну відповідальність незалежно від їхньої точності прогнозування.
Управління. Чи існують встановлені процедури для визначення власників даних, контролю доступу, моніторингу якості та управління життєвим циклом? Дослідження Gartner підтверджує, що 63% організацій або не мають, або не впевнені, чи мають вони належні практики управління даними для ШІ [5]. Без структур управління покращення якості даних, досягнуті під час ШІ-проєкту, з часом деградуватимуть, оскільки операційні практики повернуться до допроєктних норм.
Рисунок 2. Типові результати оцінки готовності даних у виробничих організаціях. Управління (37%) та репрезентативність (35%) — найслабші виміри, що узгоджується з висновком Gartner про те, що 63% організацій не мають належних практик управління даними для ШІ [5]. Повнота має найвищий показник, але й тут 40% організацій залишаються нижче порогу «достатній». Дані базуються на спостереженнях автора з промислових упроваджень ШІ.
Ми рекомендуємо проводити цю оцінку до вибору будь-якого постачальника ШІ або початку розробки моделі. За нашим досвідом, приблизно 40% організацій, які звертаються до нас щодо впровадження ШІ, завдяки цій оцінці виявляють, що їхнім безпосереднім пріоритетом має бути вдосконалення інфраструктури даних, а не розробка моделей ШІ — висновок, який у підсумку зберігає місяці зусиль та значні ресурси, які інакше були б витрачені на побудову моделей на неадекватних даних.
Авторська оцінка та висновки
Зв'язок між якістю даних і якістю ШІ є не просто кореляційним — він є причинно-наслідковим, прямим і безкомпромісним. Жоден алгоритмічний прорив і жодне збільшення обчислювальних ресурсів не здатні компенсувати принципово хибні дані. Це залишається найважливішою й найбільш недооціненою істиною у прикладному штучному інтелекті.
З нашого досвіду впровадження рішень ШІ у виробничих середовищах випливає кілька висновків.
По-перше, інвестиції в якість даних мають передувати інвестиціям у ШІ. Організації, які намагаються вирішувати проблеми якості даних паралельно з розробкою моделей, неминуче виявляють, що ці два види діяльності конкурують за одні й ті самі ресурси та увагу, причому якість даних послідовно програє цю конкуренцію. Найуспішніші впровадження ШІ, які ми спостерігали, — це ті, де якість даних розглядалася як попередній етап із власним бюджетом, часовими рамками та критеріями успіху, а не як підпорядкована діяльність у плані ШІ-проєкту.
По-друге, показник «80% на підготовку даних» — це не проблема, яку потрібно розв'язати, а реальність, якою потрібно управляти. Зусилля зі скорочення часу на підготовку даних за допомогою автоматизації та інструментів є цінними, проте вони ніколи не усунуть фундаментальну потребу в ретельній, інформованій предметною галуззю курації даних. Організації, які закладають у бюджет 80% на підготовку даних і 20% на розробку моделей, послідовно перевершуватимуть тих, хто розподіляє ресурси у зворотній пропорції, незалежно від складності обраного підходу до моделювання.
По-третє, оцінка готовності даних має стати стандартною практикою — такою ж рутинною, як фінансова перевірка перед поглинанням або інженерна оцінка конструкцій перед будівництвом. Представлена в цій статті структура з семи вимірів є відправною точкою, проте кожна організація має адаптувати й розширити її з урахуванням своєї конкретної галузі, регуляторного контексту та операційних характеристик.
По-четверте, парадигма data-centric AI, сформульована Ендрю Нгом та підтверджена масштабними дослідженнями, являє собою справжню зміну у тому, як ШІ-проєкти мають бути задумані та керовані [4]. Замість того щоб розглядати дані як фіксований вхід, а модель як змінну для оптимізації, успішні промислові ШІ-проєкти розглядають модель як відносно фіксовану (перевірені архітектури для конкретного сценарію використання) та інвестують більшу частину зусиль у системне покращення якості, повноти та релевантності даних.
Нарешті, ми вважаємо за важливе зазначити, що якість даних — це не одноразове досягнення, а безперервна дисципліна. Сенсори дрейфують, системи оновлюються, процеси змінюються, персонал ротується. Модель ШІ, яка добре працює на високоякісних історичних даних, деградуватиме, якщо поточний конвеєр даних не підтримуватиме еквівалентних стандартів якості. Моніторинг якості даних має бути вбудований в операційні процедури з такою ж суворістю, як і обслуговування обладнання — адже у виробничому середовищі, що використовує ШІ, це і є обслуговування обладнання.
Організації, які отримають найбільшу цінність від штучного інтелекту у виробництві, — це не ті, що мають найдосконаліші алгоритми або найбільші обчислювальні бюджети. Це організації, які визнають якість даних стратегічним активом та інвестують у неї відповідно — системно, безперервно й із такою ж увагою на рівні керівництва, яку приділяють будь-якій іншій критичній бізнес-функції.
Джерела
-
Sambasivan, N., Kapania, S., Highfill, H., Akrong, D., Paritosh, P., Aroyo, L. "Everyone wants to do the model work, not the data work: Data Cascades in High-Stakes AI." CHI 2021. https://research.google/pubs/everyone-wants-to-do-the-model-work-not-the-data-work-data-cascades-in-high-stakes-ai/
-
Anaconda. "2020 State of Data Science." 2020. https://www.anaconda.com/resources/whitepapers/state-of-data-science-2020
-
IBM. "The True Cost of Poor Data Quality." 2025. https://www.ibm.com/think/insights/cost-of-poor-data-quality
-
Ng, A. "Why it's time for data-centric artificial intelligence." MIT Sloan Management Review, 2022. https://mitsloan.mit.edu/ideas-made-to-matter/why-its-time-data-centric-artificial-intelligence
-
Gartner. "Lack of AI-Ready Data Puts AI Projects at Risk." 2025. https://www.gartner.com/en/newsroom/press-releases/2025-02-26-lack-of-ai-ready-data-puts-ai-projects-at-risk
-
McKinsey & Company. "Clearing data-quality roadblocks: Unlocking AI in manufacturing." 2024. https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/clearing-data-quality-roadblocks-unlocking-ai-in-manufacturing
-
MIT CSAIL. "Introduction to Data-Centric AI." https://dcai.csail.mit.edu/