8 серпня 2023 року консорціум Intecracy Group провів онлайн-захід у форматі Intecracy Expert Webinar, присвячений актуальним викликам у сфері цифровізації великих організацій. Головною темою обговорення стало «Керування довідниками та основними даними підприємства». Спікером заходу виступив провідний архітектор рішень Сергій Балашук. У центрі уваги експерта та учасників опинилися практичні методи усунення дублів у корпоративних базах даних та побудова єдиного джерела достовірних даних (Single Source of Truth) за допомогою сучасних технологій Data Management.
Сучасне підприємство щодня оперує колосальними обсягами інформації, яка створюється у різних функціональних підрозділах. Фінансисти, логісти, менеджери з продажів та фахівці з постачання часто використовують ізольовані інформаційні системи. Як результат, виникає проблема неузгодженості довідників: один і той самий контрагент, товар чи послуга можуть бути зареєстровані в різних базах під дещо відмінними назвами або з різними ідентифікаторами. Це призводить до помилок у звітності, затримок у прийнятті рішень та додаткових витрат на ручне коригування даних.
Виклики децентралізованого збереження інформації
Під час вебінару було детально проаналізовано передумови виникнення хаосу в корпоративних даних. Коли організація масштабується, кількість інтеграційних зв'язків між системами зростає експоненціально. Без централізованого контролю кожен новий інтерфейс обміну даними лише помножує кількість помилок. Сергій Балашук наголосив, що класичні реляційні бази даних окремих прикладних систем не здатні самостійно вирішити проблему глобальної несумісності форматів та дублювання записів на рівні всієї компанії.
Для подолання цих викликів застосовуються спеціалізовані рішення класу Master Data Management (MDM). Головна мета впровадження таких інструментів — не просто технічне об'єднання таблиць, а створення цілісної методології та інфраструктури для очищення, збагачення та синхронізації критично важливих бізнес-даних між усіма споживачами всередині корпоративного контуру.
«Створення єдиного джерела достовірних даних — це не одноразовий технічний проект, а постійний процес управління. Головний компроміс, з яким стикаються архітектори при впровадженні MDM, полягає у виборі між жорсткою централізацією, яка уповільнює внесення нових записів, та аналітичною консолідацією, яка дозволяє системам працювати автономно, але вимагає складних алгоритмів зіставлення та злиття даних post factum. Ми повинні знайти баланс, який відповідає динаміці конкретного бізнесу», — зазначив Сергій Балашук.
Механізми усунення дублікатів та консолідації даних
Особливу увагу спікер приділив технічним механізмам, які забезпечують високу якість нормативно-довідкової інформації (НДІ). Процес дедуплікації складається з кількох послідовних етапів. Спочатку дані з різних джерел проходять стандартизацію — приведення до єдиного формату адрес, телефонних номерів, назв компаній та податкових кодів. Наступним кроком є застосування евристичних алгоритмів та методів нечіткого пошуку (fuzzy matching) для виявлення потенційних дублів.
Після ідентифікації схожих записів система приймає рішення про їх злиття на основі налаштованих правил живучості (survivorship rules). Наприклад, система визначає, яке джерело є більш пріоритетним для конкретного атрибута: адреса контрагента може братися з CRM-системи, а його платіжні реквізити — з ERP. Таким чином формується так званий 'золотий запис' (Golden Record), який містить найбільш актуальну та перевірену інформацію.
Архітектурні стилі побудови MDM-систем
У межах доповіді Сергій Балашук детально розібрав три основні архітектурні моделі побудови систем керування основними даними:
1. Реєстр (Registry) — системи-джерела зберігають свої дані локально, а MDM-система містить лише покажчики та ідентифікатори перехресних посилань. Цей підхід є найменш інвазивним, але вимагає складних розподілених запитів для формування повної картини.
2. Консолідація (Consolidation) — дані регулярно збираються з локальних систем у центральний хаб для аналітики та звітності, проте операційне введення інформації залишається децентралізованим.
3. Транзакційна модель (Centralized/Transactional) — створення та зміна будь-яких основних даних відбувається виключно в MDM-системі, яка потім розповсюджує оновлення в усі інші прикладні програми. Це забезпечує найвищий рівень чистоти даних, але вимагає перебудови багатьох бізнес-процесів організації.
Вибір архітектури залежить від готовності підприємства до організаційних змін та технічної зрілості його ІТ-ландшафту. Завершуючи вебінар, спікер підкреслив, що ефективне впровадження інструментів Data Management дозволяє кардинально знизити витрати на інтеграцію нових систем у майбутньому, оскільки будь-який новий додаток підключається до вже існуючого, очищеного та структурованого джерела інформації.
Роль Data Governance у забезпеченні якості НДІ
Окрім суто технічних інструментів очищення даних, критично важливою складовою успіху є впровадження процесів Data Governance. Це набір регламентів, ролей та обов'язків, які визначають, хто саме в організації відповідає за створення, перевірку та затвердження нових записів у довідниках. Без чітко визначених бізнес-ролей, таких як стюарди даних (Data Stewards), навіть найсучасніша MDM-платформа швидко наповниться неактуальною інформацією.
Стюарди даних виступають сполучною ланкою між ІТ-департаментом та бізнес-користувачами. Вони вирішують спірні ситуації, коли автоматичні алгоритми дедуплікації не можуть однозначно визначити, чи є два записи дублікатами, або коли виникають конфлікти у правилах синхронізації. Вебінар продемонстрував, що поєднання автоматизованих інструментів Data Management та вивіреної організаційної структури є єдиним надійним шляхом до створення стійкої інформаційної екосистеми підприємства.