Блог та новини 4 хв читання

Сергій Балашук продемонстрував розпізнавання та вилучення даних із документів

9 липня 2024 року відбувся змішаний воркшоп Intecracy Customer Workshop. Сергій Балашук розповів про сучасні методи розпізнавання та вилучення даних із документів за допомогою платформи Nectain.

9 липня 2024 року консорціум Intecracy Group провів спеціалізований захід Intecracy Customer Workshop, присвячений актуальним технологіям автоматизації документообігу. Подія відбулася у змішаному (гібридному) форматі, об’єднавши учасників в офлайн- та онлайн-просторах. Головною темою обговорення стало розпізнавання та вилучення даних із документів, зокрема перетворення сканованих копій, електронних листів та різноманітних вкладень на структуровані масиви даних, готові для подальшої обробки в корпоративних системах. Головним спікером заходу виступив провідний експерт Сергій Балашук.

Еволюція від простого OCR до інтелектуального аналізу даних

Традиційні системи оптичного розпізнавання символів (OCR) тривалий час залишалися стандартом для оцифрування паперових носіїв. Проте сучасний бізнес потребує значно більшого, ніж просто перетворення зображення на текст. Як було зазначено під час воркшопу, ключовим викликом є інтелектуальна обробка документів (IDP — Intelligent Document Processing). Спікер детально розібрав, як саме платформа Nectain інтегрує ці технології для вирішення складних повсякденних завдань підприємств.

Замість звичайного зчитування букв, сучасні алгоритми Nectain здатні класифікувати типи документів, визначати їхню структуру та знаходити ключові реквізити: дати, суми, номери рахунків, назви контрагентів та специфікації товарів. Це дозволяє автоматично розподіляти вхідний потік інформації без залучення людського ресурсу на етапі первинного сортування. Такий підхід мінімізує вплив людського фактора та значно прискорює бізнес-процеси. Спікер звернув увагу на те, що архітектура Nectain використовує комбінацію евристичних методів та глибокого машинного навчання. Це дозволяє системі адаптуватися до нових типів документів без необхідності складного перепрограмування. Наприклад, якщо компанія починає працювати з новим постачальником, чиї рахунки мають унікальний дизайн, інтелектуальний модуль здатний самостійно локалізувати блоки з фінансовою інформацією, спираючись на контекстуальний аналіз сусідніх текстових елементів.

Механізми обробки вкладень та електронної пошти

Окрему увагу під час виступу було приділено роботі з неструктурованими джерелами інформації, такими як тіло електронного листа та вкладені файли різних форматів (PDF, TIFF, JPEG тощо). Сергій Балашук продемонстрував архітектуру рішення, яка дозволяє автоматично перехоплювати вхідні повідомлення, аналізувати їхній вміст та вилучати корисне навантаження. Процес починається з моніторингу поштових скриньок або інтегрованих каналів зв'язку. Після отримання листа система здійснює попередній аналіз: відокремлює супровідний текст від вкладених файлів, визначає формат кожного файлу та запускає відповідні конвеєри обробки. Для зображень низької якості застосовуються алгоритми попередньої фільтрації, які усувають шуми, вирівнюють кут нахилу сторінки та підвищують контрастність тексту. Це критично важливо для успішного подальшого розпізнавання символів.

«Автоматизація починається там, де система здатна самостійно зрозуміти контекст документа. Використовуючи технології IDP та OCR у межах платформи Nectain, ми фокусуємося на вирішенні балансу між швидкістю обробки та точністю розпізнавання. Важливо не просто розпізнати текст, а верифікувати його за допомогою крос-перевірок із наявними довідниками системи. Якщо точність розпізнавання певного поля викликає сумніви у алгоритму, документ автоматично спрямовується на швидку верифікацію оператору, що дозволяє зберегти високу якість даних без уповільнення загального потоку», — зазначив Сергій Балашук.

Цей підхід дозволяє створювати надійні конвеєри обробки даних, де ручна праця застосовується лише у виняткових випадках, коли система стикається з нестандартними або сильно пошкодженими документами.

Інтеграційні можливості та архітектурні компроміси

Учасники воркшопу детально обговорили питання інтеграції інструментів розпізнавання Nectain із наявними ERP, CRM та іншими обліковими системами підприємств. Інтеграція відбувається через гнучкі інтерфейси API, що дозволяє передавати вже структуровані дані у форматі JSON або XML безпосередньо в цільові бази даних. Це виключає необхідність ручного перенесення інформації, що раніше було головним джерелом помилок у бухгалтерському та управлінському обліку. Особливу увагу було приділено гнучкості налаштування робочих процесів (workflows). Після вилучення даних система може автоматично запускати ланцюжки погодження документів. Наприклад, якщо розпізнаний рахунок не перевищує встановлений ліміт і повністю відповідає раніше затвердженому замовленню на купівлю, він може бути автоматично спрямований на оплату без додаткового втручання менеджерів. Це демонструє перехід від простого розпізнавання до наскрізної автоматизації бізнес-процесів.

Важливим аспектом дискусії став вибір між хмарними та локальними (on-premise) архітектурними рішеннями. Локальне розгортання гарантує максимальний рівень безпеки та відповідність суворим вимогам щодо захисту персональних даних, тоді як хмарні моделі забезпечують швидке масштабування ресурсів під час пікових навантажень. Платформа Nectain підтримує обидва сценарії, дозволяючи замовникам обирати оптимальний баланс відповідно до внутрішніх політик безпеки та ІТ-стратегії.

Завершуючи захід, організатори підкреслили, що перехід до автоматизованого вилучення даних є невід'ємною частиною цифрової трансформації сучасного бізнесу. Використання інтелектуальних інструментів дозволяє компаніям позбутися рутинних операцій та зосередити інтелектуальний потенціал співробітників на вирішенні стратегічних завдань.