МЕТОДИКА ОПТИМІЗАЦІЇ ПРОЦЕСІВ ОБРОБКИ І ПЕРЕНЕСЕННЯ ДАНИХ В ІНФОРМАЦІЙНИХ СИСТЕМАХ
Ключові слова:
сховище даних, ETL-процес, аналітична система, ефективність перенесення даних, обробка данихАнотація
З огляду на стрімкий розвиток цифрових технологій, компанії дедалі частіше зіштовхуються з необхідністю обробки великих обсягів даних, що ускладнює ефективне виконання бізнес-аналітики на основі операційних баз даних. Виконання аналітичних операцій безпосередньо на базах даних, призначених для щоденної бізнес-діяльності, не завжди є оптимальним рішенням. Нормалізована реляційна база даних, яка використовується у таких випадках, може складатися з десятків або навіть тисяч таблиць, кожна з яких має свої унікальні назви та рівень деталізації. У результаті процес пошуку та вилучення потрібних даних для конкретного аналізу може бути складним і тривалим. Крім того, сучасні компанії часто застосовують декілька бізнес-додатків, що працюють із різними базами даних. Об’єднання таких архітектурно несумісних систем з метою проведення аналітики може призводити до зниження якості даних. Саме тому, у роботі розроблено методику оптимізації процесів обробки та перенесення даних на попередньо змодельованому сховищі даних. Основний акцент дослідження було зроблено на розробці реляційної бази даних та сховища даних за гібридним підходом, налаштуванні ETL-процесу між реляційною базою даних і сховищем даних за допомогою пакетів SSIS, а також порівнянні ефективності перенесення даних на таблицях різної розмірності. Для оцінки ефективності запропонованої методики враховувалися такі критерії, як швидкість перенесення заданого обсягу даних з імітованої реляційної системи до аналітичної, а також мінімізація використання додаткових інструментів і людського залучення під час виконання цього процесу. Дослідження включало розробку реляційної моделі даних, її наповнення неоптимальними даними, створення аналітичної системи та налаштування процесів перенесення й обробки даних із використанням різних засобів і параметрів. Результати дослідження показали ефективність використання типу SSIS Fast Load для перенесення та обробки різних обсягів даних, що виявилося на 11 % швидшим за використання внутрішніх засобів T-SQL і на 98 % швидшим за використання типу SSIS Plain Load.
Посилання
Saraswat P., Raj S. Educational data mining and data warehouse design using business intelligence. International Journal of Innovative Research in Computer Science & Technology. 2022. P. 97–101. URL: https://doi.org/10.55524/ijircst.2022.10.1.17
Data Optimization for Industrial IoT-Based Recommendation Systems / M. Beshley et al. Electronics. 2022. Vol. 12, no. 1. P. 33. URL: https://doi.org/10.3390/electronics12010033
Novoselova O., Ruzheynikov A., Gavrilov A. Analytical Processing of Applied Tasks Conceptual Models at Design of Information-Active Systems. EPJ Web of Conferences. 2019. Vol. 224. P. 06008. URL: https://doi.org/10.1051/epjconf/201922406008
Jaroli P., Masson P. Data Warehousing and OLAP Technology (Data warehousing). International Journal of Engineering Trends and Technology. 2017. Vol. 51, no. 1. P. 45–50. URL: https://doi.org/10.14445/22315381/ijett-v51p208
A Data Warehouse Approach for Business Intelligence / G. Garani et al. 2019 IEEE 28th International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises (WETICE), Napoli, Italy, 12–14 June 2019. 2019. URL: https://doi.org/10.1109/wetice.2019.00022
Rachapudi S. Holistic Data Management: Integrating OLTP and OLAP in Financial Systems. International Journal of Science and Research (IJSR). 2024. Vol. 13, no. 10. P. 1115–1118. URL: https://doi.org/10.21275/sr241015110206
