Сучасні технологічні рішення зберігання даних у проєктах міського будівництва

Заголовок (англійською): 
Modern technological data storage solutions in urban construction projects
Автор(и): 
Соловей О. Л.
Автор(и) (англ): 
Solovei Olga
Ключові слова (укр): 
великі дані; технології зберігання даних; швидкодія операційного рівня; швидкодія аналітичного рівня; масштабованість
Ключові слова (англ): 
Big Data; Data Storage Technologies; Operational Tier Performance; Analytical Tier Performance; Scalability
Анотація (укр): 
Цифровізація будівельної галузі генерує величезні обсяги даних, що створює виклик для вибору оптимальної архітектури сховища. У статті проводиться порівняльний аналіз продуктивності трьох класів сучасних технологій зберігання даних: традиційної реляційної SQL-бази даних, глобально розподіленої NoSQL-бази даних (Cosmos DB) та технології «Озеро Даних» (Delta Lake). Метою є визначення їхньої придатності як сховища даних для проєктів міського будівництва. Включення до аналізу цих трьох технологій дозволяє виконати порівняльний аналіз сучасних рішень зберігання даних (Cosmos DB та Delta Lake) із традиційним рішенням для будівельних проєктів – SQL DB. Для цього було проведено кількісні тести, що імітують операції запису, читання та агрегації на наборах даних, обсяг яких варіювався від 10 тис. до 100 тис. рядків. Вимірювався час виконання для трьох типів навантажень: масовий запис, повне сканування та аналітична агрегація. Для оцінки використовується формальна модель, яка враховує як абсолютний час виконання (f1), так і коефіцієнт масштабованості (f2), що характеризує зміну продуктивності зі збільшенням обсягу даних. Результати показали, що жодна з технологій не є універсальним рішенням. Реляційна SQL-база даних демонструє найнижчу затримку для операційних запитів (час агрегації залишається мінімальним, зростаючи помірно від 10 мс до 110 мс). Водночас, Delta Lake показує найнижчі значення f1(t) та f2(t) для навантажень типу О1 (f1(t) має значення 3.47 мс при 10 тис. рядків до 32 мс при 100 тис. рядків; f2(t) має середнє значення ≈ 0.0004). Cosmos DB демонструє найбільші значення f1(t) для навантаження типу О1 – від 42 000 мс до 1 020 000 мс при 100 тис. рядків. На основі отриманих емпіричних даних обґрунтовано висновок про необхідність впровадження гібридної дворівневої архітектури, де SQL-база даних використовується для операційного рівня (OLTP), а технологія Delta Lake – для аналітичного рівня (OLAP). Така архітектура дозволить ефективно вирішувати як поточні, так і майбутні завдання з управління даними в будівництві. Робота спрямована на розробку гібридної дворівневої архітектури сховища даних для системи управління даними проєктів міського будівництва.
Анотація (англ): 
The digitalization of the construction industry generates vast amounts of data, posing a challenge in selecting an optimal storage architecture. This study presents a comparative performance evaluation of three classes of contemporary data storage technologies: the traditional relational SQL database, the globally distributed NoSQL database (Cosmos DB), and the Data Lake solution (Delta Lake). The objective was to assess their suitability as data repositories for urban construction projects. Quantitative experiments were conducted to simulate write, read, and aggregation operations on datasets ranging from 10,000 to 100,000 rows. Execution time was measured for three workload types: bulk insert, full scan, and analytical aggregation. A formal evaluation model was employed, incorporating both absolute execution time (f1) and the scalability coefficient (f2), which characterizes performance variation with increasing data volume. The results indicate that none of the evaluated technologies provides a universal solution. The relational SQL database exhibited the lowest latency for operational queries, with aggregation times remaining minimal and rising moderately from 10 ms to 110 ms. Delta Lake achieved the most favorable f1(t) and f2(t) values for O1-type workloads (f1(t) increasing from 3.47 ms at 10,000 rows to 32 ms at 100,000 rows; mean f2(t) ≈ 0.0004). By contrast, Cosmos DB showed the highest f1(t) values for O1-type workloads, ranging from 42,000 ms to 1,020,000 ms at 100,000 rows. Based on these findings, a hybrid two-tier architecture is proposed, in which the SQL database is employed at the operational layer (OLTP), while Delta Lake is adopted at the analytical layer (OLAP). This approach provides an effective balance for addressing both current and future data management challenges in the construction domain. Future work will focus on the design and implementation of such a hybrid architecture for urban construction data management systems.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 63, 2025
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, number 63, 2025
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
167-173.pdf
Дата публікації: 
24 Сентябрь 2025
Номер збірника: 
63
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ УПРАВЛІННЯ
Університет автора: 
Київський національний університет будівництва і архітектури, Київ
Литература: 

1.     Honcharenko, T., Khrolenko, V., Gorbatyuk, I., Liashchenko, M., Bodnar, N., & Sherif, N. H. (2024). Smart integration of information technologies for city digital twins. In 2024 35th Conference of Open Innovations Association (FRUCT) (pp. 253-258). IEEE.

2.     Solovei, O., Honcharenko, T., & Fesan, A. (2024). Technologies to manage big data of urban building projects. Management of Development of Complex Systems, 60, 121–128. URL: https://doi.org/10.32347/2412-9933.2024.60.121-128.

3.     Dolhopolov, S., Honcharenko, T., Savenko, V., Balina, O., Bezklubenko, I., & Liashchenko, T. (2023). Construction site modeling objects using artificial intelligence and BIM technology: A multi-stage approach. In 2023 IEEE International Conference on Smart Information Systems and Technologies (SIST) (pp. 174-179). IEEE.

4.     Ohene, E., Nani, G., Antwi-Afari, M. F., Darko, A., Addai, L. A., & Horvey, E. (2024). Big data analytics in the AEC industry: scientometric review and synthesis of research activities. Engineering, Construction and Architectural Management. URL: https://doi.org/10.1108/ECAM-01-2024-0144.

5.     Kulikov, P., Ryzhakova, G., Honcharenko, T., & Ryzhakov, D. (2020). Olap-tools for the formation of connected and diversified production and project management systems. International Journal of Advanced Trends in Computer Science and Engineering, 9 (5), 8670-8676.

6.     Rana, M. (2025). A review of the impact of big data on smart cities. URL: https://doi.org/10.56557/jobari/2025/v31i29162.

7.     Jamarani, A., Haddadi, S., Sarvizadeh, R., Haghi Kashani, M., Akbari, M., & Moradi, S. (2024). Big data and predictive analytics: A systematic review of applications. Artificial Intelligence Review, 57 (7), 176. URL: https://doi.org/10.1007/s10462-024-10811-5.

8.     Hassan, I. (2024). Storage structures in the era of big data: from data warehouse to lakehouse. Journal of Theoretical and Applied Information Technology, 102 (6).

9.     Azzabi, S., Alfughi, Z., & Ouda, A. (2024). Data lakes: A survey of concepts and architectures. Computers, 13 (7), 183. URL: https://doi.org/10.3390/computers13070183.

10.  Schneider, J., Gröger, C., Lutsch, A., Schwarz, H., & Mitschang, B. (2024). The lakehouse: State of the art on concepts and technologies. SN Computer Science, 5 (5), 449.

11.  Plazotta, M., & Klettke, M. (2024). Data architectures in cloud environments. Datenbank-Spektrum, 24 (3), 243–247. URL: https://doi.org/10.1007/s13222-024-00490-5.

12.  Panda, S. P. (2024). Comparative analysis of azure cosmos DB vs. traditional RDBMS on cloud. Traditional RDBMS on Cloud (July 22, 2024). URL: https://doi.org/10.5281/zenodo.15481723.

13.  Salqvist, P. (2024). A comparative study of the data warehouse and data lakehouse architecture.

14.  Eswararaj, D., Nellipudi, A. B., & Kollati, V. (2025). A comparative study of delta parquet, iceberg, and hudi for automotive data engineering use cases. arXiv preprint arXiv:2508.13396. URL: https://doi.org/10.14445/23488387/IJCSE-V12I17P104.

References: 

1.     Honcharenko, T., Khrolenko, V., Gorbatyuk, I., Liashchenko, M., Bodnar, N., & Sherif, N. H. (2024). Smart integration of information technologies for city digital twins. In 2024 35th Conference of Open Innovations Association (FRUCT) (pp. 253-258). IEEE.

2.     Solovei, O., Honcharenko, T., & Fesan, A. (2024). Technologies to manage big data of urban building projects. Management of Development of Complex Systems, 60, 121–128. URL: https://doi.org/10.32347/2412-9933.2024.60.121-128.

3.     Dolhopolov, S., Honcharenko, T., Savenko, V., Balina, O., Bezklubenko, I., & Liashchenko, T. (2023). Construction site modeling objects using artificial intelligence and BIM technology: A multi-stage approach. In 2023 IEEE International Conference on Smart Information Systems and Technologies (SIST) (pp. 174-179). IEEE.

4.     Ohene, E., Nani, G., Antwi-Afari, M. F., Darko, A., Addai, L. A., & Horvey, E. (2024). Big data analytics in the AEC industry: scientometric review and synthesis of research activities. Engineering, Construction and Architectural Management. URL: https://doi.org/10.1108/ECAM-01-2024-0144.

5.     Kulikov, P., Ryzhakova, G., Honcharenko, T., & Ryzhakov, D. (2020). Olap-tools for the formation of connected and diversified production and project management systems. International Journal of Advanced Trends in Computer Science and Engineering, 9 (5), 8670-8676.

6.     Rana, M. (2025). A review of the impact of big data on smart cities. URL: https://doi.org/10.56557/jobari/2025/v31i29162.

7.     Jamarani, A., Haddadi, S., Sarvizadeh, R., Haghi Kashani, M., Akbari, M., & Moradi, S. (2024). Big data and predictive analytics: A systematic review of applications. Artificial Intelligence Review, 57 (7), 176. URL: https://doi.org/10.1007/s10462-024-10811-5.

8.     Hassan, I. (2024). Storage structures in the era of big data: from data warehouse to lakehouse. Journal of Theoretical and Applied Information Technology, 102 (6).

9.     Azzabi, S., Alfughi, Z., & Ouda, A. (2024). Data lakes: A survey of concepts and architectures. Computers, 13 (7), 183. URL: https://doi.org/10.3390/computers13070183.

10.  Schneider, J., Gröger, C., Lutsch, A., Schwarz, H., & Mitschang, B. (2024). The lakehouse: State of the art on concepts and technologies. SN Computer Science, 5 (5), 449.

11.  Plazotta, M., & Klettke, M. (2024). Data architectures in cloud environments. Datenbank-Spektrum, 24 (3), 243–247. URL: https://doi.org/10.1007/s13222-024-00490-5.

12.  Panda, S. P. (2024). Comparative analysis of azure cosmos DB vs. traditional RDBMS on cloud. Traditional RDBMS on Cloud (July 22, 2024). URL: https://doi.org/10.5281/zenodo.15481723.

13.  Salqvist, P. (2024). A comparative study of the data warehouse and data lakehouse architecture.

14.  Eswararaj, D., Nellipudi, A. B., & Kollati, V. (2025). A comparative study of delta parquet, iceberg, and hudi for automotive data engineering use cases. arXiv preprint arXiv:2508.13396. URL: https://doi.org/10.14445/23488387/IJCSE-V12I17P104.