Технології управління великими даними проєктів міського будівництва

Заголовок (англійською): 
Technologies to manager big data of urban building projects
Автор(и): 
Соловей О. Л.
Гончаренко Т. А.
Фесан А. О.
Автор(и) (англ): 
Solovei O.
Honcharenko T.
Fesan A.
Ключові слова (укр): 
великі дані; типи великих даних; задача управління великими даними; технології управління великими даними
Ключові слова (англ): 
big data; big data types; big data management tasks; big data management technologies
Анотація (укр): 
Трансформація будівельної галузі відповідно до концепції Construction 4.0 можлива за умови наявності технології для управління великими даними проєктів будівництва, де завдання управління великими даними включає задачі: збирання; опрацювання; оновлення; резервного копіювання та збереження даних. На сьогодні інформаційні технології проєктів міського будівництва є комплексом інтегрованих програмних комплексів, а дані проєктів будівництва залишаються такими, що зберігаються в різних сховищах даних, що ускладнює, а іноді робить неможливим їх використання для реалізації проєкту. Вибір технологій управління великими даними також залежить від типів великих даних, які є характерними для проєкту. Метою пропонованої роботи є визначення переліку технологій для управління різнотипними даними проєктів міського будівництва для уможливлення використання їх для автоматизації проєктів міського будівництва. Для досягнення мети в роботі проведено аналіз типів і форматів даних інформаційних систем проєктів міського будівництва, а саме: систем управління бізнес-процесами; систем взаємодії із зацікавленими сторонами; систем управління охороною праці та ризиками на будівництві; систем управління експлуатацією; систем проєктування та створення моделей просторових об'єктів; систем доповненої реальності (VR/AR); систем для інженерного аналізу. На основі аналізу типів і форматів даних визначено, що дані належать до категорій: структурованих, напівструктурованих і неструктурованих типів даних. Вивчення розробок вчених щодо технологій управління великими даними визначених типів дало змогу скласти список технологій для управління даними проєктів міського будівництва, а саме: для збору даних – Apach Kafka, Apache Hbase, Apache Spark, Apache Hadoop, Stream Analytics, Scrapy, Twitter API, Facebook Graph API; для обробки даних – технології "Інтелектуальний аналіз текстів", "Комп’ютерний зір", машинне та глибинне навчання; для збереження даних – AWS S3, AWS RDS SQL, Azure Data Lake, HDFS, Redi, CosmosDB, MongoDB, Azure Blob Storage; для резервного копіювання – AWS Backup, Google Cloud Storage, Microsoft Azure Backup, MongoDB Backup, Cassandra Backup; для оновлення – Apache Kafka/Flink/Spark Streaming, SQL. Подальші дослідження полягатимуть у проведенні аналізу ефективності методів визначених технологій для вирішення завдань управління даними проєктів будівництва залежно від характеру надходження даних.
Анотація (англ): 
The transformation of the construction industry according to the Construction 4.0 concept is possible with the availability of technology for managing big data of construction projects, where the task of managing big data includes tasks: collection; processing; renewal; backup and save data. Today, the information technologies of urban construction projects are a complex of integrated software complexes, and the data of construction projects remain stored in various data repositories, which makes it difficult, and sometimes impossible, to use them for project implementation. The choice of big data management technologies, including, depends on the types of big data that are characteristic of the project. The purpose of this work is to define a list of technologies for managing various types of data of urban construction projects to enable their use for the automation of urban construction projects. To achieve the goal, the work analyzed the types and formats of data information systems of urban construction projects, namely: business process management systems; systems of interaction with interested parties; labor protection and risk management systems in construction; operation management systems; systems for designing and creating models of spatial objects; systems of augmented reality (VR/AR); systems for engineering analysis. Based on the analysis of data types and formats, it is determined that the data belongs to the following categories: structured, semi-structured and unstructured data types. Studying the developments of scientists regarding big data management technologies of certain types made it possible to compile a list of technologies for data management of urban construction projects, namely: for data collection – Apache Kafka, Apache Hbase, Apache Spark, Apache Hadoop, Stream Analytics, Scrapy, Twitter API, Facebook Graph API; for data processing – technologies "Intelligent analysis of texts", "Computer vision", machine and deep learning; 3) for data storage – AWS S3, AWS RDS SQL, Azure Data Lake, HDFS, Redi, CosmosDB, MongoDB, Azure Blob Storage; 4) for backup – AWS Backup, Google Cloud Storage, Microsoft Azure Backup, MongoDB Backup, Cassandra Backup; to update – Apache Kafka/Flink/Spark Streaming, SQL. Further research will consist in conducting an analysis of the effectiveness of the methods of the specified technologies for solving the tasks of data management of construction projects, depending on the nature of the data input.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 60, 2024
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, number 60, 2024
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
121-128.pdf
Дата публікації: 
29 Ноябрь 2024
Номер збірника: 
60
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ УПРАВЛІННЯ
Університет автора: 
Київський національний університет будівництва і архітектури, Київ
Литература: 

1.     Statsenko, L., Samaraweera, A., Bakhshi, J., & Chileshe, N. (2023). Construction 4.0 technologies and applications: A systematic literature review of trends and potential areas for development. Construction Innovation, 23 (5), 961–993.

2.     Гончаренко, Т. (2022). Сучасні інформаційні технології для моделювання міського середовища та розробки цифрових двійників міських об’єктів. Управління розвитком складних систем, (51), 87–93.

3.     Batty, M., & Yang, W. (2022). A digital future for planning: Spatial planning reimagined. Digital Task Force for Planning.

4.     Гончаренко, Т. А. (2020). Структура методології CIM для інформаційного моделювання міського середовища на основі інтеграції BIM та GIS технологій. Вісник Національного технічного університету «Харківський політехнічний інститут». Серія: Інформатика та моделювання, 2 (4).

5.     Basir, W. N., F. W. A., Ujang, U., Majid, Z., Azri, S., & Choon, T. L. (2020). The integration of BIM and GIS in construction project–A data consistency review. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 44, 107–116.

6.     Zhang, J., Zhu, Z., Liu, H., Zuo, J., Ke, Y., Philbin, S. P., ... & Ni, Q. (2023). System framework for digital monitoring of the construction of asphalt concrete pavement based on IoT, BeiDou navigation system, and 5G technology. Buildings, 13 (2), 503.

7.     Chen, S. Y., Zhang, J. X., Ni, Q. C., Skitmore, M., Ballesteros-Pérez, P., Ke, Y. J., & Sun, H. J. (2022). Data-driven platform framework for digital whole-process expressway construction management. Frontiers in Neuroscience, 16, 891772.

8.     Lee, D., Lee, S. H., Masoud, N., Krishnan, M. S., & Li, V. C. (2021). Integrated digital twin and blockchain framework to support accountable information sharing in construction projects. Automation in construction, 127, 103688.

9.     Bello, S. A., Oyedele, L. O., Akinade, O. O., Bilal, M., Delgado, J. M. D., Akanbi, L. A., & Owolabi, H. A. (2021). Cloud computing in construction industry: Use cases, benefits and challenges. Automation in Construction, 122, 103441.

10.  Paneru, S., & Jeelani, I. (2021). Computer vision applications in construction: Current state, opportunities & challenges. Automation in Construction, 132, 103940.

11.  Ding, Y., Ma, J., & Luo, X. (2022). Applications of natural language processing in construction. Automation in Construction, 136, 104169.

12.  Shahzad, U. (2023). A comparative analysis of ERP system providers.

13.  Alam, M. W., Azeem, M. A., Farooqi, M. R., Ahmad, M. F., Khan, M. A., & Khan, M. J. A. (2022). E-Crm In E-Tail Organizations-A Boon For Technological Infrastructure Development. Academy of Marketing Studies Journal, 26 (S2).

14.  Elabd, N. M., Mansour, Y. M., & Khodier, L. M. (2020). Social distancing in construction: investigating the role of technologies in supporting remote management. Journal of Engineering and Applied Science, 67 (8), 2073-2091.

15.  Tran, S. V. T., Lee, D., Bao, Q. L., Yoo, T., Khan, M., Jo, J., & Park, C. (2023). A human detection approach for intrusion in hazardous areas using 4D-BIM-Based spatial-temporal analysis and computer vision. Buildings, 13 (9), 2313.

16.  Subedi, R., Chou, E., & Williams Jr, A. (2022). GIS Based Integrated System for Analysis, Planning, and Visualization of Transportation Infrastructure, Safety, and Equity in Urban Area. In International Conference on Transportation and Development 2022 (pp. 97–107).

17.  Honcharenko T., Mihaylenko V., Lyashchenko М. Application of distributed software technologies at the stage of urban planning design. I науково-практичної конференції «Розподілені програмні системи і технології», КНУБА. 2020. C. 26.

18.  Lu, Q., Chen, L., Li, S., & Pitt, M. (2020). Semi-automatic geometric digital twinning for existing buildings based on images and CAD drawings. Automation in Construction, 115, 103183.

19.  Hasibuan, S. A. R. S., & Qolby, A. A. (2023). Solution of Beam Structure Analysis Using SAP2000. International Journal of Innovative Research in Computer Science & Technology, 11 (1).

20.  Hajirasouli, A., & Banihashemi, S. (2022). Augmented reality in architecture and construction education: state of the field and opportunities. International Journal of Educational Technology in Higher Education, 19 (1), 39.

21.  Bozkurt, A., Ekici, F., & Yetiskul, H. (2023). Utilizing Flink and Kafka Technologies for Real-Time Data Processing: A Case Study. The Eurasia Proceedings of Science Technology Engineering and Mathematics, 24, 177–183.

22.  Mehmood, M. A., & Tahir, B. (2024). Humkinar: Construction of a Large Scale Web Repository and Information System for Low Resource Urdu Language. IEEE Access.

23.  Nagy, E., Lovas, R., Pintye, I., Hajnal, Á., & Kacsuk, P. (2021). Cloud-agnostic architectures for machine learning based on Apache Spark. Advances in Engineering Software, 159, 103029.

24.  Adesokan, A. (2020). Performance Analysis of Hadoop MapReduce And Apache Spark for Big Data.

25. Watson, A., Das, S. K., & Ray, S. (2021, October). Daskdb: Scalable data science with unified data analytics and in situ query processing. In 2021 IEEE 8th International Conference on Data Science and Advanced Analytics (DSAA) (pp. 1–10). IEEE.

References: 
  1. Statsenko, L., Samaraweera, A., Bakhshi, J. & Chileshe, N. (2023). Construction 4.0 technologies and applications: A systematic literature review of trends and potential areas for development. Construction Innovation, 23 (5), 961–993.
  2. Honcharenko, T. (2022). Modern information technologies for simulation of the urban environment and creation of digital duplicate of city objects. Management of Development of Complex Systems, 51, 87–93, dx.doi.org\10.32347/2412-9933.2022.51.87-93.
  3. Batty, M. & Yang, W. (2022). A digital future for planning: Spatial planning reimagined. Digital Task Force for Planning.
  4. Goncharenko, T. A. (2020). Structure of the CIM methodology for information modeling of the urban environment based on the integration of BIM and GIS technologies. Bulletin of the National Technical University "Kharkiv Polytechnic Institute". Series: Informatics and Modeling, 2 (4).
  5. Basir, W. N. F. W. A., Ujang, U., Majid, Z., Azri, S. & Choon, T. L. (2020). The integration of BIM and GIS in construction project–A data consistency review. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 44, 107–116.
  6. Zhang, J., Zhu, Z., Liu, H., Zuo, J., Ke, Y., Philbin, S. P., ... & Ni, Q. (2023). System framework for digital monitoring of the construction of asphalt concrete pavement based on IoT, BeiDou navigation system, and 5G technology. Buildings, 13 (2), 503.
  7. Chen, S. Y., Zhang, J. X., Ni, Q. C., Skitmore, M., Ballesteros-Pérez, P., Ke, Y. J., ... & Sun, H. J. (2022). Data-driven platform framework for digital whole-process expressway construction management. Frontiers in Neuroscience, 16, 891772.
  8. Lee, D., Lee, S. H., Masoud, N., Krishnan, M. S. & Li, V. C. (2021). Integrated digital twin and blockchain framework to support accountable information sharing in construction projects. Automation in construction, 127, 103688.
  9. Bello, S. A., Oyedele, L. O., Akinade, O. O., Bilal, M., Delgado, J. M. D., Akanbi, L. A., ... & Owolabi, H. A. (2021). Cloud computing in construction industry: Use cases, benefits and challenges. Automation in Construction, 122, 103441.
  10. Paneru, S. & Jeelani, I. (2021). Computer vision applications in construction: Current state, opportunities & challenges. Automation in Construction, 132, 103940.
  11. Ding, Y., Ma, J. & Luo, X. (2022). Applications of natural language processing in construction. Automation in Construction, 136, 104169.
  12. Shahzad, U. (2023). A comparative analysis of ERP system providers.
  13. Alam, M. W., Azeem, M. A., Farooqi, M. R., Ahmad, M. F., Khan, M. A. & Khan, M. J. A. (2022). E-Crm In E-Tail Organizations-A Boon For Technological Infrastructure Development. Academy of Marketing Studies Journal, 26 (S2).
  14. Elabd, N. M., Mansour, Y. M. & Khodier, L. M. (2020). Social distancing in construction: investigating the role of technologies in supporting remote management. Journal of Engineering and Applied Science, 67 (8), 2073–2091.
  15. Tran, S. V. T., Lee, D., Bao, Q. L., Yoo, T., Khan, M., Jo, J. & Park, C. (2023). A human detection approach for intrusion in hazardous areas using 4D-BIM-Based spatial-temporal analysis and computer vision. Buildings, 13 (9), 2313.
  16. Subedi, R., Chou, E. & Williams Jr, A. (2022). GIS Based Integrated System for Analysis, Planning, and Visualization of Transportation Infrastructure, Safety, and Equity in Urban Area. In International Conference on Transportation and Development 2022 (pp. 97–107).
  17. Honcharenko, T., Mihaylenko, V. & Lyashchenko, М. (2020). Application of distributed software technologies at the stage of urban planning design. In Scientific and practical conference "Distributed software systems and technologies" (рр. 25-26).
  18. Lu, Q., Chen, L., Li, S. & Pitt, M. (2020). Semi-automatic geometric digital twinning for existing buildings based on images and CAD drawings. Automation in Construction, 115, 103183.
  19. Hasibuan, S. A. R. S. & Qolby, A. A. (2023). Solution of Beam Structure Analysis Using SAP2000. International Journal of Innovative Research in Computer Science & Technology, 11 (1).
  20. Hajirasouli, A. & Banihashemi, S. (2022). Augmented reality in architecture and construction education: state of the field and opportunities. International Journal of Educational Technology in Higher Education, 19 (1), 39.
  21. Bozkurt, A., Ekici, F. & Yetiskul, H. (2023). Utilizing Flink and Kafka Technologies for Real-Time Data Processing: A Case Study. The Eurasia Proceedings of Science Technology Engineering and Mathematics, 24, 177–183.
  22. Mehmood, M. A. & Tahir, B. (2024). Humkinar: Construction of a Large Scale Web Repository and Information System for Low Resource Urdu Language. IEEE Access.
  23. Nagy, E., Lovas, R., Pintye, I., Hajnal, Á. & Kacsuk, P. (2021). Cloud-agnostic architectures for machine learning based on Apache Spark. Advances in Engineering Software, 159, 103029.
  24. Adesokan, A. (2020). Performance Analysis of Hadoop MapReduce And Apache Spark for Big Data.
  25. Watson, A., Das, S. K. & Ray, S. (2021, October). Daskdb: Scalable data science with unified data analytics and in situ query processing. In 2021 IEEE 8th International Conference on Data Science and Advanced Analytics (DSAA) (pp. 1–10). IEEE.