Дослідження та вибір великих мовних моделей для автоматизації міграції АВАР-коду

Заголовок (англійською): 
Research and selection of Large Learning Models for automation of ABAP-code migration
Автор(и): 
Поздняков О. А.
Пархоменко А. В.
Автор(и) (англ): 
Pozdnyakov O.
Parkhomenko A.
Ключові слова (укр): 
ERP-система; міграція ABAP-коду; велика мовна модель; критерії вибору; метод AHP-TOPSIS
Ключові слова (англ): 
ERP system; migration of ABAP-code; large language model; selection criteria; method AHP-TOPSIS
Анотація (укр): 
Досліджено проблему міграції програмного коду при переході зі старої версії системи SAP ERP 6.0 на сучасні ERP-платформи, зокрема SAP S/4HANA. Обґрунтовано необхідність автоматизації процесу міграції з використанням методів та засобів штучного інтелекту. Комплексний аналіз існуючих академічних та промислових тематичних досліджень підтвердив доцільність використання великих мовних моделей для міграції коду. Виявлено низку переваг підходу на основі великих мовних моделей, зокрема здатність обробляти різноманітні сценарії міграції. Виділено ключові ризики та обмеження, поширені в корпоративному середовищі, зокрема: безпеку даних, конфіденційність, високу вартість викликів та обмежені знання моделей щодо предметної області. Розроблено метод вибору великої мовної моделі з відкритим вихідним кодом, яка може безпечно використовуватися в ландшафті підприємства, тим самим зменшуючи ризики, пов'язані з хмарними рішеннями. Метод базується на розробленій системі критеріїв, що включає: розмір моделі, розмір контекстного вікна, тип ліцензії, підтримку навчання з точним налаштуванням, орієнтацію на якість коду (виміряну за допомогою еталонного набору даних), підтримку квантування моделі та підтримку спільноти. Для систематичного ранжування моделей-кандидатів запропоновано використання гібридного методу AHP-TOPSIS. Метод AHP використовувався для перевірки ваг критеріїв, тоді як TOPSIS використовувався для ранжування моделей на основі їх близькості до ідеального рішення. На основі розробленого методу було обрано три великі мовні моделі: Qwen 2.5 Coder 14B, DeepSeek-Coder-V2 16B та Llama 3.1 8B. Розроблено план комплексного тестування обраних моделей для подальших експериментальних досліджень. Наукова новизна роботи полягає в розробці методу вибору великих мовних моделей для задач міграції користувацького коду, що відрізняється від існуючих методів системою критеріїв вибору моделі та застосуванням гібридного підходу AHP-TOPSIS для ранжування моделей-кандидатів. Практична цінність роботи полягає в тому, що розроблений метод дозволяє обрати модель з урахуванням обмежень корпоративного середовища та вимог інформаційної безпеки, що дозволить підвищити рівень автоматизації міграції ABAP-коду під час переходу на нові версії ERP-систем від компанії SAP SE. Розроблений метод може застосовуватися для вибору великих мовних моделей під час модернізації інших великих комп’ютерних систем, розроблених як на мовах програмування з відкритим вихідним кодом, так і на пропрієтарних мовах.
Анотація (англ): 
The paper studies the problem of software code migration during the transition from the old version of the SAP ERP 6.0 system to modern ERP platforms, in particular SAP S/4HANA. The necessity of automation of the migration process using artificial intelligence methods and tools is substantiated. A comprehensive analysis of existing academic and industrial case studies confirmed the feasibility of using large language models for code migration. A number of advantages of the approach based on large language models are revealed, in particular, the ability to handle various migration scenarios. The key risks and limitations common in the enterprise environment are highlighted, including data security, privacy, high cost of API calls and limited knowledge of models regarding the subject area. A method is developed for selecting a large open source language model that can be safely used in the enterprise landscape, thereby mitigating the risks associated with cloud solutions. The method is based on the developed system of criteria, including: model size, context window size, license type, support for fine-tuning training, focus on code quality (measured using a reference dataset), support for model quantization and community support. The hybrid AHP-TOPSIS method is proposed for systematic ranking of candidate models. The AHP method was used to check the weights of the criteria, while TOPSIS was used to rank the models based on their proximity to the ideal solution. Based on the developed method, three large language models were selected: Qwen 2.5 Coder 14B, DeepSeek-Coder-V2 16B and Llama 3.1 8B. A comprehensive testing plan for the selected models was developed for further experimental studies. The scientific novelty of the work lies in the development of a method for selecting large language models for custom code migration tasks, which differs from the existing system of model selection criteria and the use of a hybrid AHP-TOPSIS approach for ranking candidate models. The practical value of the work is that the developed method allows you to select a model taking into account the constraints of the corporate environment and information security requirements, which will increase the level of automation in the migration of AVAP when switching to new versions of ERP systems from SAP SE. The developed method can be applied to the selection of large language models when upgrading any large computer systems developed in both open source and proprietary programming languages.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 63, 2025
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, number 63, 2025
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
191-200.pdf
Дата публікації: 
24 Сентябрь 2025
Номер збірника: 
63
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ ПРОЄКТУВАННЯ
Університет автора: 
Національний університет «Запорізька політехніка», Запоріжжя
Литература: 

1.     SAP S/4HANA cloud is a leader in 2024 Gartner® magic quadrantTM for cloud ERP for service-centric enterprises and 2024 Gartner® magic quadrantTM for cloud ERP for product-centric enterprises. URL: https://news.sap.com/2024/11/sap-a-leader-2024-gartner-magic-quadrant-cloud-erp-for-service-centric-enterprises-product-centric-enterprises/ (дата звернення: 17.07.2025).

2.     Hardy P. Migrating custom code to SAP S/4HANA. Boston: Rheinwerk Publishing Inc, 2020. P. 333. ISBN 978-1-4932-1994-0.

3.     Поздняков О. А., Пархоменко А. В. Міграція користувацького програмного забезпечення при інтелектуальному реінжинірингу складних комп'ютерних систем. Сучасні проблеми і досягнення в галузі радіотехніки, телекомунікацій та інформаційних технологій: XII Міжнародна НПК, Запоріжжя, 10-12 грудня 2024: тези доповідей. Запоріжжя: НУЗП, 2024. С. 493–495.

4.     Бушуєв Д. А., Лобок Є. А. Систематичний підхід у створенні інноваційних проєктів і продуктів на основі застосувань штучного інтелекту. Управління розвитком складних систем. Київ, 2025. № 61. С. 35 – 41, dx.doi.org\ 10.32347/2412-9933.2025.61.35-41.

5.     Migrating code at scale with LLMs at Google / Ziftci C. el at. 2025. 12p. (Preprint. arXiv.2504.09691). URL: https://doi.org/10.48550/arXiv.2504.09691 (дата звернення: 17.07.2025).

6.     CODEMENV: Benchmarking large language models on code migration. Cheng K. el at. 2025. 25p. (Preprint. arXiv.2506.00894) URL: https://doi.org/10.48550/arXiv.2506.00894 (дата звернення: 17.07.2025).

7.     Amazon Q developer just reached a $260 million dollar milestone | AWS DevOps & developer productivity blog. URL: https://aws.amazon.com/blogs/devops/amazon-q-developer-just-reached-a-260-million-dollar-milestone/ (дата звернення: 17.07.2025).

8.     Almeida A., Xavier L., Valente M. T. Automatic library migration using large language models: first results. Barcelona Spain: ACM, 2024. P. 427-433. DOI: 10.1145/3674805.3690746.

9.     Automatic Qiskit code refactoring using large language models / Suárez J. M. el at. 2025. 7p. (Preprint. arXiv.2506.14535) URL: https://doi.org/10.48550/arXiv.2506.14535 (дата звернення: 17.07.2025).

10.  SAP build’s next leap: generative AI and ABAP. URL: https://news.sap.com/2024/10/sap-build-generative-ai-abap/ (дата звернення: 17.07.2025).

11.  Is chatGPT safe for business? 8 security risks & compliance guide 2025. URL: https://www.metomic.io/resource-centre/is-chatgpt-a-security-risk-to-your-business (дата звернення: 17.07.2025).

12.  Don’t stop pretraining: adapt language models to domains and tasks / Gururangan S. el at. 2020. 19p. (Preprint. arXiv.2004.10964) URL: https://doi.org/10.48550/arXiv.2004.10964 (дата звернення: 17.07.2025).

13.  How much does GPT-4 cost? URL: https://help.openai.com/en/articles/7127956-how-much-does-gpt-4-cost (дата звернення: 17.07.2025).

14.  Omidvar Tehrani B., Ishaani M., Anubhai A. Evaluating human-AI partnership for LLM-based code migration. Honolulu HI USA: ACM, 2024. P. 1-8. DOI: 10.1145/3613905.3650896.

15.  A survey on large language model (LLM) security and privacy: the good, the bad, and the ugly / Yao Y. el at.  High-Confidence Computing. 2024. Vol. 4, № 2. P. 100211.  DOI: 10.1016/j.hcc.2024.100211.

16.  Evaluating large language models trained on code / Chen M. el at. 2021. 8p. (Preprint. (Preprint. arXiv.2107.03374) URL: https://doi.org/10.48550/arXiv.2107.03374 (дата звернення: 17.07.2025).

17.  Lang J., Guo Z., Huang S. A comprehensive study on quantization techniques for large language models. 2024. 8p. (Preprint. arXiv.2411.02530) URL: https://doi.org/10.48550/arXiv.2411.02530 (дата звернення: 17.07.2025).

18.  Wang L., Chen S., Jiang L., Pan S., Cai R., Yang S., Yang F. Parameter-efficient fine-tuning in large models: a survey of methodologies.  2025. 35p. (Preprint. arXiv.2410.19878) URL: https://doi.org/10.48550/arXiv.2410.19878 (дата звернення: 17.07.2025).

19.  QwenLM/Qwen2.5-Coder. URL: https://github.com/QwenLM/Qwen2.5-Coder (дата звернення: 17.07.2025).

20.  Deepseek-ai/DeepSeek-Coder-V2. URL: https://github.com/deepseek-ai/DeepSeek-Coder-V2 (дата звернення: 17.07.2025).

21.  Gemma 3. Google DeepMind. URL: https://deepmind.google/models/gemma/gemma-3/ (дата звернення: 17.07.2025).

22.  meta-llama/codellama. URL: https://github.com/meta-llama/codellama (дата звернення: 17.07.2025).

23.  Llama 3.1| Meta Llama. URL: https://www.llama.com/llama3_1/ (дата звернення: 17.07.2025).

24.  Mistral NeMo | Mistral AI. URL: https://mistral.ai/news/mistral-nemo (дата звернення: 17.07.2025).

25.  microsoft/Phi-3-medium-128k-instruct URL: https://huggingface.co/microsoft/Phi-3-medium-128k-instruct (дата звернення: 17.07.2025).

26.  Edwards W., Barron F. H. SMARTS and SMARTER: improved simple methods for multiattribute utility measurement. Organizational behavior and human decision processes. 1994. Vol. 60, № 3. P. 306–325. DOI: 10.1006/obhd.1994.1087.

27.  Mateo J. R. S. C. Weighted sum method and weighted product method. Multi criteria analysis in the renewable energy industry. London: Springer, 2012. P. 19–22. ISBN 978-1-4471-2345-3.

28.  Saaty T. L., Vargas L. G. Models, methods, concepts & applications of the analytic hierarchy process. New York: Springer, 2012. P.346. ISBN 978-1-4614-3597-6.

29.  Pandey V., Komal, Dincer H. A review on TOPSIS method and its extensions for different applications with recent development. Soft Computing. 2023. Vol. 27, 23. P. 18011–18039. DOI: 10.1007/s00500-023-09011-0.

30.  Sivalingam C., Subramaniam S. K. Cobot selection using hybrid AHP-TOPSIS based multi-criteria decision making technique for fuel filter assembly process. Heliyon. 2024. Vol. 10, № 4. DOI: 10.1016/j.heliyon.2024.e26374.

References: 

1.     SAP S/4HANA cloud is a leader in 2024 gartner® magic quadrant™ for cloud ERP for service-centric enterprises and 2024 gartner® magic quadrant™ for cloud ERP for product-centric enterprises. (2024). https://news.sap.com/2024/11/sap-a-leader-2024-gartner-magic-quadrant-cloud-erp-for-service-centric-enterprises-product-centric-enterprises/).

2.     Hardy, P. (2020). Migrating custom code to SAP S/4HANA. Rheinwerk Publishing Inc. 978-1-4932-1994-0.

3.     Pozdnyakov, O. A., & Parkhomenko, A. V. (2024). Custom code migration in intelligent reengineering of complex computer systems. Modern problems and achievements in radio engineering, telecommunications and information technologies: XII International Scientific and Practical Conference, Zaporizhzhia, December 10-12, 2024: Abstracts (pp. 493–495). NUZP.

4.     Bushuiev, D. A., & Lobok, Y. A. (2025). A systematic approach to creating innovative projects and products based on artificial intelligence applications. Management of Development of Complex Systems, 61, 35–41. https://dx.doi.org/10.32347/2412-9933.2025.61.35-41.

5.      Ziftci, C., Nikolov, S., Sjövall, A., Kim, B., Codecasa, D., & Kim, M. (2025). Migrating code at scale with LLMs at Google. ArXiv. https://doi.org/10.48550/arXiv.2504.09691.

6.     Cheng, K., Shen, X., Yang, Y., Wang, T., Cao, Y., Ali, M. A., Wang, H., Hu, L., & Wang, D. (2025). CODEMENV: Benchmarking large language models on code migration. ArXiv. https://doi.org/10.48550/arXiv.2506.00894.

7.     Amazon Web Services. (2024, August 2). Amazon Q Developer just reached a $260 million dollar milestone. https://aws.amazon.com/blogs/devops/amazon-q-developer-just-reached-a-260-million-dollar-milestone/.

8.     Almeida, A., Xavier, L., & Valente, M. T. (2024). Automatic library migration using large language models: First results. Proceedings of the 18th ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM '24) (pp. 427-433). Association for Computing Machinery. https://doi.org/10.1145/3674805.3690746.

9.     Suárez, J. M., Bibbó, L. M., Bogado, J., & Fernandez, A. (2025). Automatic Qiskit code refactoring using large language models. ArXiv. https://doi.org/10.48550/arXiv.2506.14535.

10.  Chirapurath, J. G. (2024). SAP build's next leap: generative AI and ABAP. https://news.sap.com/2024/10/sap-build-generative-ai-abap/.

11.  Metomic. (n.d.). Is ChatGPT a security risk to your business? Metomic. https://www.metomic.io/resource-centre/is-chatgpt-a-security-risk-to-your-business.

12.  Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't stop pretraining: adapt language models to domains and tasks. ArXiv. https://doi.org/10.48550/arXiv.2004.10964.

13.  OpenAI. (n.d.). How much does GPT-4 cost? https://help.openai.com/en/articles/7127956-how-much-does-gpt-4-cost.

14.  Omidvar Tehrani, B., Ishaani, M., & Anubhai, A. (2024). Evaluating human‑AI partnership for LLM‑based code migration. Extended abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1–8). ACM. https://doi.org/10.1145/3613905.3650896.

15.  Yao, Y., Duan, J., Xu, K., Cai, Y., Sun, Z., & Zhang, Y. (2024). A survey on large language model (LLM) security and privacy: The good, the bad, and the ugly. High‑Confidence Computing, 4 (2), 100211. https://doi.org/10.1016/j.hcc.2024.100211.

16.  Chen, M., Tworek, J., Jun, H., Yuan, Q., Ponde de Oliveira Pinto, H., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., Zaremba, W. (2021). Evaluating large language models trained on code. ArXiv. https://doi.org/10.48550/arXiv.2107.03374.

17.  Lang, J., Guo, Z., & Huang, S. (2024). A comprehensive study on quantization techniques for large language models. ArXiv. https://doi.org/10.48550/arXiv.2411.02530.

18.  Wang, L., Chen, S., Jiang, L., Pan, S., Cai, R., Yang, S., & Yang, F. (2024). Parameter‑efficient fine‑tuning in large models: A survey of methodologies. ArXiv. https://doi.org/10.48550/arXiv.2410.19878.

19.  QwenLM. (n.d.). Qwen2.5-Coder [Source code]. GitHub. https://github.com/QwenLM/Qwen2.5-Coder.

20.  Deepseek-ai. (n.d.). DeepSeek-Coder-V2 [Source code]. GitHub. https://github.com/deepseek-ai/DeepSeek-Coder-V2.

21.  DeepMind. (n.d.).). Gemma 3 [Model card]. DeepMind. https://deepmind.google/models/gemma/gemma-3/.

22.  Meta. (n.d.). CodeLlama [Source code]. GitHub. https://github.com/meta-llama/codellama.

23.  Meta. (n.d.). LLaMA 3.1 [Model page]. https://www.llama.com/llama3_1/.

24.  Mistral AI. (n.d.). Mistral Nemo [News page]. https://mistral.ai/news/mistral-nemo.

25.  Microsoft. (n.d.). Phi-3 medium 128k instruct [Model card]. Hugging Face. https://huggingface.co/microsoft/Phi-3-medium-128k-instruct.

26.  Edwards, W., & Barron, F. H. (1994). SMARTs and SMARTER: Improved simple methods for multiattribute utility measurement. Organizational Behavior and Human Decision Processes, 60(3), 306–325. https://doi.org/10.1006/obhd.1994.1087.

27.  Mateo, J. R. S. C. (2012). Weighted sum method and weighted product method. Multi criteria analysis in the renewable energy industry (pp. 19–22). Springer London. https://doi.org/10.1007/978-1-4471-2346-0_4.

28.  Saaty, T. L., & Vargas, L. G. (2012). Models, methods, concepts & applications of the analytic hierarchy process (2nd ed.). Springer.

29.  Pandey, V., Komal, & Dincer, H. (2023). A review on TOPSIS method and its extensions for different applications with recent development. Soft Computing, 27 (23), 18011–18039. https://doi.org/10.1007/s00500-023-09011-0.

30.  Sivalingam, C., & Subramaniam, S. K. (2024). Cobot selection using hybrid AHP-TOPSIS based multi-criteria decision making technique for fuel filter assembly process. Heliyon, 10(4), Article e26374. https://doi.org/10.1016/j.heliyon.2024.e26374.