Аннотації

ОСОБЛИВОСТІ ВИЗНАЧЕННЯ ОПТИМАЛЬНОГО СКЛАДУ ЕКСПЕРТНОЇ ГРУПИ НА ОСНОВІ СЕМАНТИКО-СТАТИСТИЧНОГО ПІДХОДУ

Автор(и):
Доманецька І. М., Хроленко Я. О.
Автор(и) (англ)
Domanetska I., Khrolenko Y.
Дата публікації:

25.12.2025

Анотація (укр):

Формування складу експертних груп для оцінювання наукових проєктів, конкурсних заявок та рецензування є критично важливою задачею, що безпосередньо впливає на якість, об’єктивність і доброчесність наукової експертизи. Традиційні підходи до добору експертів, зокрема ранжування за індексом Гірша або класифікація за кодами ASJC/MeSH, мають низку обмежень: вони не враховують семантичну релевантність профілю експерта до тематики конкурсу, ігнорують міждисциплінарні зв’язки та не забезпечують поелементного аналізу тематичного покриття. У відповідь на ці виклики в роботі запропоновано семантико статистичний підхід до оцінки компетентності експертів, який базується на побудові графів співвживання термінів для кожного концепту конкурсної тематики з використанням відкритого словника концептів OpenAlex. Модель дозволяє здійснювати поелементну оцінку тематичної компетентності експертів на основі їхнього публікаційного профілю, враховуючи як прямі, так і опосередковані семантичні зв’язки. У межах дослідження формалізовано алгоритм побудови локальних графів семантичної близькості для кожного концепту, визначено метрику оцінки компетентності, яка враховує частоту згадування термінів у публікаціях та їхню семантичну віддаленість від ядра теми. На основі отриманих оцінок сформовано матрицю компетентностей, що дозволяє застосовувати методи групової оптимізації для формування збалансованих експертних складів. Розглянуто різні стратегії оптимізації – жадібні алгоритми, цілочисельне програмування, еволюційні методи – та обґрунтовано їх застосовність залежно від розміру задачі та вимог до точності. Запропонований підхід забезпечує прозорість, тематичну чутливість і гнучкість формування експертних груп, дозволяє уникнути дублювання компетенцій та недооцінки вузькоспеціалізованих дослідників. Модель є масштабованою, відтворюваною та придатною для інтеграції в системи автоматизованого добору експертів у наукових конкурсах з перспективою розширення на механізми виявлення конфліктів інтересів та оцінки академічної доброчесності.

Анотація (рус):

Анотація (англ):

The formation of expert groups for evaluating scientific projects, grant proposals, and peer reviews is a critically important task that directly affects the quality, objectivity, and integrity of scientific evaluation. Traditional approaches to expert selection–such as ranking by the Hirsch index or classification using ASJC/MeSH codes–have several limitations: they fail to account for the semantic relevance of an expert’s profile to the competition’s subject area, disregard interdisciplinary links, and do not provide a fine-grained analysis of thematic coverage. In response to these challenges, this paper proposes a semantic statistical approach to expert competence assessment, based on constructing co-occurrence graphs of terms for each concept of the competition’s thematic domain using the OpenAlex concept vocabulary. The model enables element-wise evaluation of experts’ thematic competence based on their publication profiles, considering both direct and indirect semantic relations. Within the study, we formalize an algorithm for building local graphs of semantic proximity for each concept and define a competence evaluation metric that incorporates both the frequency of term occurrences in publications and their semantic distance from the thematic core. Based on the obtained scores, a competence matrix is constructed, allowing the application of group optimization methods to form balanced expert panels. Several optimization strategies are examined–greedy algorithms, integer programming, and evolutionary methods–and their applicability is justified depending on task size and precision requirements. The proposed approach ensures transparency, thematic sensitivity, and flexibility in forming expert groups, prevents redundancy of competences, and avoids underrepresentation of narrowly specialized researchers. The model is scalable, reproducible, and suitable for integration into automated expert selection systems for scientific competitions, with potential extensions toward conflict-of-interest detection and academic integrity assessment.

Література:

  1. Шостак О. Розробка підходу до формування експертних комісій щодо оцінювання складу команд виконавців високотехнологічних проєктів. Технологічний аудит і резерви виробництва, 2016. 4 (2). С. 20–25. URL: http://nbuv.gov.ua/UJRN/Tatrv_2016_4(2)__4.
  2. Akhtar M. K. The H-index is an unreliable research metric for evaluating the publication impact of experimental scientists. Frontiers in Research Metrics and Analytics, 2024. 9. Article 1385080. URL: https://doi.org/10.3389/frma.2024.1385080.
  3. Koltun V., Hafner D. The h-index is no longer an effective correlate of scientific reputation. PLOS ONE, 2021. 16 (6). e0253397. URL: https://doi.org/10.1371/journal.pone.0253397.
  4. Bornmann L., Daniel H.-D. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 2008. 64 (1). С. 45–80. URL: https://doi.org/10.1108/00220410810844150.
  5. Циганок В. В., Хроленко Я. О., Доманецька І. М. Інтелектуальні засоби обробки текстів для задач організації та проведення конкурсів студентських наукових робіт. Системи та засоби штучного інтелекту: тези доповідей Міжнародної наукової конференції «Штучний інтелект: досягнення, виклики та ризики». Київ: ІПШІ «Наука і освіта», 2024. С. 331–335. URL: https://essuir.sumdu.edu.ua/server/api/core/bitstreams/9c189961-9f5f-44f5-8030-d60d67f61d52/content.
  6. Tang J., Zhang J., Yao L., Li J., Zhang L., Su Z. ArnetMiner: Extraction and mining of academic social networks. Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '08). New York: Association for Computing Machinery, 2008. С. 990–998. URL: https://doi.org/10.1145/1401890.1402008.
  7. Wang F., Zhou S., Shi N. A proactive decision support system for reviewer recommendation in academia. Expert Systems with Applications, 2021. 169. Article 114331. URL: https://doi.org/10.1016/j.eswa.2020.114331.
  8. Stelmakh I., Shah N., Singh A. PeerReview4All: Fair and accurate reviewer assignment in peer review. Journal of Machine Learning Research, 2021. 22(70). С. 1–55. URL: https://doi.org/10.48550/arXiv.1806.06237.
  9. Balagura I., Andrushchenko V., Gorbov I. Detection of expert groups for scientific expertise. CEUR Workshop Proceedings, 2023. 2318. С. 271–280. URL: https://ceur-ws.org/Vol-2318/paper23.pdf.
  10. Priem J., Piwowar H., Orr R. OpenAlex: A fully-open index of scholarly works, authors, venues, institutions, and concepts. arXiv preprint, 2022. arXiv:2205.01833. URL: https://doi.org/10.48550/arXiv.2205.01833.
  11. Fernández E., Rangel-Valdez N., Cruz-Reyes L., Gomez-Santillan C. Leveraging multicriteria integer programming optimization for effective team formation. IEEE Xplore, 2021. URL: https://ieeexplore.ieee.org/document/10531676.
  12. Williams A. Insights into weighted sum sampling approaches for multi-criteria decision making problems. arXiv preprint, 2024. arXiv:2410.03931. URL: https://arxiv.org/abs/2410.03931.
  13. Jakob W., Blume C. Pareto optimization or cascaded weighted sum: A comparison of concepts. Algorithms, 2014. 7(1). С. 166–185. URL: https://doi.org/10.3390/a7010166.
  14. Zhou J., Zheng H., Li S., Hao Q., Zhang H., Gao W., Wang X. A knowledge-guided competitive co-evolutionary algorithm for feature selection. Applied Sciences, 2024. 14(11). Article 4501. URL: https://www.mdpi.com/2076-3417/14/11/4501.

 

 

References:

1.     Shostak, O. (2016). Development of an approach to the formation of expert commissions for evaluating the composition of teams of performers of high-tech projects. Technological Audit and Production Reserves, 4 (2), 20–25. URL: http://nbuv.gov.ua/UJRN/Tatrv_2016_4(2)__4.

2.     Akhtar, M. K. (2024). The H-index is an unreliable research metric for evaluating the publication impact of experimental scientists. Frontiers in Research Metrics and Analytics, 9, Article 1385080. URL: https://doi.org/10.3389/frma.2024.1385080.

3.     Koltun, V., & Hafner, D. (2021). The h-index is no longer an effective correlate of scientific reputation. PLOS ONE, 16(6), e0253397. URL: https://doi.org/10.1371/journal.pone.0253397.

4.     Bornmann, L., & Daniel, H.-D. (2008). What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 64 (1), 45–80. URL: https://doi.org/10.1108/00220410810844150.

5.     Tsyganok, V. V., Khrolenko, Ya. O., & Domanetska, I. M. (2024). Intelligent text processing tools for the tasks of organizing and conducting student research competitions. Systems and Means of Artificial Intelligence: Proceedings of the International Scientific Conference "Artificial Intelligence: Achievements, Challenges and Risks", 331–335. URL: https://essuir.sumdu.edu.ua/server/api/core/bitstreams/9c189961-9f5f-44f5-8030-d60d67f61d52/content.

6.     Tang, J., Zhang, J., Yao, L., Li, J., Zhang, L., & Su, Z. (2008). ArnetMiner: Extraction and mining of academic social networks. Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '08), 990–998. URL: https://doi.org/10.1145/1401890.1402008.

7.     Wang, F., Zhou, S., & Shi, N. (2021). A proactive decision support system for reviewer recommendation in academia. Expert Systems with Applications, 169, Article 114331. URL: https://doi.org/10.1016/j.eswa.2020.114331.

8.     Stelmakh, I., Shah, N., & Singh, A. (2021). PeerReview4All: Fair and accurate reviewer assignment in peer review. Journal of Machine Learning Research, 22 (70), 1–55. URL: https://doi.org/10.48550/arXiv.1806.06237.

9.     Balagura, I., Andrushchenko, V., & Gorbov, I. (2023). Detection of expert groups for scientific expertise. CEUR Workshop Proceedings, 2318, 271–280. URL: https://ceur-ws.org/Vol-2318/paper23.pdf.

10.  Priem, J., Piwowar, H., & Orr, R. (2022). OpenAlex: A fully-open index of scholarly works, authors, venues, institutions, and concepts. ArXiv preprint, arXiv:2205.01833. URL: https://doi.org/10.48550/arXiv.2205.01833.

11.  Fernández, E., Rangel-Valdez, N., Cruz-Reyes, L., & Gomez-Santillan, C. (2021). Leveraging multicriteria integer programming optimization for effective team formation. IEEE Xplore. URL: https://ieeexplore.ieee.org/document/10531676.

12.  Williams, A. (2024). Insights into weighted sum sampling approaches for multi-criteria decision making problems. ArXiv preprint, arXiv:2410.03931. URL: https://arxiv.org/abs/2410.03931.

13.  Jakob, W., & Blume, C. (2014). Pareto optimization or cascaded weighted sum: A comparison of concepts. Algorithms, 7 (1), 166–185. URL: https://doi.org/10.3390/a7010166.

Zhou, J., Zheng, H., Li, S., Hao, Q., Zhang, H., Gao, W., & Wang, X. (2024). A knowledge-guided competitive co-evolutionary algorithm for feature selection. Applied Sciences, 14 (11), Article 4501. URL: https://www.mdpi.com/2076-3417/14/11/4501