Метод визначення типу фізичної вправи за послідовністю поз людини

Заголовок (англійською): 
Methods for determining the type of exercise by the sequence of human poses
Автор(и): 
Данченко О. Б.
Бройде Ю. І.
Автор(и) (англ): 
Danchenko О.
Broyda J.
Ключові слова (укр): 
штучний інтелект; машина станів; нейронні мережі; комп'ютерний зір; пози людини
Ключові слова (англ): 
artificial intelligence; state machine; neural networks; computer vision; human poses
Анотація (укр): 
За останнє десятиріччя значні ресурси були спрямовані міжнародними компаніями та дослідницькими установами на розвиток нейронних мереж для комп'ютерного зору, що визначають послідовності поз людини за відео. Оскільки ці дані не можуть бути використані людиною безпосередньо і потребують попередньої обробки, з'явилася потреба в універсальних методах обробки послідовності поз людини. Зміст та структура вихідного сигналу обробки послідовності поз залежить від кінцевої задачі системи й у більшості випадків не є універсальними. Універсальні методи обробки, що можуть використовуватись для різних задач, є особливо цінними. У статті описується метод обробки вихідного сигналу нейронної мережі, що уможливлює визначити тип фізичної вправи за послідовністю поз людини. Цей метод є доволі універсальним і може використовуватися самостійно або як один з етапів розв’язання користувацької задачі. Одним з прикладів застосування методу є автоматичне вимірювання тривалості виконання вправ протягом сеансу зайняття спортом. Іншим прикладом є визначення типу вправи в разі, коли ця проміжна інформація потрібна перед застосуванням алгоритмів підрахунку кількості ітерацій цієї вправи.
Анотація (англ): 
Over the past decade, international companies and research institutions have devoted considerable resources to the development of neural networks for computer vision that detect human pose sequences from video. Since this data cannot be used directly by humans and requires pre-processing, there is a need for universal methods for processing human pose sequences. The content and structure of the output signal of pose sequence processing depends on the end task of the system and in most cases is not universal. Universal processing methods that can be used for different tasks are especially valuable. This paper describes a method for processing the output signal of a neural network that allows determining the type of physical exercise based on the sequence of human postures. This method is quite versatile and can be used independently or as one of the stages of solving a user task. One example of the method's application is the automatic measurement of the duration of exercise during a sports session. Another example is determining the type of exercise when this intermediate information is needed before applying algorithms for calculating the number of iterations of this exercise.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 56, 2023
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, number 56, 2023
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
56-63.pdf
Дата публікації: 
14 Февраль 2024
Номер збірника: 
56
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ УПРАВЛІННЯ
Університет автора: 
Черкаський державний технологічний університет, Черкаси
Литература: 
  1. Broyda, Juliy. Quantitative method of calculating iterations of exercises on the basis of output signal of the neural network. Management of Development of Complex Systems (in Ukraine) (44 – 2020); 65 – 69, DOI: https://doi.org/10.32347/2412-9933.2020.44.65-69.
  2. Qiu S. et al., «Multi-sensor information fusion based on machine learning for real applications in human activity recognition: State-of-the-art and research challenges» Inf. Fusion, vol. 80, pp. 241 – 265, Apr. 2022. DOI: https://doi.org/10.1016/j.inffus.2021.11.006.
  3. Chen K., Zhang D., Yao L., Guo B., Yu Z. & Liu Y., Deep Learning for Sensor-based Human Activity Recognition. ACM Comput. Surv., vol. 54, no. 4, p. 1–40, Jul. 2021. DOI: https://doi.org/10.1145/3447744.
  4. Jiang S., Kang P., Song X., Lo B., & Shull Р. B., Emerging Wearable Interfaces and Algorithms for Hand Gesture Recognition: A Survey, IEEE Rev. Biomed. Eng., vol. 15, p. 85–102, 2021. DOI: 10.1109/RBME.2021.3078190.
  5. Sakshi, P. Das, S. Jain, C. Sharma, & V. Kukreja, «Deep Learning: An Application Perspective», in Lecture Notes in Networks and Systems, (LNNS, vol 291) 2021, p. 323–333. DOI: 10.1007/978-981-16-4284-5_28.
  6. Andrej Karpathy, George Toderici, Sanketh Shetty, Thomas Leung, Rahul Sukthankar & Li Fei-Fei. «Large-Scale Video Classification with Convolutional Neural Networks». In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. DOI: 10.1109/CVPR.2014.223.
  7. Kaixuan Chen, Dalin Zhang, Lina Yao, Bin Guo, Zhiwen Yu & Yunhao Liu. «Deep Learning for Sensor-based Human Activity Recognition» Overview, Challenges and Opportunities, 54 (4), 2021. DOI: https://doi.org/10.1145/3447744.
  8. Tam Huynh & Bernt Schiele. «Analyzing features for activity recognition» ACM International Conference Proceeding Series, (october):159–164, 2005. DOI: 10.1145/1107548.1107591.
  9. Dr. Milon Islam, Sheikh Nuruddin, Fakhri Karray. & Ghulam Muhammad. «Human Activity Recognition Using Tools of Convolutional Neural Networks: A State of the Art Review, Data Sets, Chal-lenges and Future Prospects» Computers in biology and medicine. Vol. 149, October DOI: https://doi.org/10.1016/j.compbiomed.2022.106060.
  10. A Comprehensive Study of Deep Video Action Recognition. 2020. [Electronic resource] URL: https://arxiv.org/abs/2012.06567. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2012.06567.
  11. Real-Time Activity Recognition and Intention Recognition Using a Vision-based Embedded Sys-tem. 2021. [Electronic resource] URL: https://arxiv.org/abs/2107.12744. (accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2107.12744.
  12. Ching-Hang Chen, Deva Ramanan: 3D Human Pose Estimation = 2D Pose Estimation + Match-ing. 2016. [Electronic resource] URL: https://arxiv.org/abs/1612.06524. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.1612.06524.
  13. BlazePose: On-device Real-time Body Pose tracking. 2020. [Electronic resource] URL: https://arxiv.org/abs/2006.10204. (accessed: 20.06.2022). DOI: https://doi.org/10.48550/arXiv.2006.10204.
  14. Hao Wang, Ming-hui Sun, Hao Zhang & Li-yang Dong. «LHPE-nets: A lightweight 2D and 3D human pose estimation model with well-structural deep networks and multi-view pose sample simplifica-tion method» PLOS ONE; February 23, 2022.  DOI: https://doi.org/10.1371/journal.pone.0264302.
  15. Misek J., Jankosek M. & Pajdla T. (2013). 3D-using Kinect. In: Fosati A, Gall J, Grabner H, Ren H, Konolige K (eds) Consumer cameras for computer vision. Advances in computer vision and pattern learning. Springer, London. DOI: https://doi.org/10.1007/978-1-4471-4640-7_1.
  16. John D. Hunter. Matplotlib: 2D graphics environment. Computing in Science and Technology. 2007. Vol. 9(3): 90–95. DOI: 10.1109/MCSE.2007.55.
  17. Yannakakis, M. (2000). «Hierarchical finite state machines» In: van Leeuwen J., Watanabe O., Hagiya M., Mosses P.D., Ito T (eds) Theoretical computer science: exploring new frontiers of theoretical computer science. TCS 2000. Lecture Notes in Computer Science, Vol. 1872. Springer, Berlin, Heidel-berg. DOI: https://doi.org/10.1007/3-540-44929-9_24.
  18. Zamanirad S., Benatallah B., Rodrigues C., Yagubzadefard M., Bugelia S. & Brabra H. (2020). «Model and services of dialogue between a person and a bot based on a finite state machine» In: Dustdar S., Yu. E., Salinesi K., Rie D., Pant V. (eds) Advanced information systems engineering. CAiSE 2020. Lecture Notes in Computer Science (), Volume 12127. Springer, Cham. https://doi.org/10.1007/978-3-030-49435-3_13.

 

References: 
  1. Broyda, Juliy. Quantitative method of calculating iterations of exercises on the basis of output signal of the neural network. Management of Development of Complex Systems (in Ukraine) (44 – 2020); 65 – 69, DOI: https://doi.org/10.32347/2412-9933.2020.44.65-69.
  2. Qiu S. et al., «Multi-sensor information fusion based on machine learning for real applications in human activity recognition: State-of-the-art and research challenges» Inf. Fusion, vol. 80, pp. 241 – 265, Apr. 2022. DOI: https://doi.org/10.1016/j.inffus.2021.11.006.
  3. Chen K., Zhang D., Yao L., Guo B., Yu Z. & Liu Y., Deep Learning for Sensor-based Human Activity Recognition. ACM Comput. Surv., vol. 54, no. 4, p. 1–40, Jul. 2021. DOI: https://doi.org/10.1145/3447744.
  4. Jiang S., Kang P., Song X., Lo B., & Shull Р. B., Emerging Wearable Interfaces and Algorithms for Hand Gesture Recognition: A Survey, IEEE Rev. Biomed. Eng., vol. 15, p. 85–102, 2021. DOI: 10.1109/RBME.2021.3078190.
  5. Sakshi, P. Das, S. Jain, C. Sharma, & V. Kukreja, «Deep Learning: An Application Perspective», in Lecture Notes in Networks and Systems, (LNNS, vol 291) 2021, p. 323–333. DOI: 10.1007/978-981-16-4284-5_28.
  6. Andrej Karpathy, George Toderici, Sanketh Shetty, Thomas Leung, Rahul Sukthankar & Li Fei-Fei. «Large-Scale Video Classification with Convolutional Neural Networks». In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. DOI: 10.1109/CVPR.2014.223.
  7. Kaixuan Chen, Dalin Zhang, Lina Yao, Bin Guo, Zhiwen Yu & Yunhao Liu. «Deep Learning for Sensor-based Human Activity Recognition» Overview, Challenges and Opportunities, 54 (4), 2021. DOI: https://doi.org/10.1145/3447744.
  8. Tam Huynh & Bernt Schiele. «Analyzing features for activity recognition» ACM International Conference Proceeding Series, (october):159–164, 2005. DOI: 10.1145/1107548.1107591.
  9. Dr. Milon Islam, Sheikh Nuruddin, Fakhri Karray. & Ghulam Muhammad. «Human Activity Recognition Using Tools of Convolutional Neural Networks: A State of the Art Review, Data Sets, Chal-lenges and Future Prospects» Computers in biology and medicine. Vol. 149, October DOI: https://doi.org/10.1016/j.compbiomed.2022.106060.
  10. A Comprehensive Study of Deep Video Action Recognition. 2020. URL: https://arxiv.org/abs/2012.06567. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2012.06567.
  11. Real-Time Activity Recognition and Intention Recognition Using a Vision-based Embedded Sys-tem. 2021. URL: https://arxiv.org/abs/2107.12744. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2107.12744.
  12. Ching-Hang Chen, Deva Ramanan: 3D Human Pose Estimation = 2D Pose Estimation + Match-ing. 2016. URL: https://arxiv.org/abs/1612.06524. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.1612.06524.
  13. Blaze Pose: On-device Real-time Body Pose tracking. 2020. URL: https://arxiv.org/abs/2006.10204. (Accessed: 20.06.2022). DOI: https://doi.org/10.48550/arXiv.2006.10204.
  14. Hao Wang, Ming-hui Sun, Hao Zhang & Li-yang Dong. «LHPE-nets: A lightweight 2D and 3D-human pose estimation model with well-structural deep networks and multi-view pose sample simplifica-tion method» PLOS ONE; February 23, 2022. DOI: https://doi.org/10.1371/journal.pone.0264302.
  15. Misek J., Jankosek M. & Pajdla T. (2013). 3D using Kinect. In: Fosati A, Gall J, Grabner H, Ren H, Konolige K (eds) Consumer cameras for computer vision. Advances in computer vision and pattern learning. Springer, London. DOI: https://doi.org/10.1007/978-1-4471-4640-7_1.
  16. John D. Hunter. Matplotlib: 2D-graphics environment. Computing in Science and Technology. 2007. Vol. 9(3): 90–95. DOI: 10.1109/MCSE.2007.55.
  17. Yannakakis, M. (2000). «Hierarchical finite state machines». In: van Leeuwen J., Watanabe O., Hagiya M.,
    Mosses P. D., Ito T. (eds). Theoretical computer science: exploring new frontiers of theoretical computer science. TCS 2000. Lecture Notes in Computer Science, Vol. 1872. Springer, Berlin, Heidel-berg. DOI: https://doi.org/10.1007/3-540-44929-9_24.
  18. Zamanirad S., Benatallah B., Rodrigues C., Yagubzadefard M., Bugelia S. & Brabra H. (2020). «Model and services of dialogue between a person and a bot based on a finite state machine» In: Dustdar S., Yu. E., Salinesi K., Rie D., Pant V. (eds). Advanced information systems engineering. CAiSE 2020. Lecture Notes in Computer Science (), Vol. 12127. Springer, Cham. https://doi.org/10.1007/978-3-030-49435-3_13.