КІЛЬКІСНИЙ МЕТОД ПІДРАХУНКУ ПОВТОРЕНЬ ФІЗИЧНИХ ВПРАВ ЗА ВИХІДНИМ СИГНАЛОМ НЕЙРОННОЇ МЕРЕЖІ

Заголовок (англійською): 
QUANTITATIVE METHOD OF CALCULATING APPROACHES OF EXERCISES ON THE BASIS OF OUTPUT SIGNAL OF THE NEURAL NETWORK
Автор(и): 
Бройде Ю. І.
Автор(и) (англ): 
Broyda Juliy
Ключові слова (укр): 
комп'юторний зір; біомеханіка; штучний інтелект; підрахунок повторень; присідання; машина станів
Ключові слова (англ): 
BIM-technologies; artificial intelligence; virtual assistant
Анотація (укр): 
Нині у світі швидкими темпами розвиваються системи штучного інтелекту та комп'ютерного зору, зокрема випускають нові архітектури нейронних мереж, що оцінюють тривимірну позу людини за відео. Такі нейронні мережі потребують аналізу їх вихідного сигналу з метою отримання корисних для кінцевого користувача даних та їх подальшої інтеграції у користувацькі системи. Автором запропоновано новий метод аналізу вихідного сигналу нейронної мережі, що оцінює положення людини у просторі, який виконує підрахунок повторень вправи "присідання". В основі цього методу лежить машина станів, яка додає одиницю до лічильника повторень у момент закінчення циклу вправи. Застосування цього методу на початкових етапах алгоритму аналізу вправи допоможе у подальшому розробляти системи, що перевіряють техніку присідання та допомагають спортсменам і тренерам під час тренування, а також вченим у сфері біомеханіки під час їхньої професійної діяльності. Відмінною рисою цього методу є стійкість як до викидів вхідного сигналу, тобто неправильних результатів розпізнавання пози людини нейронною мережею, так і до рухів людини, які не належать до вправи безпосередньо. Також застосування цього методу до аналізу сигналу нейронної мережі дає змогу поєднати позитивні якості, властиві нейронним мережам, використовуваним в комт’ютерному зорі (допустимість високої варіабельності одягу і фону), і позитивні якості аналітичних і алгоритмічних методів (легка інтерпретованість результатів, зручне налагодження, можливість використання предметного досвіду спеціалістів для підбору параметрів). Пропонований метод не є специфічним по відношенню до будь-якої конкретної нейронної мережі, а тому може використовуватися на виході практично будь-якої системи, яка визначає положення суглобів людини в просторі. Крім опису методу, в статті наведено результати його випробувань в різних умовах. Така схема випробувань може застосовуватися не тільки для докладання цього методу до вправи "присідання", але і до будь-якої іншої циклічної вправи.
Анотація (англ): 
Today, artificial intelligence and computer vision systems are developing rapidly in the world; in particular, new architectures of neural networks that assess the three-dimensional human posture on video are produced. Such neural networks require analysis of their output signal in order to obtain useful data for the end user and their subsequent integration into user systems. The author proposes a new method of analysis of the output signal of the neural network, which estimates the position of a person in space that performs the calculation of repetitions of the exercise "squat". This method is based on the state machine, which adds one to the repetition counter at the end of the exercise cycle. The application of this method in the initial stages of the algorithm of exercise analysis will allow further development of systems that test squats and help athletes and coaches during training, as well as scientists in the field of biomechanics during their professional activities. A distinctive feature of this method is resistance to both input signal emissions, i.e. incorrect results of human posture recognition by the neural network, and to human movements that do not belong to the exercise directly. Also, the application of this method to the analysis of the neural network signal allows to combine the positive qualities inherent in neural networks used in computer vision (admissibility of high variability of clothing and background), and the positive qualities of analytical and algorithmic methods (easy interpretability of results, convenient adjustment, possibility to use the experts' subject experience for the selection of parameters). This method is not specific to any particular neural network and therefore can be used at the output of almost any system that determines the position of human joints in space. In addition to the description of the method, the article presents the results of its tests in different conditions. This test scheme can be used not only to apply this method to the exercise "squat", but to any other cyclic exercise.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 44, 2020
Назва журналу, номер, рік випуску (рус): 
Управление развитием сложных систем, номер 44, 2020
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, Number 44, 2020
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
rozd_3_ctor65-69_broyde.pdf
Дата публікації: 
03 Ноябрь 2020
Номер збірника: 
44
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ ПРОЄКТУВАННЯ
Університет автора: 
Черкаський державний технологічний університет, Черкаси
Литература: 
  1. Ofir Levy, Lior Wolf. Live Repetition Counting. The 2015 IEEE International Conference on Computer Vision (ICCV’15) : proceedings. IEEE Computer Society, USA, 2015. P. 3020–3028. DOI:https://doi.org/10.1109/ICCV.2015.346.
  2. Xin He, Kaiyong Zhao, Xiaowen Chu. AutoML: A Survey of the State-of-the-Art. URL: https://arxiv.org/abs/1908.00709.
  3. General least-squares smoothing and differentiation by the convolution (Savitzky-Golay) method. URL: https://pubs.acs.org/doi/pdf/10.1021/ac00205a007.
  4. Sijin Li, Antoni B. Chan. 3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network (ACCV 14). Asian Conference on Computer Vision. Springer, Cham, 2014. P. 332-347.
  5. Ching-Hang Chen, Deva Ramanan: 3D Human Pose Estimation = 2D Pose Estimation + Matching. The 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’17) : proceedings. ІЕЕЕ, Honolulu, HI, USA, 2017. DOI: 10.1109/CVPR.2017.610.
  6. Dario Pavllo, Christoph Feichtenhofer, David Grangier, Michael Auli.3D human pose estimation in video with temporal convolutions and semi-supervised training. The 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’19) : proceedings. IEEE, 2019. P. 7753–7762.
  7. Jan Smisek, Michal Jancosek, Tomas Pajdla. 3D with Kinect. Consumer Depth Cameras for Computer Vision. URL: https://link.springer.com/chapter/10.1007/978-1-4471-4640-7_1.
  8. John D. Hunter. Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering. IEEE, 2007. Vol. 9, Is. 3. P. 90-95. URL: https://ieeexplore.ieee.org/document/4160265. DOI: 10.1109/MCSE.2007.55.
  9. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 2017. 60(6). P. 84–90.
References: 
  1. Levy, Ofir & Wolf, Lior. (2015). Live Repetition Counting. Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV'15). IEEE Computer Society, USA, pp. 3020–3028. DOI:https://doi.org/10.1109/ICCV.2015.346.
  2. He, Xin, Zhao, Kaiyong, Chu, Xiaowen. AutoML: A Survey of the State-of-the-Art. URL: https://arxiv.org/abs/1908.00709.
  3. General least-squares smoothing and differentiation by the convolution (Savitzky-Golay) method URL: https://pubs.acs.org/doi/pdf/10.1021/ac00205a007.
  4. Li, Sijin, Chan, Antoni B. (2014). 3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network (ACCV 14). Asian Conference on Computer Vision, 332–347.
  5. Chen, Ching-Hang, Ramanan, Deva. (2017). 3D Human Pose Estimation = 2D Pose Estimation + Matching. The 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’17) : proceedings. DOI: 10.1109/CVPR.2017.610.
  6. Pavllo, D., Feichtenhofer, C., Grangier, D. & Auli, M. (2019). 3D human pose estimation in video with temporal convolutions and semi-supervised training. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7753-7762.
  7. Smisek, Jan, Jancosek, Michal, Pajdla, Tomas. 3D with Kinect. Consumer Depth Cameras for Computer Vision. URL: https://link.springer.com/chapter/10.1007/978-1-4471-4640-7_1.
  8. Hunter, John D. (2007). Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering. 9, 3, 90–95. URL: https://ieeexplore.ieee.org/document/4160265. DOI: 10.1109/MCSE.2007.55.
  9. Krizhevsky, A., Sutskever, I. & Hinton, G. E. (2017). Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6), 84–90.