Аннотації

ПАРАДИГМИ НЕЙРОМЕРЕЖЕВОГО РОЗПІЗНАВАННЯ ЕМОЦІЙ

Автор(и):
Михайленко В.М., Терейковская Л.А.
Автор(и) (англ)
Mihaylenko Victor, Tereikovska Liudmyla
Дата публікації:

03.09.2019

Анотація (укр):

Однією з найбільш важливих тенденцій розвитку сучасних інформаційних систем є інтеграція в них невербальних каналів взаємодії з користувачем, створення яких пов'язують з розробленням нейромережевих засобів розпізнавання емоцій. Встановлено, що для забезпечення ефективного розпізнавання слід врахувати ряд різноманітних чинників, які мають бути адекватно відображені в парадигмах побудови зазначених засобів. Водночас, більшість сучасних досліджень в цій сфері спрямовані на створення оригінальних рішень і характеризуються недостатньою обґрунтованістю використаних парадигм побудови. Для усунення цього недоліку розроблено множину базових парадигм побудови нейромережевих засобів розпізнавання емоцій. Відмінною рисою розробки є зіставлення запропонованих парадигм з основними факторами, що впливають на ефективність нейромережевого розпізнавання, що зумовлює можливість ефективного використання відповідних засобів в очікуваних умовах. Засвідчено доцільність проведення подальших досліджень щодо розроблення нейромережевих моделей, які базуються на запропонованій множині парадигм, а також розширенні зазначеної множини з метою відображення в ній найбільш перспективних рішень у сфері теорії нейронних мереж.

Анотація (рус):

Одной из наиболее важных тенденций развития современных информационных систем является интеграция в них невербальных каналов взаимодействия с пользователем, создание которых связывают с разработкой нейросетевых средств распознавания эмоций. Установлено, что для обеспечения эффективного распознавания следует учесть ряд разнообразных факторов, которые должны быть адекватно отражены в парадигмах построения указанных средств. Вместе с тем, большинство современных исследований в данной области направлены на создание оригинальных решений и характеризуются недостаточной обоснованностью используемых парадигм построения. Для устранения этого недостатка разработано множество базовых парадигм построения нейросетевых средств распознавания эмоций. Отличительной чертой разработки является соотнесение предложенных парадигм с основными факторами, влияющими на эффективность нейросетевого распознавания, что предопределяет возможность эффективного использования соответствующих средств в ожидаемых условиях. Показана целесообразность проведения дальнейших исследований в направлении разработки нейросетевых моделей, базирующихся на предложенном множестве парадигм, а также расширении указанного множества с целью отражения в нем наиболее перспективных решений в области теории нейронных сетей.

Анотація (англ):

One of the most important trends in the development of modern information systems is the integration of non-verbal user interaction channels in them, the creation of which is associated with the development of neural network emotion recognition tools. It has been established that in order to ensure effective recognition, a number of various factors should be taken into account, which should be adequately reflected in the paradigms of building these tools. However, most modern research in this area is aimed at creating original solutions and is characterized by insufficient validity of the used paradigms of construction. To eliminate this drawback, a number of basic paradigms for constructing neural network emotion recognition tools have been developed. A distinctive feature of the development is the correlation of the proposed paradigms with the main factors influencing the effectiveness of neural network recognition, which predetermines the possibility of the effective use of appropriate means in the expected conditions. The feasibility of further research towards the development of neural network models based on the proposed set of paradigms, as well as the expansion of this set to reflect the most promising solutions in the field of the theory of neural networks, is shown.

Література:

  1. Бушуєв С.Д. Зміна парадигм в управлінні інфраструктурними проектами і програмами [Текст] / С.Д. Бушуєв, Д.А. Бушуєв, Б. Ю. Козир // Управління розвитком складних систем. – 2019. – № 36. – С. 6 – 12.
  2. Михайленко В. М. Концептуальна модель розпізнавання емоційного стану слухачів системи дистанційного навчання [Текст] / В.М. Михайленко, Л.А. Терейковская // Управління розвитком складних систем. – 2019. – №37.
    – С. 178 – 184.
  3. Aitchanov, B., Korchenko, A., Tereykovskiy, I., Bapiyev, I. Perspectives for using classical neural network  models and methods of  counteracting attacks  on network resources of  information systems. (2017). // News of the national academy of sciences of the republic of Kazakhstan series of geology and technical sciences. Volume 5, Number 425 (2017), 202 – 212.
  4. Anderson K., McOwan P. A realtime automated system for the recognition of human facial expressions. Systems, man, and cybernetics. IEEE Transactions. 2006. Vol.36. P.96-105.
  5. Batista J. C., Albiero V., Bellon O. R. and Silva L. Aumpnet: simultaneous action units detection and intensity estimation on multipose facial images using a single convolutional neural network. In Automatic Face & Gesture Recognition. 12th IEEE International Conference, 2017. ‒ P. 866–871.
  6. Bojorges E. R. Scaling patterns of heart rate variability data. Physiol. Meas., 2007.‒ 28(6). ‒ P. 721.
  7. Carew T. J, Magsamen S. H. Neuroscience and education: an ideal partnership for producing evidence-based solutions to Guide 21(st) Century Learning. Neuron. 2010 Sep 9; 67(5):685-8.
  8. Chandrani S., Washef A., Soma M., Debasis M. Facial Expressions: A Cross-Cultural Study. Emotion Recognition: A Pattern Analysis Approach. Wiley Publ., 2015, pp. 69–86.
  9. Dawson M., Schell A. Handbook of Psychophysiology, Cambridge University Press, New York, 2000.
  10. Ghosh S., Laksana E. A multi-label convolutional neural network approach to crossdomain action unit detection. In affective computing and intelligent interaction: international conference. 2015. P. 609–615.
  11. He J., Li D. Multi view facial action unit detection based on CNN and BLSTMRNN. In Automatic Face & Gesture Recognition. 12th IEEE International Conference. 2017. P 848–853.
  12. Hu, Z., Tereykovskiy, I., Zorin, Y., Tereykovska, L., Zhibek, A. Optimization of convolutional neural network structure for biometric authentication by face geometry // Advances in Intelligent Systems and Computing. 2018. Volume 754, pp 567-577.
  13. Jung N., Wranke C., Hamburger K., Knauff M. How emotions affect logical reasoning: evidence from experiments with mood-manipulated participants, spider phobics, and people with exam anxiety. Front Psychol. 2014. 5:570.
  14. Konar A., Chakraborty A. Emotion recognition: a pattern analysis approach. Wiley. 2015. P. 583.
  15. Littlewort, G., Whitehill, J., Wu, T., Fasel, I., Frank, M., Movellan, J. and Bartlett, M. 2011. The Computer Expression Recognition Toolbox (CERT). Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition, 298 – 305.
  16. Milborrow S., Nicolls F. Active Shape Models with SIFT Descriptors and MARS, VISAPP (2) Publ., 2014, pp. 380–387.
  17. Russell J. A, Bachorowski J.A, Fernandez-Dols J.M. Facial and vocal expressions of emotion. Annu Rev Psychol. 2003; 54:329-49.
  18. Schupp H. T, Stockburger J, Codispoti M, Junghöfer M, Weike A.. I, Hamm A. O. Selective visual attention to emotion. J Neurosci. 2007 Jan 31. 27(5):1082-9.
  19. Schmidt S. J. What Does Emotion Have to Do with Learning? Journal of Food Science Education. 2017. Vol. 16: 64-66.
  20. Shanshan L. Facial expression recognition algorithm based on local Gabor wavelet automatic segmentation. Journal of Computer Applications, 11. 2009. pp. 29 – 37.
  21. Tariq U., Lin K. Emotion recognition from an ensemble of features. Systems, man, and cybernetics. IEEE Transactions. 2012. Vol. 42. P. 17 – 26.
  22. Tereykovska L., Tereykovskiy I., Aytkhozhaeva E., Tynymbayev S., Imanbayev A. (2017). Encoding of neural network model exit signal, that is devoted for distinction of graphical images in biometric authenticate systems // News of the national academy of sciences of the republic of kazakhstan series of geology and technical sciences. Volume 6, Number 426 (2017), 217 – 224.
  23. Tereikovskyi I. A., Chernyshev D. O., Tereikovska L.A., Mussiraliyeva Sh. Zh., Akhmed G. Zh. The procedure for the determination of structural parameters of a convolutional neural network to fingerprint recognition. Journal of Theoretical and Applied Information Technology. 30th April 2019. Vol.97. No 8. Pages 2381-2392.
  24. Um E., Plass J. L., Hayward E. O., Homer B. D. Emotional design in multimedia learning. J. 2012. Educ. Psychol. 104. 485 – 498.
  25. Yu, Y., Acton S. T. Speckle Reducing Anisotropic Diffusion. IEEE Transactions on Image Processing, 2002, vol. 11,
    № 11, 1260     – 1270.

References:

  1. Bushuyev, Sergiy, Bushuyev, Denis & Kozyr, Borys, (2019). Paradigm shift in the management of infrastructure projects and programs. Management of Development of Complex Systems, 37, 6 – 12.
  2. Mihaylenko, Victor, Tereikovska, Liudmyla, (2019). Conceptual model of neural network recognition of emotional condition of listeners of the distance learning system. Management of Development of Complex Systems, 37, 178-184.
  3. Anderson, K., McOwan, P., (2006). A realtime automated system for the recognition of human facial expressions. Systems, man, and cybernetics. IEEE Transactions, 36, 96-105.
  4. Aitchanov, B., Korchenko, A., Tereykovskiy, I., & Bapiyev, I., (2017). Perspectives for using classical neural network models and methods of counteracting attacks on network resources of information systems. News of the national academy of sciences of the republic of Kazakhstan series of geology and technical sciences, 5, 425, 202 – 212.
  5. Batista, J.C., Albiero, V., Bellon, O.R. & Silva, L., (2017). Aumpnet: simultaneous action units detection and intensity estimation on multipose facial images using a single convolutional neural network. Automatic Face & Gesture Recognition. 12th IEEE International Conference, Pp. 866 – 871.
  6. Bojorges, E.R., (2007). Scaling patterns of heart rate variability data. Physiol. Meas., 28(6), 721.
  7. Carew, T.J, & Magsamen, S.H., (2010). Neuroscience and education: an ideal partnership for producing evidence-based solutions to Guide 21(st) Century Learning. Neuron, 67(5), 685-688.
  8. Chandrani, S., Washef, A., Soma, M., & Debasis, M., (2015). Facial Expressions: A Cross-Cultural Study. Emotion Recognition: A Pattern Analysis Approach. Wiley Publ., 69 – 86.
  9. Dawson, M., & Schell, A., (2000). Handbook of Psychophysiology, Cambridge University Press, New York.
  10. Ghosh, S., & Laksana, E., (2015). A multi-label convolutional neural network approach to crossdomain action unit detection. In affective computing and intelligent interaction: international conference, 609 – 615.
  11. He, J., & Li, D., (2017). Multi view facial action unit detection based on CNN and BLSTMRNN. In Automatic Face & Gesture Recognition. 12th IEEE International Conference, 848 – 853.
  12. Hu, Z., Tereykovskiy, I., Zorin, Y., Tereykovska, L., & Zhibek, A., (2018). Optimization of convolutional neural network structure for biometric authentication by face geometry. Advances in Intelligent Systems and Computing, 754, 567 – 577.
  13. Jung, N, Wranke, C, Hamburger, K, & Knauff, M., (2014). How emotions affect logical reasoning: evidence from experiments with mood-manipulated participants, spider phobics, and people with exam anxiety. Front Psychol., 5, 570.
  14. Konar, A., & Chakraborty, A., (2015). Emotion recognition: a pattern analysis approach. Wiley, 583.
  15. Littlewort, G., Whitehill, J., Wu, T., Fasel, I., Frank, M., Movellan, J. & Bartlett, M., (2011). The Computer Expression Recognition Toolbox (CERT). Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition, pp. 298 – 305.
  16. Milborrow, S., Nicolls, F. (2014). Active Shape Models with SIFT Descriptors and MARS. VISAPP (2) Publ., 380–387.
  17. Russell, J.A, Bachorowski, J.A, Fernandez-Dols, J.M. (2003). Facial and vocal expressions of emotion. Annu Rev Psychol., 54, 329 – 49.
  18. Schupp, H.T, Stockburger, J., Codispoti, M., Junghöfer, M., Weike, A.I., & Hamm, A.O., (2007). Selective visual attention to emotion. J Neurosci, 27(5), 1082 – 1089.
  19. Schmidt, S.J., (2017). What Does Emotion Have to Do with Learning? Journal of Food Science Education, 16, 64 – 66.
  20. Shanshan, L., (2009). Facial expression recognition algorithm based on local Gabor wavelet automatic segmentation. Journal of Computer Applications, 11, 29 – 37.
  21. Tariq, U., & Lin, K., (2012). Emotion recognition from an ensemble of features. Systems, man, and cybernetics. IEEE Transactions, 42, 17 – 26.
  22. Tereykovska, L., Tereykovskiy, I., Aytkhozhaeva, E., Tynymbayev, S., & Imanbayev, A., (2017). Encoding of neural network model exit signal, that is devoted for distinction of graphical images in biometric authenticate systems. News of the national academy of sciences of the republic of kazakhstan series of geology and technical sciences, 6, 426, 217– 224.
  23. Tereikovskyi, I.A., Chernyshev, D.O., Tereikovska, L.A., Mussiraliyeva, Sh.Zh., & Akhmed, G.Zh. (2019). The procedure for the determination of structural parameters of a convolutional neural network to fingerprint recognition. Journal of Theoretical and Applied Information Technology, 97, 8, 2381 – 2392.
  24. Um, E., Plass, J.L., Hayward, E.O., & Homer, B.D., (2012). Emotional design in multimedia learning. J. Educ. Psychol., 104, 485 – 498.
  25. Yu, Y., & Acton, S.T. Speckle Reducing Anisotropic Diffusion. IEEE Transactions on Image Processing, 11, February 2002, 1260 – 1270.