НОВІТНІЙ МЕТОД ОЦІНКИ ТОЧНОСТІ КЛАСИФІКУВАННЯ ЗОБРАЖЕНЬ, ОТРИМАНИХ ІЗ ВИКОРИСТАННЯМ БЕЗПІЛОТНИХ ЛІТАЛЬНИХ АПАРАТІВ НА ОСНОВІ ЗВАЖЕНОЇ МАТРИЦІ ПОМИЛОК ТА ЇЇ КОЕФІЦІЄНТІВ ТОЧНОСТІ

Заголовок (англійською): 
THE NEW METHOD FOR ACCURACY ASSESSMENT OF IMAGE CLASSIFICATION OBTAINED USING UNMANNED AERIAL VEHICLES BASED ON A WEIGHTED CONFUSION MATRIX AND ITS ACCURACY COEFFICIENTS
Автор(и): 
Альперт С. І.
Автор(и) (англ): 
Alpert Sofiia
Ключові слова (укр): 
зважена матриця помилок; оцінка точності; коефіцієнти точності; моніторинг навколишнього середовища
Ключові слова (англ): 
Weighted confusion matrix; accuracy assessment; accuracy coefficients; environmental monitoring
Анотація (укр): 
Запропоновано новий метод для оцінки точності класифікування зображень, отриманих із застосуванням дистанційного зондування Землі на основі безпілотних літальних апаратів, який може бути застосований для вирішення різноманітних екологічних та практичних завдань. На сьогодні тематичні карти відіграють важливу роль у вирішенні різних завдань дистанційного зондування Землі. Тематичні карти застосовуються при класифікуванні лісів, для визначення типів та властивостей ґрунтів, для екологічного моніторингу, при пошуку нафти та газу. Тому оцінка точності є необхідною для оцінки якості тематичних карт. Важливо знати точність тематичних карт, перш ніж вони будуть використані для подальших наукових досліджень. Користувачі і виробники карт порівнюють декілька карт, щоб вибрати кращу, або перевіряють, наскільки вони збігаються. Для оцінювання точності тематичних карт запропоновано використовувати зважену матрицю помилок. Запропонована зважена матриця була порівняна з матрицею помилок. Відзначено, що матриця помилок потребує великих вибірок та не враховує “серйозність” помилок. Наведено основні переваги зваженої матриці помилок, а також зауважено, що зважена матриця помилок надає різну вагу різним помилкам класифікування. Ця властивість зваженої матриці помилок є дуже важливою, коли не усі помилки є однаково серйозними та грубими для користувача. Запропонований метод використовує вагову матрицю для матриці помилок, яка надає вагу кожному елементу матриці помилок. У роботі описано коефіцієнти точності зваженої матриці помилок, такі як: загальна точність, точність користувача, точність виробника та усереднені вагові функції для кожного класу та їх основні властивості. Також розглянуто числовий приклад розрахунку коефіцієнтів точності зваженої матриці помилок. Запропонований новий метод для оцінки точності класифікування зображень можна застосувати для класифікування земляного покриву, для моніторингу навколишнього середовища, для пошуку корисних копалин та вирішення чисельних сільськогосподарських завдань.
Анотація (англ): 
The proposed new method for accuracy assessment of image classification in UAV-based Remote Sensing can be applied in solution of different ecological and practical tasks. Nowadays thematic maps play an important role in solution of different remote sensing tasks. Thematic maps are applied for forest classification, determing of soil types and properties, environmental monitoring, exploring of oil and gas. That’s why the accuracy assessment is necessary to evaluate the quality of thematic maps. It is important to know the accuracy of thematic maps before they are used for further scientific investigations. Users and producers of maps compare several maps to see which is best, or to check how well they agree. It was proposed to use Weighted confusion matrix for accuracy assessment of thematic maps. Proposed Weighted confusion matrix was considered with Confusion matrix. It was noted, that Confusion matrix needs in large samples and can not take into account the “seriousness” of errors. It also were shown main advantages of Weighted confusion matrix. It was noted, that Weighted confusion matrix gives different weights for different mistakes of classification. Proposed Weighted confusion matrix gives a partial credit for classification results. This property of the Weighted confusion matrix is very important, when not all mistakes are equally serious and rough for user. Proposed method uses the Weights matrix for Confusion matrix that contains weights for each element in the Confusion matrix. Accuracy coefficient of the Weighted confusion matrix, such as: Overall accuracy, User’s accuracy, Producer’s accuracy and Weighted average of the weights for each class and their main properties were described in this work too. It was also considered a numerical example of calculation of accuracy coefficients of Weighted confusion matrix. This proposed new method for accuracy assessment of image classification can be applied in land-cover classification, environmental monitoring, exploring for minerals, numerous agricultural tasks.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 45, 2021
Назва журналу, номер, рік випуску (рус): 
Управление развитием сложных систем, номер 45, 2021
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems, Number 45, 2021
Мова статті: 
Українська
Формат документа: 
application/pdf
Документ: 
13.pdf
Дата публікації: 
12 Февраль 2021
Номер збірника: 
45
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ ПРОЄКТУВАННЯ
Університет автора: 
Науковий Центр аерокосмічних досліджень Землі ІГН НАН України, Київ
Литература: 
  1. Story, M., & Congalton, R. G., (1986). Accuracy assessment: A user’s perspective. Photogramm. Eng. Remote Sensing, 52, 397–399.
  2. Hardin, P. J., & Shumway, J. M., (1997). Statistical significance and normalized confusion matrices. Photogramm. Eng. Remote Sensing, 63, 735–740.
  3. Congalton, R. G., (1991). A review of assessing the accuracy of classifications of remotely sensed data. Remote Sensing of Environment, 37, 35–46.
  4. Cohen, J., (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70, 426–443.
  5. Alpert, М. І., & Alpert, S. І., (2020). New methods to determine basic probability assignment and data fusion in Hyperspectral Image Classification. Proceedings of the XIX-th International Conference on Geoinformatics – Theoretical and Applied Aspects, Kyiv, pp. 1–5.
  6. Alpert, S., (2020). A new approach to applying the discount rule in hyperspectral satellite image classification. Management of Development of Complex Systems, 43, 76 – 82.
  7. Cochran, W. G., (1977). Sampling Techniques. New York: John Wiley and Sons, 421–428.
  8. Popov, M. A., Alpert, S. I., & Podorvan, V. N., (2017). Satellite image classification method using the Dempster-Shafer approach. Izvestiya, atmospheric and oceanic. Physics, 53(9), 1112–1122.
  9. Popov, M., Alpert, S., Podorvan, V., Topolnytskyi M., & Mieshkov, S., (2015). Method of Hyperspectral Satellite Image Classification under Contaminated Training Samples Based on Dempster-Shafer’s Paradigm. Central European Researchers Journal, 1(1), 86–97.
  10. Chang, C. I., (2013). Hyperspectral Data Processing: Algorithm Design and Analysis. Hoboken, NJ: John Willey & Sons, 1164.
  11. Congalton, R. G., (1999). Assessing the Accuracy of Remotely Sensed Data: Principles and Practices. CRC Press: Taylor & Francis Group, 130–137.
  12. Congalton, R. G., Oderwald, R. G., & Mead, R. A. (1983). Assessing Landsat classification accuracy using discrete multivariate analysis statistical techniques. Photogramm. Eng. Remote Sensing, 1, 1671–1678.