dongu-vestnik04.ru Вестник Донецкого университета. Серия 04. Технические науки Vestnik of Donetsk University. Series 04. Technical Sciences 2663-4228 535 10.5281/zenodo.20800042 Articles Статьи Research Article STUDY OF SELECTIVE AUGMENTATION STRATEGIES FOR SEMANTIC SEGMENTATION OF UAV AERIAL IMAGERY ИССЛЕДОВАНИЕ СТРАТЕГИЙ СЕЛЕКТИВНОЙ АУГМЕНТАЦИИ ДЛЯ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ АЭРОФОТОСНИМКОВ БПЛА https://orcid.org/0009-0001-6059-3229 Pikalev IAroslav Sergeevich Пикалёв Ярослав Сергеевич i@pikaliov.ru 1 https://orcid.org/0009-0005-0354-9618 Ustenko Vladimir IUrevich Устенко Владимир Юрьевич ustencko.vova@ya.ru 2 ФГБНУ «Институт проблем искусственного интеллекта» Institute of Artificial Intelligence Problems ФГБНУ «Институт проблем искусственного интеллекта» nstitute of Artificial Intelligence Problems 2 NO2 (05.0) №2 (05.0) 127 140 23 07 2026 Copyright ©; 2026, Вестник Донецкого университета. Серия 04. Технические науки Copyright ©; 2026, Vestnik of Donetsk University. Series 04. Technical Sciences 2026 Вестник Донецкого университета. Серия 04. Технические науки Vestnik of Donetsk University. Series 04. Technical Sciences Эта статья распространяется на условиях лицензии Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) This article is distributed under the terms of the Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0) https://dongu-vestnik04.ru/index.php/vestnik04/article/view/535

Semantic segmentation of aerial images captured by unmanned aerial vehicles (UAVs) is used for urban infrastructure monitoring. Class imbalance remains an unresolved problem during training: small-sized infrastructure objects occupy less than two percent of the scene pixels, resulting in insufficient segmentation accuracy for these categories. Existing data augmentation methods address this problem with reasonable effectiveness. The RareClassToGrayAugMask method, proposed in this paper, performs selective desaturation of pixels only within the masks of designated semantic classes and additionally distorts the desaturation region, which improves robustness and model invariance to color in the areas of rare objects.

Семантическая сегментация аэрофотоснимков полученных с помощью беспилотных летательных аппаратов (БПЛА) применяется для мониторинга городской инфраструктуры. При обучении дисбаланс классов остаётся нерешённой проблемой: объекты инфраструктуры малого размера занимают менее двух процентов пикселей сцены, что приводит к недостаточной точности сегментации на этих категориях. Существующие методы расширения данных довольно эффективно позволяют бороться с проблемой. Метод RareClassToGrayAugMask, предложенный в настоящей статье, выполняет селективное обесцвечивание пикселей только в областях масок заданных семантических классов, а также искажает область обесцвечивания, что повышает робастность, инвариантность модели к цвету в областях редких объектов.

 semantic segmentation, StripNet, FPN, SynDrone, UAV, aerial imagery, selective augmentation, RareClassToGrayAugMask, Copy-Paste семантическая сегментация, StripNet, FPN, SynDrone, БПЛА, аэрофотосъёмка, селективная аугментация, RareClassToGrayAugMask, Copy-Paste Результаты исследований получены в рамках НИР FREN-2024-0002 «Извлечение семантической информации из изображений для автономных систем навигации БПЛА». Результаты исследований получены в рамках НИР FREN-2024-0002 «Извлечение семантической информации из изображений для автономных систем навигации БПЛА».

[Полный текст статьи отсутствует в исходных данных. Необходимо добавить текст из PDF или другого источника.]

Список литературы 1. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation / L.-C. Chen, Y. Zhu, G. Papandreou [et al.] // Lecture Notes in Computer Science. – 2018. – Vol. 11211. – P. 801-818. 2. Зуев, В. М. Сравнение обнаружения объектов средствами искусственного интеллекта в сравнении с классическими методами / В. М. Зуев // Проблемы искусственного интеллекта. – 2024. – Т. 34, № 3. – С. 4-10. 3. SynDrone – Multi-modal UAV Dataset for Urban Scenarios / G. Rizzoli, F. Barbato, M. Caligiuri [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). – 2023. – P. 2236-2246. 4. Пикалёв, Я. С. Обнаружение ключевых объектов и перекрёстная геолокализация: анализ наборов данных и методологические перспективы / Я. С. Пикалёв // Проблемы искусственного интеллекта. – 2024. – № 4 (35). – С. 25-37. – DOI 10.24412/2413-7383-2024-4-25-37. 5. Устенко, В. Ю. Методика расширения данных для сегментации ключевых объектов на аэрофотоснимках БПЛА / В. Ю. Устенко, М. В. Близно // Проблемы искусственного интеллекта. – 2025. – № 4 (39). – С. 84-97. – DOI 10.24412/2413-7383-2025-4-39-84-97. 6. Image Segmentation Using Deep Learning: A Survey / S. Minaee, Y. Boykov, F. Porikli [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2022. – Vol. 44, no. 7. – P. 3523-3542. 7. Shorten, C. A Survey on Image Data Augmentation for Deep Learning / C. Shorten, T. M. Khoshgoftaar // Journal of Big Data. – 2019. – Vol. 6, No. 1. – Art. 60. 8. DeVries, T. Improved Regularization of Convolutional Neural Networks with Cutout / T. DeVries, G. W. Taylor // arXiv preprint. – 2017. – URL: https://arxiv.org/abs/1708.04552. 9. Masked Autoencoders Are Scalable Vision Learners / K. He, X. Chen, S. Xie [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2022. – P. 16000-16009. 10. Choi, J. Colorful Cutout: Enhancing Image Data Augmentation with Curriculum Learning / J. Choi, Y. Kim // arXiv preprint. – 2024. – URL: https://arxiv.org/pdf/2403.20012. 11. Mixup: Beyond empirical risk minimization/ H. Zhang, M. Cisse, Y. N. Dauphin [et al.] // arXiv preprint. – 2017. – URL: https://arxiv.org/abs/1710.09412. 12. CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features / S. Yun, D. Han, S. Chun [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). – 2019. – P. 6023-6032. 13. Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation / G. Ghiasi, Y. Cui, A. Srinivas [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2021. – P. 2917-2928. 14. ImageNet-trained CNNs are biased towards textures; increasing shape bias improves accuracy and robustness / R. Geirhos, P. Rubisch, C. Michaelis [et al.] // Proceedings of the International Conference on Learning Representations (ICLR). – 2019. – 22 p. 15. Lee, J. Improving Robustness to Texture Bias via Shape-Focused Augmentation / J. Lee, S. Kim, S. Kim [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2022. – P. 4323-4331 16. Deep Long-Tailed Learning: A Survey / Y. Zhang, B. Kang, B. Hooi [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2023. – Vol. 45, No. 9. – P. 10795-10816. 17. CP2M: Clustered-Patch-Mixed Mosaic Augmentation for Aerial Image Segmentation / Y. Li [et al.] // arXiv preprint. – 2025. – URL: https://arxiv.org/pdf/2501.15389. 18. UAVid: A Semantic Segmentation Dataset for UAV Imagery / Y. Lyu, G. Vosselman, G.-S. Xia [et al.] // ISPRS Journal of Photogrammetry and Remote Sensing. – 2020. – Vol. 165. – P. 108-119. – DOI 10.1016/j.isprsjprs.2020.05.009. 19. Pyramid Scene Parsing Network / H. Zhao, J. Shi, X. Qi [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 6230-6239. 20. The Pascal Visual Object Classes (VOC) Challenge / M. Everingham, L. Van Gool, C. K. I. Williams [et al.] // International Journal of Computer Vision. – 2010. – Vol. 88, No. 2. – P. 303-338. 21. Hermann, K. L. The Origins and Prevalence of Texture Bias in Convolutional Neural Networks / K. L. Hermann, T. Chen, S. Kornblith // Advances in Neural Information Processing Systems (NeurIPS). – 2020. – Vol. 33. – P. 19000-19015. 22. Feature Pyramid Networks for Object Detection / T.-Y. Lin, P. Dollar, R. Girshick [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 936-944. REFERENCES LIST 1. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation / L.-C. Chen, Y. Zhu, G. Papandreou [et al.] // Lecture Notes in Computer Science. – 2018. – Vol. 11211. – P. 801-818. 2. Zuev, V. M. Sravnenie obnaruzheniia obieektov sredstvami iskusstvennogo intellekta v sravnenii s klassicheskimi metodami / V. M. Zuev // Problemy iskusstvennogo intellekta. – 2024. – T. 34, № 3. – S. 4-10. 3. SynDrone – Multi-modal UAV Dataset for Urban Scenarios / G. Rizzoli, F. Barbato, M. Caligiuri [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). – 2023. – P. 2236-2246. 4. Pikalev, Ia. S. Obnaruzhenie kliuchevykh obieektov i perekrestnaia geolokalizatsiia: analiz naborov dannykh i metodologicheskie perspektivy / Ia. S. Pikalev // Problemy iskusstvennogo intellekta. – 2024. – № 4 (35). – S. 25-37. – DOI 10.24412/2413-7383-2024-4-25-37. 5. Ustenko, V. Iu. Metodika rasshireniia dannykh dlia segmentatsii kliuchevykh obieektov na aerofotosnimkakh BPLA / V. Iu. Ustenko, M. V. Blizno // Problemy iskusstvennogo intellekta. – 2025. – № 4 (39). – S. 84-97. – DOI 10.24412/2413-7383-2025-4-39-84-97. 6. Image Segmentation Using Deep Learning: A Survey / S. Minaee, Y. Boykov, F. Porikli [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2022. – Vol. 44, no. 7. – P. 3523-3542. 7. Shorten, C. A Survey on Image Data Augmentation for Deep Learning / C. Shorten, T. M. Khoshgoftaar // Journal of Big Data. – 2019. – Vol. 6, No. 1. – Art. 60. 8. DeVries, T. Improved Regularization of Convolutional Neural Networks with Cutout / T. DeVries, G. W. Taylor // arXiv preprint. – 2017. – URL: https://arxiv.org/abs/1708.04552. 9. Masked Autoencoders Are Scalable Vision Learners / K. He, X. Chen, S. Xie [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2022. – P. 16000-16009. 10. Choi, J. Colorful Cutout: Enhancing Image Data Augmentation with Curriculum Learning / J. Choi, Y. Kim // arXiv preprint. – 2024. – URL: https://arxiv.org/pdf/2403.20012. 11. Mixup: Beyond empirical risk minimization/ H. Zhang, M. Cisse, Y. N. Dauphin [et al.] // arXiv preprint. – 2017. – URL: https://arxiv.org/abs/1710.09412. 12. CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features / S. Yun, D. Han, S. Chun [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). – 2019. – P. 6023-6032. 13. Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation / G. Ghiasi, Y. Cui, A. Srinivas [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – 2021. – P. 2917-2928. 14. ImageNet-trained CNNs are biased towards textures; increasing shape bias improves accuracy and robustness / R. Geirhos, P. Rubisch, C. Michaelis [et al.] // Proceedings of the International Conference on Learning Representations (ICLR). – 2019. – 22 p. 15. Lee, J. Improving Robustness to Texture Bias via Shape-Focused Augmentation / J. Lee, S. Kim, S. Kim [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2022. – P. 4323-4331 16. Deep Long-Tailed Learning: A Survey / Y. Zhang, B. Kang, B. Hooi [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2023. – Vol. 45, No. 9. – P. 10795-10816. 17. CP2M: Clustered-Patch-Mixed Mosaic Augmentation for Aerial Image Segmentation / Y. Li [et al.] // arXiv preprint. – 2025. – URL: https://arxiv.org/pdf/2501.15389. 18. UAVid: A Semantic Segmentation Dataset for UAV Imagery / Y. Lyu, G. Vosselman, G.-S. Xia [et al.] // ISPRS Journal of Photogrammetry and Remote Sensing. – 2020. – Vol. 165. – P. 108-119. – DOI 10.1016/j.isprsjprs.2020.05.009. 19. Pyramid Scene Parsing Network / H. Zhao, J. Shi, X. Qi [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 6230-6239. 20. The Pascal Visual Object Classes (VOC) Challenge / M. Everingham, L. Van Gool, C. K. I. Williams [et al.] // International Journal of Computer Vision. – 2010. – Vol. 88, No. 2. – P. 303-338. 21. Hermann, K. L. The Origins and Prevalence of Texture Bias in Convolutional Neural Networks / K. L. Hermann, T. Chen, S. Kornblith // Advances in Neural Information Processing Systems (NeurIPS). – 2020. – Vol. 33. – P. 19000-19015. 22. Feature Pyramid Networks for Object Detection / T.-Y. Lin, P. Dollar, R. Girshick [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 936-944.