Разработка нейросетевой модели для оценки степени диабетической ретинопатии по офтальмологическим изображениям с учётом неравномерности классов

Аннотация

В работе представлена мультимодальная нейросетевая модель EYEPACS-ODR для автоматизированной оценки степени диабетической ретинопатии по изображениям глазного дна. Архитектура объединяет визуальные признаки, извлекаемые MedViT-Large, и текстовые описания поражений (MA, HE, EX, SE), формируемые автоматически методом YOLOR-CSP. Для учёта упорядоченности стадий заболевания применяется модуль ординальной регрессии CORAL-Head и многоуровневая функция потерь, включающая CORAL focal loss и pairwise ranking loss. С целью повышения устойчивости разработана двухэтапная стратегия обучения, позволяющая компенсировать выраженный дисбаланс классов и доменное смещение между наборами EyePACS, APTOS и Messidor. Эксперименты показали высокую точность предложенной модели: F1-score = 1.00, MAE = 0.01, устойчивое снижение интегральной функции потерь на тестовой выборке. Результаты подтверждают эффективность мультимодального подхода и демонстрируют его потенциал для внедрения в клинические системы скрининга диабетической ретинопатии.