Модель LogitGaze-Med предсказывает траекторию взгляда рентгенолога и повышает точность распознавания патологий на 5%. Результаты опубликовали в сборнике конференции NeurIPS.
Мультимодальная модель «ЛогитГейз-Мед» объединяет визуальные признаки от медицинских алгоритмов, текстовые описания диагнозов и семантические данные на уровне фрагментов снимка. В отличие от аналогов, которые опираются только на самые заметные участки изображения, разработка учитывает диагностическую задачу и клинический смысл — анатомические структуры, контуры сердца, затемнения, участки лёгочной ткани.
Специалисты Лаборатории искусственного интеллекта в медицине Университета Иннополис впервые применили в медицинской визуализации метод «логит-линзы». Он заглядывает внутрь нейросети и извлекает из фрагментов снимка понятные описания: «кость», «сердце», «затемнение». На выходе модель выдаёт координаты участков и длительность внимания к ним — так, как это делает врач при клиническом поиске.
Синтетические траектории взгляда проверил практикующий рентгенолог. Визуальный реализм оценили в 4,3 балла из 5, клиническую значимость — в 4,2. Эксперт сумел отличить сгенерированные траектории от реальных лишь в 58% случаев. Когда предсказанные движения взгляда добавили к данным для обучения классификатора патологий, точность распознавания сердечной недостаточности и пневмонии выросла более чем на 5%.
Руководитель лаборатории Илья Першин отметил: генерация траекторий взгляда поможет направлять внимание менее опытных врачей к проблемным зонам на снимках. Модель может лечь в основу симуляторов для обучения рентгенологов. Предсказание взгляда делает работу медицинских ИИ-систем понятнее и укрепляет доверие к ним. Для внедрения потребуется валидация в разных учреждениях.
Авторы работы — Дмитрий Львов и Илья Першин. Исследование поддержало Министерство экономического развития РФ.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: magnific
