Инженеры из Университета Карнеги — Меллон и Кливлендской клиники создали систему CMR-CLIP. Она анализирует движущиеся изображения сердца и связывает их с врачебными описаниями. Ручная разметка данных не понадобилась. О разработке сообщает «Хайтек» со ссылкой на пресс-службу Cleveland clinic.
Американские учёные создали систему CMR-CLIP, которая анализирует кардиологические МРТ-снимки без ручной разметки данных. Модель связывает движущиеся изображения сердца с текстами врачебных заключений и учится напрямую на том, как врачи описывают снимки в реальной практике. При тестировании она обошла универсальные ИИ-модели более чем на 35%, а в отдельных задачах точность достигала 99%.
Кардиологический МРТ считается золотым стандартом для оценки структуры, функции и состояния тканей сердца. Одно исследование может содержать тысячи снимков в разных проекциях и временных точках. Опытный специалист тратит на расшифровку 40 минут и больше. Оборудование дорогое, экспертов мало, а спрос растёт. При этом большинство систем искусственного интеллекта требует больших наборов данных с ручной разметкой, а в кардиологии делать её дорого и долго.
Разработчики CMR-CLIP использовали то, что уже есть в каждой клинике, — врачебные заключения. Каждое МРТ сердца сопровождается отчётом, где врач фиксирует ключевые находки. Модель обучили сопоставлять последовательности снимков с этими текстами. Она смотрит на сердце как на видео бьющегося органа и обрабатывает несколько стандартных проекций одновременно, улавливая и структуру, и движение.
Тренировка шла на 13 тысячах обезличенных исследований из Кливлендской клиники. Это больше миллиона изображений и сотни тысяч движущихся последовательностей, собранных за десять лет. На выходе система смогла распознавать сердечные патологии в режиме zero-shot: ей показывали снимок и давали описание вроде «увеличенный левый желудочек», и она находила совпадения без прямого обучения на эти метки.
Даже с одним примером болезни CMR-CLIP часто догоняла другие модели, которым требовались десятки размеченных случаев. Система также научилась искать похожие случаи по текстовому запросу в больших архивах. Это может помочь врачам быстро сравнивать пациентов со сложными или редкими состояниями.
Ключевая проверка прошла на двух сторонних наборах данных из Франции и Флориды. Модель показала стабильно высокий результат, а значит, способна работать за пределами одной больницы.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: magnific
