Современные модели глубокого обучения занимаются машинным переводом на все языки мира, выдают рекомендации пользователям киносервисов и маркетплейсов, строят графы знаний, генерируют изображения по тексту и диагностируют заболевания по медицинским снимкам. Однако человеку по-прежнему сложно интерпретировать решения моделей, что может тормозить внедрение ИИ-технологий в критически важные сферы, например, в медицину.
«Обычно модель машинного обучения воспринимается как черный ящик: на “вход” мы подаем какую-то информацию, на “выходе” — получаем результат. Но на практике специалистам, принимающим решения при помощи ИИ-сервисов, важно понимать причины, почему результат получился таким. Большинство современных моделей машинного обучения — чёрные ящики, в них нет механизмов для объяснения поведения модели. Наша научная работа и полученные результаты позволили приблизиться к пониманию того, что происходит внутри инструментов, основанных на искусственном интеллекте», — рассказал Данис Алукаев, студент Университета Иннополис.
По словам группы исследователей из России, Дании и Великобритании, объяснение принятых решений моделей машинного обучения увеличит доверие врачей и других специалистов при работе с искусственным интеллектом. Так, рентгенолог будет видеть не только поставленный ИИ-сервисом диагноз — пневмонию лёгкого, но и то, что решение вынесено из-за обнаруженных на анализируемом рентгеновском снимке признаков «матового стекла» — участков уплотнения легочной ткани.
Используя предложенную модель врач сможет при необходимости вносить изменения в промежуточные результаты, полученные от ИИ-сервиса. К примеру, если одна из предпосылок к предсказанию патологии на снимке был симптом «матового стекла», но рентгенолог уверен, что там его нет, — врач может убрать эту предпосылку из рассуждений модели и повлиять на предсказание.
Одним из подходов для повышения интерпретируемости решений моделей глубокого обучения ученые называют концептуализированную модель, или Concept Bottleneck Models. В этом подходе искусственный интеллект сначала предсказывает набор концептов, описывающий понятную человеку абстракцию: размер, позицию, текстуру, цвет, форму. Затем на основе полученного набора концептов модель делает предсказание: обнаружена ли на рентгеновском снимке патология органа, или нет. Такое предсказание авторы называют целевым. Основная идея исследователей — для объяснения целевого предсказания решения модели глубокого обучения достаточно посмотреть на предсказанные концепты и на их основе сделать вывод о достоверности предсказания.
«При таком подходе необходимо заранее выбрать набор концептов. Но возникают вопросы: на каких данных обучать модели и как разметить обучающие примеры, ведь разметка требует много времени и делается человеком вручную? Для своих экспериментов наша команда использовала 18 620 рентгеновских изображений разных органов, аннотаций врачей, разметок патологий и симптомов, которые мы использовали в других ИИ-исследованиях в этой области. Уникальность медицинских данных в том, что в них хранятся много как изображений, так и текстовых описаний — заключений рентгенологов. Мы разработали подход, где вместо набора концептов используются текстовые описания — это принципиально отличает наш метод от уже существующих», — заявил Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис.
Исследователи выяснили, что при совместном использовании изображения и текста искусственный интеллект учится лучше и лучше обобщает закономерности, поэтому при атаке злоумышленников модель останется устойчивой. Кроме того, для предложенного авторами метода не требуется ручная разметка концептов — они автоматически выделяются моделью во время обучения, что позволяет создать оптимальный набор концептов и не тратить человеческий ресурс на рутинное аннотирование.
«Эксперименты показали, что наш подход повышает не только интерпретируемость решений, но и робастность — устойчивость моделей глубокого обучения, что важно для безопасности использования ИИ. Во время экспериментов мы намеренно добавляли в набор тренировочных изображений метки, на основе которых ей было бы проще решать задачу классификации. Затем на тестовой выборке мы убирали эти метки и замеряли точность, интерпретируемость представлений. Оказалось, что базовая модель, в основном, полагалась на облегчающие задачу метки и ее точность при их отсутствии упала на треть. Наша же модель, напротив, использовала интересующий объект, например, больше обращала внимание на зону вокруг патологии органа на рентгеновском снимке, то есть намеренно выбирала более надежные и при этом сложные способы решения задачи, и ее точность сохранялась», — объясняет Данис Алукаев, студент Университета Иннополис.
Подробное описание кросс-модального метода объяснения решений моделей машинного обучения опубликовано в сборнике научной конференции Conference on Empirical Methods in Natural Language Processing EMNLP 2023.
Читать далее:
Найдена неожиданная и еще необъяснимая особенность за пределами Млечного Пути
Найдена галактика, которая просто не может существовать
На CES 2024 показали гаджет «из будущего»: он все делает сам
Обложка: rawpixel.com | Сведения о лицензии