Ученые из Университета Карнеги-Меллона хотят решить проблему доступа к мемам среди незрячих людей. Группа обучила систему классификации и анализу мемов с точностью до 92%, что позволяет автоматически пересказывать их слабовидящим.
Это очень сложная задача, отметили ученые. «Мемы часто сделаны так, что они исключают тех, кто не понимает или не имеет возможности их понять с первого раза», — отмечает Скотт Уорк, исследователь мемов в Университете Уорвика.
Многие слабовидящие люди используют увеличители экрана и скринридеры для навигации. Такие программы хорошо подходят для чтения текстов, но не подходят для более сложного контента — например, мемов.
«Стереотипные мемы — это изображение с подписями сверху и снизу. Но за последние несколько лет они стали намного более странными. У многих из них нет сюжета, как в шутках. Поэтому сделать текстовое описание — alt-text, которое произносится вслух, обычно очень сложно».
Система, которую тренируют исследователи, сначала распознает, является изображение мемом или нет. Если это мем, то система пытается классифицировать его как показательный пример шаблона в базе данных (например, «Успешный ребенок» или «Ну давай, расскажи мне») и распознает текст — так она понимает контекст шутки.
Исследователи уверены, что их программа сделает интернет доступным для всех. «Мемы не всегда понятны, потому что часто их генерируют сами пользователи, их сложно классифицировать, — говорят они. — Однако чем дальше мы будем продвигаться в обучении системы, тем больше она будет понимать контекст и сами шутки — и объяснять их пользователям».