Научная деятельность трансформируется с развитием технологий. Автоматический сбор и анализ данных, 3D-моделирование и генерация контента с помощью алгоритмов машинного обучения открывают для ученых новые возможности. Это устойчивый тренд в точных науках, но и в гуманитарных областях подход к исследованиям меняется благодаря технологиям. Все больше исследователей погружаются в анализ данных, а специалисты по машинному обучению выбирают предметную область, в которой будут специализироваться. Социологи, историки и искусствоведы работают в связке с ML-специалистами, появляются междисциплинарные команды, проекты и образовательные программы.
Культура и искусство
В культуре и искусстве алгоритмы помогают взглянуть на многие вопросы под другим углом: например, изучить ранее недоступные архивные материалы, воссоздать утраченные предметы искусства или найти новые технологии реставрации. Если раньше приходилось месяцами изучать архивы, собирать источники и приводить данные в нужный формат, то теперь часть процесса можно автоматизировать и ускорить, например, используя механизмы распознавания текста, парсинг данных или «Яндекс.Толоку».
Интересный пример применения алгоритмов в археологии — проект Пизанского университета ArchAIDE. Это мобильное приложение, которое позволяет фотографировать и идентифицировать керамику в полевых условиях. Фотографии объекта обрабатываются обученной нейронной сетью, характеристики сравниваются с коллекцией, после чего находка привязывается к соответствующему типу объектов в коллекции и сохраняется в базе данных. Приложение позволяет пополнять каталог непосредственно во время раскопок, что сокращает время на подготовку и обработку данных.
Технологии помогают не только в изучении предметов искусства, но и в их сохранении и восстановлении. Для этого используются различные методы цифровой геометрии и 3D-моделирования. Примеров довольно много: от проекта Стэнфордского университета по оцифровке статуй Микеланджело до создания подробной виртуальной модели древней Пальмиры.
Алгоритмические методы используются и при реставрации. Так, например, Рейксмюсеум — художественный музей в Амстердаме — реконструировал утраченную часть картины Рембрандта «Ночной дозор», которая была обрезана в 1715 году. За основу взяли копию картины, написанную Лунденсом, и использовали три типа алгоритмов: первый — для определения искажений перспективы и их исправления, второй — для распознавания цветов оригинала и переноса их на утраченные фрагменты и третий — для имитации стиля Рембрандта. Воссозданные части распечатали на холсте и прикрепили к оригиналу в рамках временной выставки.
Языки и литература
В работе с текстами и литературными источниками также используются различные методы машинного обучения: алгоритмы распознавания изображений применяются при изучении древних манускриптов, а языковые модели — при определении тональности или авторства произведения. Один из недавних примеров — расшифровка текстов, записанных с помощью кудзуси-дзи (это вид японской скорописи, которая использовалась до начала XX века). Национальный институт японской литературы опубликовал датасет кудзуси-дзи и организовал открытое соревнование по распознаванию. Лучший результат показала модель KuroNet — совместный проект исследователей Монреальского университета и Национального института информатики Японии.
Технологии машинного обучения можно также использовать для определения авторства литературных произведений и создания систем антиплагиата. Так, чешский исследователь Петр Плехач смог доказать, что пьеса Шекспира «Генрих VIII» была написана в соавторстве с Джоном Флетчером. Ученый разработал алгоритм, способный распознавать характерные для авторов ритм и словарный запас. Соавторство подтвердилось, и оказалось, что Флетчер написал около половины произведения, причем некоторые фрагменты говорят о смешанном авторстве. Однако, по мнению Плехача, алгоритм не может решить вопрос авторства всех произведений Шекспира, так как поэт мог подражать кому-то из современников нарочно.
Междисциплинарное образование
Технологии существенно упрощают работу исследователей, но не заменяют их — экспертиза в предметной области остается первостепенной. Невозможно провести исследование по лингвистике, опираясь лишь на алгоритмы обработки естественного языка, а коллекцию музея не получится оцифровать без участия искусствоведов. Поэтому исследователям важно научиться современным методами работы с данными. В последнее время появляются различные междисциплинарные образовательные программы, призванные включить машинное обучение в инструментарий ученых в гуманитарных областях знаний.
Например, совместная программа дополнительного образования «Яндекса» и Европейского университета ПАНДАН, на которой мы обучаем методам классической статистики, обработки естественных языков и компьютерного зрения. Каждый год студенты этой программы выбирают проекты на базе университета и применяют в своей работе методы машинного обучения — это дает им возможность взглянуть на предмет исследования по-новому и помогает создавать прикладные инструменты для будущих работ.
В прошлом году слушатели с помощью компьютерного зрения и алгоритмов распознавания языка изучали еврейские эпитафии преимущественно второй половины XIX века. Данные для этого проекта были взяты из двух архивов с изображениями надгробий: центр «Петербургская иудаика» Европейского университета предоставил коллекцию фотографий художника и искусствоведа Давида Гобермана, а центр «Сэфер» поделился фотоматериалами из своих экспедиций. Полученные в результате проекта наработки в будущем можно использовать для исследований по иудаике или распространить на другие языки.
Со временем сложилось понимание, что для масштабных исследований нужна постоянная команда. Так на базе Европейского университета появился прикладной центр МАСТ, в котором над проектами вместе работают ученые и технические специалисты. Кроме самостоятельных исследований, в задачи центра также входит разработка полезных прикладных инструментов и библиотек для специалистов из социогуманитарных областей. Один из проектов, над которым МАСТ работает сейчас, связан с созданием доступной и удобной системы поиска на основе открытых данных Государственного каталога Музейного фонда России. Архитектурные и системные решения, разработанные командой МАСТ совместно с искусствоведами, кураторами выставок и сотрудниками музеев, будут полезны как специалистам, так и всем интересующимся культурой и искусством.
Также в Санкт-Петербурге в университете ИТМО работает экспериментальная магистерская программа Art & Science, готовящая специалистов на стыке научного и художественного знания. В процессе обучения художники получают научно-технические навыки, а специалисты в области компьютерных технологий, робототехники, фотоники и биотехнологий учатся реализовывать свой креативный потенциал. Магистранты работают над проектами в области постгуманизма, этики науки и технологий, современного искусства и инноваций в культуре, обучаются визуализации профессиональных данных и работе с новыми материалами. В мае 2021 года прошла выставка работ выпускников, основной темой которой стало взаимодействие живого и синтетического. Так, визуальный ряд кинетической работы Григория Киргизова «Киберриза» менялся в зависимости от движения человека внутри нее, а в инсталляции Лисы Андрущенко «Прикосновение» ритм биения сердца зрителя влиял на динамику изображения.
Когда мы решаем узкоспециальные задачи с помощью машинного обучения, мы двигаем вперед всю науку. С одной стороны, исследователи начинают ставить новые вопросы, на которые невозможно было ответить при ручной обработке данных. С другой стороны, появляются более продвинутые алгоритмы и системы. С помощью технологий мы можем прикоснуться к вечному и сохранить его для потомков, даже если физический объект навсегда утрачен. В этом есть какая-то магия.
Читать далее
Посмотрите на метеорит, который пролетел над Канадой
Посмотрите на первую микрофотографию штамма омикрон
Китайский самолет летит в 5 раз быстрее скорости звука: он облетит Землю за несколько часов