Нейронной сети, обученной на опыте маленького ребенка, удалось изучить один из основных компонентов языка: как сопоставлять слова с объектами, которые они представляют.
Команда исследователей из Нью-Йоркского университета проверила, может ли искусственный интеллект учиться как ребенок. Проанализировав записи с камеры, установленной на голове ребенка, нейросеть научилась сопоставлять слова с объектами, которые они означают. Исследование дает представление о том, как учатся дети, и поможет создать более эффективные модели ИИ, считают ученые.
Для эксперимента исследователи использовали 61 час записей с камеры на шлеме, который носил Сэм, маленький мальчик из Австралии. С 0,5 года до 2 лет около 1% времени бодрствования ребенок проводил в шлеме. На видео попали две кошки Сэма, его родители, кроватка и игрушки, дом, еда и многое другое.
Для обучения модели ученые использовали 600 тыс. кадров в сочетании с фразами, которые произносили родители Сэма или другие люди в комнате, когда изображение было снято — всего 37 500 «высказываний». Иногда слова и предметы совпадали. Иногда — нет. Команда дала модели две подсказки. Когда объекты и слова встречаются вместе, это признак того, что они могут быть связаны. Но когда объект и слово не встречаются вместе, это признак того, что они, скорее всего, не совпадают.
Сопоставление слов с объектами может показаться простой задачей, но это не так, объясняют авторы исследования. На каждом кадре присутствует огромное количество предметов — например, в гостиной это может быть мебель, чашки, детские игрушки, люди животные. Когда родители произносят незнакомое слово «мяч» оно может относиться к любому предмету.
Проблема настолько сложна, что некоторые психологи развития утверждают, что дети должны рождаться с врожденным пониманием того, как работает язык, чтобы иметь возможность выучить его так быстро. Но исследование показывает, что некоторым частям языка можно научиться на основе очень небольшого набора опыта даже без этой врожденной способности, говорит психолог Джесс Салливан, которая участвовала в сборе данных для обучения модели.
Младенцы обучаются лучше, чем передовые большие языковые модели. Чтобы научиться сносно писать по-английски, ChatGPT обучалась на огромных наборах данных, содержащих миллионы или даже триллионы слов. А детям хватает гораздо меньшего набора информации, чтобы научиться поддерживать разговор. Понимание принципов обучения детей поможет создать более эффективные модели ИИ, которым не будут нужны огромные массивы размеченных данных.
Читать далее:
«Возможно, это семена»: органика с астероида Рюгу может объяснить происхождение жизни на Земле
Ученые наконец-то выяснили, почему ночью насекомые роятся вокруг света
Посмотрите на 19 галактик в беспрецедентной детализации от «Уэбба»
На обложке: кадр из видео Нью-Йоркского университета