Институт исследований искусственного интеллекта Аллена провел конкурс на создание ИИ систем, в котором приняло участие 800 исследовательских команд. Разработанные для конкурса умные программы должны были пройти тест по естественным наукам уровня восьмого класса. Победителями стали программы, которые ответили лишь на 60% вопросов.
Руководитель проекта профессор компьютерных наук Вашингтонского университета и исполнительный директор Института Аллена Орен Этциони считает, что конкурс стал своего рода проверкой искусственного интеллекта в реальных условиях. Да, нейронные сети научились распознавать изображения и речь, а также выполнять другие задачи. Но они все еще не стали думающими машинами, которые могут поддержать настоящую беседу и пройти простейший тест.
В 2011 году суперкомпьютер IBM Watson обыграл людей в игру на эрудицию Jeopardy! Недавно нейронные сети Google обыграли чемпиона по древнейшее игре го. Но в первом случае компьютер лишь искал конкретные факты, тогда как вопросы для восьмиклассников требуют целой комбинации действий, которые возможны только при понимании задачи.
Вопросы к тесту по естественным наукам от Института Аллена строились не только на базовом знании фактов, но и на более сложных составных знаниях. Один из вопросов звучал так: «Некоторые виды рыб живут большую часть своей взрослой жизни в соленой воде, но откладывают яйца в пресной. Как называется эта способность рыбы приспосабливаться к разным условиям?»
В первую очередь тест, подобный тому, что провел Институт Аллена, строится на понимании естественной речи, в данном случае письменной. Чтобы искусственный интеллект стал лучше ее понимать, нужно использовать комбинацию машинного, глубокого обучения и других инструментов. Участники конкурса, показавшие лучшие результаты, как раз применяли принцип глубокого обучения вместе с другими техниками, но итог все равно оказался не самым впечатляющим.
В конкурсе принимали участие ученые и независимые исследователи, а не сотрудники крупнейших корпораций. Но профессор Этциони не уверен, что алгоритмы IT-гигантов справились бы с задачами значительно лучше. При этом корпорация IBM отказалась принимать участие в эксперименте, так как переключилась на более реальное применение своих технологий и больше не участвует в конкурсах.