В рамках чемпионата GLUE оценивается, насколько хорошо искусственный интеллект может понять человеческий язык. Соревнования состоят из девяти текстов — в них надо, например, выделить имена собственные в предложениях, либо определить, на что именно указывает местоимение.
Средний человек проходит этот тест на 87 баллов из 100. Искусственный интеллект ERNIE от Baidu обошел человека и набрал 90 баллов — это рекордный показатель в этом чемпионате.
При этом ERNIE определяет не только английский язык, на котором проходил конкурс, но и китайский — тоже чуть лучше среднего носителя языка. Искусственный интеллект ERNIE может не только предсказывать и интерпретировать значения слов по контексту, но и угадывать 15% других слов, абсолютно не зная их.
ERNIE работает при помощи метода наложения маски, таким же образом работал и предыдущий победитель конкурса — искусственный интеллект BERT от Google.
При этом искусственный интеллект ERNIE создан не специально для участия в этом конкурсе. Baidu использует его для улучшения результатов работы своего поисковика, а также для повышения точности ответов своего помощника Сяо Ду.