Открытие в лингвистике позволит сохранить тысячи редких языков

Новая технология основана на едином тексте, переведенном как минимум на 2000 различных языков — Библии. На основе этих переводов была составлена база данных — Parallel Bible Corpus. Ее недостаточно для промышленных машин вроде Google и других платформ, поэтому Асгари и Шутце придумали другой подход, основанный на способе выражения в различных языках одной грамматической категории — времени.

Большинство языков использует для обозначения времени особые слова или буквенные сочетания. Например, в креольском языке (относительно молодом и простом, поэтому ученые взяли его за образец), прошедшее время обозначается словом «ti». Выделив его и другие указатели на прошлое время в еще 10 языках, они начали поиск по параллельному своду текстов Библии, и обнаружили лингвистические конструкции, выполняющие те же функции в английским и немецком языках, а также в гораздо менее распространенных: в языке гурманчема востока Буркина-Фасо или ялунка, на котором говорят в Западной Африке.

Это позволило ученым создать карту, показывающую, как связаны языки, использующие схожие конструкции для передачи времени. Они разработали компьютерный метод, показывающий, как носители 1000 языков применяют настоящее, прошлое и будущее времена. Это крупнейшее межъязыковое исследование, известное науке.

Карта языковых времен позволяет лучше понять эволюцию языка. Этот же подход можно распространить и на другие лингвистические категории, что упрощает разработку средств машинного перевода на основе ИИ. Отсутствие возможности автоматически переводить на редкий язык ускоряет процесс вымирания языка. Такую тенденцию лингвисты уже наблюдали на примере телевидения: язык, на котором ведется вещание, становится более популярным.

Больше половины населения планеты говорит на пяти языках — английском, испанском, китайском, русском и хинди. На 100 языках говорят 95% жителей Земли. Остальным достались менее распространенные наречия, всего около 6900. На некоторых из них говорят менее 1000 человек, и они могут перейти в категорию мертвых в ближайшие сотню лет. Вместе с ними уйдет и их культурное наследие: уникальные истории, юмор, даже эмоции, пишет MIT Technology Review.

Машинный перевод работает только для единиц самых распространенных языков. Недавно к нейросети Google Translate, которая до того охватывала только 9 языков, присоединились еще три, в том числе — русский. Впрочем, по мнению некоторых исследователей, лет через 10 проблемы языкового барьера у людей не будет.