Новый язык ускоряет анализ больших данных в несколько раз

Ученые считают, что их разработка поможет выполнить задачи, на которые обычно уходят месяцы, за несколько дней.

«Цель всего этого — показать датологам интересный материал, чтобы они могли скорее воспользоваться новым набором функций, — говорит Макс Кантер, ведущий автор статьи. — Наша методика сокращает время между сбором совокупности данных и получением реальной пользы от них».

Первая часть выступления касалась описания общей структуры анализа данных, которая разбивает процесс на 3 стадии: маркирование данных, или разбиение на категории информационных точек, чтобы их можно было скормить машине; сегментирование данных, или определение того, какие временные отрезки важны для конкретной проблемы; и выделение характерных признаков данных.

Во второй части был представлен новый язык Trane для описания проблем анализа данных и набор алгоритмов, который автоматически рекомбинирует данные разными способами, чтобы определить, для решения каких именно проблем они могут быть использованы, пишет MIT News.

«Это большой шаг к представлению проблемы прогнозирования стандартным способом, чтобы их можно было показать другим аналитикам не вдаваясь в подробности проблемы, — говорит Кири Уогстафф, старший исследователь в LaboratoryJet Propulsion при NASA. — Потому что теперь эксперты, если захотят и смогут выучить этот язык, смогут точнее определять проблемы, чего раньше они делать не могли».

Trane — не единственный язык анализа больших данных, разработанный учеными МТИ. На проходившей в Израиле конференции РАСТ 2016 исследователи МТИ представили новый язык программирования Milk, позволяющий разработчикам эффективнее управлять памятью в программах, которые работают с разрозненными значениями в больших наборах данных. Его производительность в 4 раза выше, чем у существующих языков.