Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

На проходящей в Хайфе 25-ой Конференции PACT 2016 исследователи МТИ представили новый язык программирования Milk, позволяющий разработчикам более эффективно управлять памятью в программах, которые работают с разрозненными значениями в больших наборах данных. Его производительность, как показали испытания, в 4 раза выше, чем у существующих языков.

Проблема больших наборов данных не в том, что их много, объясняет профессор Саман Амарасингх, а в том, что они «рассредоточены». Современные микрочипы не оптимизированы под рассредоточенные данные. Если алгоритму нужны, скажем, всего 20 книг из двух миллионов хранящихся в базе данных, скорее всего, находящиеся рядом с нужной книгой еще 100 книг окажутся совершенно несвязанными с ней. Таким образом, придется обращаться к памяти за каждой отдельной книгой, а это крайне неэффективно и медленно, пишет MIT News.

Milk добавляет несколько команд в OpenMP, расширение таких языков, как С и Fortran, который облегчает написание кода для многоядерных процессоров. С его помощью программист вставляет пару дополнительных строчек вокруг любой инструкции, которая ищет относительно малое число элементов в большом объеме данных. Затем компилятор Milk решает, как управлять памятью в соответствии с командами.

Когда ядро получает от Milk запрос на какие-то данные, оно не запрашивает их в основной памяти. Вместо этого оно добавляет адрес элемента данных в список сохраненных локально адресов. Когда список становится достаточно длинным, все ядра объединяют их и группируют адреса, а затем перераспределяют их по ядрам. Таким образом, каждое ядро запрашивает только те элементы, которые ему нужны и которые оно может эффективно найти.

«Большинство важных приложений сегодня используют большое количество данных, но, к сожалению, растущий разрыв между производительностью памяти и процессора означает, что они используют аппаратное обеспечение не на полную мощность, — говорит Матей Захария из Стэнфорда. — Milk помогает преодолеть этот разрыв, оптимизировав доступ памяти в обычных структурных компонентах».

Новые технологии и проблемы, возникающие с их внедрением, нередко требуют новых подходов. Хотя языков программирования много, время от времени возникает необходимость в новых. Еще одним примером может служить язык Simit, о котором мы писали в августе, разработанный инженерами МТИ и ускоряющий компьютерное моделирование в 200 раз.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 2 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
«Роботы разрушат социум бедных стран и вызовут волну миграции»
Образование будущего
«Квантовый интернет появится к 2030 году»
Мнения
Соцсеть на блокчейне платит пользователям за посты
Идеи
Tesla установит в домах розетки для электромобилей
Тренды
Новая камера оснастит 3D-зрением смартфоны и робомобили
Виртуальная реальность
Материалы будущего
Изобретен материал, который охлаждает себя сам
Samsung запатентовал Galaxy Note со встроенным алкотестером
Тренды
Беспилотный транспорт
Российская компания показала испытания беспилотного комбайна
Лондон станет первым в мире городом — национальным парком
Кейсы
Умные замки LockState заблокировались после обновления ПО
Кейсы
Uber обновил версию своего приложения для бизнеса
Тренды
В Германии протестировали первую электростанцию-аккумулятор
Хранение энергии
Создан метод управления фотосинтезом, который поможет накормить мир
Борьба с голодом
Ученые распечатали лабораторию на чипе размером менее 100 мкм
Микроэлектроника
Нефтяные корпорации начали инвестировать в чистую энергетику
Энергетика
В Иннополисе пройдет первая конференция Innovate or Die
Цифровая трансформация
Аккумуляторы
На смену литий-ионным батареям придут цинково-воздушные
«Нейроинтерфейсы лишат людей когнитивной свободы»
Мнения
Китайская компартия создаст комитет для надзора за дата-центром Apple
Свобода интернета
Eva — самый доступный по цене промышленный робот
Робототехника
Победитель чемпионата по Call of Duty получил $1,5 млн
Кейсы
Разработана «заплатка» для сердца и других органов
Медицина будущего
Билл Гейтс пожертвовал на благотворительность рекордные $4,6 млрд
Кейсы
Китай учится уважать чужие патенты и защищать свои
Интеллектуальная собственность
Рост минимальной зарплаты повышает риск автоматизации
Тренды
Жидкая биопсия станет доступной уже в 2018 году
Идеи
Кейсы
Continental заново изобрела колесо
В США число роботов на заводах выросло на 20% за 5 лет
Автоматизация
Мнения
8 наций, которым грозит вымирание
ИИ автоматизирует сбор отпечатков пальцев на месте преступления
Идеи
Бот пишет новости за 2-3 секунды после завершения матча
Робо-журналистика
В роботакси Lyft будут работать люди, но не в качестве водителей
Идеи
ИИ избавит потоковое видео от подвисаний
Искусственный интеллект
Toyota и ИТ-компании создают экосистему умных автомобилей
Интернет вещей
Hyperloop появится в Азии через 3-4 года
Тренды
«Только кооперация ИИ с человеком предотвратит восстание машин»
Идеи
Тренды
«Вытеснение обычных денег криптовалютами неизбежно»
Французская компания выпускает уникальные модульные электромобили
Электромобили
Tesla представила передвижную модель дома будущего
Чистая энергия
Разработана летающая версия DeLorean из «Назад в будущее»
Летающие автомобили
Блокчейн-стартап за час заработал на ICO $187 млн
Кейсы
Призеры крупнейшего чемпионата по Dota 2 выиграли $24 млн
Киберспорт
Google купила сервис диагностики болезней с помощью смартфона
Идеи
Илон Маск: «Искусственный интеллект опаснее Северной Кореи»
Искусственный интеллект
Google обучит цифровым навыкам 10 млн молодых африканцев
Кейсы
BitFury внедрит блокчейн в сферу медицины
Тренды
В Барселоне проведут эксперимент с БОДом
Тренды
Медицина будущего
IBM Watson составил план лечения рака за 10 минут
С начала года BMW продала 50 тысяч электромобилей
Кейсы
Waymo запатентовала мягкие беспилотные автомобили
Тренды
Супертонкие полупроводники продлят действие закона Мура
Полупроводники
Российские исследователи научили нейросеть распознавать запахи
Распознавание запахов
ИИ от Илона Маска превзошел лучших игроков в Dota 2
Искусственный интеллект