Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

На проходящей в Хайфе 25-ой Конференции PACT 2016 исследователи МТИ представили новый язык программирования Milk, позволяющий разработчикам более эффективно управлять памятью в программах, которые работают с разрозненными значениями в больших наборах данных. Его производительность, как показали испытания, в 4 раза выше, чем у существующих языков.

Проблема больших наборов данных не в том, что их много, объясняет профессор Саман Амарасингх, а в том, что они «рассредоточены». Современные микрочипы не оптимизированы под рассредоточенные данные. Если алгоритму нужны, скажем, всего 20 книг из двух миллионов хранящихся в базе данных, скорее всего, находящиеся рядом с нужной книгой еще 100 книг окажутся совершенно несвязанными с ней. Таким образом, придется обращаться к памяти за каждой отдельной книгой, а это крайне неэффективно и медленно, пишет MIT News.

Milk добавляет несколько команд в OpenMP, расширение таких языков, как С и Fortran, который облегчает написание кода для многоядерных процессоров. С его помощью программист вставляет пару дополнительных строчек вокруг любой инструкции, которая ищет относительно малое число элементов в большом объеме данных. Затем компилятор Milk решает, как управлять памятью в соответствии с командами.

Когда ядро получает от Milk запрос на какие-то данные, оно не запрашивает их в основной памяти. Вместо этого оно добавляет адрес элемента данных в список сохраненных локально адресов. Когда список становится достаточно длинным, все ядра объединяют их и группируют адреса, а затем перераспределяют их по ядрам. Таким образом, каждое ядро запрашивает только те элементы, которые ему нужны и которые оно может эффективно найти.

«Большинство важных приложений сегодня используют большое количество данных, но, к сожалению, растущий разрыв между производительностью памяти и процессора означает, что они используют аппаратное обеспечение не на полную мощность, — говорит Матей Захария из Стэнфорда. — Milk помогает преодолеть этот разрыв, оптимизировав доступ памяти в обычных структурных компонентах».

Новые технологии и проблемы, возникающие с их внедрением, нередко требуют новых подходов. Хотя языков программирования много, время от времени возникает необходимость в новых. Еще одним примером может служить язык Simit, о котором мы писали в августе, разработанный инженерами МТИ и ускоряющий компьютерное моделирование в 200 раз.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Как европейский регламент по защите персональных данных GDPR повлияет на нашу жизнь
Тренды
Как развивается рынок умных домов в России и почему мы еще не живем в них
Умный дом
Падение астероида привело к потеплению на Земле. Оно продолжалось более 100 тыс. лет
Тренды
Киберспортсмен Данил Решетников — об изнуряющих тренировках, культовых играх и будущем киберспорта
Тренды
Астрономы создали проект «Горизонт событий», чтобы получить новые снимки черной дыры Стрелец А*
Частный космос
Alexa
Alexa от Amazon самостоятельно записала домашний разговор и отправила его другому человеку
Офис в VR, тесты от всех болезней и селфи с эмоциями: Эксперты рассказали, чего ждать в будущем от технологий
Технологический рывок
Джейкоб Биамонте, Сколтех, — о том, что квантовые компьютеры могут уже сейчас
Мнения
Плутон может оказаться скоплением более 1 млрд маленьких комет
Тренды
В американских солдат встроят датчики, рассказывающие о состоянии их здоровья
Тренды
Ученые прогнозируют снижение питательности риса из-за изменения климата. Рис едят миллиарды людей ежедневно
Тренды
Facebook представил искусственный интеллект, который превратит любой трек в симфонию
Тренды
Кейсы
Дачные ворота блогера самостоятельно подписались на платные услуги МТС
Южная Корея постепенно заменит солдат роботами
Тренды
IBM создала карманный детектор поддельных товаров
Кейсы
Чек-лист: как выбрать надежный магазин софта
Тренды
SpaceX запустила спутники, которые будут изучать гравитационное поле Земли
Тренды
Марк Цукерберг рассказал европейским парламентариям о работе Facebook
Утечка личных данных пользователей Facebook
В России могут запретить Booking.com
Блокировка интернета
Sony открыла предзаказ на «бесконечный блокнот» — планшет Digital Paper
Тренды
Мнения
Пять книг, которые Билл Гейтс рекомендует прочитать этим летом
8 лет назад программист купил две пиццы за 10000 биткоинов. Сейчас они стоят 83 миллиона долларов
Кейсы
Великобритания откроет центр для внедрения искусственного интеллекта в военную сферу
Тренды
Ученые придумали лекарство, которое предотвратит потерю памяти у космических путешественников
Тренды
Siri получит совершенно новый голос
Тренды
Вспышки сверхновых миллионы лет назад подтолкнули эволюцию на Земле
Как развивалась Вселенная
Лекарства из принтера и испытания на роботах: как новые технологии изменили фарму
Тренды
Тренды
Илон Маск предсказал возможное банкротство Tesla из-за дешевых Model 3
Российские ученые предлагают назвать следующий открытый элемент Антарктидием
Тренды
Microsoft и Google снова нашли массовую уязвимость в процессорах Intel
Хакеры
НАСА создаст в космосе температуру, ниже самой холодной во Вселенной
Тренды
Контейнеры, гибриды и туман: 5 трендов в облачных технологиях
Тренды
Facebook в 2019 году начнет вводить проект беспроводного интернета по всему миру
Технологический рывок
Роботы построили самый маленький дом в мире — размером с кончик волоса
Тренды
Идеи
Ученые выяснили, почему при высокой температуре запускается иммунитет и происходит выздоровление
Инвестор Виталий Голомб — об искусственном мясе и том, почему не нужно получать патенты
Тренды
Первая плавучая атомная электростанция «Ломоносов» завершила свой первый выход в море
Тренды
Посмотрите, как выглядит обожаемый всеми инженерами робот София
Доброжелательные роботы
Искусственные интеллекты тоже не смогли решить, что звучит на записи — «Янни» или «Лорел»
Искусственный интеллект
Кейсы
Астрономы нашли еще одно подтверждение наличия девятой планеты в Солнечной системе
Томские ученые представили сенсоры на основе органических молекул
Тренды
The Boring Company Илона Маска доставит огнеметы первым покупателям уже в начале лета
Кейсы
Инженеры собрали тактильного робота — его кожа может покрываться мурашками
Доброжелательные роботы
Билет в электробус The Boring Company Илона Маска будет стоить всего $1
Тренды
Тренды
Константин Носков возглавит новое министерство цифрового развития, связи и массовых коммуникаций
Китайские ученые создали из картона наноматериал для очищения воды от тяжелых металлов
Экология
Давид Ян запустил сервис «умной» корпоративной аналитики Yva
Кейсы
В китайской школе используют систему распознавания лиц для слежки за отвлекающимися учениками
Кейсы
Apple запатентовала технологию распознавания человека по узору вен на лице
Распознавание лиц