Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

На проходящей в Хайфе 25-ой Конференции PACT 2016 исследователи МТИ представили новый язык программирования Milk, позволяющий разработчикам более эффективно управлять памятью в программах, которые работают с разрозненными значениями в больших наборах данных. Его производительность, как показали испытания, в 4 раза выше, чем у существующих языков.

Проблема больших наборов данных не в том, что их много, объясняет профессор Саман Амарасингх, а в том, что они «рассредоточены». Современные микрочипы не оптимизированы под рассредоточенные данные. Если алгоритму нужны, скажем, всего 20 книг из двух миллионов хранящихся в базе данных, скорее всего, находящиеся рядом с нужной книгой еще 100 книг окажутся совершенно несвязанными с ней. Таким образом, придется обращаться к памяти за каждой отдельной книгой, а это крайне неэффективно и медленно, пишет MIT News.

Milk добавляет несколько команд в OpenMP, расширение таких языков, как С и Fortran, который облегчает написание кода для многоядерных процессоров. С его помощью программист вставляет пару дополнительных строчек вокруг любой инструкции, которая ищет относительно малое число элементов в большом объеме данных. Затем компилятор Milk решает, как управлять памятью в соответствии с командами.

Когда ядро получает от Milk запрос на какие-то данные, оно не запрашивает их в основной памяти. Вместо этого оно добавляет адрес элемента данных в список сохраненных локально адресов. Когда список становится достаточно длинным, все ядра объединяют их и группируют адреса, а затем перераспределяют их по ядрам. Таким образом, каждое ядро запрашивает только те элементы, которые ему нужны и которые оно может эффективно найти.

«Большинство важных приложений сегодня используют большое количество данных, но, к сожалению, растущий разрыв между производительностью памяти и процессора означает, что они используют аппаратное обеспечение не на полную мощность, — говорит Матей Захария из Стэнфорда. — Milk помогает преодолеть этот разрыв, оптимизировав доступ памяти в обычных структурных компонентах».

Новые технологии и проблемы, возникающие с их внедрением, нередко требуют новых подходов. Хотя языков программирования много, время от времени возникает необходимость в новых. Еще одним примером может служить язык Simit, о котором мы писали в августе, разработанный инженерами МТИ и ускоряющий компьютерное моделирование в 200 раз.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Британские инженеры предлагают питать поезда солнечной энергией
Энергия солнца
Samsung разработала человекоподобного робота Saram
Роботехника
В Лондоне общественный транспорт можно будет вызвать, как такси
Идеи
Майкл Пенс призвал упростить выдачу лицензий на космические запуски
Частный космос
Daimler запустит производство тяжелой электрофуры eActros в 2021 году
Электротранспорт
AT&T назвала города США, в которых сеть 5G появится уже в 2018 году
Переход на 5G
Интернет вещей
ARM интегрировала новый формат SIM-карты сразу в мобильный процессор
Создан терапевтический гель против рака
Борьба с раком
Разработан мемтранзистор — гибрид мемристора и транзистора
Микроэлектроника
Космические планы
Запуск интернет-спутников от SpaceX переносится на неопределенный срок
«Умная» куртка использует ИИ, чтобы регулировать температуру
Одежда будущего
Стартап позволит совершать сделки с криптовалютой в тайне
Блокчейн
Renault построит «умную» энергосистему на острове в Португалии
Тренды
К 2030 треть всей производимой энергии в Европе должна быть чистой
Чистая энергия
Илон Маск покинул совет директоров OpenAI
Кейсы
Борьба со старением
Раскрыт механизм омоложения мозга переливанием крови
Балеарские острова перейдут на возобновляемую энергетику к 2050 году
Тренды
«Чистые» источники обеспечат 75% энергии в Южной Австралии к 2025 году
Тренды
«Мы должны прекратить притворяться, что ИИ не лишит людей работы»
Искусственный интеллект
Ученые впервые зарядили смартфон лазером с расстояния 4 метра
Беспроводная зарядка
Nokia запускает платформу для умных городов и IoT
Умный город
Городские фермы могут приносить до $160 млрд ежегодно
Города будущего
Исследователи объединили AR, 3D-печать и робототехнику
Тренды
Испанский стартап представил бумажные одноразовые батареи
Экологичные технологии
Boston Dynamics показала противостояние человека и робота
Робототехника
Возобновляемая энергетика
Прошел испытания первый в мире воздушный солнечный реактор
Boeing стандартизирует 3D-напечатанные запчасти для самолетов
3D-технологии
GoldX — первая криптовалюта, отвечающая законам шариата
Криптовалюты
Финляндия начнет выдавать стартап-вид на жительство
Тренды
Иранский инженер создал легкий электробайк с дальностью хода 80 км
Транспорт будущего
Google запустила собственный платежный сервис
Кейсы
Глава Банка Англии: «Биткойн не состоялся как валюта»
Криптовалюты
Нанотехнологии
Открыты материалы, которые совершат революцию в электронике
Китай впервые обошел США по объему инвестиций в ИИ-стартапы
Искусственный интеллект
Bigelow Space Operations займется торговлей орбитальными станциями
Частный космос
На продолжительность жизни потомства влияет возраст отцов
Генетика
Электромобили
Tesla Model S обогнала по продажам в Европе BMW 7 и Mercedes S-class
Роботы-террористы и постправда: главные угрозы ИИ
Искусственный интеллект
Toyota в 20 раз удешевила магниты для двигателей электромобилей
Электромобили
Тереза Мэй призывает британскую молодежь идти в техникумы
Образование
Новая электронная «кожа» чувствует прикосновение божьей коровки
Гибкая электроника
«Аналоговые банки и финансовые компании проиграют цифровым»
Мнения
Генетики нашли доказательства того, что люди одомашнили себя сами
Генетика
Falcon Heavy в 15 раз увеличила число доступных для разработки астероидов
Добыча на астероидах
Сооснователь Facebook: «БОД нужно вводить уже сейчас»
Соцпособия будущего
«ИТ-компании должны подготовить сотрудников к эпохе ИИ»
Автоматизация
Микроэлектроника
Samsung выпустила твердотельный накопитель емкостью 30,72 ТБ
Как лазеры и роботы меняют рыбоводческие фермы
Технологии будущего
Stelia напечатала авиационный фюзеляж с эффектом самоупрочнения
3D-технологии