Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

На проходящей в Хайфе 25-ой Конференции PACT 2016 исследователи МТИ представили новый язык программирования Milk, позволяющий разработчикам более эффективно управлять памятью в программах, которые работают с разрозненными значениями в больших наборах данных. Его производительность, как показали испытания, в 4 раза выше, чем у существующих языков.

Проблема больших наборов данных не в том, что их много, объясняет профессор Саман Амарасингх, а в том, что они «рассредоточены». Современные микрочипы не оптимизированы под рассредоточенные данные. Если алгоритму нужны, скажем, всего 20 книг из двух миллионов хранящихся в базе данных, скорее всего, находящиеся рядом с нужной книгой еще 100 книг окажутся совершенно несвязанными с ней. Таким образом, придется обращаться к памяти за каждой отдельной книгой, а это крайне неэффективно и медленно, пишет MIT News.

Milk добавляет несколько команд в OpenMP, расширение таких языков, как С и Fortran, который облегчает написание кода для многоядерных процессоров. С его помощью программист вставляет пару дополнительных строчек вокруг любой инструкции, которая ищет относительно малое число элементов в большом объеме данных. Затем компилятор Milk решает, как управлять памятью в соответствии с командами.

Когда ядро получает от Milk запрос на какие-то данные, оно не запрашивает их в основной памяти. Вместо этого оно добавляет адрес элемента данных в список сохраненных локально адресов. Когда список становится достаточно длинным, все ядра объединяют их и группируют адреса, а затем перераспределяют их по ядрам. Таким образом, каждое ядро запрашивает только те элементы, которые ему нужны и которые оно может эффективно найти.

«Большинство важных приложений сегодня используют большое количество данных, но, к сожалению, растущий разрыв между производительностью памяти и процессора означает, что они используют аппаратное обеспечение не на полную мощность, — говорит Матей Захария из Стэнфорда. — Milk помогает преодолеть этот разрыв, оптимизировав доступ памяти в обычных структурных компонентах».

Новые технологии и проблемы, возникающие с их внедрением, нередко требуют новых подходов. Хотя языков программирования много, время от времени возникает необходимость в новых. Еще одним примером может служить язык Simit, о котором мы писали в августе, разработанный инженерами МТИ и ускоряющий компьютерное моделирование в 200 раз.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 2 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
Microsoft выходит на рынок умных колонок
Умный дом
Создана вакцина, способная навсегда победить пневмонию
Идеи
Инфракрасное излучение поможет искать внеземную жизнь
Жизнь в космосе
ИИ IBM Watson занялся торговлей на бирже
Фондовый рынок
Искусственный интеллект
Машинное обучение приведет к экономическому гиперросту
Ученые скопировали дизайн для солнечной пленки у бабочек
Солнечная энергия
Walmart видит будущее в VR-шоппинге
Виртуальная реальность
IBM симулировала 56-кубитный квантовый компьютер
Квантовые компьютеры
FDA одобрила новый 5-минутный тест на аллергию по капле крови
Идеи
Фабрика 3D-печати наняла робота для ночной смены
Тренды
Blockchain & Bitcoin Conference: все о блокчейне, ICO и криптовалютах
Кейсы
Инвестиции
SoftBank инвестирует $880 млрд в технологии будущего
ВЭФ: «Доступность биотехнологий создает условия для биотерроризма»
Мнения
Tesla построит фабрику в Шанхае
Электромобили
Нейроинтерфейс NeuroPlus помогает победить синдром дефицита внимания
Нейроинтерфейс
Tesla установит Powerpack на солнечно-ветровой станции в Австралии
Хранение энергии
Visa заменит пин-коды системой распознавания лиц
Биометрия
Переход на электротранспорт только начался
Транспорт будущего
В ОАЭ появилась должность министра по ИИ
Искусственный интеллект
Manta5 — водный эквивалент электровелосипеда
Технологии развлечений
Теория эволюции
30-летний эксперимент подтвердил бесконечность эволюции
Умный дом
Представлен концепт плавучего, полностью автономного дома
Роботрактор совершит переворот в строительстве
Роботы-строители
Гигантские 3D-принтеры удешевят создание ракет в 10 раз
3D-технологии
Генная терапия для лечения лимфомы получила одобрение FDA
Генная терапия
Домашний интернет удалось ускорить до 10 Гбит/с
Идеи
Google вкладывает в Lyft $1 млрд для совместной разработки робомобилей
Кейсы
Новая технология позволит редактировать гены клеток мозга
Исследования мозга
МТИ начал выдавать дипломы на блокчейне
Блокчейн-технологии
К концу года мощность солнечной энергетики Китая достигнет 50 ГВт
Тренды
Тим Кук лично ответил поклоннику Mac mini о будущем модели
ИТ-компании
Молекулы-самоубийцы могут защитить нас от рака
Борьба с раком
Тренды
Amazon станет первой в мире компанией, которая стоит $1 трлн
Blue Origin впервые провела огневые испытания своего двигателя BE-4
Частный космос
Уникальная бетонная крыша превращает жилой дом в электростанцию
Солнечная энергетика
Toyota Sora — новый водородный автобус для гостей Олимпийских игр
Транспорт будущего
Ученые создали двумерный «идеальный» транзистор
Новая электроника
Huawei добилась 20 Гбит/с в испытаниях 5G Dual Connectivity
Переход на 5G
Сингапурские ученые делают фотоэлементы из меди, цинка и олова
Энергия солнца
Транспорт будущего
Маск купил еще одну буровую машину и роет тоннель в Вашингтон
В Швеции выбрали место для строительства конкурента Gigafactory
Тренды
Россия получила рекордное количество медалей на World Skills 2017
Кейсы
Эндрю Ын возглавил стартап, разрабатывающий чатбота-психотерапевта
Кейсы
Блокчейн может трансформировать сферу туризма
Блокчейн-технологии
Водоросли помогли улучшить органические солнечные элементы
Солнечная энергия
Veo Robotics переложит тяжелый труд на плечи роботов
Робототехника
Соцпособия будущего
Блокчейн и криптовалюты совершат революцию в БОД
Flare — камера слежения с ИИ для умного дома
Умный дом
Разработана компьютерная память молекулярного уровня
Компьютерная память