Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

Ученые из МТИ разработали программный алгоритм под названием Taco, который позволяет автоматизировать компрессию тензорных таблиц (3D-матриц), состоящих из большого количества пустых данных. «Нули» при умножении таблиц заставляли процессор работать «вхолостую» и занимали слишком много места в памяти, а оптимизация требовала большого труда от программистов, пишет Science Daily.

Тензорные таблицы — это своего рода математические матрицы (в программировании — двухмерные массивы или просто таблицы), соединенные друг с другом в 3D-пространство. В реальном мире их используют для составления карт для баз данных, например, для Amazon, где ID покупателя соотносится с товарами. Причем, в матрицу помещаются все имеющиеся у магазина товары, напротив которых единицей отмечается факт покупки. Эти данные можно, в свою очередь, связать с рейтингом покупателя и его отзывами, которые хранятся в другой таблице.

Подобные матрицы более удобны для анализа больших данных и машинного обучения, нежели обычные SQL-базы. Однако у них есть очевидный минус: если единицей отмечается покупка, то все остальные ячейки заполнены нулями. При умножении таблиц это создает ненужную нагрузку на процессор и забивает память нулевыми данными. В итоге реализация тензорных таблиц для всей базы данных Amazon займет 107 экзабайт памяти, что в 10 раз больше, чем все серверы Google вместе взятые.

В принципе, оптимизировать «разреженную» тензорную таблицу могут и программисты, что они и делали все эти годы. Правда, это чрезвычайно утомительно и занимает много времени. Исследователи из МТИ придумали, как автоматизировать этот процесс так, чтобы от программиста лишь требовалось импортировать файл с данными и выбрать необходимую операцию для расчета. Технически алгоритм Taco реализован так, что сначала он отбирает все ненулевые значения, а потом избавляется от тех пар, где есть умножение на ноль, и лишь после этого записывает их память.

Также ученые решили проблему оптимизации самих расчетов. Если раньше требовалось умножить таблицы, результат записать в память, и только потом производить его сложение с другой таблицей, то теперь Taco позволяет совершать множественные расчеты в рамках одного цикла или «ядра». И главная новость в том, что в МТИ разработали разные «ядра» для наиболее часто встречающихся в анализе больших данных операций с тензорными таблицами.

Результат впечатляет: благодаря Taco тензорные таблицы для всего, что есть в Amazon теперь займут какие-то 14 Гб и поместятся в обычном смартфоне.

IBM разработала способ имитации квантового 56-кубитного компьютера на неквантовом суперкомпьютере. Решение задачи, ранее считавшееся невозможным, вероятно, изменит расстановку сил в квантовой гонке крупнейших IT-компаний. Для этого ученые также использовали тензорные таблицы.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Дачные ворота блогера самостоятельно подписались на платные услуги МТС
Кейсы
IBM создала карманный детектор поддельных товаров
Кейсы
Чек-лист: как выбрать надежный магазин софта
Тренды
SpaceX запустила спутники, которые будут изучать гравитационное поле Земли
Тренды
Марк Цукерберг рассказал европейским парламентариям о работе Facebook
Утечка личных данных пользователей Facebook
В России могут запретить Booking.com
Блокировка интернета
Мнения
Пять книг, которые Билл Гейтс рекомендует прочитать этим летом
Ученые придумали лекарство, которое предотвратит потерю памяти у космических путешественников
Тренды
Вспышки сверхновых миллионы лет назад подтолкнули эволюцию на Земле
Как развивалась Вселенная
Лекарства из принтера и испытания на роботах: как новые технологии изменили фарму
Тренды
Российские ученые предлагают назвать следующий открытый элемент Антарктидием
Тренды
Тренды
Илон Маск предсказал возможное банкротство Tesla из-за дешевых Model 3
Microsoft и Google снова нашли массовую уязвимость в процессорах Intel
Хакеры
НАСА создаст в космосе температуру, ниже самой холодной во Вселенной
Тренды
Контейнеры, гибриды и туман: 5 трендов в облачных технологиях
Тренды
Facebook в 2019 году начнет вводить проект беспроводного интернета по всему миру
Технологический рывок
Роботы построили самый маленький дом в мире — размером с кончик волоса
Тренды
Инвестор Виталий Голомб — об искусственном мясе и том, почему не нужно получать патенты
Тренды
Идеи
Ученые выяснили, почему при высокой температуре запускается иммунитет и происходит выздоровление
Первая плавучая атомная электростанция «Ломоносов» завершила свой первый выход в море
Тренды
Посмотрите, как выглядит обожаемый всеми инженерами робот София
Доброжелательные роботы
Искусственные интеллекты тоже не смогли решить, что звучит на записи — «Янни» или «Лорел»
Искусственный интеллект
Кейсы
Астрономы нашли еще одно подтверждение наличия девятой планеты в Солнечной системе
Томские ученые представили сенсоры на основе органических молекул
Тренды
The Boring Company Илона Маска доставит огнеметы первым покупателям уже в начале лета
Кейсы
Инженеры собрали тактильного робота — его кожа может покрываться мурашками
Доброжелательные роботы
Билет в электробус The Boring Company Илона Маска будет стоить всего $1
Тренды
Константин Носков возглавит новое министерство цифрового развития, связи и массовых коммуникаций
Тренды
Китайские ученые создали из картона наноматериал для очищения воды от тяжелых металлов
Экология
Давид Ян запустил сервис «умной» корпоративной аналитики Yva
Кейсы
В китайской школе используют систему распознавания лиц для слежки за отвлекающимися учениками
Кейсы
Apple запатентовала технологию распознавания человека по узору вен на лице
Распознавание лиц
Nissan представил собственную солнечную крышу
солнечные батареи
Инженеры выяснили, что роботы могут действовать совместно даже без создания специальных алгоритмов
Доброжелательные роботы
Идеи
Давление в протоне оказалось выше, чем в нейтронной звезде
Нейросеть научилась понимать, какой трек станет хитом этого лета
Кейсы
Инженеры представили камеру, с помощью которой можно мгновенно создать 3D-модель человека
Тренды
Робот в смартфоне: почему главным конкурентным преимуществом для чат-ботов станет эмоциональность
Мнения
Саратовские ученые создали аппарат, который сравнивает показатели здорового и больного сердца
Биотехнологии
Тренды
Сверхтехнологичный военный конвертоплан совершил свой первый полет. Пока как самолет
Астрономы нашли огромную черную дыру, которая поглощает по три звезды в неделю
Из чего состоит вселенная
Гендиректор Uber Дара Хосровшахи — о будущем, в котором автомобили будут летать
Тренды
FAQ: что такое ячеистые сети и как их применяют в умных домах?
Тренды
Хакеры могут захватить управление поездом, просто взломав сеть Wi-Fi
Киберпреступники
НАСА обнаружила водяные гейзеры на спутнике Юпитера — Европе
Есть ли жизнь на Марсе
Биологи создали биосовместимые импланты, которые смогут растворяться в организме
Биотехнологии
Кейсы
Сотрудники увольняются из Google — они не хотят делать искусственный интеллект для военных дронов Пентагона
Ведущие инженеры Google и Facebook расскажут в Москве о компьютерном зрении и машинном обучении
Компьютерное зрение
Посмотрите, каких роботов привезли разработчики на конференцию TechCrunch
Доброжелательные роботы