Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

Ученые из МТИ разработали программный алгоритм под названием Taco, который позволяет автоматизировать компрессию тензорных таблиц (3D-матриц), состоящих из большого количества пустых данных. «Нули» при умножении таблиц заставляли процессор работать «вхолостую» и занимали слишком много места в памяти, а оптимизация требовала большого труда от программистов, пишет Science Daily.

Тензорные таблицы — это своего рода математические матрицы (в программировании — двухмерные массивы или просто таблицы), соединенные друг с другом в 3D-пространство. В реальном мире их используют для составления карт для баз данных, например, для Amazon, где ID покупателя соотносится с товарами. Причем, в матрицу помещаются все имеющиеся у магазина товары, напротив которых единицей отмечается факт покупки. Эти данные можно, в свою очередь, связать с рейтингом покупателя и его отзывами, которые хранятся в другой таблице.

Подобные матрицы более удобны для анализа больших данных и машинного обучения, нежели обычные SQL-базы. Однако у них есть очевидный минус: если единицей отмечается покупка, то все остальные ячейки заполнены нулями. При умножении таблиц это создает ненужную нагрузку на процессор и забивает память нулевыми данными. В итоге реализация тензорных таблиц для всей базы данных Amazon займет 107 экзабайт памяти, что в 10 раз больше, чем все серверы Google вместе взятые.

В принципе, оптимизировать «разреженную» тензорную таблицу могут и программисты, что они и делали все эти годы. Правда, это чрезвычайно утомительно и занимает много времени. Исследователи из МТИ придумали, как автоматизировать этот процесс так, чтобы от программиста лишь требовалось импортировать файл с данными и выбрать необходимую операцию для расчета. Технически алгоритм Taco реализован так, что сначала он отбирает все ненулевые значения, а потом избавляется от тех пар, где есть умножение на ноль, и лишь после этого записывает их память.

Также ученые решили проблему оптимизации самих расчетов. Если раньше требовалось умножить таблицы, результат записать в память, и только потом производить его сложение с другой таблицей, то теперь Taco позволяет совершать множественные расчеты в рамках одного цикла или «ядра». И главная новость в том, что в МТИ разработали разные «ядра» для наиболее часто встречающихся в анализе больших данных операций с тензорными таблицами.

Результат впечатляет: благодаря Taco тензорные таблицы для всего, что есть в Amazon теперь займут какие-то 14 Гб и поместятся в обычном смартфоне.

IBM разработала способ имитации квантового 56-кубитного компьютера на неквантовом суперкомпьютере. Решение задачи, ранее считавшееся невозможным, вероятно, изменит расстановку сил в квантовой гонке крупнейших IT-компаний. Для этого ученые также использовали тензорные таблицы.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
В ожидании конца света американцы запасаются биткойнами
Криптовалюты
Искусственный интеллект
Китай будет выпускать ИИ-чипы, которые в 20 раз эффективнее NVIDIA
Промышленные роботы становятся эффективнее человека
Рынок труда
Обнаружена связь между высоким IQ и успешностью в видеоиграх
Видеоигры
Новый способ магнитной записи данных позволит создать нейронные сети
Идеи
«Летающее такси» SureFly совершит первый полет в январе 2018
Летающие такси
Lauva представила электробайки со спрятанной в раму электроникой
Электровелосипеды
Alibaba покупает треть крупнейшей сети супермаркетов Китая
Кейсы
Тренды
Рынок систем хранения энергии удвоится 6 раз до 2030 года
Алгоритм AISense позволит вспомнить все разговоры
Обучение машин
McKinsey: «Персонализация — это не то, что вы думаете»
Цифровой маркетинг
Индия хочет решить проблемы с недвижимостью через блокчейн
Блокчейн
ИИ распознает поддельную картину по одному мазку кисти
Искусственный интеллект
Новая технология позволит биологам заглянуть в самый центр хромосомы
Биомедицина
IEEE представил три новых закона робототехники
Робоэтика
Новое устройство одновременно производит электроэнергию и водород
Идеи
При переходе на чистую энергию Siemens сократит 7000 рабочих мест
Чистая энергия
Uber купит у Volvo 24 тысячи XC90 и сделает их беспилотными
Беспилотный транспорт
Рейтинг лучших
25 главных изобретений 2017 года
Tencent: первая китайская компания с капитализацией свыше $500 млрд
IT-гиганты
На смену лекарствам могут прийти световые импульсы
Медицина будущего
Британия вложит £20 млн в привлечение молодежи в кибербезопасность
Образование
В новых моделях iPhone, возможно, будут 5G-модемы от Intel
Переход на 5G
Банки продовольствия переходят на вертикальные фермы
Еда будущего
Носимые фитнес-трекеры Spire не требуют подзарядки
Гаджеты
Новый HUD-дисплей для Lincoln — еще один шаг к дополненной реальности
Транспорт будущего
Профессии будущего
21 профессия будущего — от дата-детектива до криптокоуча
«Блокчейн может изменить все в недвижимости»
Блокчейн технологии
У умной колонки HomePod от Apple может быть Face ID
Тренды
«Биткойн превращается в новую антикризисную валюту»
Криптовалюты
Дрон-амфибия AquaMAV ныряет в воду, сложив крылья
Идеи
Открыта новая технология создания органической электроники
Тренды
«Люди вкладывают не в Tesla, а в Маска»
Мнения
Еда будущего
Ферма-небоскреб Plantagon будет производить 550 тонн овощей ежегодно
Роботы-курьеры решат проблемы последней мили в Китае
Дроны в законе
«В течение 50 лет нас точно ждет масштабная эпидемия»
Мнения
VW собирается вложить $40 млрд в электромобили
Электромобили
Австрийские ученые создали прототип квантового роутера
Квантовые технологии
Германия порекомендовала родителям уничтожить детские смартчасы
Тренды
Робототехника
Гуманоид Atlas от Boston Dynamics научился прыгать и делать сальто
Аэростат Airlander 10 готов к демонстрационному полету
Транспорт будущего
Стартап выпустил пластиковую карту для расчетов золотом
Финтех
MindBeagle вернет парализованным людям возможность общаться
Медицина будущего
Обнаружена уязвимость 60 млн электронных паспортов Испании
Кибербезопасность
Россия, Израиль и Словения — главные сторонники БОД
Соцпособия будущего
В России разработали мощное обезболивающее, не вызывающее привыкания
Медицинские разработки
Walmart купил 15 грузовиков Tesla Semi
Кейсы
2018 может стать годом крупных землетрясений
Мрачный прогноз
Идеи
Создана «неубиваемая» литий-ионная батарея