Сообщить об ошибке на сайте
URL
Ошибка
Большие данные

Ученые из МТИ разработали программный алгоритм под названием Taco, который позволяет автоматизировать компрессию тензорных таблиц (3D-матриц), состоящих из большого количества пустых данных. «Нули» при умножении таблиц заставляли процессор работать «вхолостую» и занимали слишком много места в памяти, а оптимизация требовала большого труда от программистов, пишет Science Daily.

Тензорные таблицы — это своего рода математические матрицы (в программировании — двухмерные массивы или просто таблицы), соединенные друг с другом в 3D-пространство. В реальном мире их используют для составления карт для баз данных, например, для Amazon, где ID покупателя соотносится с товарами. Причем, в матрицу помещаются все имеющиеся у магазина товары, напротив которых единицей отмечается факт покупки. Эти данные можно, в свою очередь, связать с рейтингом покупателя и его отзывами, которые хранятся в другой таблице.

Подобные матрицы более удобны для анализа больших данных и машинного обучения, нежели обычные SQL-базы. Однако у них есть очевидный минус: если единицей отмечается покупка, то все остальные ячейки заполнены нулями. При умножении таблиц это создает ненужную нагрузку на процессор и забивает память нулевыми данными. В итоге реализация тензорных таблиц для всей базы данных Amazon займет 107 экзабайт памяти, что в 10 раз больше, чем все серверы Google вместе взятые.

В принципе, оптимизировать «разреженную» тензорную таблицу могут и программисты, что они и делали все эти годы. Правда, это чрезвычайно утомительно и занимает много времени. Исследователи из МТИ придумали, как автоматизировать этот процесс так, чтобы от программиста лишь требовалось импортировать файл с данными и выбрать необходимую операцию для расчета. Технически алгоритм Taco реализован так, что сначала он отбирает все ненулевые значения, а потом избавляется от тех пар, где есть умножение на ноль, и лишь после этого записывает их память.

Также ученые решили проблему оптимизации самих расчетов. Если раньше требовалось умножить таблицы, результат записать в память, и только потом производить его сложение с другой таблицей, то теперь Taco позволяет совершать множественные расчеты в рамках одного цикла или «ядра». И главная новость в том, что в МТИ разработали разные «ядра» для наиболее часто встречающихся в анализе больших данных операций с тензорными таблицами.

Результат впечатляет: благодаря Taco тензорные таблицы для всего, что есть в Amazon теперь займут какие-то 14 Гб и поместятся в обычном смартфоне.

IBM разработала способ имитации квантового 56-кубитного компьютера на неквантовом суперкомпьютере. Решение задачи, ранее считавшееся невозможным, вероятно, изменит расстановку сил в квантовой гонке крупнейших IT-компаний. Для этого ученые также использовали тензорные таблицы.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

AT&T назвала города США, в которых сеть 5G появится уже в 2018 году
Переход на 5G
ARM интегрировала новый формат SIM-карты сразу в мобильный процессор
Интернет вещей
Создан терапевтический гель против рака
Борьба с раком
Разработан мемтранзистор — гибрид мемристора и транзистора
Микроэлектроника
Космические планы
Запуск интернет-спутников от SpaceX переносится на неопределенный срок
«Умная» куртка использует ИИ, чтобы регулировать температуру
Одежда будущего
Стартап позволит совершать сделки с криптовалютой в тайне
Блокчейн
Renault построит «умную» энергосистему на острове в Португалии
Тренды
К 2030 треть всей производимой энергии в Европе должна быть чистой
Чистая энергия
Илон Маск покинул совет директоров OpenAI
Кейсы
Балеарские острова перейдут на возобновляемую энергетику к 2050 году
Тренды
Борьба со старением
Раскрыт механизм омоложения мозга переливанием крови
«Чистые» источники обеспечат 75% энергии в Южной Австралии к 2025 году
Тренды
«Мы должны прекратить притворяться, что ИИ не лишит людей работы»
Искусственный интеллект
Ученые впервые зарядили смартфон лазером с расстояния 4 метра
Беспроводная зарядка
Nokia запускает платформу для умных городов и IoT
Умный город
Городские фермы могут приносить до $160 млрд ежегодно
Города будущего
Исследователи объединили AR, 3D-печать и робототехнику
Тренды
Испанский стартап представил бумажные одноразовые батареи
Экологичные технологии
Boston Dynamics показала противостояние человека и робота
Робототехника
Возобновляемая энергетика
Прошел испытания первый в мире воздушный солнечный реактор
Boeing стандартизирует 3D-напечатанные запчасти для самолетов
3D-технологии
GoldX — первая криптовалюта, отвечающая законам шариата
Криптовалюты
Финляндия начнет выдавать стартап-вид на жительство
Тренды
Иранский инженер создал легкий электробайк с дальностью хода 80 км
Транспорт будущего
Google запустила собственный платежный сервис
Кейсы
Нанотехнологии
Открыты материалы, которые совершат революцию в электронике
Глава Банка Англии: «Биткойн не состоялся как валюта»
Криптовалюты
Китай впервые обошел США по объему инвестиций в ИИ-стартапы
Искусственный интеллект
Bigelow Space Operations займется торговлей орбитальными станциями
Частный космос
На продолжительность жизни потомства влияет возраст отцов
Генетика
Роботы-террористы и постправда: главные угрозы ИИ
Искусственный интеллект
Электромобили
Tesla Model S обогнала по продажам в Европе BMW 7 и Mercedes S-class
Toyota в 20 раз удешевила магниты для двигателей электромобилей
Электромобили
Тереза Мэй призывает британскую молодежь идти в техникумы
Образование
Новая электронная «кожа» чувствует прикосновение божьей коровки
Гибкая электроника
«Аналоговые банки и финансовые компании проиграют цифровым»
Мнения
Генетики нашли доказательства того, что люди одомашнили себя сами
Генетика
Falcon Heavy в 15 раз увеличила число доступных для разработки астероидов
Добыча на астероидах
Сооснователь Facebook: «БОД нужно вводить уже сейчас»
Соцпособия будущего
«ИТ-компании должны подготовить сотрудников к эпохе ИИ»
Автоматизация
Микроэлектроника
Samsung выпустила твердотельный накопитель емкостью 30,72 ТБ
Как лазеры и роботы меняют рыбоводческие фермы
Технологии будущего
Stelia напечатала авиационный фюзеляж с эффектом самоупрочнения
3D-технологии
Суперкомпьютер помог создать новый тип люминофора для светодиодов
Новые технологии
Франция собирается стать крупным игроком на рынке приливной энергии
Возобновляемая энергетика
Медицина будущего
Открытие ученых позволит «перепрошить» мозг после инсульта
Центробанк Швеции обеспокоен стремительным отказом от наличных
Кейсы
В Великобритании пациенту установили ребра, напечатанные из титана
Кейсы