Сообщить об ошибке на сайте
URL
Ошибка
Машинное обучение

Команда исследователей из Техаса и Калифорнии опубликовала результаты использования суперкомпьютера для обучения нейронной сети. Программу для распознавания изображений удалось обучить за 11 минут — быстрее, чем когда либо. О рекорде сообщает Science Daily.

Ученые эффективно использовали 1024 процессора Skylake на суперкомпьютере Stampede2 в Техасском вычислительном центре для 100-этапного обучения нейросети AlexNet с помощью стандартной базы изображений ImageNet. На весь процесс ушло всего 11 минут — на сегодняшний день это самый быстрый результат. Для сравнения, проведенное Facebook 90-этапное обучение сети ResNet-50 заняло 32 минуты.

По словам представителя вычислительного центра, рекордный результат показывает потенциал передовых цифровых ресурсов для глубокого обучения нейронных сетей. В настоящее время скорость тренировки ИИ остается относительно низкой: 1-4 дня считается хорошим результатом. Если для обучения сети требуется от недели до четырех, она будет использоваться учеными только для дорогостоящих проектов, а более медленные варианты не будут рассматриваться вовсе. Таким образом, скорость тренировки ИИ становится узким местом для развития науки, и ее увеличение могло бы существенно продвинуть исследователей вперед.

Новый подход исследовательской группы включал в себя разработку алгоритма масштабирования скорости передачи данных (Layer-Wise Adaptive Rate Scaling — LARS), который способен эффективно распределять данные по многим процессорам для одновременного вычисления больших массивов данных (до 32 000 элементов). В результате удалось воспользоваться большим количеством процессоров Skylake и Intel Xeon Phi, сохраняя при этом точность. Обучение системы ResNet-50 позволило достичь точности распознавания изображений в 75%, а увеличение массива данных до нескольких тысяч элементов снизило ее лишь на 0,6%.

Код для обучения был написан в среде Caffe с использованием Intel-Caffe. В целом, использование 1024 процессоров Skylake увеличило скорость обучения resNet-50 в 750 раз по сравнению с одним процессором. Благодаря полученным результатам возможно будет найти альтернативу специализированному оборудованию для глубокого обучения, например, графическим процессорам, микросхемам Tensor Flow и матрицам FPGA. В целом, эксперимент показал, что глубокое машинное обучение для извлечения информации из крупномасштабных экспериментов и моделирования может быть доступным благодаря суперкомпьютерам подобным Stampede2.

Похоже, ценность суперкомпьютеров отлично осознают в Китае. В рейтинге Top-500 страна поднялась на первую строчку, впервые в истории потеснив США. Благодаря инвестициям в технологии Поднебесная сегодня обладает 202 суперкомпьютерами.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
В МТИ изобрели новый способ хранения тепловой энергии
Идеи
20 стран откажутся от угольных электростанций к 2030 году
Кейсы
Новая Зеландия хочет истребить животных-вредителей с помощью CRISPR
Редактирование генома
AmEx запустила первый в мире сервис платежей на блокчейне
Блокчейн
«Предсказать скорость старения по анализам невозможно»
Идеи
Intel представила семейство 5G-модемов
Переход на 5G
Чистая энергетика
В Мексике установлена самая низкая в мире цена на солнечную энергию
Ученые вернули парализованным крысам возможность ходить
Биотехнологии
Fujitsu упростит обмен одних криптовалют на другие
Блокчейн
GE выпустила «мечту инженера» — 3D-принтер для печати авиазапчастей
3D-печать
ООН: «Цифровые технологии усиливают неравенство между странами»
Тренды
Нефтяной фонд Норвегии откажется от инвестиций в нефть и газ
Кейсы
Volkswagen инвестирует $12 млрд в производство электромобилей в Китае
Тренды
Биткойны
Владельцы биткойнов в США продадут их только при курсе $190 тысяч
Китай построит космический челнок с атомным двигателем до 2040 года
Космические планы
Изобретен более точный метод генного редактирования
Генетика
Умный замок BoxLock откроется только для вас и вашего курьера
Умный дом
Глава DARPA: «Мы застряли в прошлом, нас спасет только частный сектор»
Космические планы
Baidu представила домашних роботов и умную колонку с ИИ
Умный дом
Искусственный интеллект
«Мы воспитываем ИИ-бога, который возьмет власть над планетой»
Мутация в сообществе амишей защищает от старости
Идеи
К 2050 году водород обеспечит 1/5 энергетических потребности мира
Альтернативное топливо
Создана вакцина против рака печени
Борьба с раком
Система робомагазина Amazon Go узнает вора даже под маской
Магазины будущего
ИИ-повар Джузеппе готовит веганский майонез, по вкусу «как настоящий»
Искусственный интеллект
В Канаде введут систему идентификации на блокчейне
Блокчейн
Обнаружена еще одна экзопланета, пригодная для жизни
Жизнь в космосе
Экзоскелеты
Loсkheed Martin разработала экзоскелет для военного десанта
Компьютерная безграмотность несет угрозу американским рабочим
Рынок труда
Машинное обучение
Алгоритм Эндрю Ына лучше диагностирует пневмонию, чем врачи
Китай тестирует электронную идентификацию граждан на смартфонах
Тренды
«Биткойн-фьючерсы дестабилизируют мировую экономику»
Криптовалюты
Olie — самая дешевая умная лампа со встроенным голосовым помощником
Умный дом
Microsoft: «ИИ несет наибольшие риски нефтегазовому сектору»
Искусственный интеллект
40% пользователей боятся слежки через устройства умного дома
Умный дом
Эксперт по ИИ: «Я пацифист, но я против запрета роботов-убийц»
Искусственный интеллект
Физики экспериментально проверят теорию квантовой гравитации
Квантовая физика
TrueAccord собирает деньги с должников «мягко и аккуратно»
Финтех
Face ID будет контролировать продажу алкоголя в британских магазинах
Идеи
Человекоподобный чат-бот от Soul Machines начнет работать в Autodesk
Чатботы
Кейсы
Ученые впервые отредактировали гены в организме человека
VR не менее эффективна после инсульта, чем физиотерапия
Медицина будущего
SpaceX осуществит сверхсекретную космическую миссию Zuma
Частный космос
Медицина будущего
Началось тестирование персонализированной вакцины от рака на человеке
В Дубае остановки, мосты и причалы напечатают на 3D-принтере
Строительная 3D печать
«Электромобили GM станут прибыльными, в отличие от Tesla»
Электромобили
10 событий, которые изменят интернет вещей в 2018 году
Тренды
Технологии хранения в пять раз увеличивают стоимость чистой энергии
Чистая энергия
Новый спектроскоп позволит заглянуть в мозг новорожденных
Медицина будущего