Сообщить об ошибке на сайте
URL
Ошибка
Машинное обучение

Команда исследователей из Техаса и Калифорнии опубликовала результаты использования суперкомпьютера для обучения нейронной сети. Программу для распознавания изображений удалось обучить за 11 минут — быстрее, чем когда либо. О рекорде сообщает Science Daily.

Ученые эффективно использовали 1024 процессора Skylake на суперкомпьютере Stampede2 в Техасском вычислительном центре для 100-этапного обучения нейросети AlexNet с помощью стандартной базы изображений ImageNet. На весь процесс ушло всего 11 минут — на сегодняшний день это самый быстрый результат. Для сравнения, проведенное Facebook 90-этапное обучение сети ResNet-50 заняло 32 минуты.

По словам представителя вычислительного центра, рекордный результат показывает потенциал передовых цифровых ресурсов для глубокого обучения нейронных сетей. В настоящее время скорость тренировки ИИ остается относительно низкой: 1-4 дня считается хорошим результатом. Если для обучения сети требуется от недели до четырех, она будет использоваться учеными только для дорогостоящих проектов, а более медленные варианты не будут рассматриваться вовсе. Таким образом, скорость тренировки ИИ становится узким местом для развития науки, и ее увеличение могло бы существенно продвинуть исследователей вперед.

Новый подход исследовательской группы включал в себя разработку алгоритма масштабирования скорости передачи данных (Layer-Wise Adaptive Rate Scaling — LARS), который способен эффективно распределять данные по многим процессорам для одновременного вычисления больших массивов данных (до 32 000 элементов). В результате удалось воспользоваться большим количеством процессоров Skylake и Intel Xeon Phi, сохраняя при этом точность. Обучение системы ResNet-50 позволило достичь точности распознавания изображений в 75%, а увеличение массива данных до нескольких тысяч элементов снизило ее лишь на 0,6%.

Код для обучения был написан в среде Caffe с использованием Intel-Caffe. В целом, использование 1024 процессоров Skylake увеличило скорость обучения resNet-50 в 750 раз по сравнению с одним процессором. Благодаря полученным результатам возможно будет найти альтернативу специализированному оборудованию для глубокого обучения, например, графическим процессорам, микросхемам Tensor Flow и матрицам FPGA. В целом, эксперимент показал, что глубокое машинное обучение для извлечения информации из крупномасштабных экспериментов и моделирования может быть доступным благодаря суперкомпьютерам подобным Stampede2.

Похоже, ценность суперкомпьютеров отлично осознают в Китае. В рейтинге Top-500 страна поднялась на первую строчку, впервые в истории потеснив США. Благодаря инвестициям в технологии Поднебесная сегодня обладает 202 суперкомпьютерами.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Немецкий дизайнер разработал складное колесо
Концепты
Приложение-контрацептив привело к росту числа абортов
Кейсы
Геном беглого раба воссоздали по ДНК его потомков
Генетика
GM признали лидером беспилотных технологий
Беспилотный транспорт
Треть жителей Китая и Индии хотели бы стать киборгами
Тренды
Умные стекла будут обогревать здания
Умный дом
Финтех
Универсальная банковская карта запущена в Англии
The Abyss проведет первый в мире Token Sale по модели Бутерина
ICO
РНК-терапия побеждает боль лучше традиционных лекарств
Медицина будущего
КПД перовскитных солнечных модулей удалось повысить до 66%
Идеи
Насилие в компьютерных играх не влияет на психику игроков
Видеоигры
ИИ изменит телевизоры и телевидение
Искусственный интеллект
Эндрю Ын помог создать ИИ, который выявляет смертельно больных
Медицина будущего
Новые материалы
В Швейцарии разработали кирпичи с лучшей в мире теплоизоляцией
Создана система машинного зрения на основе технологии 1960-х годов
Компьютерное зрение
Alibaba: «Мы никогда не выпустим криптовалюту»
Блокчейн
Daimler и BMW начнут продавать автомобили по подписке
Идеи
Умные колонки заменяют пользователям радио, смартфоны и телевизоры
Умные колонки
Медицина
Обучение иммунной системы поможет при химиотерапии
Армения создаст свою Кремниевую долину с упором на блокчейн
Блокчейн
Слишком соленая пища может стать причиной деменции
Биосфера
Водородные велосипеды попадут на массовый рынок через год-два
Велосипеды
Катар стремится стать центром криптовалютного рынка и ICO
Блокчейн
Продажи трехколесного электрокара Solo стартуют в конце года
Городские электрокары
Томские физики разрабатывают левитационный 3D-принтер
3D-технологии
Илон Маск: «В Model 3 можно будет управлять голосом почти всем»
Электромобили
Компания GAC представила электрокроссовер с боковыми VR-стеклами
Электротранспорт
Мнения
Туманное будущее солнечной энергетики: три главных препятствия
Саудовская Аравия начинает переход на электротранспорт
Электротранспорт
Китай запретит централизованную торговлю биткойнами
Блокчейн
ИИ поможет предотвратить внезапную смерть в больницах США
Искусственный интеллект
В 2026 в США будет 2500 беспилотных летающих такси Mobi-One
Транспорт будущего
Умные вещи
Умные фары не слепят водителей и показывают голограммы
Открыт метод дистанционной иммунотерапии рака
Борьба с раком
Гены миног дадут человеку возможность восстанавливать спинной мозг
Регенеративная медицина
Высокие цены на хранение данных мешают развитию генной терапии
Генетика
Клинике Мэйо позволили «штамповать» стволовые клетки для экспериментов
Регенеративная медицина
Доказан факт манипулирования курсом биткойна в 2013 году
Блокчейн
Через два года возобновляемая энергия станет дешевле традиционной
Альтернативная энергетика
Исследования мозга
В мозге обнаружен механизм, отвечающий за творческое мышление
Автопроизводители уже инвестировали в электромобили более $90 млрд
Электромобили
Эксперты: «Идея БОДа совершит прорыв в 2018 году»
Мнения
Кейсы
Нейросети Alibaba и Microsoft превзошли человека в чтении
Энергия солнца и ветра составила почти 100% новых мощностей в США
Чистая энергетика
Новые пептиды подталкивают раковые клетки к самоубийству
Борьба с раком
Бундесбанк: «Регулировать биткойн можно только на мировом уровне»
Криптовалюты
Майнеры добыли 80% всех биткойнов
Криптовалюты
Наклейка на кожу подскажет, когда пора прекращать загорать
Технологии здоровья
Спутник для онлайн-трансляций 4К-видео выведен на орбиту
Кейсы