Сообщить об ошибке на сайте
URL
Ошибка
Тренды

Сколько нейронных сетей нужно, чтобы улучшить качество изображения? Четыре: соревнуясь, они обучают друг друга. А если добавить мощную видеокарту, можно превращать телевизионную «картинку» в HD в режиме реального времени. О том, как это устроено, на Yet Another Conference рассказал руководитель службы компьютерного зрения и технологий машинного интеллекта Яндекса Александр Крайнов, — с небольшими сокращениями «Хайтек» публикует расшифровку его выступления.

Мы в Яндексе уже много лет занимаемся анализом изображений. Модерируем изображения, которые загружают пользователи или рекламодатели, в Яндекс.Переводчике распознаем текст, в Яндекс.Такси делаем биометрическое распознавание лиц водителей и т.д.

Особый случай — Яндекс Картинки. Возможность поиска по изображению в Яндексе появилась лет 6 назад и с тех пор прогрессирует. Когда-то можно было найти картинку только похожую по цвету, и я, наверное, мог тогда убедительно рассказывать, почему поиск семантически близких изображений невозможен. Но прошли годы, развились нейронные сети, появился поиск по семантике. Поисковый запрос далеко не всегда можно выразить текстом — например, когда мы не знаем, что за объект перед нами, или когда хотим найти одежду или мебель «в таком же духе».

Ускорить мыслительный процесс

Как это работает? Изображение передается на сервер, наша большая нейронная сеть его обрабатывает — распознает какие-то семантические признаки, подписывает их короткими фразами, находит копии похожих изображений, классифицирует и т.д. В результате формируется ответ.

Самые медленные процессы — отправка изображения на сервер и обработка его нейронной сетью. В первом случае все зависит не от нас, а от связи. А над вторым мы активно работаем — используем процессоры FPGA в сотрудничестве с Intel вместо классических ЦПУ. FPGA — программируемые процессоры, на которых очень хорошо работают нейронные сети. Мы примерно в 10 раз ускорили основную тяжелую нейронную сеть и сократили время ответа почти на секунду, что очень много.

Дискриминатор против генератора

За всю историю кино и телевидения накопилось множество памятных видео, но они не соответствуют стандартам качества современных съемок. Для улучшения качества видео (и изображений) мы обучаем нейронную сеть, которая называется DeepHD. Обучение ведется, как и в случае с другими нейронками, на примерах: мы берем большую картинку, делаем ее уменьшенную копию, а DeepHD должна восстановить оригинал.

Арбитром выступает еще одна нейронная сеть, дискриминатор, которая получает большую картинку и пытается угадать, была ли она перед этим сжата, а потом восстановлена. Если дискриминатор ошибается, ему эта картинка подаётся как пример: «Тебя обманули, это не настоящая большая картинка». А если дискриминатор угадывает, поступает сигнал нейросети-генератору: «Тебя раскусили, старайся лучше».

Так две сети соревнуются друг с другом. Эта схема под названием «состязающиеся созидательные сети» — одно из самых ярких научных открытий в машинном обучении за последние несколько лет.

Подавить шум и запретить «творчество»

При обучении на изображениях мы столкнулись с проблемой: генерирующая сеть начинает додумывать что-то свое. Картинки меняются до неузнаваемости, и дискриминатор не может понять, это оригинальное изображение или восстановленное. Чтобы сдержать творческие порывы генератора, мы добавляем второго арбитра — классифицирующую нейронную сеть, задача которой — определить, поменялось ли содержание изображения. Она уже предобучена и умеет распознавать изображения 10 тыс. классов. Теперь у генератора две задачи — обмануть дискриминатор и сделать так, чтобы классификатор считал, что большая картинка семантически соответствует маленькой.

В стерильных условиях все работает отлично, но картинки, с которыми мы имеем дело в интернете, сильно зашумлены, и нейронная сеть, увеличивая четкость изображения, увеличивает и шумы тоже. Эту проблему решает еще одна нейросеть, ее задача — подавить шумы. Она работает сама по себе, без арбитра, просто сравнивая картинки пиксель за пикселем: разница должна быть минимальной, а изображения — чистыми.

От картинок к видео

Применяя этот подход к обработке видео, мы столкнулись с новыми вызовами. Человеческое зрение устроено так, что, когда мы видим последовательность нечетких кадров, мозг как бы автоматически ее улучшает — общая картинка кажется чёткой. Теперь мы соревнуемся не только с некачественным исходником, но и с человеческим мозгом. Кроме того, нам нужно улучшать не только уже записанное видео, но и то, что идет в реальном времени, например телепередачи.

Для этого мы ускорили нашу основную тяжелую нейронную сеть и на созданных ею примерах обучили вторую, облегченную (ей ставили задачу максимально быстро воспроизвести всю цепочку, которую делает тяжелая нейронка, постаравшись максимально сохранить качество). В итоге наша легкая сеть немного проигрывает тяжёлой по качеству получаемого изображения, но раз в десять выигрывает по производительности. Используя видеокарту Nvidia Tesla N100, мы можем в режиме реального времени делать картинку HD-качества.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Сэр Харшад Бадехиа — о бронежилетах будущего, русских математиках и металлургии
Тренды
«Надежнее золота»: блокчейн в цифрах
Блокчейн
Робопес SpotMini от Boston Dynamics прошелся по улицам Ганновера
Доброжелательные роботы
Бас Лансдорп, Mars One: «Моя жена отдала бы все, чтобы не лететь на Марс»
Полет на Марс
Как big data, блокчейн и 3D-печать сделали пищу полезнее
Мнения
Томас Циммерман, IBM, — о том, как остановить конец света, спасая планктон
Тренды
Тренды
Без Siri, Алисы и «Окей, Google»: как и зачем нас подслушивают собственные телефоны
Шрада Агарвал, Outcome Health: «Когда человек знает о своей болезни, от этого выигрывает и он, и фарма»
Мнения
Тренды
«Дорогая, я ухожу от тебя к роботу!»: заменят ли секс-андроиды реальные отношения?
7 правил для начинающих и разумных блокчейн-инвесторов
ICO
Четвертая революция: как интернет вещей изменит промышленность и нефтедобычу
Тренды
Не витайте в «облаках»: как провайдеры обманывают доверчивых клиентов
Мнения
Когда мы начнем летать на автомобилях в городе?
Тренды
Как в Россию проникают технологии: интернет-рестораны, маникюр на дому и «умное» страхование
Кейсы
Гендиректор Uber Дара Хосровшахи: «Автомобили должны ездить в трех измерениях»
Мнения
Олег Бабкин: «Системных администраторов никто не обучает, обучают только разработчиков»
Мнения
«Чтобы создать новое лекарство, нужно 10–12 лет и миллиард долларов»
Мнения
Новый стандарт рекламного рынка: что нужно знать о programmatic, чтобы рекламироваться эффективно
Тренды
Тренды
Сооснователь «Евросети» Тимур Артемьев: «Мы будем летать из Лондона в Сидней через космос. Так ближе»
Иван Горшунов, Etcetera, — о мобильных приложениях, стартапах и «внутренней девятиэтажке», которая мешает заглянуть за горизонт
Мнения
Билетный IT: как построить технологическую платформу вокруг билетного бизнеса
Кейсы
Cognitive Technologies: как российское бездорожье поможет искусственному интеллекту водить машины лучше, чем люди
Кейсы
Кейсы
10 предпринимателей — о том, как им помогают новые технологии в жизни и бизнесе
Don’t open the doors: как сделать игру из пластилина в одиночку (и привлечь инвестора на следующий проект)
Кейсы
Софт, бот, нейросеть: айтишники объясняют, почему не боятся автоматизации, роботизации и ИИ
Кейсы
Специалист по лучевой диагностике Сергей Морозов: искусственный интеллект возьмет на себя 30% функций врача и до 60% функций лаборантов
Мнения
Системный архитектор Алексей Усов — о Red Hat, международных стандартах, Linux и «Платоне»
Мнения
Microsoft впервые за три года обогнала Google по капитализации. Теперь компания — в тройке самых дорогих
Тренды
Сельское хозяйство
Российская компания представила систему, которая превращает любой трактор и комбайн в беспилотник
Массачусетский институт показал неопубликованное ранее видео из выступления Стива Джобса
Тренды
Антон Трантин, Pulsar VC: почему вашему стартапу не нужен блокчейн
Блокчейн
«Ну как бы э-э-э»: почему Google Duplex — не прорыв
Тренды
Ростуризм предложил создать аналог Booking.com в России
Мнения
В Бурятии прошло новое тестирование почтовых дронов. На этот раз беспилотник не разбился
Тренды
Создатели Pokemon Go выпустят новую игру в 2018 году
Кейсы
Роман Аранин, Observer: «Мы не хотим делать инвалидные коляски уровня «Жигулей»
Мнения
Большинство популярных витаминов оказались бесполезными
Кейсы
Virgin Galactic провела успешное испытание космического корабля для туристов
Частный космос
В США представили мобильную энергоэффективную деревню, напечатанную на 3D-принтере
Умный дом
Тренды
Сбербанк начнет выдавать биометрические водительские права уже в декабре 2018 года
Китай пригласил любые страны развивать свою околоземную станцию — замену МКС
Частный космос
Samsung открыла в России центр искусственного интеллекта — в нем будут сотрудничать со стартапами и студентами
Тренды
Инженеры BMW и MIT работают над проектом надувного автомобиля
Тренды
Исследование показало, что худшие пароли — названия музыкальных групп, брендов и футбольных команд
Кейсы
Тренды
Ученые нашли в Антарктиде три огромных каньона, скрытых под 2 километрами льда
НАСА отправит на Марс крошечную химическую лабораторию в рамках миссии ExoMars для поисков жизни
Есть ли жизнь на Марсе
Пираты распространили новинки кино через Сhrome Web Store
Кейсы
Ученые решили клонировать северных белых носорогов, чтобы спасти вид
Кейсы
Создатели Vinci запустили гибрид Инстаграма и Снэпчата — сервис CheckYou
Кейсы