Сообщить об ошибке на сайте
URL
Ошибка
Тренды

Сколько нейронных сетей нужно, чтобы улучшить качество изображения? Четыре: соревнуясь, они обучают друг друга. А если добавить мощную видеокарту, можно превращать телевизионную «картинку» в HD в режиме реального времени. О том, как это устроено, на Yet Another Conference рассказал руководитель службы компьютерного зрения и технологий машинного интеллекта Яндекса Александр Крайнов, — с небольшими сокращениями «Хайтек» публикует расшифровку его выступления.

Мы в Яндексе уже много лет занимаемся анализом изображений. Модерируем изображения, которые загружают пользователи или рекламодатели, в Яндекс.Переводчике распознаем текст, в Яндекс.Такси делаем биометрическое распознавание лиц водителей и т.д.

Особый случай — Яндекс Картинки. Возможность поиска по изображению в Яндексе появилась лет 6 назад и с тех пор прогрессирует. Когда-то можно было найти картинку только похожую по цвету, и я, наверное, мог тогда убедительно рассказывать, почему поиск семантически близких изображений невозможен. Но прошли годы, развились нейронные сети, появился поиск по семантике. Поисковый запрос далеко не всегда можно выразить текстом — например, когда мы не знаем, что за объект перед нами, или когда хотим найти одежду или мебель «в таком же духе».

Ускорить мыслительный процесс

Как это работает? Изображение передается на сервер, наша большая нейронная сеть его обрабатывает — распознает какие-то семантические признаки, подписывает их короткими фразами, находит копии похожих изображений, классифицирует и т.д. В результате формируется ответ.

Самые медленные процессы — отправка изображения на сервер и обработка его нейронной сетью. В первом случае все зависит не от нас, а от связи. А над вторым мы активно работаем — используем процессоры FPGA в сотрудничестве с Intel вместо классических ЦПУ. FPGA — программируемые процессоры, на которых очень хорошо работают нейронные сети. Мы примерно в 10 раз ускорили основную тяжелую нейронную сеть и сократили время ответа почти на секунду, что очень много.

Дискриминатор против генератора

За всю историю кино и телевидения накопилось множество памятных видео, но они не соответствуют стандартам качества современных съемок. Для улучшения качества видео (и изображений) мы обучаем нейронную сеть, которая называется DeepHD. Обучение ведется, как и в случае с другими нейронками, на примерах: мы берем большую картинку, делаем ее уменьшенную копию, а DeepHD должна восстановить оригинал.

Арбитром выступает еще одна нейронная сеть, дискриминатор, которая получает большую картинку и пытается угадать, была ли она перед этим сжата, а потом восстановлена. Если дискриминатор ошибается, ему эта картинка подаётся как пример: «Тебя обманули, это не настоящая большая картинка». А если дискриминатор угадывает, поступает сигнал нейросети-генератору: «Тебя раскусили, старайся лучше».

Так две сети соревнуются друг с другом. Эта схема под названием «состязающиеся созидательные сети» — одно из самых ярких научных открытий в машинном обучении за последние несколько лет.

Подавить шум и запретить «творчество»

При обучении на изображениях мы столкнулись с проблемой: генерирующая сеть начинает додумывать что-то свое. Картинки меняются до неузнаваемости, и дискриминатор не может понять, это оригинальное изображение или восстановленное. Чтобы сдержать творческие порывы генератора, мы добавляем второго арбитра — классифицирующую нейронную сеть, задача которой — определить, поменялось ли содержание изображения. Она уже предобучена и умеет распознавать изображения 10 тыс. классов. Теперь у генератора две задачи — обмануть дискриминатор и сделать так, чтобы классификатор считал, что большая картинка семантически соответствует маленькой.

В стерильных условиях все работает отлично, но картинки, с которыми мы имеем дело в интернете, сильно зашумлены, и нейронная сеть, увеличивая четкость изображения, увеличивает и шумы тоже. Эту проблему решает еще одна нейросеть, ее задача — подавить шумы. Она работает сама по себе, без арбитра, просто сравнивая картинки пиксель за пикселем: разница должна быть минимальной, а изображения — чистыми.

От картинок к видео

Применяя этот подход к обработке видео, мы столкнулись с новыми вызовами. Человеческое зрение устроено так, что, когда мы видим последовательность нечетких кадров, мозг как бы автоматически ее улучшает — общая картинка кажется чёткой. Теперь мы соревнуемся не только с некачественным исходником, но и с человеческим мозгом. Кроме того, нам нужно улучшать не только уже записанное видео, но и то, что идет в реальном времени, например телепередачи.

Для этого мы ускорили нашу основную тяжелую нейронную сеть и на созданных ею примерах обучили вторую, облегченную (ей ставили задачу максимально быстро воспроизвести всю цепочку, которую делает тяжелая нейронка, постаравшись максимально сохранить качество). В итоге наша легкая сеть немного проигрывает тяжёлой по качеству получаемого изображения, но раз в десять выигрывает по производительности. Используя видеокарту Nvidia Tesla N100, мы можем в режиме реального времени делать картинку HD-качества.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Колонизация отменяется: почему терраформирование невозможно на Марсе
Тренды
Сет Стивенс-Давидовиц: у людей гораздо больше непристойных и скверных мыслей, чем мы думали
Мнения
Умные города подвергают своих жителей опасности из-за датчиков освещения и радиации
Тренды
Биоценоз в фарме: зачем нужна альтернатива антибиотикам и как работают лекарства нового поколения
Тренды
Мнения
Геронтолог Обри ди Грей: жизнь длиной в тысячу лет — это побочный эффект поиска вечного здоровья
Чарльз Адлер, co-founder Kickstarter: я — панк-рокер, который раздвигает границы
Кейсы
Как ИИ меняет медицину: личный помощник для врачей, маршрутизатор в клиниках и разработчик лекарств
Кейсы
Эдвин Диндер, Huawei Technologies: умный город — это ничто
Мнения
«Если изобретение с ИИ не приносит пользу, сам продукт никому не нужен»
Мнения
Feature engineering: шесть шагов для создания успешной модели машинного обучения
Тренды
Карло Ратти, Senseable City Laboratory (MIT) — о городах будущего, третьей коже человека и роболодках
Тренды
Мнения
Человек — это набор из пяти чисел: Игорь Волжанин, DataSine — о психотипировании с помощью big data
Мы все — сенсоры: CEO SQream Ами Галь — о том, как обрабатывают big data
Кейсы
Что такое скрапинг: как Amazon, Walmart и другие ритейлеры используют ботов в борьбе с конкурентами
Идеи
Почему китайские подлодки-беспилотники станут самым опасным врагом под водой?
Идеи
Филипп Роуд, LSE Cities: самый кошмарный сценарий — беспилотники, ездящие по городу, чтобы не платить за парковку
Мнения
Юрий Корженевский — о том, как построить безопасные системы для банков на блокчейне
Блокчейн
MyGenetics: ДНК-тесты, помогающие «взломать» организм, как компьютер
Тренды
Иннополис
Russian Robot Olympiad: как дети строят роботов и решают реальные инженерные проблемы
Trade-to-Mine: как биржи привлекают трейдеров в условиях падения рынка
Блокчейн
Дмитрий Фадин, 3D Bioprinting Solutions — о будущем биопринтинга и печати органов в космосе
Мнения
IoT изменит все: какие умные технологии принесут бизнесу экономию, безопасность и инновации
Тренды
Как высокие технологии побуждают нас покупать билеты и туристические услуги
Тренды
Чем плоха Кремниевая долина для IT-стартапов из России: дорого, неудобно и нет транспорта
Мнения
Жить по-умному: как защитить свой дом и не бояться киберугроз
Умный дом
Андрей Синогейкин, Wonder Technologies, — об искусственных алмазах
Тренды
Никита Бокарев, ESforce, — о деньгах, киберспорте и его немаргинальности
Тренды
Тренды
YouTube-депрессия: как создатели популярных каналов боятся потерять подписчиков и разум
Гельмут Райзингер, Orange Business Services, — об IIoT, 5G и телеком-стартапах
Мнения
«Робот берет вас на работу»: как искусственный интеллект, блокчейн и VR подбирают персонал
Мнения
Телемедицина, роботы и умные дома: каким через 5 лет будет «оцифрованный» город в России
Тренды
Мясная революция: как перейти от веганских заменителей к клеточным технологиям и биореакторам
Идеи
AI-выборы: как искусственный интеллект и голосовые помощники сделают демократию лучше
Тренды
Идеи
Тупик для беспилотников: как мечты разработчиков разбиваются о неожиданности на дорогах
Здесь нужен InsurTech: за какими стартапами будущее страхования
Мнения
Идеи
Вирус лженауки в Google: как поисковые системы распространяют опасные мифы о прививках
«Кто-то управляет моим домом»: как жертв домашнего насилия терроризируют с помощью умных устройств
Умный дом
Паскаль Фуа, EPFL, — о ключевых точках, глубоких нейросетях и эпиполярной геометрии
Мнения
20 фильмов о кибербезопасности, взломах и цифровых преступлениях
Тренды
Ян Лекун, Facebook: прогностические модели мира — решающее достижение в ИИ
Мнения
Джианкарло Суччи: «Попытка спроектировать программу без багов — утопия»
Иннополис
Game out: Как видеоигры обучают детей-аутистов держать равновесие и узнавать людей
Тренды
Прослушка, контроль камеры и предсказание смерти пользователя: самые странные патенты Facebook
Кейсы
Цес Снук, QUVA: мы не хотим зависеть от крупных компаний, которые владеют всеми данными
Мнения
Дмитрий Песков, АСИ: «В России традиционно долго запрягают, и в сфере IT мы только этим и занимаемся»
Иннополис
ДНК-тесты: как генетические компании обманывают людей и разрушают семьи
Мнения
Мануэль Маццара: «Для Facebook вы не покупатель, вы — продукт»
Иннополис
Тренды
Блокчейн, искусственное мясо и «смерть» смартфонов: что будет с технологиями через 10 лет
Витторио Феррари, Google: «Чтобы машина распознала книгу о Гарри Поттере нужна сложная математическая модель»
Мнения