Сообщить об ошибке на сайте
URL
Ошибка
Тренды

Сколько нейронных сетей нужно, чтобы улучшить качество изображения? Четыре: соревнуясь, они обучают друг друга. А если добавить мощную видеокарту, можно превращать телевизионную «картинку» в HD в режиме реального времени. О том, как это устроено, на Yet Another Conference рассказал руководитель службы компьютерного зрения и технологий машинного интеллекта Яндекса Александр Крайнов, — с небольшими сокращениями «Хайтек» публикует расшифровку его выступления.

Мы в Яндексе уже много лет занимаемся анализом изображений. Модерируем изображения, которые загружают пользователи или рекламодатели, в Яндекс.Переводчике распознаем текст, в Яндекс.Такси делаем биометрическое распознавание лиц водителей и т.д.

Особый случай — Яндекс Картинки. Возможность поиска по изображению в Яндексе появилась лет 6 назад и с тех пор прогрессирует. Когда-то можно было найти картинку только похожую по цвету, и я, наверное, мог тогда убедительно рассказывать, почему поиск семантически близких изображений невозможен. Но прошли годы, развились нейронные сети, появился поиск по семантике. Поисковый запрос далеко не всегда можно выразить текстом — например, когда мы не знаем, что за объект перед нами, или когда хотим найти одежду или мебель «в таком же духе».

Ускорить мыслительный процесс

Как это работает? Изображение передается на сервер, наша большая нейронная сеть его обрабатывает — распознает какие-то семантические признаки, подписывает их короткими фразами, находит копии похожих изображений, классифицирует и т.д. В результате формируется ответ.

Самые медленные процессы — отправка изображения на сервер и обработка его нейронной сетью. В первом случае все зависит не от нас, а от связи. А над вторым мы активно работаем — используем процессоры FPGA в сотрудничестве с Intel вместо классических ЦПУ. FPGA — программируемые процессоры, на которых очень хорошо работают нейронные сети. Мы примерно в 10 раз ускорили основную тяжелую нейронную сеть и сократили время ответа почти на секунду, что очень много.

Дискриминатор против генератора

За всю историю кино и телевидения накопилось множество памятных видео, но они не соответствуют стандартам качества современных съемок. Для улучшения качества видео (и изображений) мы обучаем нейронную сеть, которая называется DeepHD. Обучение ведется, как и в случае с другими нейронками, на примерах: мы берем большую картинку, делаем ее уменьшенную копию, а DeepHD должна восстановить оригинал.

Арбитром выступает еще одна нейронная сеть, дискриминатор, которая получает большую картинку и пытается угадать, была ли она перед этим сжата, а потом восстановлена. Если дискриминатор ошибается, ему эта картинка подаётся как пример: «Тебя обманули, это не настоящая большая картинка». А если дискриминатор угадывает, поступает сигнал нейросети-генератору: «Тебя раскусили, старайся лучше».

Так две сети соревнуются друг с другом. Эта схема под названием «состязающиеся созидательные сети» — одно из самых ярких научных открытий в машинном обучении за последние несколько лет.

Подавить шум и запретить «творчество»

При обучении на изображениях мы столкнулись с проблемой: генерирующая сеть начинает додумывать что-то свое. Картинки меняются до неузнаваемости, и дискриминатор не может понять, это оригинальное изображение или восстановленное. Чтобы сдержать творческие порывы генератора, мы добавляем второго арбитра — классифицирующую нейронную сеть, задача которой — определить, поменялось ли содержание изображения. Она уже предобучена и умеет распознавать изображения 10 тыс. классов. Теперь у генератора две задачи — обмануть дискриминатор и сделать так, чтобы классификатор считал, что большая картинка семантически соответствует маленькой.

В стерильных условиях все работает отлично, но картинки, с которыми мы имеем дело в интернете, сильно зашумлены, и нейронная сеть, увеличивая четкость изображения, увеличивает и шумы тоже. Эту проблему решает еще одна нейросеть, ее задача — подавить шумы. Она работает сама по себе, без арбитра, просто сравнивая картинки пиксель за пикселем: разница должна быть минимальной, а изображения — чистыми.

От картинок к видео

Применяя этот подход к обработке видео, мы столкнулись с новыми вызовами. Человеческое зрение устроено так, что, когда мы видим последовательность нечетких кадров, мозг как бы автоматически ее улучшает — общая картинка кажется чёткой. Теперь мы соревнуемся не только с некачественным исходником, но и с человеческим мозгом. Кроме того, нам нужно улучшать не только уже записанное видео, но и то, что идет в реальном времени, например телепередачи.

Для этого мы ускорили нашу основную тяжелую нейронную сеть и на созданных ею примерах обучили вторую, облегченную (ей ставили задачу максимально быстро воспроизвести всю цепочку, которую делает тяжелая нейронка, постаравшись максимально сохранить качество). В итоге наша легкая сеть немного проигрывает тяжёлой по качеству получаемого изображения, но раз в десять выигрывает по производительности. Используя видеокарту Nvidia Tesla N100, мы можем в режиме реального времени делать картинку HD-качества.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Дмитрий Филатов, Sistema_VC: стартапы — это в первую очередь про людей, а во вторую — про деньги
Мнения
Эра Data Science: как меняется бизнес с приходом big data и новых технологий
Тренды
Народ против транспорта: почему люди недовольны, когда в городах строят новые станции метро
Идеи
Беспилотники против велосипедистов: как безопасные автомобили сделают жизнь людей хуже
Идеи
Кейсы
«Лиза Алерт»: как беспилотники и краудсорсинг помогают искать пропавших людей
SONM: как люди будут зарабатывать на собственных компьютерах с помощью блокчейна
Кейсы
Егор Матешук, ostrovok.ru: проблемы big data можно решить, закидывая пачки денег в топку
Мнения
Художник-граффитист Миша Most: технология — это кисть, которая создает будущее
Мнения
Лунная гонка: как мировые державы собираются присвоить себе спутник Земли
Идеи
Итоги Нобелевской недели. За что дали Нобелевскую премию в 2018 году?
Тренды
Руслан Шагалеев, Иннополис: война между корпорациями и городами ведется за человеческий капитал
Идеи
Кристина Хаверкамп, DENA: цена на электроэнергию должна сильнее коррелировать c погодой: много солнца и ветра — дешево, мало — дорого
Тренды
Тренды
7 лучших книг о технологиях и науке на русском языке, вышедших в 2018 году
Микрореволюция: фермеры с помощью микробов спасут мир от голода
Идеи
Мнения
Александр Тормасов, Университет Иннополис: мозги людей могут быть совершенно не готовы к восприятию новых идей
Одежда, которая поможет миру: костюм-помощник, майка-тренер и носок-няня
Тренды
В ожидании первого удара: как США готовятся к атаке со стороны России и Китая
Тренды
Страшнее метана: какие еще промышленные выбросы разрушают озоновый слой
Тренды
Интеллект большого города: как данные и умные алгоритмы улучшают качество жизни в мегаполисах
Тренды
На защите европейцев: как GDPR стал дырой в бюджете российских ИТ-компаний
Мнения
Игорь Балк, Global Innovation Labs: в XXI веке приватности нет и не будет
Тренды
Deneum: как заниматься холодным ядерным синтезом и бороться с сомнениями ученых
Кейсы
Расист, оружие и предвзятый судья — каким станет искусственный интеллект в будущем
Тренды
На совести информаторов: как громкие скандалы вокруг АНБ, Facebook и Tesla изменили мир
Тренды
NativeOS: нативная реклама в видео без репутационных потерь и терроризма от режиссера короткометражек
Кейсы
Тренды
Тихий убийца: как микропластик вызывает болезни и останавливает репродукцию живых организмов
Гонка для JavaScript-разработчиков: как постоянные обновления мешают работе
Тренды
Big data на страже здоровья: как и зачем медицинские организации собирают и хранят данные
Тренды
Николь Миллс, Booking.com — об инновациях, agile-подходе и индустрии впечатлений
Кейсы
Слишком опасный нанопластик: как одноразовые пакеты превращаются в частицы-убийцы
Тренды
Идеи
Человек и квантовая теория: существует ли то, что мы не наблюдаем
Здесь может быть ваша реклама: НАСА планирует заработать на космосе миллионы
Тренды
Опасный криптотрейдинг: как киберпреступники угрожают виртуальным сбережениям и биржам
Тренды
Как через 20 лет будет выглядеть армия будущего
Тренды
5 финансовых инструментов, которые помогут инвесторам даже после падения криптовалюты
Тренды
Александр Лямин, Qrator Labs: наша задача — выработать у людей цифровую гигиену, чтобы они «не ели с помойки»
Кейсы
Эдуард Фош Вильяронга: люди видят в роботе только внешность, забывая, что он следит за ними
Тренды
Доктор Куэй Во-Райнард, HIT Foundation: если страна требует суверенитета данных, мы построим для нее отдельный блокчейн
Кейсы
Роботы против мигрантов: какой вклад в ксенофобию и расизм делают технологии ИИ
Тренды
Идеи
«Хакинтош»: как собрать свой собственный Mac лучше, чем у Apple
Война скриптов — искусственный интеллект против навязчивой рекламы
Тренды
Как заново изобрести супермаркет: осознанность потребления, этика производства и роботы
Тренды
Каждый человек станет сам себе банком: цифровой мир отказывается от посредников между бизнесом и клиентом
Тренды
Архитектор вычислительной инфраструктуры «Платона» Александр Варламов — о будущем ИТ-индустрии в России, стартапах и разработке
Кейсы
Дмитрий Богданов, капитан сборной России по CS:GO — о стиле жизни киберспортсмена, тренировках и блокировках РКН
Тренды
Прайсинг, трекинг, скоринг, биллинг и другие технологии, которые двигают российский бизнес
Тренды
Идеи
Космос — наш дом: что осталось решить ученым, чтобы поселить человека за пределами Земли
«Педиатр 24/7»: как телемед-стартап подарил родителям спокойствие, а врачам — работу
Кейсы
Вас снова обманули: как человечество учит компьютеры определять фейки в интернете
Тренды