Как устроен видеохостинг: объясняем, как сегментируют и шифруют контент

Видео давно вышло за пределы развлекательного формата, сейчас его используют в обучении и продажах: мы все чаще учимся на программах с видеоуроками и выбираем товары после видеообзора. Как устроены современные видеохостинги, рассказывает Александр Павлычев, основатель видеосервиса для бизнеса Kinescope.

Люди смотрят все больше видео: по всему миру среднее ежедневное потребление видео уже составляет 84 минуты, а в 2020 году более 3 млрд интернет-пользователей смотрели потоковое или загружаемое видео не реже одного раза в месяц.

Как появилось видео?

Мы лучше усваиваем увиденное, чем прочитанное или услышанное. Важным событием развития визуальных коммуникаций стало появление фотографии в 20-х годах XlX века. Как известно, дальше события развивались стремительнее: в 1895 году братья Люмьеры представили миру синематограф — устройство для записывания и воспроизведения немых фильмов. Ждать появления звукового кино оставалось недолго, уже в 1927 году был представлен первый успешный звуковой фильм «Певец джаза», хотя технология звукозаписи в кино появилась еще в 1919-м.

Следующим этапом развития видеоформата было появление телевидения, когда видео перекочевало из кинотеатров в ежедневный вещательный формат прямо в квартирах. Фактически телевидение появилось в конце 30-х годов XX века, но настоящую популярность обрело в 50-е. Примерно в это же время становятся актуальны кинескопы — разновидность электронно-лучевых трубок, использовавшихся в телевещании. Созданием они обязаны русскому инженеру Владимиру Зворыкину, эмигрировавшему в США в начале XX века. 

По мере развития телевещания, телевизионный контент становился все сложнее, дороже, трудозатратнее и «несвободнее» — все передачи четко регламентировались и зависели от телерейтингов. Интернет полностью изменил мир видео. В 1993 году группа Severe Tire Damage провела первый онлайн-концерт в прямом эфире. Это произвело впечатление на весь мир: спустя год даже вышла отдельная передача, в которой ведущие пытались осмыслить концепцию Всемирной паутины. Запуск ActiveMovie в 1995-м позволил пользователям транслировать видеоконтент, а сеть обмена файлами P2P Napster, появившаяся в 1999 году, упростила обмен видео и музыки. Бум популярности видео был впереди, хотя пользователи уже тогда активно делились вирусными роликами — через доски объявлений или цепочки электронной почты.

23 апреля 2005 года на тогда еще неизвестном видеохостинге YouTube появилось видео с незатейливым названием Me at the Zoo («Я в зоопарке»). YouTube позволил огромному количеству пользователей начать делиться личными видео, зачастую с бессмысленным содержанием и без профессиональной подготовки. Свободный доступ и отсутствие правил принесли хостингу бешеную популярность, которая сохраняется и сейчас.

Благодаря изменению парадигмы потребления видеоконтента и развитию самого интернета (появлению новых протоколов, отказу от устаревших технологий) пользователи получили возможность показывать видео в высоком разрешении.  Возможность записывать качественное видео на телефон также стала прорывом. Технопрорыв обусловил появление стриминга и повысил уровень популярности уже и так узнаваемой всеми площадки YouTube, а также появлению альтернативных видеохостингов.

Онлайн-видео стало часть повседневного быта: онлайн-встречи на работе в Zoom или Teams с включенной камерой, образовательные курсы по тайм-менеджменту, видеореклама новой бургерной или спортзала в соседнем районе — все это новые форматы видео.

Какие есть типы видео?

Сейчас видео перестало носить исключительно развлекательный характер. Существует большое количество критериев его классификации, рассмотрим основные.

В первую очередь, видео может быть основным видом деятельности или прикладным.

Во-вторых, модели работы видео сервисов различаются по целевым аудиториям: C2C, В2С, B2B и даже B2D — Business to Developers — сервисы, которые упрощают разработчикам выполнение задач в области онлайн-видео. 

Так как видео приносит доход его создателям по всему миру, оно делится по типу монетизации следующим образом: бесплатные, условно-бесплатные, платные (транзакционные) или подписочная модель, монетизация по рекламной модели, смешанная. 

Очевидно, что видео делится и по разновидности контента: развлекательные (ivi, Hulu, Netflix), UGC-контент в соцсетях (YouTube и RuTube), а также видео для бизнеса — такой тип подразумевает использование системы инструментов для построения продуктов из двух других категорий.

Как работает современный онлайн-сервис для видео?

Онлайн-сервис для видео — это не просто плеер, а программно-аппаратная платформа со сложной архитектурой. В упрощенной версии она выглядит так:

Загрузка → Обработка → Хранение → Доставка и Проигрывание

Загрузка — совокупность протоколов и средств для поддержки загрузки или приема потокового сигнала на устройстве, включая захват видео с камеры устройства и захват экрана. Захватом экрана мы привыкли называть демонстрацию экрана. Способы же доставки медиаконтента в сервис разнообразны: к ним относятся и входящие потоки с камер наблюдения, и входящие потоки при проведении трансляций. При этом сигнал может приходить из разных источников, например, со спутника или как DVB-сигнал.

Подготовка видео состоит из двух этапов — конвертация (транскодирование) и медиасегментация. При транскодировании происходит адаптация формата под плеер, чтобы зритель мог выбрать для себя качество просмотра — 240, 1080 или 4К. При работе с транскодированием контента в разные качества используются современные видеокарты, процессоры с поддержкой обработки видеографики и современных кодеков, это требует глубокого понимания типов контента и оптимизаций, которые возможны только при большой выборке. По окончании процесса из исходного файла получается набор качеств (mezzanine files), которые оптимизированы по размеру и другим параметрам. 

Медиасегментация — нарезка видео на маленькие кусочки примерно по 1 до 10 секунд (например, Apple рекомендует для современных форматов длительность 6 секунд), которые передаются в плеер путем стриминга различными протоколами. Два наиболее известных — это HLS от Apple и MPEG DASH, который активно использует Google в том числе для YouTube. Далее плеер собирает, как пазл, видео воедино, и при хорошем уровне работы сети мы не видим этих «швов».

Плеер может проигрывать в браузере или в приложении видеофайл, просто получив на него ссылку, но современные сервисы чаще всего проигрывают своеобразный плейлист из маленьких кусочков видео. Плейлист этот называется манифестом. Использование манифеста нужно для того, чтобы сократить задержку и исключить буферизацию (прогрузку видео), а также предоставить возможность в режиме реального времени переключать аудиодорожки и другой функционал.

Если манифест содержит в себе все привычные качества просмотра для плеера, то это обеспечивает переключение качества на лету в зависимости от сетевых условий. Зрители чаще всего не задумываются об этом, однако очень часто картинка в начале воспроизведения видео далеко не идеальная, но спустя 1-2 секунды мы получаем нужное качество. Это происходит за счет того, что плеер для быстрого старта видео получает самое плохое качество, потому что оно самое легкое. Затем, если обнаружено стабильное интернет-соединение, то плеер начинает загружать отрезки большего размера и лучшего качества.

Еще одна необходимость современного видеосервиса — защита премиального контента от несанкционированного доступа, например, когда браузер и плеер обмениваются данными. Для этого используется шифрование.

Плеер — это также важный компонент видеосервиса, модульный продукт, который должен работать на всех экранах. Соответственно, на мобильных устройствах плеер пишется на том языке, на котором написано приложение, для лучшей производительности. Плеер сейчас — это не просто какой-то кусочек кода, а отдельный большой программный продукт, в который входят разработанные библиотеки для мобильных сред, множество модулей для поддержки разных стриминговых протоколов, шифрования, аналитики, поддержки плейлистов и так далее. Плеер имеет собственное API для разработчиков и требует регулярного кросс-платформенного тестирования. В современных компаниях, в которых уделяют внимание качеству видеосервисов, даже оборудован специальный стенд, на котором расположены 15-20 разных физических устройств — мобильные телефоны, планшеты разных версий, поколений и вендоров, а также виртуальный стенд. С выходом каждой новой версии плеера он проходит тестирование на совместимость.

Работа видеосервиса также включает хранение загруженного контента и форматов качества просмотра. Хранение должно быть отказоустойчивым, поэтому изготавливается несколько копий видео и чаще всего используется распределенное между разными датацентрами файловое хранилище очень больших размеров, на несколько десятков петабайт. У нас, например, хранится более 5 ПБ данных в хранилище такого типа.

В структуре видеосервиса есть еще два важных компонента: CDN и аналитика. CDN — сеть из распределенных серверов для доставки видеоконтента по ближайшему к пользователю пути. Здесь очень важна пропускная способность, ведь видеоконтент очень тяжелый.

Также есть отдельный блок аналитики: аналитика потребления (как и когда зрители смотрят видео) и аналитика качества сервиса, которая оценивает события буферизации и скорость загрузки, помогает улучшать сервис и так далее.

Это общая архитектура современного видеосервиса. В реальности она гораздо сложнее, так как включает взаимодействие между всеми этими элементами через протоколы, тестирование отказоустойчивости, масштабирование и техобслуживание, поддержку API, мониторинг, регулярное тестирование и так далее. 

Сложности при разработке видеосервиса

У нас много времени заняло изучение и тестирование конфигурации системы. Мы начинали с одной архитектуры, но потом, когда дошли до определенных объемов, осознали, что архитектуру нужно полностью переделывать. В этом и заключается главный вызов работы с видеостримингом — на начальном этапе все может быть легко и беспроблемно, но через какое-то время оказывается, что существуют серьезные сложности в управлении большим количеством объектов. Работа с видео — это безусловный highload. В каталогизации, в доставке, в транскодировании — везде существуют свои подводные камни, с которыми сталкиваешься только на фоне реальных нагрузок. Весь процесс рефакторинга платформы Kinescope занял очень большое количество времени: два года на рефакторинг программной части и пять лет — аппаратной.

В результате мы поменяли подход к обработке контента: если еще пять лет назад мы использовали только CPU-кодирование, то сейчас 90% процесса приходится на графические ускорители, которые за последние годы сильно прогрессировали. Кстати, очень большая эволюция в видеосервисах произошла благодаря развитию железа: сетевых карт, доступности дискового пространства.

В Kinescope мы довольно долго готовили фундамент для своей платформы, потому что самостоятельно занимались инфраструктурой, развитием собственной сети, построением сервисных решений. Если бы мы использовали какой-то облачный провайдер, который предоставляет аренду вычислительных мощностей, как Яндекс Cloud или AWS, то мы стартовали бы быстрее. Однако бизнес должен понимать, что в этом случае теряются контроль и скорость, которые помогают конкурировать на сегодняшнем рынке. Весь бизнес сейчас пытается сократить расходы, и даже относительно некрупные расходы на видео ложатся тяжким бременем на бюджет любой, даже большой компании. 

Что ждет видеосервисы дальше?

Важными драйверами развития видеосервисов сейчас являются:

  • Контент в социальных сетях. UGC-видеоконтент стал неразрывно связан с соцсетями — Instagram, Facebook, Snapchat и другими. (*Meta, в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России).
  • Образовательный контент. Первые выступления TED Talks появились в 2006 году, и с тех пор приобрели огромную популярность — выступления спикеров у набрали более миллиарда просмотров, и это только малая часть образовательного рынка.
  • Развлекательный контент. Гиганты рынка — Netflix, Hulu, ivi — предоставляют комфортный доступ к большему количеству сериалов или фильмов.
  • Потоковая передача. Сейчас прямые трансляции генерируют все большую долю трафика, а возможности проводить их непрофессионально кратно ускоряют рост.

В ближайшем будущем видео по-прежнему будет связано с мобильным форматом потребления контента в сетях 4/5G, при этом к 2023 году 70% населения Земли будет иметь доступ к мобильной связи.

Постоянно появляются новые интерактивные инструменты, причем не только для развлекательной индустрии. Формат видео все чаще используется для бизнес-целей, поэтому параллельно с развитием видео развиваются и способы онлайн-продаж в стримах, создания коммерческих сторис и видео для ленты. Еще в 2018 году Hubspot писал о том, что 54% потребителей хотят видеть больше видеоконтента от бренда или компании.

Видео может рассказывать так, как этого не может текст. Оно всегда будет ярким фрагментом в бесконечном информационном потоке: динамичная картинка, звук и различные эффекты. 


Читать далее:

Неизвестный вид крылатых насекомых «скрывался» в янтаре более 35 млн лет

Утечку газа из «Северного потока» показали из космоса

Посмотрите, как Юпитер и Луна сблизились в ночном небе

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Чрезвычайно молодую планету нашли у звезды с «кривым» диском
Космос
Предложен способ навигации дронов без GPS: по «отпечаткам рельефа»
Новости
Ученые раскрыли тайну гигантских черных дыр ранней Вселенной
Космос
Microsoft и Atom Computing выпустят коммерческий квантовый компьютер в 2025 году
Новости
Создан робот-голубь, который летает как настоящая птица
Наука
На страницах тысячелетнего Голубого Корана нашли скрытый текст
Наука
Уязвимость ИИ: типы атак LLM-injection и способы защиты от них
Технологии
Intel случайно упомянула о планах по разработке ИИ-ускорителя
Новости
S.T.A.L.K.E.R. 2: Heart of Chornobyl вышел спустя 15 лет: цены, патчи, бесплатный контент и концовка
Новости
Посмотрите, как прототип космоплана Aurora разогнали до 1,1 Маха 
Новости
Российских айтишников обяжут преподавать в вузах: кого это коснется
Новости
Киберспорт в России сегодня: плюсы и минусы разных бизнес-моделей
Мнения
Одинокого дельфина нашли в Балтийском море: он «разговаривает» сам с собой
Наука
Физики обнаружили сразу три формы хаоса
Наука
Российского хакера экстрадировали в США за создание вируса-вымогателя
Новости
Ученые впервые раскрыли форму короны черной дыры
Космос
Названы сроки запуска аналога Apple Pay в России
Новости
В России придумали, как искать телефонных мошенников по голосу
Новости
Лазерную связь в космосе предложили использовать, чтобы фотографировать черные дыры
Космос
Чат-бот Google научили запоминать пользователей
Новости