Инженеры разработали систему, которая использует белый шум для точной синхронизации видео и аудиопотока для облачных игр.
Инженеры из Массачусетского технологического института и компании Microsoft разработали технологию синхронизации видео и аудиоданных для серверных игр. При использовании белого шума задержка в системе не превышает 10 мс — порога, при котором игрок начинают замечать рассинхронизацию.
В облачных играх сервер получает на вход данные о действиях конкретного играка и информацию от игровых аксессуаров. В ответ он генерирует два отдельных медиапотока. Первый содержит игровые аудио и видео, а второй данные для контроллеров и аудиогарнитур, включающий игровой звук, голосовой чат и тактильную обратную связь.
Эти два потока обычно передаются по разным сетям, что может привести к отсутствию синхронизации (задержке между потоками) между ними, что приводит к задержке видео, медленному тактильному отклику и ухудшению игрового процесса.
Традиционно для устранения задержки применяется пинг — сервер проверяет время, необходимое для доставки сообщения по каждому из каналов, и компенсирует задержку при передаче данных. Но этот метод не всегда надежен, поскольку доставка сообщения на сервер может занять больше времени, чем возвращение обратного сигнала.
Чтобы улучшить синхронизацию, инженеры разработали технологию Ekho. Она добавляет «псевдошум» к игровому звуку перед потоковой передачей на экран игрока. Белый шум низкой громкости не слышен людям, но фиксируется контролерами. Система анализирует собранные данные, определяет задержку между каналами и управляет в активном режиме синхронизацией потоков.
Исследователи протестировали систему Ekho на реальных сеансах облачной потоковой передачи. Анализ показал, что она может рассчитывать задержку между потоками с точностью до 1 мс. Даже когда качество микрофона было плохим или был слышен фоновый шум, в 86,6% задержка между потоками не превышала 10 мс.
Читать далее:
Физики впервые наблюдали «кольца Алисы»: квантовый вход в «зазеркалье»
Исследователи превратили раковые клетки в мышечную ткань
Посмотрите, как Сатурн максимально приблизился к Земле
На обложке: Изображение от krakenimages.com на Freepik