Решение для создания гибридных облаков данных
Компания «Газпром нефть» и платформа Yandex.Cloud представили решение для создания гибридных облаков данных. С его помощью государственные организации и частные компании смогут внедрять технологии Yandex.Cloud, даже если для них действуют технические или нормативные ограничения на использование публичных сервисов хранения и обработки данных.
- Как это будет работать?
Пользователь ИТ-решения получает полностью готовый к работе программно-аппаратный комплекс, созданный на базе оборудования и технологий Yandex.Cloud. Комплекс устанавливается в дата-центре заказчика и становится частью его собственной платформы для работы с данными. Дальнейший сервис — профилактика, настройка, обновление и другие регламентные работы — проводятся по стандартам Yandex.Cloud.
- Как «железо» компании будет работать с новым продуктом?
Новый ИТ-продукт интегрируется с локальными корпоративными системами хранения и обработки данных и публичными облачными сервисами. В результате получается гибридное облако, которое расширяет возможности цифровой инфраструктуры компании, позволяет устанавливать повышенные стандарты безопасности и учитывать другую специфику деятельности конкретного пользователя.
В ходе апробации специалисты компании «Газпром нефть» приняли участие в выработке требований к гибридному решению и фактически стали партнером по дизайну его архитектуры. Поэтому наши клиенты получат не только полностью готовый к работе программно-аппаратный комплекс на базе технологий Yandex.Cloud, но и сервис по поддержке и регулярному обновлению продукта с учетом развития нашей публичной платформы.
Олег Коверзнев, операционный директор Yandex.Cloud
- Что планируется дальше?
Дальнейшее развитие технологического партнерства между компанией «Газпром нефть» и платформой Yandex.Cloud позволит опробовать новое цифровое решение при различных сценариях промышленной эксплуатации. «Газпром нефть» рассматривает возможность применения гибридного облака для развития своего вычислительного кластера и разработок в области искусственного интеллекта, которые используются для поиска новых запасов нефти и дистанционного управления технологическими операциями по ее добыче. Также дополнительные мощности могут быть задействованы для повышения эффективности балансировки нагрузок на производственную ИТ-инфраструктуру.
Каждый год наши заводы и нефтепромыслы создают около 5 ПБ новых данных. Мы не просто храним эту информацию, а ежедневно принимаем решения на основе ее анализа, используем при моделировании технологических процессов и обучении нейросетей. Особенность работы в удаленных регионах Сибири и Арктики требует больших распределенных вычислительных мощностей, которые бы регулировались из одного места. Создание гибридного облака решает эту задачу и обеспечивает информационную безопасность. Продукт станет удобным сервисом для промышленных компаний и других представителей рынка.
Андрей Белевцев, директор по цифровой трансформации компании «Газпром нефть»
Четыре новых сервиса для хранения и управления данными
Категория сервисов для хранения и управления данными стала одним из самых быстрорастущих направлений платформы Yandex.Cloud в 2020 году, опередив по динамике роста сервисы традиционного лидера — аренду виртуальных машин. С помощью облачных сервисов управления данными компании, независимо от размера и сферы деятельности, решают такие задачи, как хранение и обработка данных, их аналитика и визуализация.
Наибольшим спросом пользуются сервисы управляемых баз данных (Managed Databases) — с начала 2020 года потребление этих сервисов на платформе Yandex.Cloud выросло в три раза, а количество созданных пользователями баз данных превысило 10 000.
- Что было ранее?
В нашей платформе Yandex.Cloud уже были доступны по кнопке практически все самые популярные на рынке решения в области хранения и обработки данных. В этом году мы существенно улучшили сценарии миграции данных. Для этого мы добавили два новых сервиса, которые упрощают перенос данных между любыми источниками, — Managed Service for Kafka, и специализированное решение для переноса данных между базами данных — Data Transfer. В сегменте баз данных общего назначения облако стало еще доступнее для Enterprise-пользователей — появился новый сервис Managed Service for SQL Server. В семействе аналитических решений появился Managed Service for Elastic Search — популярное решение, поддерживающее сценарии полнотекстового поиска и ad hoc аналитики.
Алексей Башкеев, руководитель платформы Yandex.Cloud
- Что появится сейчас?
С 23 сентября пользователям Yandex.Cloud открыт доступ к новому сервису Data Transfer, который позволяет без остановки работы приложений переносить данные между СУБД независимо от того, где они развернуты. Data Transfer помогает быстро и безопасно выполнить миграцию баз данных из других облачных платформ или локальных баз данных в сервисы управляемых баз данных Yandex.Cloud. Также с помощью Data Transfer можно перемещать данные между различными базами данных на платформе и настраивать резервное копирование.
Также в открытый доступ вышел сервис Managed Kafka — система потоковой передачи данных в аналитические системы. Добавлены сервис поиска и анализа данных ElasticSearch и одна из наиболее популярных в мире коммерческих систем управления базами данных для работы в экосистеме продуктов Microsoft SQL Server. Всего на платформе Yandex.Cloud теперь доступно 9 сервисов управляемых баз данных, закрывающих большинство сценариев хранения и обработки данных.
Новый раздел маркетплейса с данными для бизнес-аналитики
В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей. Например, пользователи могут оценивать потенциальный спрос на продукты или перспективы открытия торговых точек, планировать расширение зон поставок или маркетинговые кампании.
В разделе уже доступен контент двух партнеров — «Центра пространственных исследований» на коммерческой основе и Росстата на безвозмездной, а также два примера геоаналитики от Яндекса — «Аудитория: интересы и соцдем» и «Организации: спрос и предложение». С помощью DataLens пользователи могут комбинировать и анализировать все пресеты данных для принятия бизнес-решений.
Мы стремимся дать партнерам не просто технологии, а инструменты для монетизации любого интеллектуального продукта, который может быть сделан или улучшен с помощью облака. Отдельно отмечу, что все весь контент раздела «Геослои» — это исключительно агрегированные и обезличенные данные, по которым невозможно получить детализацию по конкретному устройству или пользователю.
Олег Коверзнев, операционный директор Yandex.Cloud
Кто выступил партнером Yandex.Cloud?
Аналитика создается при сотрудничестве с Росстатом. Соглашение о сотрудничестве предполагает совместную работу по подготовке пакетов различных открытых данных. Уже доступны показатели естественного движения населения, а также другая демографическая информация.
Росстат размещает в открытом доступе большие массивы данных, доступных любым пользователям. Благодаря сотрудничеству с Yandex.Cloud они приобретут дополнительную ценность для исследователей, аналитиков и бизнеса. Инструменты платформы позволяют объединять источники, делать быстрый анализ, строить наглядную визуализацию и в результате оперативно принимать стратегические решения.
Павел Смелов, заместитель руководителя Росстата
Центр пространственных исследований предоставил геоинформационные данные по населению, домохозяйствам в новостройках, а также индексам бизнес-потенциала для различных сфер. Кроме того, на бесплатной основе доступен дашборд по мониторингу сетевой торговли РФ, который ведется с 2015 года и содержит индекс развитости региона с точки зрения федеральных игроков ритейла.
По словам гендиректора Центра пространственных исследований Дениса Струкова, аналитические инструменты, индексы и экспертиза в сочетании с возможностями DataLens — это своевременный ответ на запрос B2B- и B2C-рынков. Это, по его словам, облачный вариант location intelligence, который в последнее время развивается за рубежом, а теперь и в России.
Общий доступ к маркетплейсу Yandex.Cloud открыт в 2019 году. Это площадка, на которой клиенты Облака могут напрямую получать от разработчиков и издателей доступ к бизнес-приложениями. Сегодня доступны 47 приложений и сервисов: от операционных систем до инструментов защиты информации генетического анализа.
Yandex.Cloud открывает общий доступ к новому сервису для разработки на основе машинного обучения DataSphere
Платформа Yandex.Cloud открывает общий доступ к сервису для разработчиков машинного обучения Yandex DataSphere. Сервис помогает компаниям и индивидуальным разработчикам снизить стоимость создания и эксплуатации моделей машинного обучения, автоматически управлять объемом и типом вычислительных ресурсов, сократить потерю времени на создание и организацию среды разработки. В открытом доступе Yandex DataSphere будет с 1 октября.
Почему это актуально?
Глобальные расходы компаний на искусственный интеллект по прогнозам IDC удвоятся в течение следующих четырех лет с 50 млрд долларов в 2020 году до 110 млрд в 2024 году. Расходы российских компаний на ИИ составили по итогам 2019 года 172 млн долларов с прогнозом роста на 30% ежегодно. Разработки на базе машинного обучения уже активно применяют многие российские компании. Например, в медицине для создания решений анализа снимков, в ритейле для разработки рекомендательных систем.
Методы машинного обучения становятся все более популярным инструментом для бизнеса во всем мире. Но для многих компаний он все еще недоступен из-за высокого порога входа и стоимости необходимых вычислительных ресурсов. Для решения этих задач мы создали DataSphere, где вы можете получить готовую ML-среду одним нажатием кнопки. В нем доступны разные виды вычислительных ресурсов — от классических мощностей до GPU и распределенных вычислений, а тарификация происходит только за фактически потребленные серверные мощности во время выполнения ваших задач.
Алексей Башкеев, руководитель платформы Yandex.Cloud
Что нового появится у Yandex.Cloud?
- Технология бессерверных вычислений при разработке моделей машинного обучения.
Технология автоматизирует управление ресурсами и позволяет добиться значительной экономии. В DataSphere при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов (обучение моделей, запуск, другие вычисления).
В результате пользователь платит только за реально потребленный вычислительный ресурс. Время редактирования и просмотра кода, работа случайно не выключенной виртуальной машины не тарифицируется. По результатам тестирования DataSphere, в котором приняли участие 200 пользователей из различных сфер, время простоя вычислительных мощностей при разработке машинного обучения составляет 50–70%. При использовании продукта это время не будет тарифицироваться.
- Реализовано бесшовное переключение между разными типами вычислительных ресурсов.
Это значит, что в рамках одного сценария обучения модели пользователь может применять разные типы виртуальных машин — экономичные с обычными процессорами (CPU) и быстрее с GPU (графические ускорители). Прогресс обучения модели при этом сохранится. В большинстве облачных сред разработки машинного обучения расчет модели обучения может вестись только на машине одного типа.
- Сохранение версий расчетов модели, включая данные, код и состояния.
Эта функция делает процесс разработки машинного обучения более выгодным для бизнеса: достигнутый прогресс в обучении не теряется, его можно воспроизвести при необходимости.
Yandex SpeechKit Pro поможет сделать голосовых роботов умнее и человечнее
Платформа Yandex.Cloud представила специализацию сервиса SpeechKit — Yandex SpeechKit Pro. Это программа для компаний-разработчиков, участники которой получат доступ к новым инструментам для создания роботов и голосовых помощников ориентированных на работу в конкретной отрасли или компании.
Такие роботы смогут распознавать слова и команды на определенную тему с максимальным уровнем точности. Новые инструменты помогут существенно улучшить сценарии обслуживания в банке, в медицине или в доставке. Также SpeechKit Pro позволяет создавать индивидуальные черты голосового робота: интонации и манеру общения.
Почему это актуально?
К 2020 году синтез и распознавание речи стали самым востребованным ML-сервисом на платформе Yandex.Cloud. С начала года объем потребления SpeechKit вырос на 120%. Количество активных проектов превысило 500. В России уже сформировалась экосистема разработчиков и интеграторов решений, которые по заказу компаний из различных сфер создают и внедряют голосовых роботов для помощи в обработке входящих и исходящих звонков, системы голосового управления в приложениях и терминалах обслуживания клиентов, решения по анализу эффективности бизнес-коммуникаций.
Сегодня это более 20 компаний, большинство из которых — постоянные партнеры платформы Yandex.Cloud. По данным партнеров, за последние два года основными мотивами внедрения голосовых роботов в российских компаниях стали сокращение затрат и быстрое масштабирование решений.
Вместе с нашими партнерами мы прошли большой путь, за два года сделав речевые технологии из экзотического сервиса прикладным инструментом бизнеса. Теперь мы делаем следующий шаг и открываем новый уровень речевых технологий Яндекса для партнеров. Компании-разработчики получат доступ к расширенным возможностям SpeechKit, а заказчики решений смогут выбрать поставщика с наиболее подходящей экспертизой.
Алексей Башкеев, руководитель платформы Yandex.Cloud
Как решение будет адаптироваться под разные задачи бизнеса?
Вместе с интересом бизнеса к возможностям речевых технологий, выросли и требования к точности распознавания в конкретных сценариях взаимодействия голосовых роботов и человека, возможности быстро адаптировать разработки под новые задачи.
Например, для компании из сферы доставки принципиально важно, чтобы робот не путался в оценке значений фраз «Перенесите заказ» или «Занесите заказ», а для телекоммуникационных компаний — чтобы без ошибок отличал фразы «Включить услугу» и «Отключить услугу». Приоритет бизнеса — точность именно в его сфере, возможность развивать опыт применения в конкретном бизнес-сценарии на основе объективных показателей.
Для решения этих задач Yandex.Cloud предоставляет партнерам дополнительные инструменты разработки в рамках специализации SpeechKit Pro. Теперь компании-партнеры смогут пользоваться разметкой аудиоданных, обучать индивидуальные модели распознавания речи на данных заказчиков, контролировать метрики качества распознавания речи и адаптировать модели распознавания к конкретному потоку данных.
Специализацию SpeechKit Pro уже получили компании Neuro.net, Just.ai, «Авиационные технологии связи», Naumen, Robovoice и Voximplant.
Платформа Yandex.Cloud расширила экосистему сервисов с технологиями бессерверных вычислений
Платформа Yandex.Cloud расширила экосистему сервисов с технологиями бессерверных (serverless) вычислений собственной разработки. К четырем сервисам, анонсированным в 2019 году, добавились еще два — Yandex API Gateway и база данных Yandex Database в режиме Serverless.
Что это значит?
Бессерверные вычисления избавляют компании от затрат на решение задач по выделению и настройке облачной инфраструктуры: виртуальных машин, серверов облачных баз данных и приложений. Эти задачи теперь выполняются на стороне платформы Yandex.Cloud автоматически.
При использовании технологий бессерверных вычислений платформа автоматически определяет, например, увеличение числа обращений пользователей к приложению компании и выделяет необходимые для стабильной работы ресурсы. Как только нагрузка на приложение снижается, уменьшается и количество задействованных для его работы мощностей. Это позволяет пользователям перейти на новый для российских облаков принцип оплаты — только по фактическому потреблению сервисов — и добиться значительной экономии.
Yandex.Cloud — первая облачная платформа в России, которая предлагает полноценную экосистему бессерверных вычислений. Мы собрали самые необходимые технологии хранения и обработки данных для решения актуальных задач бизнеса и сделали их доступными в бессерверном режиме. Бессерверные вычисления — это новый этап развития облачных технологий во всем мире. Это возможность снизить затраты до 90%, ускорить время создания и внедрения новых решений, повысить устойчивость приложений в периоды пиковых нагрузок, освободить компании от задач по масштабированию сервиса.
Алексей Башкеев, руководитель платформы Yandex.Cloud
Как это будет работать?
Экосистема бессерверных технологий Yandex.Cloud теперь включает в себя шесть сервисов: Yandex Object Storage — универсальное масштабируемое решение для хранения данных; API Gateway — сервис для создания и управления API; запуск кода в виде функций — Yandex Cloud Functions; отказоустойчивую систему управления базами данных — Yandex Database; универсальное масштабируемое решение для обмена сообщениями между приложениями — Yandex Message Queue и сервис интернета вещей Yandex IoT Core.
На все сервисы экосистемы бессерверных вычислений Yandex.Cloud в течение первого года (до октября 2021-го) действуют специальные тарифы, которые позволяют пользователям бесплатно создавать и размещать свои сервисы, не превышающие определенный уровень нагрузки.
Читать также
В эпоху экосистем: как ИТ-гиганты превращаются в интерфейсы нашего быта
Ледник «Судного дня» оказался опаснее, чем думали ученые. Рассказываем главное