Термин «большие данные» появился в работах ученого-компьютерщика из США Джона Маша еще в конце 90-х годов. Но общепринятое определение термина Big Data появилось, когда редактор журнала Nature Клиффорд Линч упомянул его в статье про рост объема мировой информации.
Что такое Big Data?
Под большими данными сегодня понимают массивные сложные структурированные и неструктурированные наборы информации, которые быстро генерируются и передаются из самых разных источников. Но еще до появления самого термина, в начале 2000-х годов, промышленный аналитик Дуг Лэйни охарактеризовал большие объемы данных как три V: volume — объем, velocity — скорость и variety — разнообразие.
- Объем
Большие данные огромны. И если традиционные данные измеряются в привычных размерах — мегабайтах, гигабайтах и терабайтах, то с Big Data дело обстоит иначе — информация хранится в петабайтах и зеттабайтах. Сколько это? Согласно Берклиской школе информации, 1 гигабайт — это видео в HD-формате длиной 7 минут, а 1 зеттабайт — 250 млрд DVD. Откуда же берется такой объем? Организации собирают данные из различных источников — транзакции пользователей, интеллектуальные (IoT) устройства, промышленное оборудование, видео, изображения, аудио, социальные сети и многое другое. В прошлом хранение таких объемов было бы слишком дорогостоящим, но сегодня благодаря озерам данных, Hadoop и облакам это уже не так. - Скорость
С развитием интернета вещей данные поступают с беспрецедентной скоростью и обрабатываются практически одновременно. RFID-метки, датчики и интеллектуальные счетчики требуют обработки потоков данных в режиме почти что реального времени. - Разнообразие
Примерно 95% всех больших данных неструктурированы, именно поэтому их непросто вписать в простую традиционную модель. Все, от электронных писем и видео до научных и метеорологических данных, может составлять большой поток данных, каждый со своими уникальными атрибутами.
Зачем нужны большие данные?
Big Data объединяет релевантную информацию из множества источников, чтобы наиболее точно описать ситуацию на рынке. Анализируя информацию из социальных сетей и поисковых запросов, компании оптимизируют стратегии цифрового маркетинга и опыт потребителей. Например, сведения о рекламных акциях всех конкурентов позволяют руководству фирмы предложить более персональный подход клиенту. Данила Наумов, директор дата-офиса, рассказал о том, как большие данные использует «М.Видео-Эльдорадо».
Как дата-офис видит клиента?
Дата-сайентисты, то есть те, кто работает с аналитикой данных, используют обезличенную информацию. Для анализа собираются самые разные движения клиента. «Какие товары покупал пользователь, что добавлял в корзину, что просматривал, на чем долго останавливался, а что проматывал, — все важно и собирается в хранилище данных», — объясняет Данила Наумов.
Если пользователь согласился оставить социально-демографические показатели, то дата-офис их анализирует, то же самое происходит и с данными о географии — где и какие покупки совершались. Анализируются чеки и история покупок. Больше всего данных специалисты дата-офиса получают от поведения пользователей на сайте — размечены все события, с которыми пользователи взаимодействуют в приложениях и на сайтах «М.Видео» и «Эльдорадо». Важно и как клиент расплачивался — наличными, картой или брал кредит, рассрочку, в каких акциях принимал участие. Учитывается, какие товары брал и какие ценовые сегменты предпочитают разные покупатели.
Вот для каких задач это полезно:
- Рекомендательные сервисы и персонализация
У многих компаний есть бонусные программы. В «М.Видео» сбор данных позволяет лучше сегментировать ее участников и создавать рекомендательные модели. Например, выбирать лучший способ коммуникации, определяя и учитывая склонность клиента реагировать на определенные типы промо, его реакции на SMS/email-канал и чувствительность к размеру промовознаграждения.
Также работа с данными помогает определять продуктовые предпочтения клиента. Например, склонность к товарной категории и покупкам в ценовом сегменте. Особенно это полезно при составлении рекомендаций товаров на сайте и в приложении. На всех основных этапах покупки реализованы сценарии рекомендаций новинок и популярных моделей, сопутствующих товаров и аксессуаров, альтернатив с лучшими или похожими характеристиками и более быстрой доставкой.
«Мы можем управлять сортировкой в плане персонализации, определять, какие товары для каких клиентов и в какой последовательности выдавать, и управлять фильтрацией при навигации клиентов на сайте. Работа с данными помогает понять, какие для каждого клиента товары являются наиболее актуальными», — объясняет Данила.
- Управление ценами
Еще одно решение для коммерческой дирекции — это управление ценами. Обычно в таком вопросе работает подход, основанный на бизнес-правилах. Есть сегмент товаров, закупочная цена, решается вопрос о наценке и сравнение с конкурентами. Управлять ценообразованием приходится в ручном режиме и мыслить макрокатегориями.
«Постепенно мы переходим на автоматизированное ценообразование и приведение цен в соответствие с конкурентами, что позволяет усложнять бизнес-процессы и более гибко их настраивать. Например, добавлять регрессионные модели, в том числе модель эластичности спроса на товар по цене, чтобы определять оптимальную наценку. Мы настраиваем более гибкие цены в зависимости от региона, в несколько раз увеличиваем сегментирование по ним, чтобы учесть географическую специфику конкурентной среды», — рассказал Данила.
При анализе параметров будут использованы регрессионные модели — более интерпретируемые, чем нейросети. На основе этих данных строятся понятные категорийным менеджерам рекомендации.
Данные лягут в основу рекомендательной системы. Модель предложит несколько сценариев продаж в зависимости от поставленной цены. На их основе можно принимать решения и корректировать цены вручную — для каждого региона и товара.
- Управление ассортиментом
Группа «М.Видео-Эльдорадо» автоматизировала планирование ассортимента на основе глубинной аналитики. Модель машинного обучения формирует оптимальный список моделей для размещения на полках разных групп магазинов, анализируя поведение покупателей при выборе товаров на сайте. Задача — исключить соседство взаимозаменяемых моделей на ограниченной площади торгового зала и таким образом удовлетворить спрос большего количества посетителей розницы.
Фото: shutterstock
Как и с ценами, решение выступает в качестве рекомендательного инструмента для категорийных менеджеров. Оно учитывает потребности клиентов, уникальность товаров и бизнес-цели компании и в результате анализа выдает рекомендацию, какие модели поставить на полку. Категорийные менеджеры могут принять совет алгоритма полностью или внести корректировки, исходя из своей экспертизы или информации, например, о задержках в поставках или снятии устройства с производства.
Как это влияет на продажи? По результатам пилотного запуска, более чем в 100 городах машинный алгоритм, просто меняя ассортимент на полках, уже увеличил продажи в тестовых категориях до 3,5%. Как отмечает Наумов, с учетом количества розничных магазинов и оборота компании это немало.
Компания уже приступила к масштабированию ассортиментного планирования и формирует на базе статистического алгоритма от 40 до 80% ассортимента магазинов (смартфоны, цифровая техника и аксессуары, холодильники, малая бытовая техника для кухни). До конца 2021 года процесс станет полностью автоматизированным.
- Управление промоакциями
Инструменты дата сайенс помогают бизнесу оценить эффект и результаты промоакции. Обычно ритейлеры берут период до промоакции и показатели во время акции по конкретным товарам. В итоге менеджеры делают вывод: внедрение скидок привело к тому, что продажи выросли на N-число. Однако бывает ситуация, когда какой-то товар «разгоняется», но при этом продажи другого, да и всей категории падают. Работа с Big Data на основе ретро-модели как раз помогает понять, какие товары «каннибализируют» друг друга, и вычислить чистую эффективность от проведения промоакции. Модель позволяет проанализировать исторический факт продаж. А также выделить в нем чистую долю регулярных продаж и долю промо. Так можно оценить удельную эффективность промоакции на тот или иной товар.
Например, есть два товара: первый — по которому проводят промоакцию, это «товар-каннибал». Второй — «товар-жертва» из той же категории, у которого спрос спал после проведения промоакции. Составляется модель, где учитывается, как «товар-жертва» продавался во время промоакции, до и после. Вычисляется дельта, и за счет нее менеджеры понимают, какой спрос забрала промоакция по товарам-аналогам, и можно посчитать чистый инкремент, который она дала на всю категорию.
- Видеоаналитика
Дата-офис разработал и собственную систему видеоаналитики, которую сейчас масштабирует. В ее работе задействованы уже установленные в магазине камеры видеонаблюдения. Видеопоток передается в облако, где обрабатывается нейросетью на основе YOLO — решения для детекции множественных объектов на изображении.
Сейчас реализованы три основных сценария использования полученных данных: «одинокий покупатель», «очередь у касс» и «тепловая карта магазина». Система в режиме реального времени анализирует поток данных из магазина, может отличить сотрудников от посетителей, а затем «накладывает» данные о местоположении людей на план магазина. Нейросеть также анализирует количество посетителей в зоне выдачи товара и касс. В случае превышения нормы система информирует персонал с помощью чат-бота. С начала проекта количество уведомлений о необходимости помочь клиенту или открыть дополнительные кассы сократилось на 75%.
- Чат-бот
Также «М.Видео» внедрила систему роботизированной поддержки клиентов на сайте, в приложении и наиболее популярных мессенджерах (WhatsApp, Telegram, Viber). Искусственный интеллект в лице виртуального помощника «Алены» распознает до 98% запросов и симулирует живое общение в формате «вопрос-ответ». Общий уровень автоматизации обработки входящих запросов превышает 40% — более 60 000 обращений ежемесячно. По некоторым сценариям «Алена» закрывает более половины обращений, например, предоставление статуса заказа автоматизировано на 52%, сервис по продлению или отмене резерва — на 60%.
Центр компетенций по речевой аналитике разрабатывает для «Алены» сервисы по обработке естественного языка (NLP) — классификаторы, механизмы извлечения сущностей и построения оптимального сценария диалога и рекомендаций.
Зачем все это нужно?
«Что такое данные для нас? Это не только чеки, которые клиенты оставили у нас. Это не только их активность в магазине и на сайте. Когда любой человек в нашей компании какую-либо информацию вводит в информационную систему, все это данные, и мы используем их для извлечения конкурентных преимуществ», — заключает Данила Наумов.
Читайте также
ИИ vs тролли: нейроаудит соцсетей, SERM-системы и распознавание фейков
Mozilla хочет разоблачить алгоритмы YouTube. Компания призывает на помощь людей
Инкремент — приращение, или этап в маркетинговой стратегии. При инкрементальном подходе масштабная идея, программа или проект реализуются посредством небольших последовательных шагов.
Hadoop — проект фонда Apache Software Foundation, свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределенных программ, работающих на кластерах из сотен и тысяч узлов.
Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность. При этом для построения модели используются данные, которые можно измерить, а не знание свойств нужной закономерности.