Цифровые помощники на основе искусственного интеллекта проникают во все сферы жизни. По прогнозу Gartner, к 2022 году 70% коммуникаций пользователей будет происходить с использованием новых технологий на основе машинного обучения и искусственного интеллекта. О том, как работает технология и как алгоритм учится понимать человека, рассказывает Сергей Воронов, CPO цифровой платформы для бизнеса Dipa.
Общение с ИИ-помощником: как он нас понимает
Все начинается с обращения пользователя к системе. ИИ-помощник получает первичный запрос на естественном для человека языке: кто-то предпочитает обращаться к цифровому ассистенту при помощи голоса, а кто-то вводит текст. Поэтому ИИ должен уметь разбирать и то, и другое.
Дальше выполняется анализ и разбор запроса пользователя. Это самая сложная часть в работе ИИ-помощника, где задействовано несколько нейросетей. Этапов тоже несколько:
— Предварительная обработка текста — исправление опечаток, токенизация, лемматизация и стемминг.
Токенизация — это разделение предложений и фраз на отдельные слова-токены. Например, запрос «Как создать заявку на покупку» будет методично разделен системой на «как», «создать», «заявку», «на», «покупку».
Лемматизация — приведение словоформы к базовому слову. Например «прыгали» — «прыгать», «положительные» — «положительный», «игрушками» — «игрушка».
Стемминг — нахождение основы слова, которая передает его лексическое значение. Например, стемма слова «столовый» — «стол», «походный» — «поход».
— Классификация запроса на основании заложенных алгоритмов машинного обучения, тренировочных фраз или формальных правил. Сюда же можно добавить переменные из параметров пользователя, например, классифицировать запрос в соответствии с должностью или подразделением пользователя.
— Извлечение параметров запроса. Разбивка запроса на сущности и намерения. Например, во фразе «Я бы хотел узнать погоду в Москве на завтра». Здесь «хотеть узнать погоду» — это намерение, а «Москва» и «завтра» — сущности. Это требуется для корректного анализа запроса ИИ-помощником. После обработки запроса помощник отвечает что-то вроде: «Завтра в Москве будет 25 градусов тепла».
Кроме того, искусственный интеллект должен уметь определять и корректировать ошибки пользователей. Это касается как речи, так и текста. Например, в текстовом запросе может оказаться что-то вроде «нИзнаю как найти инструкции пА системе». ИИ должен понимать эти ошибки, а не отбрасывать их как некорректные слова.
После этого выполняется поиск вероятностного ответа. Вероятностного, потому что ИИ-помощник представляет собой статистический инструмент, который на основании модели машинного обучения выбирает действие, которое с наибольшей вероятностью сопоставимо с запросом пользователя. Запрос системы можно расшифровать так: «На основании того, что вы мне написали/сказали, я предполагаю такое-то действие с вероятностью N процентов». Действием может быть простой ответ пользователю или обращение к интегрированным системам для выполнения более сложных сценариев — создание документов или формирование отчетов.
Если ИИ-помощник не может определиться с действием, он запрашивает дополнительную информацию. Например, пользователь спрашивает «Как создать заявку?». Если в базе ответов несколько видов заявок, то система задает вопрос: «Пожалуйста, уточните, какую заявку вы хотите сформировать?», а потом выводит список доступных заявок. Пользователь выбирает нужный вариант, а помощник выводит по нему информацию.
Проанализировав и разобрав запрос, ИИ-помощник выполняет действия по заложенной бизнес-логике. Например, пользователю нужно сделать заявку на ремонт в SAP. Человек говорит или пишет ИИ-помощнику: «Создай заявку на ремонт». Система сразу запросит, что именно нужно отремонтировать и когда. После ответа пользователя цифровой помощник направляет специальным образом сформированный под SAP запрос. В системе выполняются действия по созданию документа, уточняются полномочия пользователя, проверяется корректность заполнения. После этого помощник отвечает пользователю: «Заявка создана, номер заявки — ХХХХ».
Платформы, с которыми взаимодействует ИИ-помощник, могут быть любыми: ERP, HR, CRM и любые промышленные системы, включая хелпдески.
Какой бы ни была система, алгоритмы работы ИИ-помощника похожи. Пользователь пишет запрос, нейросети разбивают его на токены, формализуют и ищут решение. После этого запускается действие по определенной бизнес-логике вроде «Что нужно спросить, в какую систему сходить, какой ответ дать, какие ошибки могут быть и как их обработать».
Обучение ИИ-помощника: нюансы процесса
Чтобы искусственный интеллект понимал человека лучше и мог более адекватно отвечать на запросы, его нужно обучать. Готовых систем нет, каждую нужно разрабатывать отдельно. Причем для колл-центра нужна одна система обучения, для чат-бота — другая, для медицинского центра — третья.
Обучение может показаться простым, но на самом деле это нетривиальная задача. Вот несколько распространенных запросов, с которыми может столкнуться помощник:
- У меня сломался компьютер, что делать?
- Не подходит пароль, как быть?
- Я забыл пароль, помогите!
- Система пишет password incorrect, что это значит?
Чтобы обучить помощника правильной реакции, нужно собрать базу вопросов, на которые может потребоваться ответ. Все фразы выше и многие другие будут обучающей выборкой. Получить корректный и исчерпывающий список вопросов можно от самих пользователей: попросить их представить конкретную ситуацию (например, не подходит пароль) и сформулировать вопрос службе поддержки. Еще один вариант — собрать реальные вопросы, которые ранее задавали службе поддержки пользователи, то есть получить исторические данные.
ИИ-помощник обучается на первичной базе. Затем наступает очередь более тонкой настройки. Подбирается тестовая группа пользователей, которые задают любые вопросы помощнику. Пользователи не только спрашивают «Как сбросить пароль?», но и нечто вроде «Как скинуть пароль?», «Я забыл пароль, что делать?», «Пароль системы восстановить». Ежедневная тренировка помощника увеличивает эффективность его работы.
Если помощник отвечает неправильно, администраторы системы (еще их называют учителями) анализируют и размечают ее. После этого ИИ-помощник начинает распознавать запросы, с которыми ранее возникали сложности.
Именно «учителя» помогают направлять обучение в правильное русло. В некоторых компаниях эту роль выполняют сами разработчики ИИ. В других есть целые команды консультантов, экспертов, задача которых — формирование запросов для обучения определенной системы, разметка ответов и дообучение. На роль специалистов по обучению обычно выбирают ML-инженеров, дата-сайентистов и схожих специалистов, но также подойдут и те люди, которые хорошо знают бизнес-процессы компании.
В ходе обучения ИИ-помощника можно использовать разные инструменты: в зависимости от объема выборки это делается с помощью GPU (видеокарта) или CPU (процессор). В зависимости от технологии, выбранной для обучения, скорость этого процесса может отличаться: на больших объемах выборки обучение всегда будет проходить быстрее с помощью GPU, на малых объемах разница практически незаметна.
При больших объемах данных выборка автоматически делится по правилу 80 на 20: на 80% происходит обучение помощника, а 20% используется для тестирования. После этого формируется модель машинного обучения, на основании которой помощник и делает свою работу. Тестирование же показывает, насколько хорошо обучилась модель — как на основании метрик эффективности модели (например, F1-score, Precision или Recall), так и на основании различных отчетов и графиков, которые также автоматически формируются в результате тестирования. И, конечно, никто не отменял monkey-testing — когда тот же оператор-учитель просто общается с помощником, чтобы убедиться в корректности его реакций.
ИИ-помощник учится примерно так же, как ребенок. Поначалу он не знает ничего – то есть абсолютно ничего. Но постепенно он обучается — допускает ошибки, а потом совершает успешные действия. Каждый день он все лучше ориентируется в окружающем мире и выполняет все более обширный спектр задач, причем успешно.
В какой-то момент помощник может даже начать сам распознавать желания пользователя и предлагать ответ автоматически. Скажем, пользователь каждый день узнает прогноз погоды. Система может предложить выдавать ответ, то есть прогноз погоды, каждый день в удобное для человека время.
Почему все так сложно?
Потому что машина — не человек. Ей приходится все «объяснять» с нуля, а для каждой задачи — общение с клиентами в колл-центре, текстовый диалог с сотрудниками компании — методика обучения будет разной. Но какой бы идеальной ни была первичная база запросов, пользователи всегда найдут, чем удивить систему. Другими словами, вариантов одного и того же запроса может быть огромное количество. Предусмотреть их все сразу невозможно, поэтому и приходится постоянно дообучать ИИ-помощника.
Важный нюанс: вовремя остановиться на определенном достигнутом результате. Добиться точности ответов в 80% намного проще, чем 85%, и гораздо проще, чем 90%, не говоря уже о более высоких показателях. Чтобы достичь успешности в 90% и выше, нужно огромное количество данных, время на их сбор и обработку. Эффективнее будет добиваться этого постепенно, уже во время работы ИИ-помощника.
Понимание технологий, которые обеспечивают работу ИИ-помощников, помогает оптимально использовать цифровые платформы и избавиться от широко распространенных, но беспочвенных страхов. Да, технологии развиваются очень быстро — то, что вчера казалось фантастикой, сегодня уже реально. Да, голосовые помощники заменяют операторов в колл-центрах, а цифровые ассистенты выполняют рутинные задачи в офисах. Но бояться тотального захвата роботами рабочих мест людей явно не стоит — несмотря на все возможности искусственного интеллекта, в обозримом будущем они будут играть роль именно помощников.
Читать далее
Из-за космических исследований люди могут заразиться внеземными вирусами
Биологи создали бактерию, разрушающую защитную оболочку раковых клеток
«Последний герой»: эти миссии уже не вернутся на Землю, но продолжают передавать информацию