Команда министерства обратилась к нам, чтобы запустить онлайн коммуникацию с использованием ИИ (искусственный интеллект далее по тексту).
Суть проекта – заменить первую линию технической поддержки в министерстве на ИИ.
ДО проекта: специалисты фиксировали заявки по телефону от всего министерства по проблемам, связанным с IT-техникой. Далее вносили эту заявку в реестр Helpdesk системы Naumen, и передавали запрос на профильного технического специалиста который уже решал сложившуюся проблему.
Начало работы
Мы решили применить комплексный подход для решения всей совокупности задач, – загрузили 15 тысяч заявок, накопленных за последние годы специалистами первой линии технической поддержки, в нейронную сеть: это позволило создать модель рабочей системы с разбивкой по классам задач.
Совпадение и точность
Получилось достичь 79,5% точности в определении класса заявок:
Первые проблемы
Отметили наличие проблемы с данными для успешного обучении нейронной сети, – классы были сильно несбалансированы по количеству заявок. Однако на этом этапе мы смогли определить основные классы, по которым обращаются с проблемами и в дальнейшем это дало нам понимание, – где можно включать голосового ассистента, а где лучше, все-таки, завести заявку, т.к. был большой шанс неверно определить категорию, из-за необученности нейронной сети и из-за отсутствия нужного количества данных.
Стеминг
Это процесс нахождения основы слова для заданного исходного слова. Основа слова не обязательно совпадает с морфологическим корнем слова.
Дальше мы сделали стемминг, – нормальную форму слов без окончаний, это позволило отъюстировать точность модели еще на 5%.
Построение модели в пространстве
Дальше мы смотрели на данные в двухмерном пространстве, каждый цвет – это свой класс.
Смотрели, насколько успешно нейронная сеть будет определять классы на текущих данных, которые мы загрузили в нейронную сеть. Синяя диагональ – верные ответы, все остальное – неверные. Отсюда видно, что хорошо предсказываются классы, в которых достаточно примеров для обучения.
ИИ
Из оценки модели следует вывод, что текущих размеченных данных, в принципе, достаточно для того, чтобы система могла классифицировать категории с 80-процентной точностью.
Текущий механизм
Входящий звонок – голосовой ассистент, обращаясь к звонящему по имени (т.к. существует взаимоинтеграция с системой заявок Naumen), спрашивает: «Что у вас случилось?» – абонент, в произвольной форме, сообщает о характере проблемы. Далее, если проблема успешно классифицирована, подключается соответствующий скрипт, если класс не определен, – дается заявка на профильного специалиста, текст запроса транскрибируется, и назначается ответственный за исполнение инженер.
Что от проекта получил клиент
Внедрение кейса привело к тому, что на обслуживании первой линии технической поддержки остался всего один сотрудник, – для обработки небольшого процента оставшихся неклассифицированными заявок и дообучения нейронной сети.
Это можно не читать
В основе наших наработок лежат технологии Deep Neural Networks, – нейронная сеть Keldi, и российская нейронная сеть Deep Speech-2, базирующаяся на ИИ; также, в каких-то отдельных практических аспектах мы используем технологии Яндекс. SpeechKit, а в последнее время в обойму инструментов добавили и Tinkoff VoiceKit, – т.е., применяем весь пул доступных технологий на основе ИИ в реальных кейсах.
