Техническое описание платформы AutoFAQ

Owned by Dennis Victorovich
Last updated: Apr 14, 2024 by Vlad Belyaev
3 min read

AutoFAQ.ai – умный Help Desk для роботизации поддержки клиентов и сотрудников с помощью вопросно-ответных и диалоговых систем на основе технологий искусственного интеллекта. Платформа внедрена в Райффайзен банке, Альфа банке, Мегафоне, Черкизово, ЮниПро, PwC и Дикси. Обрабатывает более 5 000 000 запросов клиентов в месяц, в т.ч. SkyEng, 585 золотой, Почта банк, КРОК, МВидео (поддержка розничной сети и HR). С 1 июля 2019 года обеспечивает роботизацию поддержки "1С" через партнерство с компанией "1С-Коннект".  

AutoFAQ.ai - это проприетарная разработка без использования лицензируемого ПО третьих лиц, на основе ПО с открытым кодом и собственных разработок. В основе находится микросервисная архитектура с оркестрацией на Docker и Linux.

Система хранения данных реализована на основе: Postgresql, Elasticsearch и Redis.

Используемые Языки программирования: JVM Scala, Python, JavaScript.

Используемые фреймворки: akka, zio, cats, react.js, next.js, asyncio, aiohttp, sqlalchemy, gunicorn, flask, scikit-learn, scipy, nltk, marisa_trie, fasttext, gensim, aiohttp-sentry, jamspell, cython, pytorch

 

В системе присутствуют следующие NLP модули:

  • Исправление опечаток

  • Лемматизатор

  • Векторизатор запросов

  • Словарь синонимов

  • Классификатор - ядро, которое использует все предыдущие модули. Этот модуль проводит классификацию запроса или находит ответ на запрос. В системе есть как модели для работы с малым количеством данных, так и модели, основанные на технологиях глубокого обучения нейронных сетей для большого количества данных

  • Генератор ответов на базе большой языковой модели (LLM)

Модели, их комбинация и гиперпараметры подбираются автоматически (auto ML)  под каждый датасет и Заказчика.

Возможности интеграции

Система имеет встроенный язык создания диалоговых сценариев (DSL), который позволяет осуществлять интеграции с внешними системами, получение и отправку информации в ходе диалогов.

Документация по DSL

Система предоставляет API как для подключения внешних каналов коммуникации (например, мобильного приложения или внешних чат ботов), так и для работы напрямую с базами знаний и классификаторами на основе машинного обучения. 

Документация по API 

Сайзинг решения

Минимальные технические требования к системе приведены ниже, с их учетом и с учетом одновременной работы до 100 операторов в системе, AutoFAQ готов обработать следующее количество диалогов:

 

Максимальная нагрузка, диалогов суммарно по всем каналам

 

всего (операторы + бот)

в т.ч на операторов

В месяц

100 000

60 000

 

При превышении нагрузки на 30%-50% работоспособность системы сохраняется, но увеличивается время отклика при работе с интерфейсом.

При превышении нагрузки на 50% и более рекомендуется установка дополнительного аналогичного набора серверов и балансировщика нагрузки. 

Минимальные технические требования

Сценарий установки 

Минимальные требования к ресурсам     

Точки монтирования файловых томов

1 ВМ 

8 vCPU 48 GB RAM, 400 GB HDD   

200 GB /var
400 GB /opt

2 ВМ

 (AS, DBS) 

AS: 8 vCPU 48 GB RAM, 100 GB HDD,
DBS: 4 vCPU 8 GB RAM, 400 GB SSD   

200 GB /var
400 GB /opt

3 ВМ 

(Frontend, Backend, DBS)

Frontend: 2 vCPU 8 GB RAM, 100 GB HDD

Backend: 4  vCPU 32 GB RAM, 400 GB HDD

DBS: 4 vCPU 16 GB RAM, 400 GB SSD

200 GB /var
400 GB /opt

Тестовая среда

4 vCPU 32 GB RAM, 200 GB HDD

200 GB /var
200 GB /opt

Кластер Docker Swarm либо Kubernetes

4 vCPU 16 GB RAM, 100 GB HDD каждая нода кластера

Файловое хранилище на базе NFS, GlusterFS, Ceph, Longhorn или аналоги

 

 

Сценарий установки

Плюсы

Минусы

1 ВМ
Рекомендуется как пилотный или тестовый стенд

Простота сопровождения

отказоустойчивость минимальная только за счет инфраструктуры гипервизора

2 ВМ

App server, DB server

Разделение ресурсов и масштабирования

Низкая отказоустойчивость

3 ВМ и более
Docker Swarm либо Kubernetes

Отказоустойчивость и масштабируемость

Высокая стоимость и сложность сопровождения

Требования к развертыванию

Возможна работа на любой OS где есть docker runtime. Гарантируется работа на ОС Linux основанных на дистрибутивах Debian и Redhat.

Для оркестрации контейнеров используется docker-compose. Для работы необходимы установленные в систему пакеты

python3, docker, docker-compose

(либо доступ к корпоративным либо публичным репозиториям для их загрузки и установки)

Необходим терминальный доступ с правами администратора либо развертывание rootless docker.

Загрузка дистрибутива

Для выгрузки дистрибутива ПО и обновлений необходим доступ к адресам

Интеграции

  • SMTP для рассылки приглашений, уведомлений и смены паролей необходима учетная запись системы в корпоративном SMTP email server и настройка подключения к SMTP.

  • SSO Single Sign-on интеграция с Active Directory для идентификации пользователей канала Web Widget, а также авторизации операторов и администраторов системы.

Первоначальное развертывание

Руководство администратора по развертыванию и настройке доступно по запросу для партнеров и клиентов в виде готовых скриптов и шаблонов конфигураций в документации по развертыванию

yum install -y python3 python3-pip docker pip3 install -y docker-compose # https://gitlab.com/deephacklab/descent/blob/master/docker-compose.yml docker login -u login -p secret docker.autofaq.ai docker-compose -f docker-compose.yml up -d

Обновления

Обновления поставляются как новые версии микросервисов в виде образов из репозитория docker registry https://docker.autofaq.ai. Репозиторий открыт для клиентов, некоторые клиенты сами обновляют систему. Механизм скачивания встроен в ядро docker (транспорт - защищенное соединение - HTTPS GET)

Процесс обновлений прост:

  1. Обновление номера версий компонент в файле переменных для docker-compose.yml (https://gitlab.com/deephacklab/descent/blob/master/.env )

  2. Скачивание и установка обновлений из репозитория docker.autofaq.ai

docker login -u clientuser -p secret docker.autofaq.ai docker-compose -f docker-compose.yml pull docker-compose -f docker-compose.yml up -d