Page Comparison

...

Система хранения данных реализована на основе: Postgresql, Elasticsearch и Redis.

Фронт и бэкенд разработан с использованием следующих технологийИспользуемые Языки программирования: JVM , Scala, AKKAPython, React.js, Angular, jQuery, Bootstrap, Python, Git.Используемые среды и фреймворки:  JavaScript.

Используемые фреймворки: akka, zio, cats, react.js, next.js, asyncio, aiohttp, sqlalchemy, gunicorn, flask, scikit-learn, scipy, nltk, marisa_trie, fasttext, gensim, aiohttp-sentry, jamspell, cython, pytorch и pytorch-lightning

В системе присутствуют следующие NLP модули:

• Spellchecker

• Lemmatizer & POS tagger

• Word Embedder

• Synonyms Dictionary

• Classifier Исправление опечаток

• Лемматизатор

• Векторизатор запросов

• Словарь синонимов

• Классификатор - ядро, которое использует все предыдущие модули. Этот модуль проводит классификацию запроса или находит ответ на запрос. В системе есть как модели для работы с малым количеством данных, так и модели, основанные на технологиях глубокого обучения нейронных сетей для большого количества данных.

• Генератор ответов на базе большой языковой модели (LLM)

Модели, их комбинация и гиперпараметры подбираются автоматически (auto ML)  под каждый датасет и Заказчика.

...

Система имеет встроенный язык создания диалоговых сценариев (DSL), который позволяет осуществлять интеграции с внешними системами, получение и отправку информации в ходе диалогов.

Документация доступна по DSL

Система предоставляет API как для подключения внешних каналов коммуникации (например, мобильного приложения или внешних чат ботов), так и для работы напрямую с базами знаний и классификаторами на основе машинного обучения. 

Документация доступна по ссылке 

Внутренняя микросервисная архитектура AutoFAQ (укрупненно)

...

по API 

Сайзинг решения

Минимальные технические требования к системе приведены ниже, с их учетом и с учетом одновременной работы до 100 операторов в системе, AutoFAQ готов обработать следующее количество диалогов:

При превышении нагрузки на 30%-50% работоспособность системы сохраняется, но увеличивается время отклика при работе с интерфейсом.

...

Минимальные технические требования

Возможно реализовать резервирование AutoFAQ за счет балансировщика нагрузки в целях повыщения надежности работы системы. Подробное архитектурное описание решения высокой доступности разрабатывается отдельно под Заказчика.

Продуктивный сервер AutoFAQ (2 шт):

1. Процессор - не слабее чем CPU E5-2686 v4 @ 2.30GHz (4 ядра 8 потоков),

2. Оперативная память - не менее чем 32Gb RAM, 

3. Хранилище - SSD диск, объем 400 GB.

Тестовый сервер:

1. Процессор - не слабее чем CPU E5-2686 v4 @ 2.30GHz (4 ядра 8 потоков),

2. Оперативная память - не менее чем 16Gb RAM, 

3. Хранилище - HDD диск, объем 100 GB.

Требования к ПО:

ОС Linux основанные на дистрибутивах Debian или Redhat - Ubuntu 18 или Linux CentOS 7, RHEL 7 и выше.

База данных (включена в поставку): СУБД PostgreSQL.

Требования к развертыванию

ОС

Возможна работа на любой ОС где есть docker runtime.

Необходим терминальный доступ с правами администратора на предоставленные сервера. 

...

Требования к развертыванию

Возможна работа на любой OS где есть docker runtime. Гарантируется работа на ОС Linux основанных на дистрибутивах Debian и Redhat.

Для оркестрации контейнеров используется docker-compose. Для работы необходимы установленные в систему пакеты

python3, docker, docker-compose

(либо доступ к корпоративным либо публичным репозиториям для их установки в ОС: 

• https://registry-1.docker.io 

• https://docker.elastic.co 

• https://pypi.org 

• https://pypi.python.org 

• https://files.pythonhosted.org 

• https://python.org

загрузки и установки)

Необходим терминальный доступ с правами администратора либо развертывание rootless docker.

Загрузка дистрибутива

Для скачивания выгрузки дистрибутива ПО и обновлений необходим доступ к адресам

• https://docker.autofaq.ai 

• https://artifacts.autofaq.ai 

DNS

Нужно выпустить SSL сертификаты и две DNS записи для Appserver IP.

Примеры DNS имен:

• autofaq.company.ru

• autofaq-kb.company.ru

Интеграции

EMAIL

...

Интеграции

• SMTP для рассылки приглашений, уведомлений и смены паролей необходима учетная запись системы в корпоративном SMTP email server и настройка подключения к SMTP.

• SSO Single Sign-on интеграция с Active Directory для идентификации пользователей канала Web Widget, а также авторизации операторов и администраторов системы.

Первоначальное развертывание

Руководство администратора по развертыванию и настройке доступно по запросу для партнеров и клиентов в виде готовых скриптов и шаблонов конфигураций в репозитории https://gitlab.com/deephacklab/descent документации по развертыванию

yum install -y python3 python3-pip docker
pip3 install -y docker-compose

# https://gitlab.com/deephacklab/descent/blob/master/docker-compose.yml
docker login -u login -p secret docker.autofaq.ai
docker-compose -f docker-compose.yml up -d

...

Процесс обновлений прост:

1. Обновление номера версий компонент в файле переменных для docker-compose.yml (https://gitlab.com/deephacklab/descent/blob/master/.env )

2. Скачивание и установка обновлений из репозитория docker.autofaq.ai

docker login -u clientuser -p secret docker.autofaq.ai
docker-compose -f docker-compose.yml pull
docker-compose -f docker-compose.yml up -d

...