Метрики классификации документов в базе знаний

Метрики позволяют оценить качество наполнения базы знаний формулировками вопросов для предоставления автоматических ответов и подсказок операторам.

Возможно оценить:

какие документы стоит дополнить формулировками, потому что они плохо классифицируются;
какие документы хорошо классифицируются;
какой порог уверенности для автоматического ответа и ответа с уточнением является оптимальным.

Когда лучше пользоваться?
Наиболее актуально использование данной информации, если во всех документах базы знаний более 50-100 формулировок, чем больше, тем более актуально. Для случаев маршрутизации обращений на первой линии технической поддержки при больших обучающих выборках в 1000 и 10 000 документов максимально актуально.
Для случаев с малыми может быть полезно, чтобы оценить общее качество базы знаний на предмет наполнения ее формулировками для важных для вас вопросов. В дальнейшем планируется расширять аналитические инструменты по работе с базами знаний, в т.ч. на основе работы с Историей запросов.

Для просмотра метрик необходимо открыть нужную базу знаний и в меню выбрать пункт “Метрики классификации“.

Переход к метрикам базы знаний

Метрики пересчитываются автоматически после каждой перепубликации базы знаний.

На странице метрик находится “График "Покрытие-точность", раздел "Средняя точность" и таблица “Поклассовой точности”.

Метрики считаются на основе 10% формулировок в каждом документе базы знаний, а 90% формулировок используются обучении для последующей оценки метрик. В самой базе знаний для работы системы используется 100% формулировок.

Как пользоваться графиками и результатами оценки точности классификации.

1. График Покрытие - точность.

Позволяет оценить с какой точностью (синяя линия) и какой объем данных (горизонтальная ось) будет классифицироваться при выставленной уверенности в ответе (оранжевая линия).

Например, на рисунке выше если вы выставите 80% уверенности для автоматического ответа, то 70% ваших данных будут классифицироваться с точностью больше 80%.

“Средняя” уверенность для автоматического ответа рекомендованная нами: 80% и 60% для ответа с возможностью уточнения. На первых этапах эксплуатации % уверенность для автоматического ответа рекомендуется установить в 85% или 90%.
При малых обучающих выборках - несколько формулировок на документ, данный график не очень удобно использовать. Поэтому прежде чем принимать решение о выборе порога уверенности на основании графика важно сначала дополнить нужные документы в базе знаний формулировками и оценить с какой точностью они будут классифицироваться в Таблице Поклассовой точности.

2. Таблица “Поклассовой точности"

Позволяет оценить, какие из документов наименее полно покрыты различными формулировками. Например, на рисунке выше это документы с F1 мерой или Точностью меньше 80%. Именно их нужно дополнить новыми синонимичными вариантами вопросов для повышения качества классификации в базе знаний и количества автоматически корректных ответов.

После данного анализа вы можете дополнить различными вариантами формулировок соответствующие документы и оценить изменения в качестве классификации после перепубликации базы знаний.