...
На странице метрик находится “График "Покрытие-точность", раздел "Средняя точность" и таблица “Поклассовой точности”.
...
Метрики считаются на основе 10% формулировок в каждом документе базы знаний, а 90% формулировок используются обучении для последующей оценки метрик. В самой базе знаний для работы системы используется 100% формулировок.
...
Например, на рисунке выше если вы выставите 80% уверенности для автоматического ответа, то 70% ваших данных будут классифицироваться с точностью больше 80%.
“Средне” рекомендованная нами “Средняя” уверенность для автоматического ответа рекомендованная нами: 80% и 60% для ответа при уточнениис возможностью уточнения. На первых порах эксплуатации данный этапах эксплуатации % уверенность для автоматического ответа рекомендуется установить в 85% или 90%.
При малых обучающих выборках - несколько формулировок на документ, данный график не очень “дергается”удобно использовать. Поэтому прежде чем принимать решение о выборе порога уверенности на основании графика лучше важно сначала дополнить важные нужные документы в базе знаний формулировками и оценить с какой точностью они будут классифицироваться в Таблице Поклассовой точности.
2. Таблица “Поклассовой точности" можно посмотреть метрики для каждого документа.
На основе полученных метрик можно увидеть какие документы плохо классифицируются и попробовать добавить к ним парафразы, чтобы улучшить качество
...
Позволяет оценить какие из документов наименее полно покрыты различными формулировками. Например, на рисунке выше это документы с F1 мерой или Точностью меньше 80%. Именно их нужно дополнить новыми синонимичными вариантами вопросов для повышения качества классификации в базе знаний и количества автоматически корректных ответов.
После данного анализа вы можете дополнить различными вариантами формулировок соответствующие документы и оценить изменения в качестве классификации после перепубликации базы знаний.