Тестирование баз знаний
Для проверки работы баз знаний предусмотрен специальный раздел Тестирование.
Этот раздел может помочь понять, что найдется в базах знаний по запросу пользователя - какой документ, с какой уверенностью и, в некоторых случаях, по какой причине. В этом же разделе можно частично управлять результатами поиска:
переносить формулировки между документами,
добавлять, исправлять или удалять формулировки из документов.
Вы можете проверять работу на какой-то одной базе знаний или на наборе баз знаний. Доступны следующие наборы:
базы знаний которые использует бот - все базы знаний, из которых будет предоставляться автоматический ответ пользователям
базы знаний которые используются операторами - все базы знаний, из которых будут предоставляться рекомендации операторам
все опубликованные базы знаний - все базы знаний, которые опубликованы в системе, вне зависимости от их использования в работе
Если среди выбранных вами баз знаний есть база знаний с неопубликованными изминениями - сервис тестирования предупредит вас об этом и предложит опубликовать изменения.
Публикация изменения не обязательна, но рекомендуется для получения наиболее точных результатов. Если вы уверены, что неопубликованные изменения не касаются предмета проверки - можно игнорировать предупреждение.
Тестирование 1 вопроса
Для проверки одного запроса пользователя просто выберите нужные базы знаний, введите запрос и нажмите “Поиск”.
Сервис тестирования выдаст топ 3 наиболее вероятных документов из всех выбранных баз знаний.
Для каждого документа будет указана уверенность поиска. Ориентируясь на уверенность, вы можете понять будет ли выдан ответ из этого документа пользователю. Непосредственно из списка результатов тестирования вы можете добавить новую формулировку вопроса к документу, скопировать ссылку на документ или сразу перейти непосредственно к документу.
Если механизм поиска для выбранной базы знаний позволит, то в результатах поиска для каждого документа будут указан список формулировок вопроса, наиболее релевантных запросу пользователя. Для каждой формулировки указана уверенность. Вы можете отредактировать формулировку непосредственно из списка результатов. Возможность удалить или перенести формулировку будет добавлена в ближайших релизах.
Пакетное тестирование
Для проверки сразу нескольких вопросов пользователей предусмотрена возможность загрузить XLSX файл со списков вопросов. Сервис тестирования проверит каждый вопрос из списка по указанным базам знаний и вернет файл с заполненными результатами тестирования.
Сервис пакетного тестирования принимает файл XLSX формата. Вопросы для проверки должны располагаться в колонке с названием “Вход” или “Input“.
Перетащите такой файл на панель пакетного тестирования и сервис начнет проверку. В один момент может производиться только одна пакетная проверка, поэтому панель пакетного тестирования перестанет принимать файлы и будет сообщать информацию о ходе проверки. Если запросов в файле много проверка может занять длительное время. Панель проверки или даже бразер можно можно закрыть и вернуться к результатам тестирования позднее.
Когда проверка будет завершена, панель отобразит информацию о завершении и предложит скачать файл с результатами.
Файл с результатами пакетного тестирования содержит те же строки что и в изначальном файле и в дополнительных колонках для каждого запроса указывает следующую информацию:
Название документа с наиболее высокой уверенностью при поиске (топ 1)
ID документа топ 1
Наиболее релевантная формулировка вопроса в документе топ 1
Название базы знаний, в которой содержится документ топ 1
ID этой базы знаний
Уверенность поиска документа топ 1
Аналогичная информация для документов топ 2 и топ 3