Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Язык базы знаний определяет то на каком языке механизм понимания будет понимать входящие вопросы и соотносить их с хранящимися в базе знаний примерами.

При создании новой базы знаний (далее БЗ) можно выбрать в качестве языка "Другой язык" или "Мультиязычный".

...

Другой язык

В этом режиме ожидается, что БЗ будет состоять из документов и парафраз на одном языке. Запросы также ожидаются на одном языке.

Если язык входящего запроса пользователя отличается от top-1 ответа, то уверенность top-1 ответа занижается. Надо держать в уме, что язык определяется классификатором, который иногда ошибается - точность от 93.1 до 98.9 в зависимости от датасета.

Этот режим стоит использовать, когда есть несколько БЗ, которые идентичны по содержанию, но отличаются по языкам. Т.е. например Smalltalk на казахском, на турецком и т.п.
Если есть возможность объединить эти БЗ в одну, то стоит использовать режим "Мультиязычный" .

...

В этом режиме ожидается, что БЗ будут состоять из документов и парафраз на разных языках. Запросы пользователя могут быть на каких угодно языках. Штрафа за некорректный язык запроса нет.

Коды поддерживаемых языков*

af, am, ang, ar, arq, arz, ast, awa, az, be, ber, bg, bn, br, bs, ca, cbk, ceb, ch, cmn, cs, csb, cy, da, de, dsb, dtp, el, en, eo, es, et, eu, fi, fo, fr, fy, ga, gd, gl, gsw, he, hi, hr, hsb, hu, hy, ia, id, ie, io, is, it, ja, jv, ka, kab, kk, km, ko, ku, kw, kzj, la, lfn, lt, lvs, max, mhr, mk, ml, mn, mr, nb, nds, nl, nn, nov, oc, orv, pam, pes, pl, pms, pt, ro, ru, sk, sl, sq, sr, sv, swg, swh, ta, te, th, tk, tl, tr, tt, tzl, ug, uk, ur, uz, vi, war, wuu, xh, yi, yue, zsm, zh

*расшифровка кодаможно выбрать 1 из 4 вариантов:

  • русский язык

  • английский язык

  • другой язык

  • мультиязычный

Русский язык

База знаний разберет примеры вопросов в базе знаний и поймет поступающие вопросы от пользователей только на русском языке. Вопросы на прочих языках получат в этой базе знаний результат с низким уровнем уверенности.

Английский язык

База знаний разберет примеры вопросов в базе знаний и поймет поступающие вопросы от пользователей только на английском языке. Вопросы на прочих языках получат в этой базе знаний результат с низким уровнем уверенности.

Другой язык

База знаний сможет понять вопрос на одном из 20 поддерживаемых языков.

Expand
titleСписок поддерживаемых языков

Afrikaans, Albanian, Amharic, Arabic, Armenian, Aymara, Azerbaijani, Basque, Belarusian, Bengali, Berber languages, Bosnian, Breton, Bulgarian, Burmese, Catalan, Central/Kadazan Dusun, Central Khmer, Chavacano, Chinese, Coastal Kadazan, Cornish, Croatian, Czech, Danish, Dutch, Eastern Mari, English, Esperanto, Estonian, Finnish, French, Galician, Georgian, German, Greek, Hausa, Hebrew, Hindi, Hungarian, Icelandic, Ido, Indonesian, Interlingua, Interlingue, Irish, Italian, Japanese, Kabyle, Kazakh, Korean, Kurdish, Latvian, Latin, Lingua Franca Nova, Lithuanian, Low German/Saxon, Macedonian, Malagasy, Malay, Malayalam, Maldivian (Divehi), Marathi, Norwegian (Bokmål), Occitan, Persian (Farsi), Polish, Portuguese, Romanian, Russian, Serbian, Sindhi, Sinhala, Slovak, Slovenian, Somali, Spanish, Swahili, Swedish, Tagalog, Tajik, Tamil, Tatar, Telugu, Thai, Turkish, Uighur, Ukrainian, Urdu, Uzbek, Vietnamese, Wu Chinese and Yue Chinese.

База знаний автоматически определит свой язык по вносимым в нее примерам вопросов. Входящие вопросы пользователей на языке базы знаний получат ответ с высокой степенью уверенности. Входящие вопросы на других языках получат ответ с низкой степенью уверенности.

Не рекомендуется вносить в такую базу знаний примеры вопросов на разных языках.

Info

Для разбора вопросов на русском или английском языке рекомендуется использовать специально выделенные для них настройки - русский и английский. Для остальных языков нужно использовать опцию “Другой язык”

Мультиязычный

При выборе этой опции база знаний сможет понять входящие вопросы на любом из 20 поддерживаемых языков.

Expand
titleСписок поддерживаемых языков

Afrikaans, Albanian, Amharic, Arabic, Armenian, Aymara, Azerbaijani, Basque, Belarusian, Bengali, Berber languages, Bosnian, Breton, Bulgarian, Burmese, Catalan, Central/Kadazan Dusun, Central Khmer, Chavacano, Chinese, Coastal Kadazan, Cornish, Croatian, Czech, Danish, Dutch, Eastern Mari, English, Esperanto, Estonian, Finnish, French, Galician, Georgian, German, Greek, Hausa, Hebrew, Hindi, Hungarian, Icelandic, Ido, Indonesian, Interlingua, Interlingue, Irish, Italian, Japanese, Kabyle, Kazakh, Korean, Kurdish, Latvian, Latin, Lingua Franca Nova, Lithuanian, Low German/Saxon, Macedonian, Malagasy, Malay, Malayalam, Maldivian (Divehi), Marathi, Norwegian (Bokmål), Occitan, Persian (Farsi), Polish, Portuguese, Romanian, Russian, Serbian, Sindhi, Sinhala, Slovak, Slovenian, Somali, Spanish, Swahili, Swedish, Tagalog, Tajik, Tamil, Tatar, Telugu, Thai, Turkish, Uighur, Ukrainian, Urdu, Uzbek, Vietnamese, Wu Chinese and Yue Chinese.

В документы базы знаний можно вносить примеры вопросов на любом из языков. База знаний не позволит внести одинаковые по смыслу примеры вопросов на разных языках в разные документы.

Входящие вопросы будут также приниматься на любом из этих языков, вопрос будет соотнесен с документом вне зависимости от языка содержащихся в нем примеров формулировок и пользователь получит соответствующий ответ.

Обратите внимание, что ответ для одинаковых примеров на всех языках хранится один. Соотвественно вне зависимости от языка вопроса пользователь получит ответ на том языке, на котором его внесет администратор базы знаний.

Рекомендации по установке языка баз знаний

Все запросы в сервис поступают на русском языке, ответы ожидаются так же на русском

  • Установить язык всех баз знаний - русский

  • Примеры вопросов на других языках будут проигнорированы

  • Входящие вопросы на других языках получат ответ с низкой уверенностью

Все запросы в сервис поступают на английском языке, ответы ожидаются так же на английском

  • Установить язык баз знаний - английский

  • Примеры вопросов на других языках будут проигнорированы

  • Входящие вопросы на других языках получат ответ с низкой уверенностью

Все запросы в сервис поступают на испанском языке, ответы ожидаются так же на испанском (или любом другом кроме русского или английского)

  • Установить язык баз знаний - другой

  • Вносить примеры вопросов только на испанском языке

  • Входящие вопросы на других языках получат ответ с низкой уверенностью

Запросы в сервис поступают на русском и английском языках, ответы должны возвращаться на языке вопроса

  • Для каждого языка завести отдельные базы знаний.

  • БЗ для ответов на русском языке должны быть указаны как “Русский язык” и содержать примеры вопросов на русском языке

  • БЗ для ответов на английском языке должны быть указаны как “Английский язык” и содержать примеры вопросов на английском языке

  • Входящие вопросы на русском языке получат уверенный ответ из баз знаний на русском языке

  • Входящие вопросы на английском языке получат уверенный ответ из баз знаний на английском языке

  • Входящие вопросы на прочих языках получат ответ с низкой уверенностью из всех баз знаний

Запросы в сервис поступают на русском, английском и немецком языках, ответы должны быть на языке вопроса

  • Для каждого языка завести отдельные базы знаний.

  • БЗ для ответов на русском языке должны быть указаны как “Русский язык” и содержать примеры вопросов на русском языке

  • БЗ для ответов на английском языке должны быть указаны как “Английский язык” и содержать примеры вопросов на английском языке

  • БЗ для ответов на немецком языке должны быть указаны как “Другой язык” и содержать примеры вопросов на немецком языке

  • Входящие вопросы на русском языке получат уверенный ответ из баз знаний на русском языке

  • Входящие вопросы на английском языке получат уверенный ответ из баз знаний на английском языке

  • Входящие вопросы на немецком языке получат уверенный ответ из баз знаний на немецком языке

  • Входящие вопросы на прочих языках получат ответ с низкой уверенностью из всех баз знаний

Запросы в сервис поступают на русском, английском и испанском языках, ответы могут быть на одном языке (любом)

  • Завести единые БЗ для всех языков

  • Установить язык баз знаний как “Мультиязычный”

  • Вносить примеры вопросов по одной тематике но на разных языках в один документ

  • Входящие вопросы на любом языке получат уверенный ответ из базы знаний