При создании новой базы знаний(далее БЗ) можно выбрать в качестве языка "Другой язык" или "Мультиязычный".
Другой язык
В этом режиме ожидается, что БЗ будет состоять из документов и парафраз на одном языке. Запросы также ожидаются на одном языке.
Если язык входящего запроса пользователя отличается от top-1 ответа, то уверенность top-1 ответа занижается. Надо держать в уме, что язык определяется классификатором, который иногда ошибается - точность от 93.1 до 98.9 в зависимости от датасета.
Этот режим стоит использовать, когда есть несколько БЗ, которые идентичны по содержанию, но отличаются по языкам. Т.е. например Smalltalk на казахском, на турецком и т.п.
Если есть возможность объединить эти БЗ в одну, то стоит использовать режим "Мультиязычный" .
Мультиязычный
В этом режиме ожидается, что БЗ будут состоять из документов и парафраз на разных языках. Запросы пользователя могут быть на каких угодно языках. Штрафа за некорректный язык запроса нет.
Коды поддерживаемых языков*
af, am, ang, ar, arq, arz, ast, awa, az, be, ber, bg, bn, br, bs, ca, cbk, ceb, ch, cmn, cs, csb, cy, da, de, dsb, dtp, el, en, eo, es, et, eu, fi, fo, fr, fy, ga, gd, gl, gsw, he, hi, hr, hsb, hu, hy, ia, id, ie, io, is, it, ja, jv, ka, kab, kk, km, ko, ku, kw, kzj, la, lfn, lt, lvs, max, mhr, mk, ml, mn, mr, nb, nds, nl, nn, nov, oc, orv, pam, pes, pl, pms, pt, ro, ru, sk, sl, sq, sr, sv, swg, swh, ta, te, th, tk, tl, tr, tt, tzl, ug, uk, ur, uz, vi, war, wuu, xh, yi, yue, zsm, zh