Применение эмбеддингов языковых моделей на всём тексте не всегда дает четкое разделение для качественного обучения под другие задачи. Периодически возникают задачи, где нужно сократить лексикон для повышения точности классификации или кластеризации текста, а постоянное дообучение fasttext не всегда возможно, тем более он не работает со словосочетаниями.

Я хочу поделиться иным способом кодирования слов и словосочетаний с помощью больших языковых моделей и словарных описаний слов и фразеологизмов, благодаря которым схожесть слов учитывается не по контексту применения, а по смыслу содержания.