Методы проектирования архитектуры модели интеллектуального ассистента для образовательной организации

Аннотация

Большинство наиболее успешных больших генеративных языковых моделей (LLM) состоят из трех составных частей: кодировщика, декодера и механизма внимания. В статье были рассмотрены основные подходы к проектированию каждой из этих частей, а также наиболее популярные архитектуры LLM. Кроме того, был проведен сравнительный анализ методов обучения и применения больших генеративных языковых моделей на предмет оптимальности в использовании для построения интеллектуального ассистента образовательной организации. Результаты исследования показали, что при имеющихся ресурсах наиболее подходящим способом является точная настройка существующей LLM на текстовом корпусе данных об образовательной организации с последующим ее использованием напрямую либо посредством механизма RAG.