Методы проектирования архитектуры модели интеллектуального ассистента для образовательной организации
DOI:
https://doi.org/10.5281/zenodo.14514613Ключевые слова:
генерация текста, LLM, GPT, точная настройка, fine-tuning, чат-ботПоддерживающие организации
Лицензия
Аннотация
Большинство наиболее успешных больших генеративных языковых моделей (LLM) состоят из трех составных частей: кодировщика, декодера и механизма внимания. В статье были рассмотрены основные подходы к проектированию каждой из этих частей, а также наиболее популярные архитектуры LLM. Кроме того, был проведен сравнительный анализ методов обучения и применения больших генеративных языковых моделей на предмет оптимальности в использовании для построения интеллектуального ассистента образовательной организации. Результаты исследования показали, что при имеющихся ресурсах наиболее подходящим способом является точная настройка существующей LLM на текстовом корпусе данных об образовательной организации с последующим ее использованием напрямую либо посредством механизма RAG.
Скачивания
Библиографические ссылки
1. Методические рекомендации представления информации об образовательной организации высшего образования в открытых источниках с учетом соблюдения требований законодательства в сфере образования (вступают в силу с 01.09.2024). – Федеральная служба по надзору в сфере образования и науки. – 2024. – 101 с.
2. Бондаренко, В. И. Подготовка данных и выбор способа обучения модели интеллектуального ассистента для образовательной организации / В. И. Бондаренко, В. О. Елисеев // Донецкие чтения 2024: образование, наука, инновации, культура и вызовы современности: Материалы IX Международной научной конференции (Донецк, 15–17 октября 2024 г.). – Том 2: Физические, химические, технические и компьютерные науки. Часть 2. – Донецк: Изд-во ДонГУ, 2024. – С. 127-130.
3. Deep Learning и генеративные модели для создания процедурных текстов [Электронный ресурс]. – URL: https://aiplayzone.ru/tehnologii-i-metody/deep_learning_i_generativnye_modeli_dlja_sozdanija
_protsedurnyh_tekstov/ (дата обращения 08.02.2024).
4. Wang, L [et al.] Text embeddings by weakly-supervised contrastive pre-training. – 2022. – URL: https://arxiv.org/abs/2212.03533.
5. Reiter, E. A structured review of the validity of BLEU / E. A. Reiter // Computational Linguistics. – 2018. – V. 44. – №. 3. – P. 393-401.
6. Lin, C. Y. Rouge: A package for automatic evaluation of summaries / C. Y. Lin // Text summarization branches out. – 2004. – P. 74-81.
7. Miaschi, A. [et al.] Is Neural Language Model Perplexity Related to Readability? / Computational Linguistics CLiC-it 2020. – 2020. – P. 303.
8. Casper, S [et al.] Open problems and fundamental limitations of reinforcement learning from human feedback. – 2023. – URL: https://arxiv.org/abs/2307.15217.
9. Mikolov, T. [et al.] Efficient estimation of word representations in vector space. – 2013. – URL: https://arxiv.org/abs/1301.3781.
10. Goldberg, Y. [et al.] word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method. – 2014. – URL: https://arxiv.org/abs/1402.3722.
11. Joulin, A. [et al.] Bag of tricks for efficient text classification. – 2016. – URL: https://arxiv.org/abs/1607.01759.
12. Word vectors for 157 languages [Электронный ресурс]. – URL: https://fasttext.cc/docs/en/crawl-vectors.html (дата обращения 11.02.2024).
13. FacebookResearch. FastText [Электронный ресурс]. – URL: https://github.com/facebookresearch/fastText (дата обращения 11.02.2024).
14. Staudemeyer, R. C. [et al.] Understanding LSTM – a tutorial into long short-term memory recurrent neural networks. – 2019. – URL: https://arxiv.org/abs/1607.01759.
15. Sutskever, I. [et al.] Sequence to sequence learning with neural networks. – 2014. – URL: https://arxiv.org/abs/1409.3215.
16. Bahdanau, D. [et al.] Neural machine translation by jointly learning to align and translate. – 2014. – URL: https://arxiv.org/abs/1409.0473.
17. Vaswani, A. [et al.] Attention is all you need. – 2017. – URL: https://arxiv.org/abs/1706.03762.
18. Devlin, J. [et al.] Bert: Pre-training of deep bidirectional transformers for language understanding. – 2018. – URL: https://arxiv.org/abs/1810.04805.
19. Kuratov, Y. [et al.] Adaptation of deep bidirectional multilingual transformers for Russian language. – 2019. – URL: https://arxiv.org/abs/1905.07213.
20. BERT [Электронный ресурс]. – URL: https://huggingface.co/docs/transformers/model_doc/bert (дата обращения 14.02.2024).
21. Radford, A. [et al.] Improving language understanding by generative pre-training / Computer Science, Linguistics. – 2018. – 12 p.
22. Kingma, D. P. [et al.] Adam: A method for stochastic optimization. – 2014. – URL: https://arxiv.org/abs/1409.0473.
23. Bookcorpus [Электронный ресурс]. – URL: https://huggingface.co/datasets/bookcorpus (дата обращения 15.02.2024).
24. Radford, A. [et al.] Language models are unsupervised multitask learners // OpenAI blog. – 2019. – V. 1. – №. 8. – P. 9.
25. Zmitrovich, D. [et al.] A family of pretrained transformer language models for Russian. – 2023. – URL: https://arxiv.org/abs/2309.10931.
26. Бондаренко, В. И. Анализ эффективности глубоких языковых моделей для задачи определения тональности русскоязычных текстов / В. И. Бондаренко, В. О. Елисеев, Т. В. Ермоленко // Проблемы искусственного интеллекта. – 2024. – № 1(32). – С. 51-62. – EDN KJRRQW.
27. Пикалев, Я. С. Адаптация нейросетевой модели ALBERT для задачи языкового моделирования / Я. С. Пикалев, Т. В. Ермоленко // Проблемы искусственного интеллекта. – 2020. – № 3(18). – С. 111-122. – EDN INNNNX.
28. Sennrich, R. [et al.] Neural machine translation of rare words with subword units. – 2015. – URL: https://arxiv.org/abs/1508.07909.
29. Wang, C. [et al.] Neural machine translation with byte-level subwords. – 2020. – URL: https://arxiv.org/abs/1909.03341.
30. Schuster, M. Japanese and korean voice search / M. Schuster, K. Nakajima // 2012 IEEE international conference on acoustics, speech and signal processing (ICASSP). – IEEE, 2012. – P. 5149-5152.
31. Dellaert, F. The expectation maximization algorithm: Technical Report number GIT-GVU-02-20 / F. Dellaert // College of Computing, Georgia Institute of Technology, 2002. – 7 p.
32. Kudo, T. Subword regularization: Improving neural network translation models with multiple subword candidates. – 2018. – URL: https://arxiv.org/abs/1804.10959.
33. Provilkov, I. [et al.] BPE-dropout: Simple and effective subword regularization. – 2019 – URL: https://arxiv.org/abs/1910.13267.
34. Wu, S. [et al.] Bloomberggpt: A large language model for finance. – 2023. – URL: https://arxiv.org/abs/2303.17564.
35. Singhal, K. [et al.] Towards expert-level medical question answering with large language models. – 2023. – URL: https://arxiv.org/abs/2305.09617.
36. Lewis, P. [et al.] Retrieval-augmented generation for knowledge-intensive nlp tasks / Advances in Neural Information Processing Systems. – 2020. – V. 33. – P. 9459-9474.
REFERENCES LIST
1. Metodicheskie rekomendatsii predstavleniia informatsii ob obrazovatelnoi organizatsii vysshego obrazovaniia v otkrytykh istochnikakh s uchetom sobliudeniia trebovanii zakonodatelstva v sfere obrazovaniia (vstupaiut v silu s 01.09.2024). – Federalnaia sluzhba po nadzoru v sfere obrazovaniia i nauki. – 2024. – 101 s.
2. Bondarenko, V. I. Podgotovka dannykh i vybor sposoba obucheniia modeli intellektualnogo assistenta dlia obrazovatelnoi organizatsii / V. I. Bondarenko, V. O. Eliseev // Donetskie chteniia 2024: obrazovanie, nauka, innovatsii, kultura i vyzovy sovremennosti: Materialy IX Mezhdunarodnoi nauchnoi konferentsii (Donetsk, 15–17 oktiabria 2024 g.). – Tom 2: Fizicheskie, khimicheskie, tekhnicheskie i kompiuternye nauki. Chast 2. – Donetsk: Izd-vo DonGU, 2024. – S. 127-130.
3. Deep Learning i generativnye modeli dlia sozdaniia protsedurnykh tekstov [Elektronnyi resurs]. – URL: https://aiplayzone.ru/tehnologii-i-metody/deep_learning_i_generativnye_modeli_dlja_sozdanija
_protsedurnyh_tekstov/ (data obrashcheniia 08.02.2024).
4. Wang, L [et al.] Text embeddings by weakly-supervised contrastive pre-training. – 2022. – URL: https://arxiv.org/abs/2212.03533.
5. Reiter, E. A structured review of the validity of BLEU / E. A. Reiter // Computational Linguistics. – 2018. – V. 44. – №. 3. – P. 393-401.
6. Lin, C. Y. Rouge: A package for automatic evaluation of summaries / C. Y. Lin // Text summarization branches out. – 2004. – P. 74-81.
7. Miaschi, A. [et al.] Is Neural Language Model Perplexity Related to Readability? / Computational Linguistics CLiC-it 2020. – 2020. – P. 303.
8. Casper, S [et al.] Open problems and fundamental limitations of reinforcement learning from human feedback. – 2023. – URL: https://arxiv.org/abs/2307.15217.
9. Mikolov, T. [et al.] Efficient estimation of word representations in vector space. – 2013. – URL: https://arxiv.org/abs/1301.3781.
10. Goldberg, Y. [et al.] word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method. – 2014. – URL: https://arxiv.org/abs/1402.3722.
11. Joulin, A. [et al.] Bag of tricks for efficient text classification. – 2016. – URL: https://arxiv.org/abs/1607.01759.
12. Word vectors for 157 languages [Elektronnyi resurs]. – URL: https://fasttext.cc/docs/en/crawl-vectors.html (data obrashcheniia 11.02.2024).
13. FacebookResearch. FastText [Elektronnyi resurs]. – URL: https://github.com/facebookresearch/fastText (data obrashcheniia 11.02.2024).
14. Staudemeyer, R. C. [et al.] Understanding LSTM – a tutorial into long short-term memory recurrent neural networks. – 2019. – URL: https://arxiv.org/abs/1607.01759.
15. Sutskever, I. [et al.] Sequence to sequence learning with neural networks. – 2014. – URL: https://arxiv.org/abs/1409.3215.
16. Bahdanau, D. [et al.] Neural machine translation by jointly learning to align and translate. – 2014. – URL: https://arxiv.org/abs/1409.0473.
17. Vaswani, A. [et al.] Attention is all you need. – 2017. – URL: https://arxiv.org/abs/1706.03762.
18. Devlin, J. [et al.] Bert: Pre-training of deep bidirectional transformers for language understanding. – 2018. – URL: https://arxiv.org/abs/1810.04805.
19. Kuratov, Y. [et al.] Adaptation of deep bidirectional multilingual transformers for Russian language. – 2019. – URL: https://arxiv.org/abs/1905.07213.
20. BERT [Elektronnyi resurs]. – URL: https://huggingface.co/docs/transformers/model_doc/bert (data obrashcheniia 14.02.2024).
21. Radford, A. [et al.] Improving language understanding by generative pre-training / Computer Science, Linguistics. – 2018. – 12 p.
22. Kingma, D. P. [et al.] Adam: A method for stochastic optimization. – 2014. – URL: https://arxiv.org/abs/1409.0473.
23. Bookcorpus [Elektronnyi resurs]. – URL: https://huggingface.co/datasets/bookcorpus (data obrashcheniia 15.02.2024).
24. Radford, A. [et al.] Language models are unsupervised multitask learners // OpenAI blog. – 2019. – V. 1. – №. 8. – P. 9.
25. Zmitrovich, D. [et al.] A family of pretrained transformer language models for Russian. – 2023. – URL: https://arxiv.org/abs/2309.10931.
26. Bondarenko, V. I. Analiz effektivnosti glubokikh iazykovykh modelei dlia zadachi opredeleniia tonalnosti russkoiazychnykh tekstov / V. I. Bondarenko, V. O. Eliseev, T. V. Ermolenko // Problemy iskusstvennogo intellekta. – 2024. – № 1(32). – S. 51-62. – EDN KJRRQW.
27. Pikalev, Ia. S. Adaptatsiia neirosetevoi modeli ALBERT dlia zadachi iazykovogo modelirovaniia / Ia. S. Pikalev, T. V. Ermolenko // Problemy iskusstvennogo intellekta. – 2020. – № 3(18). – S. 111-122. – EDN INNNNX.
28. Sennrich, R. [et al.] Neural machine translation of rare words with subword units. – 2015. – URL: https://arxiv.org/abs/1508.07909.
29. Wang, C. [et al.] Neural machine translation with byte-level subwords. – 2020. – URL: https://arxiv.org/abs/1909.03341.
30. Schuster, M. Japanese and korean voice search / M. Schuster, K. Nakajima // 2012 IEEE international conference on acoustics, speech and signal processing (ICASSP). – IEEE, 2012. – P. 5149-5152.
31. Dellaert, F. The expectation maximization algorithm: Technical Report number GIT-GVU-02-20 / F. Dellaert // College of Computing, Georgia Institute of Technology, 2002. – 7 p.
32. Kudo, T. Subword regularization: Improving neural network translation models with multiple subword candidates. – 2018. – URL: https://arxiv.org/abs/1804.10959.
33. Provilkov, I. [et al.] BPE-dropout: Simple and effective subword regularization. – 2019 – URL: https://arxiv.org/abs/1910.13267.
34. Wu, S. [et al.] Bloomberggpt: A large language model for finance. – 2023. – URL: https://arxiv.org/abs/2303.17564.
35. Singhal, K. [et al.] Towards expert-level medical question answering with large language models. – 2023. – URL: https://arxiv.org/abs/2305.09617.
36. Lewis, P. [et al.] Retrieval-augmented generation for knowledge-intensive nlp tasks / Advances in Neural Information Processing Systems. – 2020. – V. 33. – P. 9459-9474.
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
Статьи журнала «Вестник Донецкого университета. Серия 04. Технические науки» находятся в открытом доступе и распространяются в соответствии с условиями Лицензионного Договора с Донецким Государственным университетом, который бесплатно предоставляет авторам неограниченное распространение и самостоятельное архивирование.
