Распознавание недостоверной информации в СМИ с помощью нейронных сетей
DOI:
https://doi.org/10.5281/zenodo.14514617Ключевые слова:
нейронные сети, BERT, классификация текста, дезинформация, трансформеры, машинное обучение, анализ данныхПоддерживающие организации
Лицензия
Аннотация
В работе представлен процесс создания классификатора недостоверных новостей с использованием нейронной сети на основе предобученной модели BERT (bert-base-uncased). Проведен анализ набора данных новостных статей с платформы Kaggle. Осуществлена предварительная обработка данных и исследовательский анализ текстов, выявлены характерные особенности достоверных и недостоверных новостей. Модель BERT была дообучена, оптимизирована и модифицирована, что позволило достичь точности классификации 98.3%. Результаты показывают эффективность предложенного подхода для выявления недостоверной информации в СМИ.
Скачивания
Библиографические ссылки
1. Узких, Г. Ю. Применение трансформеров в обработке естественного языка / Г. Ю. Узких // Вестник науки. – 2024. – Т. 4, № 8(77). – С. 186-189. – EDN GTSBKA.
2. Fake News Detection [Электронный ресурс]. – URL: https://www.kaggle.com/competitions/fake-news/data. (Дата обращения: 12.09.2024).
3. Учебник по обработке естественного языка [Электронный ресурс]. – URL: https://isolution.pro/ru/t/natural-language-processing?alias=ucebnik-po-obrabotke-estestvennogo-azyka#google_vignette. (Дата обращения: 12.09.2024).
4. Lemmatization with NLTK [Электронный ресурс]. – URL: https://www.geeksforgeeks.org/python-lemmatization-with-nltk/. (Дата обращения: 12.09.2024).
5. BERT Model [Электронный ресурс]. – URL: https://huggingface.co/google/bert_uncased_L-12_H-768_A-12. (Дата обращения: 12.09.2024).
6. Training Warmup Steps in Deep Learning [Электронный ресурс]. – URL: https://www.geeksforgeeks.org/in-the-context-of-deep-learning-what-is-training-warmup-steps/. (Дата обращения: 12.09.2024).
REFERENCES LIST
1. Uzkikh, G. Iu. Primenenie transformerov v obrabotke estestvennogo iazyka / G. Iu. Uzkikh // Vestnik nauki. – 2024. – T. 4, № 8(77). – S. 186-189. – EDN GTSBKA.
2. Fake News Detection [Elektronnyi resurs]. – URL: https://www.kaggle.com/competitions/fake-news/data. (Data obrashcheniia: 12.09.2024).
3. Учебник по обработке естественного языка [Elektronnyi resurs]. – URL: https://isolution.pro/ru/t/natural-language-processing?alias=ucebnik-po-obrabotke-estestvennogo-azyka#google_vignette. (Data obrashcheniia: 12.09.2024).
4. Lemmatization with NLTK [Elektronnyi resurs]. – URL: https://www.geeksforgeeks.org/python-lemmatization-with-nltk/. (Data obrashcheniia: 12.09.2024).
5. BERT Model [Elektronnyi resurs]. – URL: https://huggingface.co/google/bert_uncased_L-12_H-768_A-12. (Data obrashcheniia: 12.09.2024).
6. Training Warmup Steps in Deep Learning [Elektronnyi resurs]. – URL: https://www.geeksforgeeks.org/in-the-context-of-deep-learning-what-is-training-warmup-steps/. (Data obrashcheniia: 12.09.2024).
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
Статьи журнала «Вестник Донецкого университета. Серия 04. Технические науки» находятся в открытом доступе и распространяются в соответствии с условиями Лицензионного Договора с Донецким Государственным университетом, который бесплатно предоставляет авторам неограниченное распространение и самостоятельное архивирование.
