Фильтрация спама методами глубокого обучения

Аннотация

Фильтрация спама относится к задачам классификации естественно-языковых текстов, для решения которой эффективно используются модели глубокого обучения. В статье анализируется возможность применения основных базовых архитектур глубоких сетей к фильтрации спама, таких как сверточные и рекуррентные нейронные сети, а также архитектура Трансформер. Рассмотрены также векторные представления текста на уровне слов и с помощью языковых моделей. Современные языковые модели имеют архитектуру Трансформер, обеспечивают высокую точность классификации, но имеют огромное количество параметров и вычислительную мощность. В связи с этим в работе для фильтрации спама в качестве модели классификации использовался многослойный персептрон, а для получения векторного представления текста – TF-IDF. Такой выбор продиктован необходимостью соблюсти баланс между вычислительной мощностью и точностью. Оценка точности модели осуществлялась кросс-валидацией с разбиением данных методом k-Fold и составила в среднем 99.962%.