Адаптивный подход к тонкой настройке языковых моделей для задач преобразования текста в SQL

Аннотация

Возможность генерации SQL-запросов на основе естественного языка существенно упрощает доступ к данным для пользователей, не обладающих техническими навыками. Современные методы часто полагаются на большие языковые модели (LLM) с закрытым исходным кодом, такие как ChatGPT, которые имеют ограничения, включая высокую стоимость и непрозрачную архитектуру. В данной работе предложен адаптивный подход к тонкой настройке малых языковых моделей (SLM) для преобразования текста в запросы SQL (Text-to-SQL), адаптированных под диалекты SQLite3 и PostgreSQL. Предложенная модель SQL_DS_100M_ft основывается на открытой архитектуре CodeS, что обеспечивает ее гибкость и доступность. Проведённый анализ показал, что тонкая настройка позволяет значительно улучшить точность генерации SQL-запросов (до 72.2% по метрике EX на тестах BIRD) и адаптивность модели для сложных аналитических задач. Основные преимущества таких моделей заключаются в структурированности генерируемых запросов, снижение затрат на вычислительные ресурсы по сравнению с LLM и открывают новые перспективы по улучшению доступности реляционных баз данных через естественно-языковые интерфейсы.