Research indexJournal article
ЭФФЕКТИВНАЯ КЛАССИФИКАЦИЯ НАУЧНЫХ ТЕКСТОВ С ИСПОЛЬЗОВАНИЕМ МОДЕЛИ SCIBERT И МЕТОДА НИЗКОРАНГОВОЙ АДАПТАЦИИ
Касымова, Тұрсынхан, Turdalyuly and 2 others
Вестник КазАТК29 Jun 2026Open access
NobleIDark:/48914/w1/20261105/8974DD7FDOI10.52167/1609-1817-2026-144-3-380-392
ЭФФЕКТИВНАЯ КЛАССИФИКАЦИЯ НАУЧНЫХ ТЕКСТОВ С ИСПОЛЬЗОВАНИЕМ МОДЕЛИ SCIBERT И МЕТОДА НИЗКОРАНГОВОЙ АДАПТАЦИИ
Касымова, Тұрсынхан, Turdalyuly and 2 others · Вестник КазАТК · 2026
NobleIDark:/48914/w1/20261105/8974DD7FDOI10.52167/1609-1817-2026-144-3-380-392
Abstract
В данной работе предлагается эффективный метод классификации научных текстов на основе модели SciBERT, дополнительно обученной с использованием техники LoRA с целью снижения вычислительных затрат. В ходе исследования была рассмотрена задача классификации научных абстрактов, при этом использовались два набора данных: PubMed-RCT20k — для биомедицинских текстов и SciCite — для классификации целей цитирования. Производительность базовой модели на основе логистической регрессии и TF-IDF была сопоставлена с результатами улучшенной модели SciBERT + LoRA. Результаты исследования показали, что модель SciBERT + LoRA превосходит модель логистической регрессии по показателям точности (Accuracy), макро F1-мере (Macro F1 score) и функции потерь (Loss), при этом требует значительно меньших вычислительных ресурсов. Проведённые эксперименты доказали, что адаптация модели SciBERT с помощью LoRA является эффективным подходом в задачах классификации научных текстов, особенно в условиях ограниченных вычислительных ресурсов. Кроме того, метод LoRA позволяет достигать высокой производительности без дорогостоящей вычислительной инфраструктуры, что делает его оптимальным решением для исследовательских групп с ограниченными вычислительными возможностями.