Research indexJournal article
Создание системы новостных рекомендаций, основанной на профилировании, с использованием методов обработки естественного языка
Хуснутдинов
Electronic Library of Peter the Great Polytechnic University1 Jul 2026Open access
NobleIDark:/48914/w1/20261105/A11D8341DOI10.18720/spbpu/3/2025/vr/vr26-1287
Создание системы новостных рекомендаций, основанной на профилировании, с использованием методов обработки естественного языка
Хуснутдинов · Electronic Library of Peter the Great Polytechnic University · 2026
NobleIDark:/48914/w1/20261105/A11D8341DOI10.18720/spbpu/3/2025/vr/vr26-1287
Free to read at the publisher
You can read the abstract here, or the full text at the publisher.
Abstract
Данная работа посвящена разработке системы на основе алгоритма, обеспечивающего персонализированную подачу новостного контента на основе анализа предпочтений и поведений пользователя. Задачи, которые решались в ходе работы: 1) Изучение особенностей рекомендательных систем и подходов к их построению; 2) Определение архитектуры системы новостных рекомендаций, выбор методов и средств реализации компонентов; 3) Разработка алгоритма оценки новостного контента и предоставления рекомендаций; 4) Программная реализация системы как совокупности взаимосвязанных компонентов; 5) Тестирование системы. В работе рассматриваются современные подходы к построению рекомендательных систем и анализу текстовой информации, применение методов обработки естественного языка для извлечения важных признаков и векторизации текста. Разработан алгоритм получения весового коэффициента, отражающего сходство текста новости с построенным профилем пользователя. В результате была реализована система, которая осуществляет сбор и обработку информации извне, взаимодействует с пользователем с помощью чат-бота, формирует его профиль. На основе извлечённых признаков корпуса текстов система составляет персонализированную подборку новостных публикаций. Проведённое тестирование выявило слабые места системы, предложены возможные варианты улучшений адаптации системы к непостоянным предпочтениям пользователей. Для достижения данных результатов в работе были использованы следующие информационные технологии: 1) Кроссплатформенная интегрированная среда разработки PyCharm; 2) Язык программирования Python; 3) Библиотеки для языка Python: Aiogram, AioMySQL, AioHTTP, BeautifulSoup, PyMySQL, Pandas, Natasha, Navec, NLTK, Numpy, Pytest, Pyrogram, Requests, Scipy, Scikit-learn, Unittest; 4) СУБД MySQL, инструмент визуального проектирования баз данных MySQL Workbench.