Research indexJournal article
Разработка метода автоматического выявления семантически близких объектов на основе текстовой и графической информации
Масальский
Electronic Library of Peter the Great Polytechnic University1 Jan 2025Open access
NobleIDark:/48914/w1/20261105/77DE7531DOI10.18720/spbpu/3/2025/vr/vr25-1965
Разработка метода автоматического выявления семантически близких объектов на основе текстовой и графической информации
Масальский · Electronic Library of Peter the Great Polytechnic University · 2025
NobleIDark:/48914/w1/20261105/77DE7531DOI10.18720/spbpu/3/2025/vr/vr25-1965
Free to read at the publisher
You can read the abstract here, or the full text at the publisher.
Abstract
Работа посвящена задаче автоматического выявления семантически схожих карточек товаров на маркетплейсах. Цель – разработка мультимодального алгоритма поиска одинаковых объектов по тексту и изображению без ручной разметки. Использован интегративный подход, сочетающий обработку текстовых и визуальных признаков. Применены модели FRIDA (текст), EfficientNet-B7 (изображения), BLIP (image captioning), а также векторная база данных Milvus для индексации и поиска. Разработан пайплайн мультимодального сопоставления: от сбора данных с маркетплейса Ozon до генерации признаков, их агрегации и поиска схожих объектов. Проведено сравнение моделей и построена метрика семантической близости. Выявлено, что агрегированные признаки повышают точность поиска и устойчивость к шуму. Результаты могут быть использованы в рекомендательных системах, на платформах электронной коммерции, в службах модерации контента, интеллектуальных поисковых механизмах, а также в задачах очистки и объединения товарных карточек, улучшения поисковой выдачи и повышения ассортимента. Мультимодальный подход, включающий обработку текста и изображений, позволяет эффективно выявлять дубликаты товаров без обучения на размеченных данных. Использование моделей FRIDA и EfficientNet-B7 показало высокую точность в условиях семантической вариативности и визуального шума.