NobleBlocks

Research indexJournal article

Разработка метода автоматического выявления семантически близких объектов на основе текстовой и графической информации

Масальский

Electronic Library of Peter the Great Polytechnic University1 Jan 2025Open access

NobleIDark:/48914/w1/20261105/77DE7531DOI10.18720/spbpu/3/2025/vr/vr25-1965

Free to read at the publisher

You can read the abstract here, or the full text at the publisher.

Read at the publisher

Abstract

Работа посвящена задаче автоматического выявления семантически схожих карточек товаров на маркетплейсах. Цель – разработка мультимодального алгоритма поиска одинаковых объектов по тексту и изображению без ручной разметки. Использован интегративный подход, сочетающий обработку текстовых и визуальных признаков. Применены модели FRIDA (текст), EfficientNet-B7 (изображения), BLIP (image captioning), а также векторная база данных Milvus для индексации и поиска. Разработан пайплайн мультимодального сопоставления: от сбора данных с маркетплейса Ozon до генерации признаков, их агрегации и поиска схожих объектов. Проведено сравнение моделей и построена метрика семантической близости. Выявлено, что агрегированные признаки повышают точность поиска и устойчивость к шуму. Результаты могут быть использованы в рекомендательных системах, на платформах электронной коммерции, в службах модерации контента, интеллектуальных поисковых механизмах, а также в задачах очистки и объединения товарных карточек, улучшения поисковой выдачи и повышения ассортимента. Мультимодальный подход, включающий обработку текста и изображений, позволяет эффективно выявлять дубликаты товаров без обучения на размеченных данных. Использование моделей FRIDA и EfficientNet-B7 показало высокую точность в условиях семантической вариативности и визуального шума.

Discussion

More

Suggest a correction or report