NobleBlocks

Research indexJournal article

Система розпізнавання динамічних жестів рук у реальному часі на периферійних пристроях

Kazymyra, Tsapiv

COMPUTER-INTEGRATED TECHNOLOGIES EDUCATION SCIENCE PRODUCTION16 Jun 2025Open access

NobleIDark:/48914/w1/20260515/5DCEEA97DOI10.36910/6775-2524-0560-2025-59-17

Abstract

У даній роботі представлено систему розпізнавання динамічних жестів рук у реальному часі, призначену для ефективної взаємодії з інтелектуальними пристроями та безконтактними інтерфейсами, зокрема на периферійних пристроях. Розроблена система інтегрує Google Mediapipe для визначення пози рук, який є достатньо легким для запуску на мобільних пристроях, з модифікованою архітектурою DD-Net, оптимізованою для онлайн класифікації жестів з використанням 2D та 3D даних. Ключові нововведення включають впровадження допоміжної класифікаційної гілки для вирішення проблеми дисбалансу класів та механізму уваги для покращення розпізнавання частково спостережуваних жестів. Розроблена система була протестована на наборах даних NVGesture та SHREC22, досягнуто точності 0.784 та 0.924, відповідно, що перевищує попередні результати. Експериментальні результати демонструють високу ефективність запропонованого підходу у задачах розпізнавання жестів в реальному часі, зокрема на мобільних платформах. Показано, що використання 3D даних та механізму уваги дозволяє значно покращити точність розпізнавання, особливо для складних та частково видимих жестів. Запропонована система може бути використана в широкому спектрі застосувань, включаючи системи віртуальної та доповненої реальності, робототехніку та безконтактні інтерфейси на периферійних пристроях

Discussion

Topics

More

Suggest a correction or report