Research indexJournal article
Система розпізнавання динамічних жестів рук у реальному часі на периферійних пристроях
Kazymyra, Tsapiv
COMPUTER-INTEGRATED TECHNOLOGIES EDUCATION SCIENCE PRODUCTION16 Jun 2025Open access
NobleIDark:/48914/w1/20260515/5DCEEA97DOI10.36910/6775-2524-0560-2025-59-17
Система розпізнавання динамічних жестів рук у реальному часі на периферійних пристроях
Kazymyra, Tsapiv · COMPUTER-INTEGRATED TECHNOLOGIES EDUCATION SCIENCE PRODUCTION · 2025
NobleIDark:/48914/w1/20260515/5DCEEA97DOI10.36910/6775-2524-0560-2025-59-17
Abstract
У даній роботі представлено систему розпізнавання динамічних жестів рук у реальному часі, призначену для ефективної взаємодії з інтелектуальними пристроями та безконтактними інтерфейсами, зокрема на периферійних пристроях. Розроблена система інтегрує Google Mediapipe для визначення пози рук, який є достатньо легким для запуску на мобільних пристроях, з модифікованою архітектурою DD-Net, оптимізованою для онлайн класифікації жестів з використанням 2D та 3D даних. Ключові нововведення включають впровадження допоміжної класифікаційної гілки для вирішення проблеми дисбалансу класів та механізму уваги для покращення розпізнавання частково спостережуваних жестів. Розроблена система була протестована на наборах даних NVGesture та SHREC22, досягнуто точності 0.784 та 0.924, відповідно, що перевищує попередні результати. Експериментальні результати демонструють високу ефективність запропонованого підходу у задачах розпізнавання жестів в реальному часі, зокрема на мобільних платформах. Показано, що використання 3D даних та механізму уваги дозволяє значно покращити точність розпізнавання, особливо для складних та частково видимих жестів. Запропонована система може бути використана в широкому спектрі застосувань, включаючи системи віртуальної та доповненої реальності, робототехніку та безконтактні інтерфейси на периферійних пристроях