Research indexJournal article
Обучение нейронных сетей на основе методов с экспоненциальной релаксацией
Ершов, Черноруцкий, Дробинцев
Electronic Library of Peter the Great Polytechnic University17 Jun 2026Open access
NobleIDark:/48914/w1/20261105/357584E6DOI10.18720/spbpu/3/2026/vr/vr26-3483
Обучение нейронных сетей на основе методов с экспоненциальной релаксацией
Ершов, Черноруцкий, Дробинцев · Electronic Library of Peter the Great Polytechnic University · 2026
NobleIDark:/48914/w1/20261105/357584E6DOI10.18720/spbpu/3/2026/vr/vr26-3483
Free to read at the publisher
You can read the abstract here, or the full text at the publisher.
Abstract
Данная работа посвящена исследованию и программной реализации метода оптимизации второго порядка на основе экспоненциальной релаксации (ЭР) для обучения нейронных сетей в условиях плохой обусловленности целевых функционалов. В ходе исследования проведен анализ ограничений классических алгоритмов первого порядка (SGD, Adam, RMSProp) и выявлены математические причины их стагнации в задачах с выраженной овражной топологией и мультиколлинеарностью признаков. Рассмотрен математический аппарат метода ЭР. С применением языка программирования Python и фреймворка PyTorch спроектирован и реализован программный комплекс, позволяющий использовать метод ЭР для обучения архитектур глубокого обучения. Для преодоления проблемы кубической вычислительной сложности разработаны и интегрированы оптимизированные безгессиановые версии алгоритма, которые значительно снижают потребление оперативной памяти и время на итерацию. Реализованная система протестирована на различных архитектурах и задачах. Произведено сравнение предложенного гибридного подхода с традиционными алгоритмами. Результаты продемонстрировали превосходство метода экспоненциальной релаксации в скорости сходимости, точности аппроксимации и способности эффективно преодолевать патологическую кривизну ландшафта функции потерь там, где методы первого порядка терпят неудачу.