NobleBlocks

Research indexJournal article

Методы обучения с подкреплением для автоматической настройки и онлайн-адаптации регуляторов трудно настраиваемых динамических объектов: аналитический обзор

Воробей

МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ6 Oct 2026Open access

DOI10.26102/2310-6018/2026.61.10.011

Abstract

Рассмотрена задача автоматической настройки и подстройки в процессе работы регуляторов сложных динамических объектов, для которых однократно рассчитанный набор параметров не сохраняет требуемого качества управления на всем сроке эксплуатации. Цель обзора состоит в том, чтобы установить границы применимости существующих методов настройки по единому критерию и обосновать направления дальнейших исследований по нерешенной научной проблеме. Поиск велся по реферативным базам и охватывал классические первоисточники и работы прикладного периода; отбирались рецензируемые источники, относящиеся к настройке регуляторов. Прослежено развитие подходов от эмпирических правил настройки пропорционально-интегрально-дифференциальных регуляторов и управления с активным подавлением возмущений до обучаемых правил настройки, построенных методами обучения с подкреплением. Для каждого семейства методов выделены достоинства и пределы применимости: классические правила рассчитывают фиксированные коэффициенты по одному эксперименту и теряют качество при дрейфе параметров объекта; обучаемые методы работают с непрерывными параметрами, но не гарантируют устойчивости замкнутого контура в процессе обучения и требуют большого числа взаимодействий с объектом. Разрозненные подходы сведены к единому критерию пригодности, а именно работе с непрерывным вектором параметров и выборочной эффективности в реальном времени, и систематизированы в четыре нерешенные проблемы: сохранение устойчивости при обучении, выборочную эффективность, перенос с модели на объект и дефицит подтверждения на натурных стендах. Каждая проблема сопоставлена с направлением дальнейших исследований. Полученное сопоставление показывает, что заявленная проблема остается открытой для всего класса трудно настраиваемых объектов и требует одновременного решения вопросов устойчивости, выборочной эффективности и натурной валидации. This review addresses the problem of automatic tuning and online adaptation of controllers for complex dynamic plants for which a single computed parameter set does not preserve the required control quality over the whole service interval. The aim is to establish, under a single criterion, the applicability limits of the existing tuning methods and to substantiate directions for further research on an open scientific problem. The search covered classical primary sources and applied period works selected from abstract databases. The development of approaches is traced from empirical tuning rules for proportional-integral-derivative controllers and active disturbance rejection control to learned tuning rules built by reinforcement learning. For each family of methods the strengths and the applicability limits are identified: classical rules compute fixed coefficients from a single experiment and lose quality under plant parameter drift, whereas learned methods operate with continuous parameters but do not guarantee closed loop stability during learning and require a large number of interactions with the plant. The scattered approaches are reduced to a single suitability criterion, namely operation with a continuous parameter vector and sample efficiency in real time, and are systematised into four open problems: preserving stability during learning, sample efficiency, transfer from a model to the plant, and the shortage of validation on physical test benches. Each problem is matched to a direction for further research. The mapping shows that the stated problem remains open for the whole class of hard to tune plants and requires the simultaneous resolution of stability, sample efficiency, and physical validation.

Discussion

Citations

More

Suggest a correction or report