Оптимальное управление

Оптимальное управление — задача проектирования системы, обеспечивающей для заданного объекта управления или процесса закон управления или управляющую последовательность воздействий, обеспечивающих максимум или минимум заданной совокупности критериев качества системы^[1].

Задача оптимального управления включает в себя расчет оптимальной программы управления и синтез системы оптимального управления. Оптимальные программы управления, как правило, рассчитываются численными методами нахождения экстремума функционала или решения краевой задачи для системы дифференциальных уравнений^[2]. Синтез систем оптимального управления с математической точки зрения представляет собой задачу нелинейного программирования в функциональных пространствах^[3].

Для решения задачи определения программы оптимального управления строится математическая модель управляемого объекта или процесса, описывающая его поведение с течением времени под влиянием управляющих воздействий и собственного текущего состояния^[4].

Если математическая модель управляемого объекта или процесса заранее неизвестна, то для её определения необходимо провести процедуру идентификации управляемого объекта или процесса^[5]

Математическая модель для задачи оптимального управления включает в себя: формулировку цели управления, выраженную через критерий качества управления; определение дифференциальных или разностных уравнений^[6], описывающих возможные способы движения объекта управления; определение ограничений на используемые ресурсы в виде уравнений или неравенств^[7].

Все задачи оптимального управления можно рассматривать как задачи математического программирования и в таком виде решать их численными методами.^[8][9]

При оптимальном управлении иерархическими многоуровневыми системами, например, крупными химическими производствами, металлургическими и энергетическими комплексами, применяются многоцелевые и многоуровневые иерархические системы оптимального управления. В математическую модель вводятся критерии качества управления для каждого уровня управления и для всей системы в целом, а также координация действий между уровнями управления^[10][11].

Если управляемый объект или процесс является детерминированным, то для его описания используются дифференциальные уравнения. Наиболее часто используются обыкновенные дифференциальные уравнения вида ${\displaystyle {\dot {x}}(t)=a[x(t),u(t),t]}$. В более сложных математических моделях (для систем с распределёнными параметрами) для описания объекта используются дифференциальные уравнения в частных производных. Если управляемый объект является стохастическим, то для его описания используются стохастические дифференциальные уравнения.

Для решения задач оптимального управления в условиях конфликта или неопределенности используется теория дифференциальных игр.^[12]

Если решение поставленной задачи оптимального управления не является непрерывно зависящим от исходных данных (некорректная задача), то такая задача решается специальными численными методами.^[13]

Для решения задач оптимального управления с неполной исходной информацией и при наличии ошибок измерений используется метод максимального правдоподобия^[14].

Система оптимального управления, способная накапливать опыт и улучшать на этой основе свою работу, называется обучающейся системой оптимального управления^[15].

Реальное поведение объекта или системы всегда отличается от программного вследствие неточности в начальных условиях, неполной информации о внешних возмущениях, действующих на объект, неточности реализации программного управления и т. д. Поэтому для минимизации отклонения поведения объекта от оптимального обычно используется система автоматического регулирования.^[16]

Иногда (например, при управлении сложными объектами, такими как доменная печь в металлургии или при анализе экономической информации) в исходных данных и знаниях об управляемом объекте при постановке задачи оптимального управления содержится неопределённая или нечёткая информация, которая не может быть обработана традиционными количественными методами. В таких случаях можно использовать алгоритмы оптимального управления на основе математической теории нечётких множеств (нечёткое управление). Используемые понятия и знания преобразуются в нечёткую форму, определяются нечёткие правила вывода принимаемых решений, затем производится обратное преобразование нечётких принятых решений в физические управляющие переменные.^[17][11]

Для решения задач оптимального управления очень большой размерности, не позволяющей их решать методами классической математики, используются методы ситуационного управления.

Для оптимального управления экономическими процессами применяются методы экономической кибернетики, теории игр, теории графов^[18]

Наиболее широко при проектировании систем управления детерминированными объектами c сосредоточенными параметрами, описываемыми обыкновенными дифференциальными уравнениями, применяются следующие методы: вариационное исчисление, принцип максимума Понтрягина и динамическое программирование Беллмана^[1].

Сформулируем задачу оптимального управления:

• Уравнения состояния: ${\displaystyle {\dot {x}}(t)=a[x(t),u(t),t]}$ (1).
• Граничные условия ${\displaystyle x(t_{0})=x_{0}^{*}}$, ${\displaystyle x(t_{1})=x_{1}^{*}}$ (2).
• Минимизируемый функционал: ${\displaystyle \eta =\int _{t_{0}}^{t_{1}}F[x(\tau ),{\dot {x}}(\tau ),\tau ]d\tau ,}$.

здесь ${\displaystyle x(t)}$ — вектор состояния ${\displaystyle u(t)}$ — управление, ${\displaystyle t_{0},t_{1}}$ — начальный и конечный моменты времени.

Задача оптимального управления заключается в нахождении функций состояния ${\displaystyle x(t)}$ и управления ${\displaystyle u(t)}$ для времени ${\displaystyle ({t_{0}}\leq {t}\leq {t_{1}})}$, которые минимизируют функционал.

Рассмотрим данную задачу оптимального управления как задачу Лагранжа вариационного исчисления^[19]. Для нахождения необходимых условий экстремума применим теорему Эйлера-Лагранжа^[19]. Функция Лагранжа ${\displaystyle \Lambda }$ имеет вид: ${\displaystyle \Lambda =\int _{t_{0}}^{t_{1}}(F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t]))dt+l}$, где ${\displaystyle l=\lambda _{2}^{T}(x(t_{0})-x_{0}^{*})+\lambda _{3}^{T}(x(t_{1})-x_{1}^{*})}$ — граничные условия. Лагранжиан ${\displaystyle L}$ имеет вид: ${\displaystyle L[x(t),{\dot {x}}(t),u(t),\lambda (t),t]=F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t])}$, где ${\displaystyle \lambda _{1}}$, ${\displaystyle \lambda _{2}}$, ${\displaystyle \lambda _{3}}$ — n-мерные вектора множителей Лагранжа.

Необходимые условия экстремума, согласно этой теореме, имеют вид:

• стационарность по u: ${\displaystyle {\hat {L}}_{u}=0}$, (3)
• стационарность по x, уравнение Эйлера: ${\displaystyle {\hat {L}}_{x}-{\frac {d}{dt}}{\hat {L}}_{\dot {x}}=0}$ (4)
• трансверсальность по x: ${\displaystyle {\hat {L}}_{\dot {x}}(t_{0})={\hat {l}}_{x(t_{0})}}$, ${\displaystyle {\hat {L}}_{\dot {x}}(t_{1})=-{\hat {l}}_{x(t_{1})}}$ (5)

Необходимые условия (3-5) составляют основу для определения оптимальных траекторий. Написав эти уравнения, получаем двухточечную граничную задачу, где часть граничных условий задана в начальный момент времени, а остальная часть — в конечный момент. Методы решения подобных задач подробно разбираются в книге^[20]

Необходимость в принципе максимума Понтрягина возникает в случае, когда нигде в допустимом диапазоне управляющей переменной невозможно удовлетворить необходимому условию (3), а именно ${\displaystyle {\hat {L}}_{u}=0}$.

В этом случае условие (3) заменяется на условие (6):

${\displaystyle {\begin{aligned}\min _{u\in U}L(t,x(t),{\dot {x}}(t),u)&=L(t,{\hat {x}}(t),{\dot {x}}(t),{\hat {u}})\Longleftrightarrow \\&\Longleftrightarrow \min _{u\in U}\left(F(t,x(t),u)-\lambda (t)a(t,x(t),u)\right)=f(t)-\lambda (t)a(t).\end{aligned}}}$ (6)

В этом случае согласно принципу максимума Понтрягина величина оптимального управления равна величине управления на одном из концов допустимого диапазона. Уравнения Понтрягина записываются при помощи функции Гамильтона ${\displaystyle H}$, определяемой соотношением ${\displaystyle H=F(t,x(t),u)-\lambda (t)a(t,x(t),u)}$. Из уравнений следует, что функция Гамильтона ${\displaystyle H}$ связана с функцией Лагранжа ${\displaystyle L}$ следующим образом: ${\displaystyle L=H+\lambda (t){\dot {x}}(t)}$. Подставляя ${\displaystyle L}$ из последнего уравнения в уравнения (3—5), получаем необходимые условия, выраженные через функцию Гамильтона:

• уравнение управления по u: ${\displaystyle {\hat {H}}_{u}=0}$, (7)
• уравнение состояния: ${\displaystyle {\dot {x}}=-{\hat {H}}_{\lambda }}$, (8)
• сопряжённое уравнение: ${\displaystyle {\dot {\lambda }}=-{\hat {H}}_{x}}$, (9)
• трансверсальность по x: ${\displaystyle \lambda (t_{0})={\hat {l}}_{x(t_{0})}}$, ${\displaystyle \lambda (t_{1})=-{\hat {l}}_{x(t_{1})}}$ (10)

Необходимые условия, записанные в такой форме, называются уравнениями Понтрягина. Более подробно принцип максимума Понтрягина разобран в книге^[19].

Пусть требуется решить задачу минимизации функционала:

${\displaystyle \int _{0}^{1}(u^{2}-4x)dt}$, где ${\displaystyle {\frac {dx}{dt}}=u}$, ${\displaystyle 0\leqslant u\leqslant 1}$, ${\displaystyle x(0)=0}$.

Функция Гамильтона в данном случае имеет вид:

${\displaystyle H=\lambda u-u^{2}+4x}$.

Из условий 9) и 10) находим, что:

${\displaystyle \lambda =4-4t}$, ${\displaystyle t\in [0,1]}$.

Получаем:

${\displaystyle H=(4-4t)u-u^{2}+4x}$.

Максимум этой функции по ${\displaystyle u}$, ${\displaystyle 0<u<1}$, достигается при ${\displaystyle u=u^{*}(t)}$, где

${\displaystyle u^{*}(t)={\begin{cases}1,&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2-2t,&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

По условию, ${\displaystyle {\frac {dx^{*}(t)}{dt}}=u^{*}(t)}$. Значит:

${\displaystyle x^{*}(t)={\begin{cases}t+c_{1},&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2t-t^{2}-c_{2},&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

Из ${\displaystyle x^{*}(0)=0}$, получаем ${\displaystyle c_{1}=0}$. Из условия непрерывности ${\displaystyle x^{*}(t)}$ в точке ${\displaystyle t={\frac {1}{2}}}$ найдем постоянную ${\displaystyle c_{2}=-{\frac {1}{4}}}$.

Таким образом:

${\displaystyle x^{*}(t)={\begin{cases}t,&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2t-t^{2}-{\frac {1}{4}},&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

Можно проверить, что найденные ${\displaystyle x^{*}(t)}$ и ${\displaystyle u^{*}(t)}$ составляют оптимальное решение данной задачи^[21]

Принцип максимума особенно важен в системах управления с максимальным быстродействием и минимальным расходом энергии, где применяются управления релейного типа, принимающие крайние, а не промежуточные значения на допустимом интервале управления.

За разработку теории оптимального управления Л. С. Понтрягину и его сотрудникам В. Г. Болтянскому, Р. В. Гамкрелидзе, и Е. Ф. Мищенко в 1962 году была присуждена Ленинская премия.

Метод динамического программирования основан на принципе оптимальности Беллмана, который формулируется следующим образом: оптимальная стратегия управления обладает тем свойством, что каково бы ни было начальное состояние и управление в начале процесса, последующие управления должны составлять оптимальную стратегию управления относительно состояния, полученного после начальной стадии процесса^[22]. Более подробно метод динамического программирования изложен в книге^[23]

Достаточные условия оптимальности управляемых процессов были получены в 1962 году В. Ф. Кротовым, на их основе были построены итерационные вычислительные методы последовательного улучшения, позволяющие находить глобальный оптимум в задачах управления^[24][25][26].

В задачах оптимального управления такими объектами, как проходная нагревательная печь, теплообменный аппарат, установка для нанесения покрытия, сушильный агрегат, химический реактор, установка для разделения смесей, доменная или мартеновская печь, коксовая батарея, прокатный стан, печь индукционного нагрева и т. д. управляемый процесс описывается дифференциальными уравнениями в частных производных, интегральными уравнениями и интегро-дифференциальными уравнениями.

Теория оптимального управления в этом случае разработана лишь для отдельных видов этих уравнений: эллиптического, параболического и гиперболического типа.

В некоторых простых случаях удается получить аналог принципа максимума Понтрягина.^[27][28]

Если решения систем уравнений имеют неустойчивости, точки разрыва, точки бифуркации, кратные решения, то для их получения используется ряд специальных методов^[29].

• Задана область определения управляемого процесса ${\displaystyle 0\leqslant x\leqslant a,0\leqslant y\leqslant b}$
• Уравнения, описывающие управляемый процесс: ${\displaystyle {\frac {\partial ^{2}Q_{i}}{\partial x\partial y}}=f_{i}(x,y,Q,{\frac {\partial Q}{\partial x}},{\frac {\partial Q}{\partial y}},u);(1)}$ , где ${\displaystyle Q}$ — ${\displaystyle n}$ — мерный вектор, описываемый управляемый процесс, ${\displaystyle {\frac {\partial Q}{\partial x}}}$ — ${\displaystyle n}$ — мерный вектор производных вектора ${\displaystyle Q}$ по координате ${\displaystyle x}$, ${\displaystyle {\frac {\partial Q}{\partial y}}}$ — ${\displaystyle n}$ — мерный вектор производных вектора ${\displaystyle Q}$ по координате ${\displaystyle y}$, ${\displaystyle u}$ — ${\displaystyle r}$ — мерный управляющий вектор.
• Граничные условия для управляемого процесса: ${\displaystyle Q_{i}(0,y)=\phi _{i}(y);Q_{i}(x,0)=\psi _{i}(x);i=1,...,n;(2)}$
• Задача оптимального управления состоит в том, чтобы найти такое управление ${\displaystyle u(x,y)}$, при котором допустимое уравнениями ${\displaystyle (1),(2)}$ решение ${\displaystyle Q(x,y)}$ приводит к максимуму функционала ${\displaystyle J=\sum _{i=1}^{n}c_{i}Q_{i}(a,b)}$.

С целью формулировки принципа максимума для систем с распределёнными параметрами вводится функция Гамильтона: ${\displaystyle H(N,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)=\sum _{i=1}^{n}N_{i}f_{i}(x,y,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)}$, где вспомогательные функции ${\displaystyle N_{1}(x,y),...,N_{n}(x,y)}$ должны удовлетворять уравнениям ${\displaystyle {\frac {dN_{i}}{dxdy}}={\frac {dH}{dQ_{i}}}-{\frac {d}{dx}}{\frac {dH}{dQ_{ix}}}-{\frac {d}{dy}}{\frac {dH}{dQ_{iy}}}(2)}$ и граничным условиям ${\displaystyle {\frac {dN_{i}}{dx}}=-{\frac {dH}{dQ_{iy}}}}$ при ${\displaystyle y=b(3)}$, ${\displaystyle {\frac {dN_{i}}{dy}}=-{\frac {dH}{dQ_{ix}}}}$ при ${\displaystyle x=a(4)}$, ${\displaystyle N_{i}(a,b)=-c_{i}(5)}$.

Если ${\displaystyle u^{0}(x,y)}$ - оптимальное управление и ${\displaystyle Q^{0}(x,y),N^{0}(x,y)}$ - получающиеся при оптимальном управлении функции, удовлетворяющие уравнениям ${\displaystyle (1),(2),(3),(4),(5)}$, то функция ${\displaystyle H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)}$, рассматриваемая как функция от аргумента ${\displaystyle u}$ достигает максимума в области ${\displaystyle \omega }$ при ${\displaystyle u=u^{0}(x,y)}$, то есть почти для всех точек ${\displaystyle (x,y)\in D}$ выполняется равенство ${\displaystyle \max _{u\in \omega }H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)=H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)}$

Если система ${\displaystyle (1)}$ является линейной системой вида ${\displaystyle {\frac {d^{2}Q_{i}}{dxdy}}=\sum _{k=1}^{n}{\Bigl [}m_{ik}(x,y){\frac {dQ_{k}}{dx}}+p_{ik}(x,y){\frac {dQ_{k}}{dy}}+q_{ik}(x,y)Q_{k}{\Bigr ]}+f_{i}(u)}$, то выполняется теорема

Для оптимальности управления ${\displaystyle u(x,y)}$ в линейном случае необходимо и достаточно, чтобы выполнялся принцип максимума.

Доказательство этих двух теорем смотри в книге^[28].

В этом случае управляемый объект или процесс описывается линейными стохастическими дифференциальными уравнениями. В этом случае решение задачи оптимального управления осуществляется на основе уравнения Риккати^[30].

• Система описывается линейными стохастическими дифференциальными уравнениями ${\displaystyle dx=Axdt+Budt+dv,dy=Cxdt+de}$, где ${\displaystyle x}$ — ${\displaystyle n}$-мерный вектор состояния, ${\displaystyle u}$ — ${\displaystyle p}$-мерный вектор управления, ${\displaystyle y}$ — ${\displaystyle v}$-мерный вектор наблюдаемых переменных, ${\displaystyle v(t),e(t)}$ — независимые винеровские процессы с нулевыми средними значениями и заданными ковариациями приращений, ${\displaystyle A,B,C}$ — матрицы.
• Необходимо найти оптимальное управление, минимизирующее математическое ожидание функции потерь ${\displaystyle x^{T}(t_{1})Q_{0}x(t_{1})+\int _{t_{0}}^{t_{1}}[x^{T}(t)Q_{1}x(t)+u^{T}Q_{2}u(t)]dt]}$.

• Растригин Л. А. Современные принципы управления сложными объектами. — М.: Сов. радио, 1980. — 232 с., ББК 32.815, тир. 12000 экз.
• Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление. — М.: Наука, 1979, УДК 519.6, — 223 c., тир. 24000 экз.
• Волгин Л. Н. Оптимальное дискретное управление динамическими системами. — М.: Наука, 1986. — 240 с.
• Табак Д., Куо Б. Оптимальное управление и математическое программирование. — М.: Наука, 1975. — 279 с.
• Моисеев Н. Н. Элементы теории оптимальных систем. — М.: Наука, 1975. — 526 с.
• Галеев Э. М., Тихомиров В. М. Краткий курс теории экстремальных задач. — М.: МГУ, 1989. — 204 с. — ISBN 5-211-00313-6.
• Кротов В.Ф., Гурман В. И. Методы и задачи оптимального управления. — М.: Наука, 1973.
• Понтрягин Л. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф. Математическая теория оптимальных процессов. — М.: Наука, 1976.
• Болтянский В. Г. Оптимальное управление дискретными системами. — М.: Наука, 1973.
• Бутковский А. Г. Теория оптимального управления системами с распределенными параметрами. — М.: Наука, 1965.
• Бутковский А. Г. Методы управления системами с распределенными параметрами. — М.: Наука, 1975.
• Будак Б. М., Васильев Ф. П. Приближенные методы решения задач оптимального управления. — М.: МГУ, 1969.
• Олейников В. А., Зотов Н. С., Пришвин А. М. Основы оптимального и экстремального управления. — М.: Высшая школа, 1969. — 296 с.
• Дегтярев Г. Л., Сиразетдинов Т. К. Теоретические основы оптимального управления упругими космическими аппаратами. — М.: Машиностроение, 1986. — 216 с.
• Лернер А. Я., Розенман Е. А. Оптимальное управление. — М.: Энергия, 1970. — 360 с.
• Гурман В. И., Тихомиров В. Н., Кириллова Ф. М. Оптимальное управление. — М.: Знание, 1978. — 144 с.
• Болтянский В. Г. Математические методы оптимального управления. — М.: Наука, 1969. — 408 с.
• Янг Л. Лекции по вариационному исчислению и теории оптимального управления. — М.: Мир, 1974. — 488 с.
• Макаров И. М., Лохин В. М. Манько С. В. Искусственный интеллект и интеллектуальные системы управления. — М.: Наука, 2006. — 333 с. — 1000 экз. — ISBN 5-02-033782-X.
• Дончев А. Системы оптимального управления. Возмущения, приближения и анализ чувствительности. — М.: Мир, 1987. — 156 с. — 6700 экз.
• В. А. Иванов, А. С. Ющенко. Теория дискретных систем автоматического управления. — М.: Московский государственный технический университет имени Н. Э. Баумана, 2015. — 352 с. — ISBN 978-5-7038-4178-5.
• Кузин Л. Т. Основы кибернетики. — М.: Энергия, 1973. — 504 с. — 30 000 экз.
• Фурсиков А. В. Оптимальное управление распределёнными системами. Теория и приложения. — Новосибирск: Научная книга, 1999. — 352 с. — 1000 экз. — ISBN 5-88119-017-3.
• Лионс Ж. Л. Управление сингулярными распределёнными системами. — Москва: Наука, 1987. — 368 с. — 3600 экз.
• Хазен Э. М. Методы оптимальных статистических решений и задачи оптимального управления. — Москва: Советское радио, 1968. — 256 с. — 12 000 экз.
• Лейтман Дж. Введение в теорию оптимального управления. — Москва: Наука, 1968. — 190 с. — 14 000 экз.
• Саридис Дж. Самоорганизующиеся стохастические системы управления. — Москва: Наука, 1980. — 400 с. — 4000 экз.
• А. А. Аграчев, Ю. Л. Сачков. Геометрическая теория управления. — Москва: ФИЗМАТЛИТ, 2004. — 391 с. — ISBN 5-9221-0532-9.

• Гамкрелидзе Р. В.. Открытие принципа максимума Понтрягина