Принцип максимума Л.С. Понтрягина для общей задачи оптимального управления

Общая задача оптимального управления

Постановка: \begin{gather} \mathfrak{J}(x(\cdot),u(\cdot)) = \int\limits_{t_0}^{t_1} f(t, x, u)\,dt \rightarrow \inf; \label{prb:1:1}\\ \dot x = \varphi(t,x,u), \label{prb:1:2}\\ u \in U \subset \mathbb{R}^r, \label{prb:1:3}\\ h_0(x(t_0)) = h_1(x(t_1)) = 0, \label{prb:1:4}\\ g_i(t,x(t)) \leqslant 0,\quad t \in [t_0,t_1],\quad i = 1,\dots,k. \label{prb:1:5} \end{gather}

Предпологается, что функции \begin{equation*} f: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}, \quad g_i: \mathbb{R} \times \mathbb{R}^n \rightarrow \mathbb{R} \end{equation*} и отображения \begin{equation*} \varphi: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}^n,\quad h_l: \mathbb{R}^n \rightarrow \mathbb{R}^{s_l} \quad (l = 1, 2) \end{equation*} непрерывны и непрерывно дифференцируемы по \(x\). Более того моменты времени \(t_0\) и \(t_1\) не предпологаются фиксированнымии, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

Остановимся

Редукция к задаче с закрепленным временем

Пусть управляемый процесс \( (x_*(\cdot), u_*(\cdot)) \) определен на отрезке \( [t_{0*}, t_{1*}] \) и оптимален в задаче \eqref{prb:1:1} - \eqref{prb:1:5}. Введем новую независимую переменную \( \tau \), меняющуюся на отрезке \( [0,1] \), и рассмотрим такую систему уравнений: \begin{equation}\label{new_syst} \frac{dt}{d\tau} = v, \quad \frac{dy}{d\tau} = v \varphi(t, y, \omega). \end{equation} Если \( (t(\tau), y(\tau)) \) - некоторое решение этой системы, соответствующее управлению \( (v(\tau), \omega(\tau)), \) и при этом \( v(\tau) > 0 \), то \( t(\tau) \) - строго возрастающая непрерывная функция. Обратная ей функция, обозначим ее \( \tau(t) \), также непрерывна и возрастает. В этом случае \( x(t) = y(\tau(t)) \) - решение уравнения \eqref{prb:2:2}, соответствующее управлению \( u(t) = \omega(\tau(t)) \), и при этом \begin{equation}\label{keep_functional} \int\limits_{t(0)}^{t(1)} f(t, x(t), u(t)) \ dt = \int\limits_0^1 v(\tau)f(t(\tau), y(\tau), \omega(\tau)) \ d\tau. \end{equation} Так как \( v(\tau) \) всюду больше нуля, эти утверждения тривиальные. Наоброт, если \( x(t) \) - определенное на орезке \( [t_0, t_1] \) решение уравнения \eqref{prb:2:2}, соответствующее управлению \( u(t) \), то \[ t(\tau) = t_0 + (t_1 - t_0) \tau, \quad y(\tau) = x(t(\tau)) \] - решение системы \eqref{new_syst}, соответствующее управлениям \( v(\tau) \equiv t_1 - t_0, \ \omega(\tau) = u(t(\tau)) \), и при этом справедливо равенство \eqref{keep_functional}.
Поэтому \begin{gather} t_*(\tau) = t_0 + (t_{1*} - t_{0*})\tau, \quad y_*(\tau) = x_*(t_*(\tau)),\\ v_*(\tau) \equiv v_* = t_{1*} - t_{0*}, \quad \omega_*(\tau) = u_*(t_*(\tau)) \end{gather} - оптимальный управляемый процесс в задаче \begin{gather} \int\limits_0^1 v f(t,y,\omega) d\tau \to inf \label{prb:3:1} \tag{\ref{prb:1:1}$’’$}\\ \frac{dt}{d\tau} = v, \quad \frac{dy}{d\tau} = v \varphi(t, y, \omega), \label{prb:3:2} \tag{\ref{prb:1:2}$’’$}\\ v > 0, \quad \omega \in U, \label{prb:3:3} \tag{\ref{prb:1:3}$’’$}\\ h_0(t(0)), y(0)) = h_1(t(1), y(1)) = 0, \label{prb:3:4} \tag{\ref{prb:1:4}$’’$}\\ g_i(t(\tau), y(\tau)) \leqslant 0, \quad \tau \in [0,1], \ i = 1,\dots,k. \label{prb:3:5} \tag{\ref{prb:1:5}$’’$} \end{gather} Эта задача уже является задачей с закрепленным временем.

Задача с закрепленным временем

формулируется следующим образом: \begin{gather} \mathfrak{J}(x(\cdot),u(\cdot)) = \int\limits_{t_0}^{t_1} f(t, x, u)\,dt \rightarrow \inf; \label{prb:2:1} \tag{\ref{prb:1:1}$’$}\\ \dot x = \varphi(t,x,u), \label{prb:2:2} \tag{\ref{prb:1:2}$’$}\\ u \in U \subset \mathbb{R}^r, \label{prb:2:3} \tag{\ref{prb:1:3}$’$}\\ h_0(x(t_0)) = h_1(x(t_1)) = 0, \label{prb:2:4} \tag{\ref{prb:1:4}$’$}\\ g_i(t,x(t)) \leqslant 0,\quad t \in [t_0,t_1],\quad i = 1,\dots,k. \label{prb:2:5} \tag{\ref{prb:1:5}$’$} \end{gather} Однако, в отличие от задачи \eqref{prb:1:1} - \eqref{prb:1:5}, отрезок \([t_0, t_1]\) фиксирован, и дифференцируемости функций и отображений по \(t\) не требуется. Именно для задачи в таком виде будет дан принцип максимума.

Принцип максимума двух формулировках

Теорема (Принцип максимума Понтрягина в гамильтоновой форме). Пусть \( (x_*(\cdot), u_*(\cdot)) \) - оптимальный управляемый процесс в задаче \eqref{prb:2:1} - \eqref{prb:2:5}. Тогда существуют не равные одновременно нулю число \( \lambda_0 \), векторы \( l_0 \in \mathbb{R}^{s_0}, \ l_1 \in \mathbb{R}^{s_1},\) вектор-функция \( p(\cdot):[t_0, t_1] \to \mathbb{R}^n \) и неотрицательные регулярные меры \( \mu_i, \ i = 1, \dots, k, \) на \( [t_0, t_1] \), сосредоточенные соответсвенно на множествах \[ T_i = \left\{ t \in [t_0, t_1] \mid g_i(t, x_*(t)) = 0 \right\}, \] такие, что

• вектор-функция \( p(\cdot) \) является решением интегрального уравнения

\begin{equation}\label{conj_eq} p(t) = -h_1^{'*}(x_*(t_1))l_1 + \int\limits_{t_0}^{t_1} H_x(\tau, x_*(\tau), u_*(\tau), p(\tau), \lambda_0) \ d\tau - \sum_{i = 1}^{k} \int\limits_{t_0}^{t_1} g_{ix}(\tau, x_*(\tau)) \ d\mu_i \end{equation} и \begin{equation}\label{conj_boundary} p(t_0) = h_0^{'*}(x_*(t_0))l_0, \end{equation}

• почти при всех \( t \) из \( [t_0, t_1] \) выполняется равенство

\begin{equation}\label{max_princ} H(t, x_*(t), u_*(t), p(t), \lambda_0) = \mathscr{H}(t, x_*(t), p(t), \lambda_0). \end{equation} Уравнение \eqref{conj_eq}, как и в соответствующей задаче без фазовых ограничений, называется сопряженным. Важно отметить, что в случае, когда все меры \( \mu_i \) - нулевые, т.е., в частности при отсутствии ограничений на фазовые координаты, это уравнение сводится к привычному дифференциальному уравнению на сопряженную переменную. В задачах без фазовых ограничений функция \( p(\cdot) \) - абсолютно непрерывная функция. При наличии фазовых ограничений из-за присутствия в уравнении \eqref{conj_eq} интегралов по мерам \( \mu_i \) функция \( p(\cdot) \) может иметь разрывы. Однако она всегда является функцией ограниченной вариации, непрерывной слева(из-за регулярности мер \( \mu_i \)).

В формулировке теоремы не исключается случай, когда одна или обе концевые точки оптимальной траектории лежат на фазовых ограничениях. Поэтому меры \( \mu_i \) могут содержать ненулевые массы, сосредоточенные в точках \( t_0 \) и \( t_1 \). В этом случае, как следует из соотношений \eqref{conj_eq} и \eqref{conj_boundary}, \begin{equation} \lim_{t \to t_1}p(t) = -h_1^{'*}(x_*(t_1))l_1 + \sum_{i = 1}^k g_{ix}(t_1, x_*(t_1)) \mu_i(\{t_1\}); \end{equation} \begin{equation} \lim_{t \to t_0}p(t) = -h_0^{'*}(x_*(t_0))l_0 + \sum_{i = 1}^k g_{ix}(t_0, x_*(t_0)) \mu_i(\{t_0\}); \end{equation} т.е. \( p(t) \) может иметь разрыв в точке \( t_0 \). Если же \( g_i(t_1, x_*(t_1)) < 0 \) и \( g_i(t_0, x_*(t_0)) < 0 \), то точки \( t_0 \) и \( t_1 \) не принадлежат ни одному из множеств \( T_i, \ \mu_i(\{t_0\}) = \mu_i(\{t_1\}) = 0, \ p(t) \) непрерывна в точках \( t_0, t_1 \) и выполнено условие трансверсальности \( p(t_0) = h_0^{'*}(x_*(t_0))l_0, \ p(t_1) = -h_1^{'*}(x_*(t_1))l_1 \).

Важно заметить, что сформулированная теорема по сути является релизацией принципа Лагранжа. Если записать функцию Лагранжа задачи \eqref{prb:2:1} - \eqref{prb:2:5} в виде \[ \mathscr{L} = \left< l_0, h_0(x(t_0) \right> + \left< l_1, h_1(x(t_1) \right> + \int\limits_{t_0}^{t_1} \left[ \left< p(t), \dot{x}(t) - \varphi(t,x(t),u(t)) \right> +\\+ \lambda_0 f(t, x(t), u(t)) \right] \ dt + \sum_{i = 1}^k \int\limits_{t_0}^{t_1} g_i(t, x(t)) d\mu_i, \] то окажется, что соотношения \eqref{conj_eq}, \eqref{conj_boundary} эквивалентны условию стационарности функции Лагранжа как функции переменного \( x(\cdot) \) в точке \( x_*(\cdot) \), а равенство \eqref{max_princ} есть необходимое и достаточное условие того, что функция Лагранжа достигает минимума по \( u(\cdot) \) в точке \( u_*(\cdot) \). В связи с этим принцип максимума допускает и другую, более интуитивно понятную формулировку.

Теорема (Принцип максимума в лагранжевой форме). Пусть \( x_*(\cdot), u_*(\cdot)) \) - оптимальный управляемый процесс в задаче \eqref{prb:2:1} - \eqref{prb:2:5}. Тогда существуют такие не равные одновременно нулю число \( \lambda_0 \geqslant 0 \), векторы \( l_0 \in \mathbb{R}^{s_0}, l_1 \in \mathbb{R}^{s_1}, \) вектор-функция ограниченной вариации \( p(t) \) и неотрицательные регулярные меры \( \mu_i, \quad i = 1, \dots, k \), сосредоточенные на множествах \( T_i \) соответственно, что

• при \( u(\cdot) = u_*(\cdot) \) вектор-функция \( x_*(\cdot) \) является стационарной точкой функции Лагранжа как функции переменного \( x(\cdot) \);
• при \( x(\cdot) = x_*(\cdot) \) функция Лагранжа достигает абсолютного минимума по \( u(\cdot) \) в точке \( u_*(\cdot) \).

Список литературы

[1] А. Д. Иоффе, В. М. Тихомиров "Теория экстремальных задач". Изд-во Наука, Москва, 1974.