Просмотр кода страницы Задача оптимального управления "из точки в точку" с интегральным функционалом

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что 
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал 
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. Выпишем решение в точке \(x(t_1)\):
\[
x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1;
\]

2. Разобьем исходный интеграл на два и выразим одну из частей:
\[
\int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt;
\]

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно. 

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \)  множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:} 

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant\)

\(\leqslant  \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \)

\(= \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
 || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant 
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant 
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in  \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} = 
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \]
\[=\mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда 
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W'  \geqslant 0.
\] 


Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

При \(\text{det } W \neq 0 \) получаем полную управляемость и невырожденный эллипсоид, задача однозначно разрешима.

При \(\text{det } W = 0 \) получаем неполную управляемость и вырожденный эллипсоид(будет являться отрезком). Какое бы \(\mu\) мы не взяли, если \(c\) не будет лежать на \(\text{Im } W\), задача не будет иметь решения.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
  \dot{x}(t) = f(x(t), u(t)), \\
  x(t_0) = x^0, \\
  x(t_1) = x^1, \\
  u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
  \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.


''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\). 

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle. 
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
  \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
  \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow\]\[\Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
 \dot{x}_1 = x_2, \\
 \dot{x}_2 = -x_1+u, \\
 x(0)=x^0, \\
 \mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
 \dot{x}_1 = x_2, \\
 \dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
   \dot{x} = u, \\
   \mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
   u(t) \in \mathbb{R}, \\
   x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.


\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow\] \[\Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.