sawiki - Вклад участника [ru]

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:48:10Z

Alina22: /* Примеры задач */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. Выпишем решение в точке \(x(t_1)\):
\[
x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1;
\]

2. Разобьем исходный интеграл на два и выразим одну из частей:
\[
\int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt;
\]

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant\)

\(\leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \)

\(= \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \]
\[=\mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

При \(\text{det } W \neq 0 \) получаем полную управляемость и невырожденный эллипсоид, задача однозначно разрешима.

При \(\text{det } W = 0 \) получаем неполную управляемость и вырожденный эллипсоид(будет являться отрезком). Какое бы \(\mu\) мы не взяли, если \(c\) не будет лежать на \(\text{Im } W\), задача не будет иметь решения.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow\]\[\Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow\] \[\Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:45:53Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. Выпишем решение в точке \(x(t_1)\):
\[
x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1;
\]

2. Разобьем исходный интеграл на два и выразим одну из частей:
\[
\int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt;
\]

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant\)

\(\leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \)

\(= \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \]
\[=\mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

При \(\text{det } W \neq 0 \) получаем полную управляемость и невырожденный эллипсоид, задача однозначно разрешима.

При \(\text{det } W = 0 \) получаем неполную управляемость и вырожденный эллипсоид(будет являться отрезком). Какое бы \(\mu\) мы не взяли, если \(c\) не будет лежать на \(\text{Im } W\), задача не будет иметь решения.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:42:58Z

Alina22: /* Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. Выпишем решение в точке \(x(t_1)\):
\[
x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1;
\]

2. Разобьем исходный интеграл на два и выразим одну из частей:
\[
\int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt;
\]

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

При \(\text{det } W \neq 0 \) получаем полную управляемость и невырожденный эллипсоид, задача однозначно разрешима.

При \(\text{det } W = 0 \) получаем неполную управляемость и вырожденный эллипсоид(будет являться отрезком). Какое бы \(\mu\) мы не взяли, если \(c\) не будет лежать на \(\text{Im } W\), задача не будет иметь решения.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:40:11Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

При \(\text{det } W \neq 0 \) получаем полную управляемость и невырожденный эллипсоид, задача однозначно разрешима.

При \(\text{det } W = 0 \) получаем неполную управляемость и вырожденный эллипсоид(будет являться отрезком). Какое бы \(\mu\) мы не взяли, если \(c\) не будет лежать на \(\text{Im } W\), задача не будет иметь решения.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:33:25Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её [https://sawiki.cs.msu.ru/index.php/%D0%9E%D0%BF%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B0 опорную функцию]:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:27:59Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{ для } \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\[
|| \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant
\]
\[
\leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant
\]
\[
\leqslant\mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const.
\]

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in \text{conv} \, \mathbb{R}^n \), то можем выписать её опорную функцию:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} =
\]
\[
= \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1} H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Теорема доказана.

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt = \text{const} ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-16T21:20:19Z

Alina22: /* Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: [t_0, t_1] \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал
\[
\mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min.
\]

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{для} \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\( || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant \mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const\)

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \) \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) \), то можем выписать её опорную функцию:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} = \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt = const ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]
Теорема доказана.

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-15T21:18:52Z

Alina22: /* Список литературы */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: \mathbb{R} \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал \(\mathcal{J} = ||u(\cdot)||_{L_2} = (\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt ) \, ^{\frac{1}{2}} \) \rightarrow min.

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Задача будет иметь решение только для кусочно-непрерывных функций.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{для} \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\( || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant \mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const\)

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \) \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) \), то можем выписать её опорную функцию:
\[
\rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} = \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}.
\]

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt = const ~-\) матрица управляемости.

Тогда
\[
\rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0.
\]
Теорема доказана.

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
* Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-15T21:15:46Z

Alina22: /* Свойства */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T20:48:06Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: \mathbb{R} \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал \(\mathcal{J} = ||u(\cdot)||_{L_2} = (\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt ) \, ^{\frac{1}{2}} \) \rightarrow min.

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Задача будет иметь решение только для кусочно-непрерывных функций.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\, \mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{для} \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\( || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant \left[\int\limits_{t_0}^{t_1}||H(t, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant \mu\left[\int\limits_{t_0}^{t_1}||H(t, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const\)

4) \( \textit{Замкнутость} \):

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T20:47:34Z

Alina22: /* Свойства */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: \mathbb{R} \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал \(\mathcal{J} = ||u(\cdot)||_{L_2} = (\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt ) \, ^{\frac{1}{2}} \) \rightarrow min.

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Задача будет иметь решение только для кусочно-непрерывных функций.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

\(\textbf{Утверждение:}

\mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{для} \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\( || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant \left[\int\limits_{t_0}^{t_1}||H(t, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant \mu\left[\int\limits_{t_0}^{t_1}||H(t, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const\)

4) \( \textit{Замкнутость} \):

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T19:55:56Z

Alina22: /* Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: \mathbb{R} \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал \(\mathcal{J} = ||u(\cdot)||_{L_2} = (\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt ) \, ^{\frac{1}{2}} \) \rightarrow min.

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Задача будет иметь решение только для кусочно-непрерывных функций.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T19:54:47Z

Alina22: /* Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==
Будем считать, что
\[
u: \mathbb{R} \rightarrow \mathbb{R}^m \\
u(\cdot) \in L_{\infty} \\
u(t) \in \mathbb{R}^m
\]

Имеем следующую задачу:
\[
\begin{cases}
\dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\
x(t_0) = x^0, \\
x(t_1) = x^1.
\end{cases}
\]

Будем рассматривать функционал \(\mathcal{J} = ||u(\cdot)||_{L_2} = (\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt ) \, ^{\frac{1}{2}} \) \rightarrow min.

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Задача будет иметь решение только для кусочно-непрерывных функций.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu} = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

== Свойства ==

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача быстродействия "из точки в точку"

2023-02-14T19:48:10Z

Alina22: /* Постановка задачи */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T19:28:29Z

Alina22: /* Постановка задачи оптимального управления для принципа максимума Понтрягина */

== Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\) ==

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-14T19:27:37Z

Alina22: /* Постановка задачи оптимального управления */

== Постановка задачи оптимального управления для принципа максимума Понтрягина ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача быстродействия "из точки в точку"

2023-02-07T20:42:37Z

Alina22: /* Пример 1 */

Задача быстродействия "из точки в точку"

2023-02-07T20:40:41Z

Alina22: /* Постановка задачи */

Задача быстродействия "из точки в точку"

2023-02-07T20:39:59Z

Alina22: /* Пример 2 */

Задача быстродействия "из точки в точку"

2023-02-07T20:38:18Z

Alina22: /* Пример 1 */

Задача быстродействия "из точки в точку"

2023-02-07T20:33:04Z

Alina22: /* Пример 1 */

Задача быстродействия "из точки в точку"

2023-02-07T20:31:53Z

Alina22: /* Пример 1 */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:29:45Z

Alina22: /* Принцип максимума Понтрягина */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:29:01Z

Alina22: /* Постановка задачи оптимального управления */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:26:54Z

Alina22: /* Пример 2 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:26:36Z

Alina22: /* Пример 1 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона-Понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:22:17Z

Alina22: /* Пример 2 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''

Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:21:04Z

Alina22: /* Пример 3 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-07T20:19:23Z

Alina22: /* Постановка задачи оптимального управления */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный случай}(\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума(УМ) не достигается.

\(\underline{Нормальный случай}(\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача быстродействия "из точки в точку"

2023-02-07T20:12:34Z

Alina22: /* Пример 2 */

Задача быстродействия "из точки в точку"

2023-02-07T20:11:52Z

Alina22: /* Пример 1 */

Задача быстродействия "из точки в точку"

2023-02-07T20:11:35Z

Alina22: /* Пример 1 */

Задача быстродействия "из точки в точку"

2023-02-07T20:10:59Z

Alina22: /* Теорема(ПМП для автономной задачи быстродействия) */

Задача быстродействия "из точки в точку"

2023-02-07T20:10:40Z

Alina22: /* Постановка задачи */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T16:43:44Z

Alina22: /* Пример 3 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\(\underline{Анормальный случай}(\psi_0 = 0)\):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума(УМ) не достигается.

\(\underline{Нормальный случай}(\psi_0 \neq 0)\):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T12:54:44Z

Alina22: /* Пример 1 */

== Постановка задачи оптимального управления ==
Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m, \\
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, & \text{ - минимизируемый функционал}.\\
\end{cases}
\]

Здесь \(x(t)\) — вектор состояния \(u(t)\) — управление, \(t_0,t_1\) — начальный и конечный моменты времени, \(\mathcal{P}\) - ''множество допустимых управлений''. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

''Задача оптимального управления'' заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

''Задача оптимального управления "из точки в точку" с интегральным функционалом'' - задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется ''фазовой траекторией'', а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется ''управляемым процессом''.

Функция \(f^0\) называется ''интегралом''. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\).
Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

'''Функция Гамильтона-Понтрягина''':
\[
\bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle.
\]

Тогда можно говорить о '''сопряженной системе''':
\[
\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}.
\]
'''Гамильтониан''' системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

==== Пример 1 ====
При \(f^0(t, x, u) = 1\) минимизируемый функционал
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0.
\end{equation*}
Задача с таким функционалом называется [https://sawiki.cs.msu.ru/index.php/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D1%8F_%22%D0%B8%D0%B7_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%B2_%D1%82%D0%BE%D1%87%D0%BA%D1%83%22 задачей быстродействия "из точки в точку"].

==== Пример 2 ====
Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде
случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде
\begin{equation*}
\mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1),
\end{equation*}
где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) - симметрические матрицы.

== Принцип максимума Понтрягина ==
==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\]
3)
\[
M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\
\psi_0^* = const \leqslant 0.
\]

Условия трансверсальности опускаются, поскольку поставленная задача является задача "из точки в точку".

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

''Замечания:''

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

== Примеры задач ==

=== Пример 1 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}=u, \\
\mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\
u(t) \in [-1, 1], \\
x(0) = 0, x(t_1) = 1.
\end{cases}
\]

'''Решение:'''

Выпишем функцию Гамильтона понтрягина:
\[
\overline{\mathcal{H}} = \psi_0u^2 + \psi_1u.
\]

Сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi_0}=0, \\
\dot{\psi_1}=0.
\end{cases}
\]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему:
\[
\begin{cases}
\dot{x}_0=\frac{\psi_1^2}{4}, \\
\dot{x}_1=\frac{\psi_1}{2}, \\
\dot{\psi_0}=0, \\
\dot{\psi_1}=0, \\
x_0(0) = 0, \\
x_1(0) = 0, \\
x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\
x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\
\psi_0 \equiv -1, \\
\psi_1 \equiv \psi_1^0.
\end{cases}
\]

Тогда:
\[
\overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.}
\]
Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

=== Пример 2 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+u, \\
x(0)=x^0, \\
\mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }.
\end{cases}
\]
'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=\psi_2, \\
\dot{\psi}_2=-\psi_1.
\end{cases}
\]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\):
\[
u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const.
\]

Подставляя в общую систему, имеем:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta).
\end{cases}
\]

Такая система имеет решение в явном виде:
\[
\begin{cases}
x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\
x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}.
\end{cases}
\]

=== Пример 3 ===
Решим следующую задачу оптимального управления:
\[
\begin{cases}
\dot{x} = u, \\
\mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\
u(t) \in \mathbb{R}, \\
x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}.
\end{cases}
\]

'''Решение'''
Функция Гамильтона-Понтрягина равна
\[
\overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u.
\]

Сопряженная система равна
\[
\begin{cases}
\dot{\psi}_0=0, \\
\dot{\psi}_1=-2\psi_0x.
\end{cases}
\]

\underline{Анормальный случай}(\psi_0 = 0):
\[
\psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u
\]
Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума(УМ) не достигается.

\underline{Нормальный случай}(\psi_0 \neq 0):
Пусть \(\psi_0 = -\frac{1}{2} \). Тогда:
\[
\overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1.
\]

Система имеет следующий вид:
\[
\begin{cases}
\dot{x} = \psi_1, \, x(0) = 0, \\
\dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0.
\end{cases}
\]

Решив эту систему дифференциальных уравнений, получим, что:
\[
\begin{cases}
x = \psi_1^0\cdot\text{ sh}(t),\\
\psi_1 = \psi_1^0\cdot\text{ ch}(t).
\end{cases}
\]

Из начальных условий найдем \(\psi_1^0\):
\[
x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}.
\]
Тогда:
\[
\psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t).
\]

== Список литературы ==
* Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
* А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T00:30:53Z

Alina22: /* Принцип максимума Понтрягина */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T00:30:13Z

Alina22: /* Теорема(ПМП для автономной задачи быстродействия) */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T00:30:01Z

Alina22: /* Теорема(ПМП для автономной задачи быстродействия) */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T00:29:38Z

Alina22: /* Принцип максимума Понтрягина */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-05T00:29:23Z

Alina22: /* Постановка задачи оптимального управления */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-04T23:15:29Z

Alina22: /* Список литературы */

Задача оптимального управления "из точки в точку" с интегральным функционалом

2023-02-04T23:14:57Z

Alina22: /* Постановка задачи оптимального управления */

Задача быстродействия "из точки в точку"

2023-02-04T22:51:45Z

Alina22: /* Список литературы*/

Задача быстродействия "из точки в точку"

2023-02-04T22:29:59Z

Alina22: /* Условие максимума */

Задача быстродействия "из точки в точку"

2023-02-04T22:27:51Z

Alina22: /* Примеры */

== Постановка задачи ==
'''Задача быстродействия'''\(~-\) задача перевода системы из начального фиксированного положения в конечное, также фиксированное, положение за минимальное время.

Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m, \\
t_1 - t_0 \rightarrow \underset{u(\cdot)}{\text{inf}},
\end{cases}
\]

где \(x_0, x_1, t_0 \) - фиксированы, \(A(t), B(t), f(t) \) - непрерывны, а \(\mathcal{P} \) непрерывно как многозначное отображение (это требование гарантирует нам, что для любого \(l: \rho(l\vert\mathcal{P}(\tau)\) по \(\tau\) непрерывна\(^1\)).

\(^1\)В частности, при \(m=1\) множество \(\mathcal{P}\) выглядит как \(\mathcal{P} = [a(\tau), b(\tau)]\); непрерывность многозначного отображения означает, что \(a(\tau), b(\tau)\) - непрерывны.

Заметим, что в общем случае функционал имеет вид:
\[
\mathcal{J} = \int\limits_{t_0}^{t_1}f^0(x(t), u(t))dt \rightarrow \underset{u(\cdot)}{\text{inf}}
\]
Принимая \(f^0 \equiv 1 \), получаем задачу быстродействия с функционалом \(\mathcal{J} = t_1 - t_0\).

'''Сопряженная переменная''' имеет следующий вид: \(\psi = (\psi_1, ..., \psi_n)\).

Выпишем '''функцию Гамильтона-Понтрягина''':
\[
\mathcal{H}(\psi, x, u) = \langle \psi, f(x(t), u(t)) \rangle.
\]

Тогда можно говорить о сопряженной системе:
\[
\dot{\psi} = -\frac{\partial \mathcal{H}}{\partial x(t)}.
\]

Заметим, что '''гамильтонианом''' системы называется \(M = \underset{u\in \mathcal{P}}{\text{sup}} \mathcal{H}(\psi, x, u)\). Однако в задаче быстродействия супремум достижим, поэтому \(M = \underset{u\in \mathcal{P}}{\text{max}} \langle \psi, f(x(t), u(t)) \rangle\).

== Принцип максимума Понтрягина ==

==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\psi} = -\frac{\partial H(\psi(t), x(t), u(t))}{\partial x(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[u^*(t) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{Argmax}} \mathcal{H}(\psi^*(t), x^*(t), u(t));\]
3) \[M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0.\]

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

В общем случае еще учитывается условие трансверсальности на концах, однако поскольку рассматриваемая задача быстродействия является задачей "из точки в точку", их можно опустить. Уточним, что в задаче быстродействия нецелесообразно вводит дополнительную координату в вектор \(x\) и сопряженную переменную \(\psi\), поскольку все условия, связанные с этой дополнительной координатой, равны нулю или не имеют значения.

Важно отметить, что принцип максимума является необходимым, но не достаточным условием.

== Примеры ==

=== Пример 1 ===
Рассмотрим поезд, движущийся по железной дороге. Задача состоит в том, чтобы привести поезд на станцию и остановить его там за кратчайшее время. Положение поезда описывается действительной координатой \(x^1\); начало отсчета \(0\) соответствует станции. Будем считать, что поезд движется без трения, а мы управляем ускорением поезда, прикладывая ограниченную по модулю силу. Подберем единицы измерения так, чтобы максимальное по модулю ускорение было единичным.
Тогда система описывается уравнениями:
\[
\begin{cases}
\ddot{x} = u, \\
x(0) = x^0, \\
x(t_1) = 0; \\
u \in [-1, 1].
\end{cases}
\]

Или, в стандартном виде:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = u, \\
x(0) = x^0, \\
x(t_1) = 0; \\
u \in [-1, 1].
\end{cases}
\]

'''Решение:'''
Выпишем функцию Гамильтона-Понтрягина:
\[
\mathcal{H} = \psi_1x_2 + \psi_2u.
\]

Тогда сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi}_1 = 0, \\
\dot{\psi}_2 = -\psi_1.
\end{cases}
\]

Из условия максимума имеем, что:
\[
u^*(t) = \text{sgn}(\psi_2(t)).
\]
Поскольку \(\ddot{\psi}_2 = 0\), то \(\psi_2 = \alpha +\beta t \), а значит \(u^*(t) = \text{sgn}(\alpha +\beta t)\). Следовательно, \(u(t)\) кусочно постоянно, принимает только экстремальные значения \(\pm 1\) и имеет не более одного переключения (точки разрыва).

Отыщем все траектории, соответствующие таким управлениям и приходящие в нуль. Найдем решения следующей системы:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = \pm1.
\end{cases}
\]

\[
x_1 = \pm\frac{x_2^2}{2}+C, C = const
\]

Из семейства функций, являющихся решением, найдем те, которые не имеют переключений:
\[
x_1 = \frac{x_2^2}{2}, x_2 < 0, \cdot{x}_2 > 0; \\
x_1 = -\frac{x_2^2}{2}, x_2 > 0, \cdot{x}_2 < 0.
\]

Выпишем уравнения для траекторий, когда имеется одно переключение. Пусть \((p, q)\) \(~-\) точка переключения, тогда траектории можно записать как:

\[
x_1 =
\begin{cases}
-\frac{x_2^2}{2} + \frac{q^2}{2} + p, x_2 > q, \dot{x}_2 < 0, \\
\frac{x_2^2}{2}, 0 > x_2 > q, \dot{x}_2 > 0,
\end{cases}
\]

\[
x_1 =
\begin{cases}
\frac{x_2^2}{2} - \frac{q^2}{2} + p, x_2 < q, \dot{x}_2 > 0, \\
-\frac{x_2^2}{2}, 0 < x_2 < q, \dot{x_2} < 0.
\end{cases}
\]

Все траектории можно изобразить на графике:

[[Файл:grafpng.png|центр|обрамить|Общий вид оптимального синтеза]]

=== Пример 2 ===

Решим следующую задачу быстродействия:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1 + u, \\
x(0) = x^0, \\
x(t_1) = 0; \\
u \in [-1, 1].
\end{cases}
\]

'''Решение:'''
Выпишем функцию Гамильтона-Понтрягина:
\[
\mathcal{H} = \psi_1x_2 - \psi_2x_1 + \psi_2u.
\]

Тогда сопряженная система имеет вид:
\[
\begin{cases}
\dot{\psi}_1 = \psi_2, \\
\dot{\psi}_2 = -\psi_1.
\end{cases}
\]

Из условия максимума имеем, что оптимальное управление:
\[
u^*(t) = \text{sgn}(\psi_2(t)).
\]

Так как \(\ddot{\psi}_2 = \psi_2\), то \(\psi_2 = \alpha\text{sin}(t+\beta), \alpha, \beta = const\). При этом \(\alpha \neq 0\), поскольку иначе \(\psi_2 = 0 \rightarrow \psi_1 = 0\) (из сопряженной системы) \(~-\) а это противоречит принципу максимума.

Поскольку \(u^*(t) = \text{sgn}(\alpha\text{sin}(t+\beta))\), то переключения зависят от первого момента переключения \(\tau \in [0, t]\) и изначального знака \(\text{sgn}(u^*(0)) \in \{\pm1\} \). Сами переключения будут происходить через каждое \(\pi\) от начального переключения \(\tau\). Оптимальное управление принимает только значение \(\pm 1\), тогда траектории \((x_1(t), x_2(t)\) состоят из кусков, удовлетворяющих системе:
\[
\begin{cases}
\dot{x}_1 = x_2, \\
\dot{x}_2 = -x_1\pm1,
\end{cases}
\]
т.е. из дуг окружностей \((x_1 \pm 1)^2 + x_2^2 = C, C = const\).

Заметим, что существует закономерность: переключения происходят на полуокружностях
\[
(x_1 + 1)^2 + x_2^2 = 1, x_2 \geqslant 0, \\
(x_1 - 3)^2 + x_2^2 = 1, x_2 \leqslant 0, \\
(x_1 + 5)^2 + x_2^2 = 1, x_2 \geqslant 0, \\
(x_1 - 7)^2 + x_2^2 = 1, x_2 \leqslant 0, \\
\]
и так далее. Таким образом, кривую переключений можно выразить как
\[
(x_1 + (2k-1))^2 + x_2^2 = 1, x_2 \geqslant 0, k \in \mathbb{N}\\
(x_1 - (2k-1))^2 + x_2^2 = 1, x_2 \leqslant 0, k \in \mathbb{N} \\
\]

Все траектории можно изобразить на графике:

[[Файл:graf_2.png|центр|обрамить|Оптимальные траектории]]

== Условие максимума ==
Перейдем непосредственно к решению задачи быстродействия. Выпишем в терминах опорных функций условие \( x^1 \in \mathcal{X}[t_1]: \)
\[
<l, x^1> \le \rho(l \vert \mathcal{X}[t_1])
\]
для любого \(l\), или, в терминах расстояний до множества, \( d(x^1, \mathcal{X}[t_1] = \varepsilon[t_1] = 0 \). Фиксируем произвольное число \(\hat{\varepsilon}\). Тогда верна следующая цепочка равносильных переходов:
\[
d(x^1, \mathcal{X}[t_1]) \le \hat{\varepsilon} \iff x^1 \in \mathcal{X}[t_1] + \hat{\varepsilon}B_1(0) \iff <l, x^1> \le \rho(l \vert \mathcal{X}[t_1]) + \hat{\varepsilon}\vert\vert l \vert\vert.
\]

В силу положительной однородности левой и правой части по \(l\), последнее соотношение можно нормировать и записать в виде
\[
\sup_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \le \hat{\varepsilon},
\]

откуда следует, что \(\varepsilon[t_1] = \sup_{\vert\vert l \vert\vert}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Таким образом, отсюда время быстродействия \(t_1^*\) находится как наименьший корень уравнения \( \varepsilon[t_1^*] = 0 \).

Возьмем вектор \( l^0 \in \text{Argmax}_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Тогда \( <l^0, x^1> = \rho(l^0 \vert \mathcal{X}[t_1^*]) \), что означает, что \(x^1\) лежит на пересечении опорной гиперплоскости и самого множества. Отсюда \( u^*(\tau) = u^{l_0}(\tau) \). Таким образом, мы можем записать необходимое условие максимума:

Если \(u^*\) есть управление, доставляющее оптимальное управление, то
\[
<B^T(\tau)\psi(\tau)u^*(\tau)> = \max_{u \in \mathcal{P}(\tau)}<B^T(\tau)\psi(\tau), u>.
\]

Естественно встает вопрос: является ли это условие достаточным? Оказывается нет ~--- следующий пример показывается, что условию максимума может удовлетворять вообще любое допустимое управление!

==== Пример 3 ====
Рассмотрим следующую задачу быстродействию:
\[
\begin{cases}
\dot{x}_1 = u - 1, \\
\dot{x}_2 = u + 1, \\
x^0 = [0, 0]^T, \\
x^1 = [-1, 1]^T, \\
\vert u(t) \vert \le 1.
\end{cases}
\]

В этой задаче, \( \mathcal{P}(t) \equiv \mathcal{P} = [-1, 1] \). Найдем опорную функцию для этой задачи:
\[
\rho(l \vert \mathcal{X}[t_1]) = \int\limits_0^{t_1}<l, [-1, 1]^T> + \int\limits_0^{t_1}\rho([1, 1]^Tl \vert \mathcal{P}(\tau))d\tau = t_1(l_2 - l_1) + t_1\vert l_1 + l_2\vert.
\]

Легко видеть, что это сумма опорных функций одноточечного множества и отрезка. С геометрической точки зрения, множество достижимости есть отрезок, соединяющий на плоскости точки \( [-1, -1]^T \) и \([1, 1]^T\), который "ползает" по плоскости. Очевидно, что для быстрейшего достижения очки \([-1, 1]^T\) надо "ползти" вверх по прямой \(y=-x\). Тогда в момент \(t^*=1\) мы достигнем финальной точки.

Однако для нахождения оптимального управления нам (формально) надо было бы найти вектор-максимизатор \(l_0\). На эту роль подходят векторы \( \frac{1}{\sqrt{2}}[-1, 1]^T \) и \( \frac{1}{\sqrt{2}}[1, -1]^T \).

Выпишем условие максимума:
\[
<B^Tl^0, u^*> = \max_{u \in \mathcal{P}}<B^Tl^0, u>,
\]

которое в нашем случае вид \(0 = 0\).

Хотя приведенный пример показывает редкую для линейных систем ситуацию, стоит поставить вопрос об условиях, позволяющих использовать условие максимума как необходимое и достаточное условие.

==== Условие нормальности (общности положения) ====
Рассмотрим частный случай нашей задачи: Пусть \(A, B\) - const, а \(\mathcal{P}\) - выпуклый многогранник с непустой внутренностью, построенный на точках \(u_1, u_2, \dots, u_M\), причем \(u_j \in \partial\mathcal{P}, j = \overline{1, M}\). Пусть \( w = w^{k,l} = u^k-u^l \), где \(k, l\) соединены ребром. Потребуем, чтобы выполнялось условие нормальности (или условие общности положения):
\[
\text{Векторы } Bw, ABw, \dots, A^{n-1}Bw \text{ линейно независимы}.
\]
Отметим, что если \(\mathcal{P}\) имеет вид "параллелепипеда", \( \mathcal{P} = \{ u \in \mathbb{R}^m \vert a_i \le u_i \le b_i, i = \overline{1, m} \} \), а матрица \(B\) состоит из столбцов \(b^1, b^2, \dots, b^m\), то условие нормальности требует линейной независимости векторов \( b^i, Ab^i, \dots, A^{n-1}b^i \) для всех \(i\), что представляет собой в точности условие полной управляемости.

Роль этого условия раскрывает следующая теорема.

==== Теорема 1 ====
Если выполняется условие нормальности, то условию максимума удовлетворяет единственное управление.

==== Замечание 1 ====
На самом деле, условие нормальности гарантирует строгую выпуклость множества достижимости.

==== Пример 4 ====
Рассмотрим задачу
\[
\begin{cases}
\dot{x}_1 = u_1, \vert u_1 \vert \le 1, \\
\dot{x}_2 = u_2, \vert u_2 \vert \le 1. \\
\end{cases}
\]

Эта система вполне управляема, но не сильно вполне управляема. Множество достижимости в данном случае ~--- квадрат (т.е. не строго выпуклое). Случай, в котором условие максимума выделяет единственное управление, бывает тогда, когда финальная точка оказывается на углу квадрата.

=== Условие управляемости при выпуклости множества \(\mathcal{P}\) ===
==== Теорема 2 ====
Пусть \(\mathcal{P}\) строго выпукло и имеет непустую внутренностью, и выполнено условие полной управляемости,
\[
\text{rg}[B\vert AB\vert \dots\vert A^{n-1}B] = n.
\]
Тогда условие максимума определяет оптимальное управление единственным образом.

Файл:Graf 2.png

2023-02-04T22:24:31Z

Alina22:

Оптимальные траектории

Файл:Grafpng.png

2023-02-04T18:27:24Z

Alina22:

Общий вид оптимального синтеза

Задача быстродействия "из точки в точку"

2023-02-03T21:05:53Z

Alina22: /* Свойства множества достижимости */

== Постановка задачи ==
'''Задача быстродействия'''\(~-\) задача перевода системы из начального фиксированного положения в конечное, также фиксированное, положение за минимальное время.

Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m, \\
t_1 - t_0 \rightarrow \underset{u(\cdot)}{\text{inf}},
\end{cases}
\]

где \(x_0, x_1, t_0 \) - фиксированы, \(A(t), B(t), f(t) \) - непрерывны, а \(\mathcal{P} \) непрерывно как многозначное отображение (это требование гарантирует нам, что для любого \(l: \rho(l\vert\mathcal{P}(\tau)\) по \(\tau\) непрерывна\(^1\)).

\(^1\)В частности, при \(m=1\) множество \(\mathcal{P}\) выглядит как \(\mathcal{P} = [a(\tau), b(\tau)]\); непрерывность многозначного отображения означает, что \(a(\tau), b(\tau)\) - непрерывны.

Заметим, что в общем случае функционал имеет вид:
\[
\mathcal{J} = \int\limits_{t_0}^{t_1}f^0(x(t), u(t))dt \rightarrow \underset{u(\cdot)}{\text{inf}}
\]
Принимая \(f^0 \equiv 1 \), получаем задачу быстродействия с функционалом \(\mathcal{J} = t_1 - t_0\).

'''Сопряженная переменная''' имеет следующий вид: \(\psi = (\psi_1, ..., \psi_n)\).

Выпишем '''функцию Гамильтона-Понтрягина''':
\[
\mathcal{H}(\psi, x, u) = \langle \psi, f(x(t), u(t)) \rangle.
\]

Тогда можно говорить о сопряженной системе:
\[
\dot{\psi} = -\frac{\partial \mathcal{H}}{\partial x(t)}.
\]

Заметим, что '''гамильтонианом''' системы называется \(M = \underset{u\in \mathcal{P}}{\text{sup}} \mathcal{H}(\psi, x, u)\). Однако в задаче быстродействия супремум достижим, поэтому \(M = \underset{u\in \mathcal{P}}{\text{max}} \langle \psi, f(x(t), u(t)) \rangle\).

== Принцип максимума Понтрягина ==

==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\psi} = -\frac{\partial H(\psi(t), x(t), u(t))}{\partial x(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[u^*(t) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{Argmax}} \mathcal{H}(\psi^*(t), x^*(t), u(t));\]
3) \[M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0.\]

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

В общем случае еще учитывается условие трансверсальности на концах, однако поскольку рассматриваемая задача быстродействия является задачей "из точки в точку", их можно опустить. Уточним, что в задаче быстродействия нецелесообразно вводит дополнительную координату в вектор \(x\) и сопряженную переменную \(\psi\), поскольку все условия, связанные с этой дополнительной координатой, равны нулю или не имеют значения.

Важно отметить, что принцип максимума является необходимым, но не достаточным условием.

== Примеры ==
Отметим, что отказ от требования \(u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m\) невозможен; в этом случае \( \overline{\mathcal{X}_\mathcal{P}[t_1]} = \mathcal{X}_\overline{\mathcal{P}}[t_1] \). Разумность такого отказа показывает следующий пример:

==== Пример 1 ====
Пусть система описывается уравнениями
\[
\begin{cases}
\dot{x} = u, \\
x(0) = 0, \\
u(\tau) \in [-1, 1].
\end{cases}
\]

Тогда множеством достижимости \(\mathcal{X}_1\) буде бесконечный треугольник в I и IV квадрантах, лежащий внутри прямых \(x=t\) и \(x=-t\). При этом, геометрически ясно, что замена множества допустимых управлений с отрезка \([-1, 1]\) на двухточечное множество \(\{-1, 1\}\)не изменит множества достижимости: любую точку, лежащую внутри \(\mathcal{X}_1\), можно соединить с началом координат ломанной, содержащей звенья, параллельные прямым \(x=t\) и \(x=-1\).

Именно этот прием используется при управлении парусными судами при отсутствии попутного ветра(при этом говорят, что судно идет галсом).

Введем множество достижимости
\[
\mathcal{X}[t_1] = \mathcal{X}(t_1, t_0, x^0) = \{ x = x(t_1, t_0, x^0 \vert u(\cdot)), u(\tau) \in \mathcal{P} \}.
\]

Введем также трубку достижимости \(\mathcal{X}[\cdot]\). Следует понимать, что множество достижимости - это множество, а трубка достижимости - это функция, отображающая время на соответствующее множество достижимости. Ее графиком будем называть множество \( \mathcal{X}[\cdot] = \{(t,x): x\in\mathcal{X}[t]\} \).

Ключевую роль играет следующее утверждение

==== Утверждение 1 ====
Если \(t_1^*-t_0\) - время оптимального взаимодействия, \( x^*, u^* \) - соответственно траектория и управления, отвечающие этому времени, то \( (t_1^*, x^*(t_1^*)) \in \partial\mathcal{X}[\cdot] \).

Следующий пример показывает, что в криволинейных координатах это утверждение, вообще говоря, неверно.

==== Пример 2 ====
Пусть система описывается уравнениями
\[
\begin{cases}
\dot{\rho} = u_1, \vert u_1 \vert \le 1, \\
\dot{\varphi} = u_2, \vert u_2 \vert \le 1, \\
\rho(0) = \rho^0 > 0, \\
\varphi(0) = \varphi^0.
\end{cases}
\]

Если бы это были декартовы координаты на плоскости, то трубкой достижимости была бы "распухающий квадрат" \( \mathcal{X}[t_1] = \{ \vert x-x^0 \vert \le t_1, \vert y - y^0 \vert \le t_2 \} \). В нашем же случае это будет "распухающий кольцевой сектор", и множество достижимости не будет выпуклым. Это приведет к тому, что если финальная точка будет отвечать углу в \(\pi\), то \( (t_1^*, x^*(t_1^*)) \notin \partial\mathcal{X}[\cdot] \).

Введем функцию \(\varepsilon[t_1] = d(x^1, \mathcal{X}[t_1])\).

==== Утверждение 2 ====
\( t_1^* - t_0 \) - время оптимального взаимодействия \( \iff t_1^*\) - наименьший корень уравнения \( \varepsilon[t_1] = 0, t_1 \ge t_0 \).

При этом стоит иметь в виду, что если некое множество \(Z\) - компакт, то \(x \in Z \iff d(x, Z) = 0\).

== Условие максимума ==
Перейдем непосредственно к решению задачи быстродействия. Выпишем в терминах опорных функций условие \( x^1 \in \mathcal{X}[t_1]: \)
\[
<l, x^1> \le \rho(l \vert \mathcal{X}[t_1])
\]
для любого \(l\), или, в терминах расстояний до множества, \( d(x^1, \mathcal{X}[t_1] = \varepsilon[t_1] = 0 \). Фиксируем произвольное число \(\hat{\varepsilon}\). Тогда верна следующая цепочка равносильных переходов:
\[
d(x^1, \mathcal{X}[t_1]) \le \hat{\varepsilon} \iff x^1 \in \mathcal{X}[t_1] + \hat{\varepsilon}B_1(0) \iff <l, x^1> \le \rho(l \vert \mathcal{X}[t_1]) + \hat{\varepsilon}\vert\vert l \vert\vert.
\]

В силу положительной однородности левой и правой части по \(l\), последнее соотношение можно нормировать и записать в виде
\[
\sup_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \le \hat{\varepsilon},
\]

откуда следует, что \(\varepsilon[t_1] = \sup_{\vert\vert l \vert\vert}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Таким образом, отсюда время быстродействия \(t_1^*\) находится как наименьший корень уравнения \( \varepsilon[t_1^*] = 0 \).

Возьмем вектор \( l^0 \in \text{Argmax}_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Тогда \( <l^0, x^1> = \rho(l^0 \vert \mathcal{X}[t_1^*]) \), что означает, что \(x^1\) лежит на пересечении опорной гиперплоскости и самого множества. Отсюда \( u^*(\tau) = u^{l_0}(\tau) \). Таким образом, мы можем записать необходимое условие максимума:

Если \(u^*\) есть управление, доставляющее оптимальное управление, то
\[
<B^T(\tau)\psi(\tau)u^*(\tau)> = \max_{u \in \mathcal{P}(\tau)}<B^T(\tau)\psi(\tau), u>.
\]

Естественно встает вопрос: является ли это условие достаточным? Оказывается нет ~--- следующий пример показывается, что условию максимума может удовлетворять вообще любое допустимое управление!

==== Пример 3 ====
Рассмотрим следующую задачу быстродействию:
\[
\begin{cases}
\dot{x}_1 = u - 1, \\
\dot{x}_2 = u + 1, \\
x^0 = [0, 0]^T, \\
x^1 = [-1, 1]^T, \\
\vert u(t) \vert \le 1.
\end{cases}
\]

В этой задаче, \( \mathcal{P}(t) \equiv \mathcal{P} = [-1, 1] \). Найдем опорную функцию для этой задачи:
\[
\rho(l \vert \mathcal{X}[t_1]) = \int\limits_0^{t_1}<l, [-1, 1]^T> + \int\limits_0^{t_1}\rho([1, 1]^Tl \vert \mathcal{P}(\tau))d\tau = t_1(l_2 - l_1) + t_1\vert l_1 + l_2\vert.
\]

Легко видеть, что это сумма опорных функций одноточечного множества и отрезка. С геометрической точки зрения, множество достижимости есть отрезок, соединяющий на плоскости точки \( [-1, -1]^T \) и \([1, 1]^T\), который "ползает" по плоскости. Очевидно, что для быстрейшего достижения очки \([-1, 1]^T\) надо "ползти" вверх по прямой \(y=-x\). Тогда в момент \(t^*=1\) мы достигнем финальной точки.

Однако для нахождения оптимального управления нам (формально) надо было бы найти вектор-максимизатор \(l_0\). На эту роль подходят векторы \( \frac{1}{\sqrt{2}}[-1, 1]^T \) и \( \frac{1}{\sqrt{2}}[1, -1]^T \).

Выпишем условие максимума:
\[
<B^Tl^0, u^*> = \max_{u \in \mathcal{P}}<B^Tl^0, u>,
\]

которое в нашем случае вид \(0 = 0\).

Хотя приведенный пример показывает редкую для линейных систем ситуацию, стоит поставить вопрос об условиях, позволяющих использовать условие максимума как необходимое и достаточное условие.

==== Условие нормальности (общности положения) ====
Рассмотрим частный случай нашей задачи: Пусть \(A, B\) - const, а \(\mathcal{P}\) - выпуклый многогранник с непустой внутренностью, построенный на точках \(u_1, u_2, \dots, u_M\), причем \(u_j \in \partial\mathcal{P}, j = \overline{1, M}\). Пусть \( w = w^{k,l} = u^k-u^l \), где \(k, l\) соединены ребром. Потребуем, чтобы выполнялось условие нормальности (или условие общности положения):
\[
\text{Векторы } Bw, ABw, \dots, A^{n-1}Bw \text{ линейно независимы}.
\]
Отметим, что если \(\mathcal{P}\) имеет вид "параллелепипеда", \( \mathcal{P} = \{ u \in \mathbb{R}^m \vert a_i \le u_i \le b_i, i = \overline{1, m} \} \), а матрица \(B\) состоит из столбцов \(b^1, b^2, \dots, b^m\), то условие нормальности требует линейной независимости векторов \( b^i, Ab^i, \dots, A^{n-1}b^i \) для всех \(i\), что представляет собой в точности условие полной управляемости.

Роль этого условия раскрывает следующая теорема.

==== Теорема 1 ====
Если выполняется условие нормальности, то условию максимума удовлетворяет единственное управление.

==== Замечание 1 ====
На самом деле, условие нормальности гарантирует строгую выпуклость множества достижимости.

==== Пример 4 ====
Рассмотрим задачу
\[
\begin{cases}
\dot{x}_1 = u_1, \vert u_1 \vert \le 1, \\
\dot{x}_2 = u_2, \vert u_2 \vert \le 1. \\
\end{cases}
\]

Эта система вполне управляема, но не сильно вполне управляема. Множество достижимости в данном случае ~--- квадрат (т.е. не строго выпуклое). Случай, в котором условие максимума выделяет единственное управление, бывает тогда, когда финальная точка оказывается на углу квадрата.

=== Условие управляемости при выпуклости множества \(\mathcal{P}\) ===
==== Теорема 2 ====
Пусть \(\mathcal{P}\) строго выпукло и имеет непустую внутренностью, и выполнено условие полной управляемости,
\[
\text{rg}[B\vert AB\vert \dots\vert A^{n-1}B] = n.
\]
Тогда условие максимума определяет оптимальное управление единственным образом.

Задача быстродействия "из точки в точку"

2023-02-02T21:17:59Z

Alina22: /* Принцип максимума Понтрягина */

== Постановка задачи ==
'''Задача быстродействия'''\(~-\) задача перевода системы из начального фиксированного положения в конечное, также фиксированное, положение за минимальное время.

Пусть наша система описывается следующими условиями:
\[
\begin{cases}
\dot{x}(t) = f(x(t), u(t)), \\
x(t_0) = x^0, \\
x(t_1) = x^1, \\
u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m, \\
t_1 - t_0 \rightarrow \underset{u(\cdot)}{\text{inf}},
\end{cases}
\]

где \(x_0, x_1, t_0 \) - фиксированы, \(A(t), B(t), f(t) \) - непрерывны, а \(\mathcal{P} \) непрерывно как многозначное отображение (это требование гарантирует нам, что для любого \(l: \rho(l\vert\mathcal{P}(\tau)\) по \(\tau\) непрерывна\(^1\)).

\(^1\)В частности, при \(m=1\) множество \(\mathcal{P}\) выглядит как \(\mathcal{P} = [a(\tau), b(\tau)]\); непрерывность многозначного отображения означает, что \(a(\tau), b(\tau)\) - непрерывны.

Заметим, что в общем случае функционал имеет вид:
\[
\mathcal{J} = \int\limits_{t_0}^{t_1}f^0(x(t), u(t))dt \rightarrow \underset{u(\cdot)}{\text{inf}}
\]
Принимая \(f^0 \equiv 1 \), получаем задачу быстродействия с функционалом \(\mathcal{J} = t_1 - t_0\).

'''Сопряженная переменная''' имеет следующий вид: \(\psi = (\psi_1, ..., \psi_n)\).

Выпишем '''функцию Гамильтона-Понтрягина''':
\[
\mathcal{H}(\psi, x, u) = \langle \psi, f(x(t), u(t)) \rangle.
\]

Тогда можно говорить о сопряженной системе:
\[
\dot{\psi} = -\frac{\partial \mathcal{H}}{\partial x(t)}.
\]

Заметим, что '''гамильтонианом''' системы называется \(M = \underset{u\in \mathcal{P}}{\text{sup}} \mathcal{H}(\psi, x, u)\). Однако в задаче быстродействия супремум достижим, поэтому \(M = \underset{u\in \mathcal{P}}{\text{max}} \langle \psi, f(x(t), u(t)) \rangle\).

== Принцип максимума Понтрягина ==

==== Теорема(ПМП для автономной задачи быстродействия) ====
Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС):
\[\dot{\psi} = -\frac{\partial H(\psi(t), x(t), u(t))}{\partial x(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\]
2) Условие максимума (УМ):
\[u^*(t) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{Argmax}} \mathcal{H}(\psi^*(t), x^*(t), u(t));\]
3) \[M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0.\]

'''Доказательство''' принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [http://control.botik.ru/wp-content/files_mf/1447942876im3547.pdf].

В общем случае еще учитывается условие трансверсальности на концах, однако поскольку рассматриваемая задача быстродействия является задачей "из точки в точку", их можно опустить. Уточним, что в задаче быстродействия нецелесообразно вводит дополнительную координату в вектор \(x\) и сопряженную переменную \(\psi\), поскольку все условия, связанные с этой дополнительной координатой, равны нулю или не имеют значения.

Важно отметить, что принцип максимума является необходимым, но не достаточным условием.

== Примеры ==
Отметим, что отказ от требования \(u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\mathbb{R}^m\) невозможен; в этом случае \( \overline{\mathcal{X}_\mathcal{P}[t_1]} = \mathcal{X}_\overline{\mathcal{P}}[t_1] \). Разумность такого отказа показывает следующий пример:

==== Пример 1 ====
Пусть система описывается уравнениями
\[
\begin{cases}
\dot{x} = u, \\
x(0) = 0, \\
u(\tau) \in [-1, 1].
\end{cases}
\]

Тогда множеством достижимости \(\mathcal{X}_1\) буде бесконечный треугольник в I и IV квадрантах, лежащий внутри прямых \(x=t\) и \(x=-t\). При этом, геометрически ясно, что замена множества допустимых управлений с отрезка \([-1, 1]\) на двухточечное множество \(\{-1, 1\}\)не изменит множества достижимости: любую точку, лежащую внутри \(\mathcal{X}_1\), можно соединить с началом координат ломанной, содержащей звенья, параллельные прямым \(x=t\) и \(x=-1\).

Именно этот прием используется при управлении парусными судами при отсутствии попутного ветра(при этом говорят, что судно идет галсом).

Введем множество достижимости
\[
\mathcal{X}[t_1] = \mathcal{X}(t_1, t_0, x^0) = \{ x = x(t_1, t_0, x^0 \vert u(\cdot)), u(\tau) \in \mathcal{P} \}.
\]

Введем также трубку достижимости \(\mathcal{X}[\cdot]\). Следует понимать, что множество достижимости - это множество, а трубка достижимости - это функция, отображающая время на соответствующее множество достижимости. Ее графиком будем называть множество \( \mathcal{X}[\cdot] = \{(t,x): x\in\mathcal{X}[t]\} \).

Ключевую роль играет следующее утверждение

==== Утверждение 1 ====
Если \(t_1^*-t_0\) - время оптимального взаимодействия, \( x^*, u^* \) - соответственно траектория и управления, отвечающие этому времени, то \( (t_1^*, x^*(t_1^*)) \in \partial\mathcal{X}[\cdot] \).

Следующий пример показывает, что в криволинейных координатах это утверждение, вообще говоря, неверно.

==== Пример 2 ====
Пусть система описывается уравнениями
\[
\begin{cases}
\dot{\rho} = u_1, \vert u_1 \vert \le 1, \\
\dot{\varphi} = u_2, \vert u_2 \vert \le 1, \\
\rho(0) = \rho^0 > 0, \\
\varphi(0) = \varphi^0.
\end{cases}
\]

Если бы это были декартовы координаты на плоскости, то трубкой достижимости была бы "распухающий квадрат" \( \mathcal{X}[t_1] = \{ \vert x-x^0 \vert \le t_1, \vert y - y^0 \vert \le t_2 \} \). В нашем же случае это будет "распухающий кольцевой сектор", и множество достижимости не будет выпуклым. Это приведет к тому, что если финальная точка будет отвечать углу в \(\pi\), то \( (t_1^*, x^*(t_1^*)) \notin \partial\mathcal{X}[\cdot] \).

Введем функцию \(\varepsilon[t_1] = d(x^1, \mathcal{X}[t_1])\).

==== Утверждение 2 ====
\( t_1^* - t_0 \) - время оптимального взаимодействия \( \iff t_1^*\) - наименьший корень уравнения \( \varepsilon[t_1] = 0, t_1 \ge t_0 \).

При этом стоит иметь в виду, что если некое множество \(Z\) - компакт, то \(x \in Z \iff d(x, Z) = 0\).

== Свойства множества достижимости ==
Далее доказательства опускаются, но их знать обязательно нужно.
==== Утверждение 3 ====
\( \mathcal{X}[t_1] \in \text{conv}\mathbb{R}^n \).

==== Лемма 1 (ОЧЕНЬ важная) ====
\( \sup_{u(\cdot)} \left[ \int\limits_{t_0}^{t_1} <s(\tau), u(\tau)> d\tau \right] = \int\limits_{t_0}^{t_1} \sup_{u \in \mathcal{P}} <s(\tau), u> d\tau \).

== Условие максимума ==
Перейдем непосредственно к решению задачи быстродействия. Выпишем в терминах опорных функций условие \( x^1 \in \mathcal{X}[t_1]: \)
\[
<l, x^1> \le \rho(l \vert \mathcal{X}[t_1])
\]
для любого \(l\), или, в терминах расстояний до множества, \( d(x^1, \mathcal{X}[t_1] = \varepsilon[t_1] = 0 \). Фиксируем произвольное число \(\hat{\varepsilon}\). Тогда верна следующая цепочка равносильных переходов:
\[
d(x^1, \mathcal{X}[t_1]) \le \hat{\varepsilon} \iff x^1 \in \mathcal{X}[t_1] + \hat{\varepsilon}B_1(0) \iff <l, x^1> \le \rho(l \vert \mathcal{X}[t_1]) + \hat{\varepsilon}\vert\vert l \vert\vert.
\]

В силу положительной однородности левой и правой части по \(l\), последнее соотношение можно нормировать и записать в виде
\[
\sup_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \le \hat{\varepsilon},
\]

откуда следует, что \(\varepsilon[t_1] = \sup_{\vert\vert l \vert\vert}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Таким образом, отсюда время быстродействия \(t_1^*\) находится как наименьший корень уравнения \( \varepsilon[t_1^*] = 0 \).

Возьмем вектор \( l^0 \in \text{Argmax}_{\vert\vert l \vert\vert = 1}(<l, x^1> - \rho(l \vert \mathcal{X}[t_1])) \). Тогда \( <l^0, x^1> = \rho(l^0 \vert \mathcal{X}[t_1^*]) \), что означает, что \(x^1\) лежит на пересечении опорной гиперплоскости и самого множества. Отсюда \( u^*(\tau) = u^{l_0}(\tau) \). Таким образом, мы можем записать необходимое условие максимума:

Если \(u^*\) есть управление, доставляющее оптимальное управление, то
\[
<B^T(\tau)\psi(\tau)u^*(\tau)> = \max_{u \in \mathcal{P}(\tau)}<B^T(\tau)\psi(\tau), u>.
\]

Естественно встает вопрос: является ли это условие достаточным? Оказывается нет ~--- следующий пример показывается, что условию максимума может удовлетворять вообще любое допустимое управление!

==== Пример 3 ====
Рассмотрим следующую задачу быстродействию:
\[
\begin{cases}
\dot{x}_1 = u - 1, \\
\dot{x}_2 = u + 1, \\
x^0 = [0, 0]^T, \\
x^1 = [-1, 1]^T, \\
\vert u(t) \vert \le 1.
\end{cases}
\]

В этой задаче, \( \mathcal{P}(t) \equiv \mathcal{P} = [-1, 1] \). Найдем опорную функцию для этой задачи:
\[
\rho(l \vert \mathcal{X}[t_1]) = \int\limits_0^{t_1}<l, [-1, 1]^T> + \int\limits_0^{t_1}\rho([1, 1]^Tl \vert \mathcal{P}(\tau))d\tau = t_1(l_2 - l_1) + t_1\vert l_1 + l_2\vert.
\]

Легко видеть, что это сумма опорных функций одноточечного множества и отрезка. С геометрической точки зрения, множество достижимости есть отрезок, соединяющий на плоскости точки \( [-1, -1]^T \) и \([1, 1]^T\), который "ползает" по плоскости. Очевидно, что для быстрейшего достижения очки \([-1, 1]^T\) надо "ползти" вверх по прямой \(y=-x\). Тогда в момент \(t^*=1\) мы достигнем финальной точки.

Однако для нахождения оптимального управления нам (формально) надо было бы найти вектор-максимизатор \(l_0\). На эту роль подходят векторы \( \frac{1}{\sqrt{2}}[-1, 1]^T \) и \( \frac{1}{\sqrt{2}}[1, -1]^T \).

Выпишем условие максимума:
\[
<B^Tl^0, u^*> = \max_{u \in \mathcal{P}}<B^Tl^0, u>,
\]

которое в нашем случае вид \(0 = 0\).

Хотя приведенный пример показывает редкую для линейных систем ситуацию, стоит поставить вопрос об условиях, позволяющих использовать условие максимума как необходимое и достаточное условие.

==== Условие нормальности (общности положения) ====
Рассмотрим частный случай нашей задачи: Пусть \(A, B\) - const, а \(\mathcal{P}\) - выпуклый многогранник с непустой внутренностью, построенный на точках \(u_1, u_2, \dots, u_M\), причем \(u_j \in \partial\mathcal{P}, j = \overline{1, M}\). Пусть \( w = w^{k,l} = u^k-u^l \), где \(k, l\) соединены ребром. Потребуем, чтобы выполнялось условие нормальности (или условие общности положения):
\[
\text{Векторы } Bw, ABw, \dots, A^{n-1}Bw \text{ линейно независимы}.
\]
Отметим, что если \(\mathcal{P}\) имеет вид "параллелепипеда", \( \mathcal{P} = \{ u \in \mathbb{R}^m \vert a_i \le u_i \le b_i, i = \overline{1, m} \} \), а матрица \(B\) состоит из столбцов \(b^1, b^2, \dots, b^m\), то условие нормальности требует линейной независимости векторов \( b^i, Ab^i, \dots, A^{n-1}b^i \) для всех \(i\), что представляет собой в точности условие полной управляемости.

Роль этого условия раскрывает следующая теорема.

==== Теорема 1 ====
Если выполняется условие нормальности, то условию максимума удовлетворяет единственное управление.

==== Замечание 1 ====
На самом деле, условие нормальности гарантирует строгую выпуклость множества достижимости.

==== Пример 4 ====
Рассмотрим задачу
\[
\begin{cases}
\dot{x}_1 = u_1, \vert u_1 \vert \le 1, \\
\dot{x}_2 = u_2, \vert u_2 \vert \le 1. \\
\end{cases}
\]

Эта система вполне управляема, но не сильно вполне управляема. Множество достижимости в данном случае ~--- квадрат (т.е. не строго выпуклое). Случай, в котором условие максимума выделяет единственное управление, бывает тогда, когда финальная точка оказывается на углу квадрата.

=== Условие управляемости при выпуклости множества \(\mathcal{P}\) ===
==== Теорема 2 ====
Пусть \(\mathcal{P}\) строго выпукло и имеет непустую внутренностью, и выполнено условие полной управляемости,
\[
\text{rg}[B\vert AB\vert \dots\vert A^{n-1}B] = n.
\]
Тогда условие максимума определяет оптимальное управление единственным образом.