Задача оптимального управления "из точки в точку" с интегральным функционалом

Постановка задачи оптимального управления с минимизацией \(||u(\cdot)||_{L_2}\)

Будем считать, что \[ u: [t_0, t_1] \rightarrow \mathbb{R}^m \\ u(\cdot) \in L_{\infty} \\ u(t) \in \mathbb{R}^m \]

Имеем следующую задачу: \[ \begin{cases} \dot{x}(t) = A(t)x(t) + B(t)u(t) + f(t), t \in [t_0, t_1], \\ x(t_0) = x^0, \\ x(t_1) = x^1. \end{cases} \]

Будем рассматривать функционал \[ \mathcal{J} = ||u(\cdot)||_{L_2} = \bigg(\, \int\limits_{t_0}^{t_1}(u(t))^2\,dt \bigg) \, ^{\frac{1}{2}} \rightarrow min. \]

Решение в общем виде такое задачи:

1. \(x(t_1) = X(t_1, t_0)x^0 + \int\limits_{t_0}^{t_1}X(t_1, t)[B(t)u(t) + f(t)]\, dt = x^1 \);

2. \( \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt = x^1 - X(t_1, t_0)x^0 - \int\limits_{t_0}^{t_1}X(t_1, t) f(t)\, dt \);

3. \( H(t_1, t) = X(t_1, t)B(t) \, \Longrightarrow \, \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = c ~-\) задача моментов (ЗМ);

4. Пусть \(||u(\cdot)||_{L_2} \leqslant \mu\). Нужно найти \( \min \, \mu \).

\(\underline{Замечание}\): Рассматриваемое управление кусочно-непрерывно.

\(\textbf{Опр.:}\) \( \mathcal{H}^0_{\mu}[t_1, t] = \bigl\{ \int\limits_{t_0}^{t_1}X(t_1, t)B(t)u(t)\, dt \, \bigg| ||u(\cdot)||_{L_2} \leqslant \mu \bigl\} ~- \) множество достижимости для задачи моментов.

Свойства

\(\textbf{Утверждение:} \, \mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) для любого \(\mu \geqslant 0\).

Доказательство:

1) \( \textit{Непустота} \): пусть \(u \equiv 0 \Longrightarrow ||u(\cdot)|| = 0 \leqslant \mu \Longrightarrow 0 \in \mathcal{H}^0_{\mu} \).

2) \( \textit{Выпуклость} \): пусть \( с^j = \int\limits_{t_0}^{t_1}H(t_1, t)u^j(t)\, dt, \, j = 1,2\).

\(||u(\cdot)||_{L_2} \leqslant \mu, c^j \in \mathcal{H}^0_{\mu}\).

Покажем, что \(c = [\lambda c^1 + (1-\lambda)c^2] \in \mathcal{H}^0_{\mu} \text{для} \forall \lambda \in (0, 1) \):

\(u(t)=\lambda u^{1}(t)+(1-\lambda) u^{2}(t) \)

2.1 \(||u(\cdot)||_{L_2} = || \lambda u^{1}(t)+(1-\lambda) u^{2}(t) || \leqslant \lambda ||u^{1}(t)||+(1-\lambda) ||u^{2}(t)|| \leqslant \lambda \cdot \mu+(1-\lambda) \mu=\mu; \)

2.2 \(\int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt = \lambda\int\limits_{t_0}^{t_1}H(t_1, t)u^1(t)\, dt+ (1-\lambda)\int\limits_{t_0}^{t_1}H(t_1, t)u^2(t)\, dt = c \in \mathcal{H}^0_{\mu}.\)

3) \( \textit{Ограниченность} \):

\( || \int\limits_{t_0}^{t_1}H(t_1, t)u(t)\, dt|| \leqslant \int\limits_{t_0}^{t_1}||H(t_1, t)||\cdot||u(t)||\, dt \leqslant \left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \, dt\right]^{\frac{1}{2}} \cdot \left[\int\limits_{t_0}^{t_1}||u(t)||^{2} \, dt\right]^{1 / 2} \leqslant \mu\left[\int\limits_{t_0}^{t_1}||H(t_1, t)||^{2} \,dt\right]^{\frac{1}{2}} \leqslant a \cdot \mu, \, a = const\)

4) \( \textit{Замкнутость} \):

\(c^j \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u^j(\cdot): ||u^j(\cdot)||_{L_2} \leqslant \mu \), \(c^j \rightarrow c \)

Покажем, что \(c \in \mathcal{H}^0_{\mu} \Longleftrightarrow \exists u(\cdot): ||u(\cdot)||_{L_2} \leqslant \mu \) \).

Без ограничения общности считаем, что \(u^j(\cdot) \rightarrow u(\cdot) \) слабо в силу слабой компактности \( ||u(\cdot)||_{L_2} \leqslant \mu\). Раз \(\mathcal{H}^0_{\mu}[t_1, t] \in conv \, \mathbb{R}^n\) \), то можем выписать её опорную функцию: \[ \rho(l|\mathcal{H}^0_{\mu}) = \underset{h \in \mathcal{H}^0_{\mu}}{\sup} \langle l, h\rangle = \mu \left[\int\limits_{t_0}^{t_1}||H'(t_1, t)l||^{2} \, dt\right]^{\frac{1}{2}} = \mu \left[\int\limits_{t_0}^{t_1}\langle H'(t_1, t)l, H'(t_1, t)l\rangle \, dt\right]^{\frac{1}{2}} = \mu \left[\langle l, \bigg(\int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt\bigg)l\rangle \right]^{\frac{1}{2}}. \]

Обозначим \(W=W(t_1, t) = \int\limits_{t_0}^{t_1}\langle H'(t_1, t)H(t_1,t)\, dt = const ~-\) матрица управляемости.

Тогда \[ \rho(l|\mathcal{H}^0_{\mu}) = \mu \sqrt{\langle l, Wl \rangle}, \, W=W' \geqslant 0. \] Теорема доказана.

Замечание: \(\mathcal{H}^0_{\mu}\) для \(||u(\cdot)||_{L_2} \rightarrow \min ~-\) это эллипсоид.

Постановка задачи оптимального управления для принципа максимума Понтрягина

Пусть наша система описывается следующими условиями: \[ \begin{cases} \dot{x}(t) = f(x(t), u(t)), \\ x(t_0) = x^0, \\ x(t_1) = x^1, \\ u(\tau) \in \mathcal{P}(\tau) \in \text{conv}\, \mathbb{R}^m, \\ \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt \stackrel{u(\cdot)}{\longrightarrow} \inf, ~- \text{минимизируемый функционал}.\\ \end{cases} \]

Здесь \(x(t)\) \(~-\) вектор состояния \(u(t)\) \(~-\) управление, \(t_0,t_1\) \(~-\) начальный и конечный моменты времени, \(\mathcal{P}\) \(~-\) множество допустимых управлений. Считаем, что \(x_0, x_1, t_0, t_1\) фиксированы.

Задача оптимального управления заключается в нахождении функций состояния \(x(t)\) и управления \(u(t) \in \mathcal{P}\) для времени \({t_{0}}\leq {t}\leq {t_{1}}\), которые минимизируют заданный функционал \(\mathcal{J}\).

Задача оптимального управления "из точки в точку" с интегральным функционалом \(~-\) задача перевода системы из начального фиксированного положения \(x_0\) в конечное \(x_1\), также фиксированное, обеспечивающего минимум заданного интегрального функционала \(\mathcal{J}\).

При заданном управлении уравнение становится обычным дифференциальным уравнением относительно \(x\). Всякое его решение, соответствующее управлению \(u(\cdot)\), называется фазовой траекторией, а пара \((x(\cdot), u(\cdot))\), связанная с заданным уравнением, называется управляемым процессом.

Функция \(f^0\) называется интегралом. Предполагается, что функция \(f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}\) непрерывна по совокупности переменных и непрерывно дифференцируема по \(x\). Более того, моменты времени \(t_0\) и \(t_1\) не предполагаются фиксированными, и все функции и отображения считаются непрерывно дифференцируемыми по времени.

При решении задач вводят дополнительную координату, вводящую функционал в общую систему. Таким образом, \(\bar{\psi} = (\psi_0, \psi_1, ..., \psi_n)\), \(\bar{f}= (f_0, f_1, ..., f_n)\), \(\bar{x} = (x_0, x_1, ..., x_n)\).

Функция Гамильтона-Понтрягина: \[ \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u) = \psi_0 f_0 + \langle \psi, f(x(t), u(t)) \rangle = \langle \bar{\psi}, \bar{f}(x(t), u(t)) \rangle. \]

Тогда можно говорить о сопряженной системе: \[ \dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}}{\partial \bar{x}(t)}. \] Гамильтониан системы \(\bar{M}(\bar{\psi}, \bar{x}) = \underset{u\in \mathcal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}, \bar{x}, u).\)

Пример 1

При \(f^0(t, x, u) = 1\) минимизируемый функционал \begin{equation*} \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} f^0(t, x, u)\,dt = \int\limits_{t_0}^{t_1} \,dt = t_1 - t_0. \end{equation*} Задача с таким функционалом называется задачей быстродействия "из точки в точку".

Пример 2

Интеграл функционала может представлять собой квадратичную форму координат объекта и управления. В ряде случаев функционал содержит еще и слагаемое, которое учитывает конечное состояние системы. Таким образом, квадратичный критерий записывается в виде \begin{equation*} \mathcal{J}(x(\cdot), u(\cdot)) = \int\limits_{t_0}^{t_1} (x^TQ(t)x + u^TR(t)u)\,dt + x^T(t_1)Fx(t_1), \end{equation*} где \(Q(t) \in \mathbb {R}^{n\times n}\), \(R(t) \in \mathbb {R}^{r\times r}\), \(F \in \mathbb {R}^{n\times n}\) \(~-\) симметрические матрицы.

Принцип максимума Понтрягина

Теорема(ПМП для автономной задачи быстродействия)

Пусть \((x^*(\cdot), u^*(\cdot))\) \(~-\) оптимальная пара, \(\mathcal{H}\) \(~-\) функция Гамильтона–Понтрягина. Тогда существует \(\psi^*:[t_0, t_1] \rightarrow \mathbb{R}^n \), \(\psi^* \neq 0 \) такое, что:

1) Сопряженная система (СС): \[\dot{\bar{\psi}} = -\frac{\partial \bar{\mathcal{H}}(\bar{\psi}(t), \bar{x}(t), u(t))}{\partial \bar{x}(t)} \bigg|_{x=x^*(t) \\ u=u^*(t) \\ \psi = \psi^*(t)};\] 2) Условие максимума (УМ): \[\bar{\mathcal{H}}(\bar{\psi}^*(t), \bar{x}^*(t), u^*(t)) \stackrel{\textrm{п.в.}}{\in} \underset{u \in \cal{P}}{\text{sup}} \, \bar{\mathcal{H}}(\bar{\psi}^*, \bar{x}^*, u) = \bar{M}(\bar{\psi}^*, \bar{x}^*);\] 3) \[ M(\psi^*(t), x^*(t)) \equiv \text{const} \geqslant 0, \\ \psi_0^* = const \leqslant 0. \]

Условия трансверсальности опускаются, поскольку поставленная задача является задачей "из точки в точку".

Доказательство принципа максимума Понтрягина можно найти в книге: Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976 [1].

Замечания:

1. Сопряженная система \(~-\) линейная однородная система ОДУ;

2. \(\bar{\psi}^*\) определено с точностью до множителя на константу;

3. ПМП является необходимым условием, но не является достаточным.

Примеры задач

Пример 1

Решим следующую задачу оптимального управления: \[ \begin{cases} \dot{x}=u, \\ \mathcal{J} = \int\limits_0^{t_1} u^2(t)\, dt \rightarrow \text { min }, \\ u(t) \in [-1, 1], \\ x(0) = 0, x(t_1) = 1. \end{cases} \]

Решение:

Выпишем функцию Гамильтона-Понтрягина: \[ \overline{\mathcal{H}} = \psi_0u^2 + \psi_1u. \]

Сопряженная система имеет вид: \[ \begin{cases} \dot{\psi_0}=0, \\ \dot{\psi_1}=0. \end{cases} \]

По принципу максимума \(\psi_0 \leqslant 0 \), поэтому рассмотрим два случая:

1. \(\psi_0\) < 0 \(~-\) без ограничения общности будем считать, что \(\psi_0 = -1\).

Тогда имеем, что \( (-u^2+\psi_1u)' = -2u + \psi_1 = 0 \Longrightarrow u = \frac{\psi_1}{2} \). Поскольку \(|u| \leqslant 1\), то при \(\psi_1 > 2\), \(u = 1\), а при \(\psi_1 < -2\), \(u = -1\). Подставим в исходную систему: \[ \begin{cases} \dot{x}_0=\frac{\psi_1^2}{4}, \\ \dot{x}_1=\frac{\psi_1}{2}, \\ \dot{\psi_0}=0, \\ \dot{\psi_1}=0, \\ x_0(0) = 0, \\ x_1(0) = 0, \\ x_0(t_1) = (\frac{\psi_1^0}{2})^2t_1, \\ x_1(t_1) = \frac{\psi_1^0t_1}{2}, \\ \psi_0 \equiv -1, \\ \psi_1 \equiv \psi_1^0. \end{cases} \]

Тогда: \[ \overline{\mathcal{H}} = -1\cdot(\frac{\psi_1^0}{2})^2 + \psi_1^0\cdot\frac{\psi_1^0}{2} = \frac{(\psi_1^0)^2}{4} = 0 \Longrightarrow \psi_1^0 = 0 \Longrightarrow x_1(t_1) = 0 \neq 1 \text{ (из условия)} ~- \text{ противоречие.} \] Таким образом, оптимального решения не существует.

Данный пример показывает, что ПМП \(~-\) необходимый, но не достаточный признак.

Пример 2

Решим следующую задачу оптимального управления: \[ \begin{cases} \dot{x}_1 = x_2, \\ \dot{x}_2 = -x_1+u, \\ x(0)=x^0, \\ \mathcal{J} = \frac{1}{2}\int\limits_0^t u^2(t)\, dt \rightarrow \text { min }. \end{cases} \] Решение

Функция Гамильтона-Понтрягина равна \[ \overline{\mathcal{H}}=\frac{\psi_0}{2} u^2 + \psi_1 x_2-\psi_2 x_1+\psi_2 u. \]

Сопряженная система равна \[ \begin{cases} \dot{\psi}_0=0, \\ \dot{\psi}_1=\psi_2, \\ \dot{\psi}_2=-\psi_1. \end{cases} \]

Анормальный случай (\(\psi_0 = 0\)) можно опустить, поскольку он не даст решения. Тогда рассмотрим нормальный случай. Без ограничения общности положим, что \(\psi_0 = -1\): \[ u^*(t) = \psi_2(t) \Longrightarrow u^*(t) = \alpha\text{sin}(t+\beta), \, \alpha, \beta = const. \]

Подставляя в общую систему, имеем: \[ \begin{cases} \dot{x}_1 = x_2, \\ \dot{x}_2 = -x_1+\alpha \text{sin}(t+\beta). \end{cases} \]

Такая система имеет решение в явном виде: \[ \begin{cases} x_1(t)=-\frac{\alpha}{2} t \cos (t+\beta)+a \sin (t+b), \\ x_2(t)=\frac{\alpha}{2} t \sin (t+\beta)-\frac{\alpha}{2} \cos (t+\beta)+a \cos (t+b), \quad a, b \in \mathbb{R}. \end{cases} \]

Пример 3

Решим следующую задачу оптимального управления: \[ \begin{cases} \dot{x} = u, \\ \mathcal{J} = \int\limits_0^{t_1}(x^2(t) + u^2(t))\, dt \rightarrow \text { min }, \\ u(t) \in \mathbb{R}, \\ x(0) = 0, x(t_1) = 1, t_1 ~- \text{ фиксировано}. \end{cases} \]

Решение Функция Гамильтона-Понтрягина равна \[ \overline{\mathcal{H}}=\psi_0(x^2(t) + u^2(t)) + \psi_1 u. \]

Сопряженная система равна \[ \begin{cases} \dot{\psi}_0=0, \\ \dot{\psi}_1=-2\psi_0x. \end{cases} \]

\(\underline{Анормальный \, случай}\, (\psi_0 = 0)\): \[ \psi_0 = 0 \Longrightarrow \overline{\mathcal{H}} = 0 + \psi_1u = \psi_1u \] Из принципа максимума Понтрягина \((\psi_0, \psi_1) \neq 0 \Longrightarrow \psi_1 \neq 0\), а значит sup в условии максимума\,(УМ) не достигается.

\(\underline{Нормальный \, случай} \, (\psi_0 \neq 0)\): Пусть \(\psi_0 = -\frac{1}{2} \). Тогда: \[ \overline{\mathcal{H}}=-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u \Longrightarrow (-\frac{1}{2}(x^2(t) + u^2(t)) + \psi_1 u)' = 0 \Longrightarrow u = \psi_1. \]

Система имеет следующий вид: \[ \begin{cases} \dot{x} = \psi_1, \, x(0) = 0, \\ \dot{\psi}_1 = x, \, \psi_1(0) = \psi_1^0. \end{cases} \]

Решив эту систему дифференциальных уравнений, получим, что: \[ \begin{cases} x = \psi_1^0\cdot\text{ sh}(t),\\ \psi_1 = \psi_1^0\cdot\text{ ch}(t). \end{cases} \]

Из начальных условий найдем \(\psi_1^0\): \[ x(t_1) = \psi_1^0\cdot\text{ sh}(t_1) = 1 \Longrightarrow \psi_1^0 = \frac{1}{\text{ sh}(t_1)}. \] Тогда: \[ \psi_1(t) = \frac{1}{\text{ sh}(t_1)}\cdot\text{ ch}(t) = \frac{\text{ ch}(t)}{\text{ sh}(t_1)} = u^*(t). \]

Список литературы

• Л.C. Понтрягин, В.Г. Болтянский, Р.В. Гамкрелидзе, Е.Ф. Мищенко. "Математическая теория оптимальных процессов". — М.: Наука, 1976,
• А.А. Аграчев, Ю.Л. Сачков. "Геометрическая теория управления". Москва, Физматлит, 2005,
• Ю.А. Комаров. Курс лекций "Оптимальное управление", 2021.