Достаточные условия существования оптимального управления

Аннотация

В этой статье будет рассмотрена теорема существования оптимального управления для нелинейной системы в $\mathbb{R}^n$: $$\begin{gather*} \dot x = f(t, x(t), u(t)) \end{gather*}$$

Приведём контрпримеры, демонстрирующие невозможность отыскать оптимальное управление при помощи ПМП.

Случаи, когда решения не существует

Пример 1

Множество допустимых пар $\{x(\cdot),\ u(\cdot)\}$ пусто: $$\begin{gather*} \begin{cases} \dot{x} = 0, \\ x(0) = 0,\\ x(1) = 1. \end{cases} \end{gather*}$$

Пример 2

Ограничивающее множество $\mathcal{P} \notin \mathrm{conv}~\R$

$$\begin{gather*} \begin{cases} \dot{x} = u, & u \in \R, \\ x(0) = 1,\\ x(1) = 0. \end{cases} \end{gather*}$$ $$\begin{gather*} J = \int_0^1 x^2(t) dt \to \inf. \end{gather*}$$

Перейдём к расширенной системе:

$$\begin{equation*} \begin{cases} \dot{x_0} = x_1^2, \\ \dot{x_1} = u. \end{cases} \end{equation*}$$

Тогда функция Гамильтона-Понтрягина примет вид: $$\begin{gather*} \mathcal{H} = \psi_0 x_1^2 + \psi_1 u, \end{gather*}$$ $$\begin{gather*} \begin{cases} \dot{\psi}_0 = 0, \\ \dot{\psi}_1 = -2 \psi_0 x_1. \end{cases} \end{gather*}$$

В этом случае $u = \pm \infty$. Рассмотрим управления $u_k$: $$\begin{gather*} u_k(t) = \begin{cases} -k, &\; t \in \left[0, \frac{1}{k}\right],\\ 0, &\; \text{иначе}. \end{cases} \end{gather*}$$

$$\begin{gather*} x_k(t) = \begin{cases} 1-kt,\; t \in \left[0, \frac{1}{k}\right],\\ 0,\; \text{иначе}. \end{cases} \end{gather*}$$

Тогда $\mathrm{inf}J(\cdot) = 0$, т.к. $J(\cdot) \geqslant 0.$

$$\begin{gather*} J\left(u_k(\cdot)\right) = \int\limits_0^{\frac{1}{k}}(1 - kt)^2 dt = \frac{1}{3k} \underset{k \rightarrow +\infty}{\rightarrow} 0. \end{gather*}$$

Но $\mathrm{inf}J(\cdot)$ не достигается в силу непрерывности $x(\cdot)$.

Пример 3

Множество обобщенных скоростей (векторграмма) $\mathcal{F}(t,\ \overline{x}) \notin \mathrm{conv}~\R^{n+1}$

$$\begin{gather*} \begin{cases} \dot{x} = u, \; |u| \leqslant 1, \\ x(0) = x(1) = 0. \end{cases} \end{gather*}$$

$$\begin{gather*} J = \int_0^1 [x^2(t) + (1 - u^2(t))^2] dt \rightarrow \underset{u(\cdot)}{\mathrm{inf}}. \end{gather*}$$

$$\begin{gather*} \mathcal{H} = \psi_0 (u_1^2 + (1 - u^2)^2) + \psi_1 u, \\ \begin{cases} \dot{\psi}_0 = 0, \\ \dot{\psi}_1 = -2 \psi_0 x_1. \end{cases} \end{gather*}$$

$$\begin{gather*} u_k(t) = \begin{cases} 1, \; t \in \left[\frac{2j}{2k}, \frac{2j + 1}{2k}\right],\\ -1, \; t \in \left[\frac{2j + 1}{2k}, \frac{2j + 2}{2k}\right]. \end{cases} \end{gather*}$$

$$\begin{gather*} x_k(t) = \begin{cases} t - \frac{2j}{2k}, \; t \in \left[\frac{2j}{2k}, \frac{2j + 1}{2k}\right],\\ -t + \frac{2j + 2}{2k}, \; t \in \left[\frac{2j + 1}{2k}, \frac{2j + 2}{2k}\right]. \end{cases} \end{gather*}$$

$$\begin{gather*} J\left(u_k(\cdot)\right) = k \int\limits_0^{\frac{1}{k}} x_k^2(t) dt = 2k \int\limits_0^{\frac{1}{2k}} t^2 dt = \frac{1}{3(2k)^2} \underset{k \rightarrow +\infty}{\rightarrow} 0. \end{gather*}$$

Таким образом, $\mathrm{inf}J(\cdot)$ не достигается даже при ограничении $|u| \leqslant 1$.

Замечание: В отличие от Примера 2 ПМП даёт результат, но неправильный.

Пример 4

$E = \{e = (t_0,\ x^0, t_1, x^1): \varphi(e) = 0\}$ $-$ компакт, $\overline{\varphi} = (\varphi_0,\ \varphi)$

$\overline{\varphi} \notin C(E)$ $$\begin{gather*} \begin{cases} \dot{x} = u, \; |u| \leqslant 1,\\ x(0) = 0,\\ t_1 x(t_1) = 1. \end{cases} \end{gather*}$$

$$\begin{gather*} J = x(t_1) \rightarrow \mathrm{inf}. \end{gather*}$$

$$\begin{gather*} \mathcal{H} = \psi_1 u, \end{gather*}$$

$$\begin{gather*} u^* = \begin{cases} 1, \; \psi_1 > 0, \\ [-1, 1],\; \psi_1 = 0, \\ -1, \;\psi_1 < 0. \end{cases} \end{gather*}$$ Отсюда: $$\begin{gather*} \begin{matrix} \dot{\psi_1} = 0, \\ \psi_1[0] = - \lambda_3 \; \mathcal{H}\vert_{t = t_0} = \lambda_2, \\ \psi_1[t_1] = \lambda_0 + \lambda_1 t_1 \; \mathcal{H} \vert_{t = t_1} = -\lambda_1 x(t_1). \end{matrix} \end{gather*}$$

Фиксируем $\tau > 0$: $$\begin{gather*} u(t) = \begin{cases} 0, \; t \in [0, \tau], \\ 1, \; t > \tau. \end{cases} \end{gather*}$$

$$\begin{gather*} x(t) = \begin{cases} 0, \; t \in [0, \tau], \\ t - \tau, \; t > \tau. \end{cases} \end{gather*}$$

$$\begin{gather*} x(t_1) t_1 = 1 \Rightarrow t_1^2 - \tau t_1 - 1 = 0,\\ t_1 = \frac{\tau + \sqrt{\tau^2 + 4}}{2}. \end{gather*}$$

При $\tau \rightarrow +\infty$: $t_1 \rightarrow +\infty$ и $x(t_1) = \frac{1}{t_1} \rightarrow 0$. Следовательно, $\mathrm{inf}J(\cdot) = 0$ не достигается.

Теорема о существовании оптимального управления

Пусть $\dot x = f(t, x(t), u(t)),\ u(t) \in \mathcal{P}$, где $f$ удовлетворяет описанию, обозначенному в итоговых условиях на функцию: $$\begin{gather*} \varphi_0(e) \rightarrow \infty,\\ \varphi_1(e) = \varphi_2(e) = \ldots = \varphi_k(e) = 0. \end{gather*}$$ Пусть также:

1. Множество допустимых пар $\{x(\cdot),\ u(\cdot)\}$ не пусто, то есть $S^1 = \{(t_0,\ t_1,\ x^0,\ u(\cdot)) \in S | \varphi(e) = 0,\ e = e(t_0,\ t_1,\ x^0,\ u(\cdot))\} \neq \emptyset$. Пример 1.
2. $\mathcal{P} \in \mathbb{R}^m$. Пример 2.
3. $\mathcal{F}(t,\ \overline{x}) = \bigcup\limits_{u \in \mathcal{P}}\{\overline{f}(t,\ \overline{x},\ u)\} \in \mathrm{conv}~\R^{n+1}$, $\mathcal{F}(t,\ \overline{x})$ $-$ множество возможных скоростей (векторграмма). Пример 3.
4. $E = \{e = (t_0,\ x^0, t_1, x^1) \in \mathbb{R}^{2n+2}: \varphi(e) = 0\}$ $-$ компакт, $\overline{\varphi} = (\varphi_0,\ \varphi) \in C(E)$. Пример 4.

Тогда решение задачи оптимального управления существует ($\exists u^*$ $-$ измеримое).

Замечание: Если $f(t,\ x,\ u) = f^0(t,\ x) + g(t,\ x)\cdot u$, то условие $3$ можно заменить на $\mathcal{P} \in \mathrm{conv}~\R^{n+1}$.

Доказательство

Пусть $\varphi_* = \mathrm{inf}\{\varphi_0(e): e = e(s), s \in S^1\}$, $\varphi_* > -\infty$, т.к. $\overline{\varphi} \in C(E)$, $E$ $-$ компакт. По определению инфимума: $$\begin{gather*} \forall \varepsilon = \frac{1}{k} \;\; \exists (t_0^{(k)},\ x^{0,\ (k)}, t_1^{(k)}, u(\cdot)^{(k)}): \;\; \varphi_* \leqslant \varphi_0(e^{(k)}) \leqslant \varphi_* + \frac{1}{k},\ e^{(k)} = (t_0^{(k)},\ x^{0,\ (k)}, t_1^{(k)}, u(\cdot)^{(k)}). \end{gather*}$$

План доказательства:

• Доказать, что $x^{(k)}(\cdot) \underset{k \rightarrow \infty}{\rightarrow} x^*(\cdot)$ в пространстве $C$.
• Доказать, что $x^*(\cdot)$ порождается некоторым управлением $u^*(\cdot)$.

Без ограничения общности, положим $t_0^{(k)}(\cdot) \rightarrow t_0^*$, $t_1^{(k)}(\cdot) \rightarrow t_1^*$, $x^{0,(k)}(\cdot) \rightarrow x^{0,*}$ (т.к. $E$ $-$ компакт).

1) $\frac{d}{dt}{\|x(t)\|}^2 = 2\langle x, f(t,\ x,\ u) \rangle \leqslant 2\|x\|\|f(t,\ x,\ u)\| \overset{\text{условие сублинейного роста}}{\leqslant} 2A\|x\|^2 + 2B\|x\| = (2A + 1) \|x\|^2 + \tilde{B}$.

Откуда: $$\begin{gather*} \frac{d}{dt}\left(\|x(t)\|^2e^{-(2A+1)t}\right) \leqslant \tilde{B} e^{-(2A + 1)t}\|,\\ \|x(t)\|^2 e^{-(2A+1)t} - \|{x(t_0)}^2\| e^{-(2A+1)t_0} \leqslant \int\limits_{t_0}^{t} \tilde{B} e^{-(2A + 1)s} ds,\\ \|{x^{(k)}(t)}\|^2 \leqslant \underbrace{\|{x^{(k)}(t_0^{(k)})}\|^2 e^{(2A + 1)(t - t_0^{(k)})} + e^{(2A + 1)t} \int\limits_{t_0^{(k)}}^{t} \tilde{B} e^{-(2A + 1)s}ds}_{\text{ограниченная функция}}. \end{gather*}$$

Значит, $\{x^k(\cdot)\}$ равномерно ограничена: $\forall k$ $\exists M: \|x^{(k)}\| \leqslant M$.

Теперь покажем равностепенную непрерывность: $\|x^{(k)}(t_2) - x^{(k)}(t_1)\| \leqslant \int\limits_{t_1}^{t_2}\|f(t,\ x^{(k)}(t),\ u^{(k)}(t)\|dt \leqslant \underbrace{(AM + B)}_{L}\underbrace{|t_2 - t_1|}_{\delta} < \varepsilon$.

Тогда по теореме Арцела-Асколи: $$\begin{gather*} x^{(k)}(\cdot) \rightrightarrows x^*(\cdot), \end{gather*}$$ Таким образом, $x^{(k)}\rightrightarrows x^*$ в пространстве $C$.

$$\begin{gather*} \|{x^*(t_2) - x^*(t_1)}\| \leqslant L |t_2 - t_1|, \end{gather*}$$ Получаем $$\begin{gather*} x^*(\cdot) \in \mathrm{Lip} \Rightarrow x^*(\cdot) \in \mathrm{AC}. \end{gather*}$$

Всё, изложенное выше, выполняется и для $\overline{x} = (x_0,\ x)$. Далее для простоты записи чёрточки над $x$ и $f$ будем опускать.

2) Докажем, что $\forall t$ $\frac{d \overline{x}^*(t)}{dt} \in \mathcal{F}(t, \overline{x}^*(t)) = \bigcup\limits_{u \in \mathcal{P}}\{\overline{f}(t,\ \overline{x},\ u)\}$.

Пусть $t$ такое, что $\exists$ $\frac{d \overline{x}^*(t)}{dt}$. Обозначим $\mathcal{F}_{\varepsilon, t} = \mathcal{F}_t + B_{\varepsilon}(0) \in \mathrm{conv}~\R^{n+1}$. $f(t,\ x,\ u) \in \mathrm{C}([T_0,\ T_1]\times B_M(0) \times \mathcal{P})$, следовательно $f$ равномерно непрерывна, т.е.: $$\begin{gather*} \forall \varepsilon > 0 \;\; \exists \delta > 0: \forall (t_1, x_1, u_1), (t_2, x_2, u_2) \in [T_0, T_1] \times B_{M}(0) \times \mathcal{P},\\ |t_1 - t_2| + \|{x_1 - x_2}\| + \|{u_1 - u_2}\| < \delta,\\ \|{f(t_1, x_1, u_1) - f(t_2, x_2, u_2)}\| < \varepsilon. \end{gather*}$$ Возьмем $u_1 = u_2 = u$, тогда $\forall (\tau, x) \in [T_0, T_1] \times B_{M}(0) \colon$ $$\begin{gather*} |\tau - t| + \|{x - x^*(t)}\| < \delta, \end{gather*}$$ $$\begin{gather} \Delta f = \|f(\tau, x, u) - f(t, x^*, u)\| \leqslant \varepsilon, \label{ex1} \end{gather}$$

$$\begin{gather*} \forall u \in \mathcal{P}: f(\tau, x, u) = f(t, x^*, u) + \Delta f, \end{gather*}$$

$$\begin{gather*} \mathcal{F}(\tau,\ \overline{x}) = \bigcup\limits_{u \in \mathcal{P}} \left\{ \overline{f}(\tau,\ \overline{x},\ u) \right\} \subseteq \bigcup\limits_{u \in \mathcal{P}} \left\{ \overline{f}(t,\ \overline{x}^*,\ u) \right\} + B_{\varepsilon}(0) = \mathcal{F}_{\varepsilon, t},\\ \|{x^{(k)}(\tau) - x^*(t)}\| \leqslant \|{x^{(k)}(\tau) - x^{(k)}(t)}\| + \|{x^{(k)}(t) - x^*(t)}\|. \end{gather*}$$

Рассмотрим неравенство: $$\begin{gather*} \|{x^{(k)}(\tau) - x^*(t)}\| \leqslant \|{x^{(k)}(\tau) - x^{(k)}(t)}\| + \|{x^{(k)}(t) - x^*(t)}\|. \end{gather*}$$

Выберем $\tau$: $$\begin{gather*} \|{x^{(k)}(\tau) - x^{(k)}(t)}\| \leqslant L \|\tau - t\| < \frac{\delta}{4},\\ \exists K \;\; \forall k \geqslant K \;\; \|{x^{(k)}(t) - x^{*}(t)}\| \leqslant \frac{\delta}{4},\\ |\tau - t| < \mathrm{min}\{\frac{\delta}{4L},\ \frac{\delta}{2}\}. \end{gather*}$$

Тогда из $\eqref{ex1}$ получаем: $$\begin{gather} \mathcal{F}(\tau, x^{(k)}(\tau)) \subseteq \mathcal{F}_{\varepsilon, t} \label{ex2}. \end{gather}$$

Рассмотрим последовательность $z^{(k)}(s) = f(s, x^{(k)}(s), u^{(k)}(s))$, выполнено: $$\begin{gather*} \frac{x^{(k)}(t+h) - x^{(k)}(t)}{h} = \frac{1}{h} \int\limits_{t}^{t+h} \underbrace{z^{(k)}(s)}_{\in \mathcal{F}(s,\ x^{(k)}(s))} ds \in \mathcal{F}_{\varepsilon, t}. \end{gather*}$$

Значит: $$\begin{gather*} \frac{x^{(k)}(t+h) - x^{(k)}(t)}{h} \in \mathcal{F}_{\varepsilon, t} \bigg| \lim\limits_{h \to 0} \; \lim\limits_{k \to \infty},\\ \frac{d \overline{x}^*(t)}{dt} \in \mathcal{F}_{\varepsilon, t} \; \forall \varepsilon > 0 \bigg| \lim\limits_{\varepsilon \to 0 + 0},\\ \frac{d \overline{x}^*(t)}{dt} \in \mathcal{F}(t, \overline{x}^*(t)). \end{gather*}$$

Таким образом, $\frac{d\overline{x}^*(t)}{dt} \overset{\text{п. в.} t}{=} \overline{f}(t, \overline{x}^*(t), u^*(t))$.

Покажем, что множество $\mathcal{P}^*(t) = \left\{ u \in \mathcal{P}\colon \overline{f}(t, \overline{x}^*(t), u) = \frac{d\overline{x}^*(t)}{dt} \right\}$ измеримо по $t$.

$x^*(\cdot) \in \mathrm{AC}$, тогда $\frac{d\overline{x}^*(t)}{dt}$ $-$ измеримо. По теореме Лузина $\frac{d\overline{x}^*}{dt} \in \mathrm{C}([T_0,\ T_1]\setminus Z),\ \mu(Z) < \tilde{\varepsilon}$.

Рассмотрим $$\begin{gather*} t_k \in [T_0, T_1] \setminus Z, \; t_k \underset{k \rightarrow \infty}{\rightarrow} \widetilde{t}, \end{gather*}$$ $$\begin{gather*} u_k \in \mathcal{P}^*(t_k) \to \widetilde{u} \in \mathcal{P},\\ \frac{d\overline{x}^*(t_k)}{dt} = \overline{f}(t_k, \overline{x}^*(t_k), u_k) \underset{k \rightarrow \infty}{\rightarrow} \overline{f}(\widetilde{t}, \overline{x}^*(\widetilde{t}, \widetilde{u})),\\ \frac{d\overline{x}^*(t_k)}{dt} \to \frac{d\overline{x}^*(\widetilde{t})}{dt}. \end{gather*}$$ Следовательно, $\widetilde{u} \in \mathcal{P}^*(\widetilde{t})$, получаем, что $\mathcal{P}$ полунепрерывная сверху. Отображение $\mathcal{P}^*$ измеримое, то есть существует измеримый селектор $u^*(t) \in \mathcal{P}^*(t)$. $\blacksquare$

Список литературы

• И.А. Чистяков "Лекции по оптимальному управлению", 2022
• Э.Б. Ли, Л. Маркус "Основы теории оптимального управления", М.: Наука, 1972