Задача Майера-Больца

Задача Майера-Больца — это задача оптимального управления со свободным правым концом и интегрально-терминальным функционалом.

Определение

Рассмотрим общую задачу оптимального управления. Введем обозначение $$ e = (t_{0}, x^{0}, t_{1}, x^{1} ) $$. \begin{gather*} \begin{cases} \dot{x} = f(x(t), u(t)), \\ u(t) \in \mathcal{P}, \\ \mathcal{J} = \varphi_{0}(e) \to \inf{}, \\ \varphi_{1}(e) = \ldots = \varphi_{k}(e) = 0. \end{cases} \end{gather*} Подразумевается, что $$t_{0}, x^{0}, t_{1}$$ — фиксированы за счет $$ \varphi_{k}(e) $$. Функционал имеет вид \begin{gather*} \mathcal{J} \displaystyle = \int\limits_{t_{0}}^{t_{1}} f^{0}(x(t), u(t))dt + \phi(x(t_{1})) \to \inf_{u(\cdot)}. \end{gather*} Полученная задача называется задачей Майера-Больца.

Формулировка Принципа максимума Л.С. Понтрягина

Проведем стандартную замену: $$ \hat{x}^{0}, \hat{t}_{0}, \hat{t}_{1} $$ \begin{gather*} \begin{cases} \dot{x}^{0} = f^{0}, \\ x^{0}(t_{0}) = 0. \end{cases} \end{gather*} И получаем \begin{gather*} \mathcal{J} = x^{0}(t_{1}) + \phi(x(t_{1})). \end{gather*} Для остальных ограничений получим \begin{equation*} \varphi_{1} = t_{0} - \hat{t}_{0} \\ \varphi_{2} = t_{1} - \hat{t}_{1} \\ \varphi_{3} = x^{0}_{0} \\ \varphi_{4} = x^{0}_{1} - \hat{x}^{0}_{1} \\ \ldots \\ \varphi_{n+3} = x^{0}_{n} - \hat{x}^{0}_{n}. \end{equation*} Принцип максимума Понтрягина. Пусть $$ (x^{*}(t), u^{*}(t)) $$ — оптимальная пара, тогда $$ \exists \psi^{*} : [t^{*}_{0}, t^{*}_{1}] \to \mathbb{R}^{n+1} , \mathcal{H} = \langle \psi, f \rangle $$ :

• Условие нетривиальности

\begin{gather} \psi^{*}(t) \neq 0, \forall t \in [t^{*}_{0}, t^{*}_{1}]. \end{gather}

• Сопряженная система

\begin{gather} \frac{d\psi}{dt} = -\frac{d\mathcal{H} }{dt}\bigg|_{x=x^{*} \\ u=u^{*}}. \end{gather}

• Условие максимума

\begin{gather} \mathcal{H}\bigg|_{x=x^{*} \\ u=u^{*} \\ \psi = \psi^{*}} = \sup_{u(\cdot)} \mathcal{H}\bigg|_{x=x^{*} \\ \psi=\psi^{*}}. \end{gather}

• Условие трансверсальности

\[ \psi^{*}(t^{*}_{1}) = \begin{bmatrix} \lambda_{0} \\ \lambda_{0} \frac{\partial \phi}{\partial x} \end{bmatrix} \\ \psi^{*}(t^{*}_{0}) = -(\lambda_{3}, \lambda_{4}, \ldots, \lambda_{n+3})^{T} \\ \mathcal{H}|_{t=t^{*}_{1}} = -\lambda_{2} \\ \mathcal{H}|_{t=t^{*}_{0}} = \lambda_{1} \]

Второе, третье и четвертое условия из (УТ) являются неинформативными. Из первого же следует, что \begin{gather*} \psi^{*}_{0} \equiv const = \lambda_{0} \leqslant 0 \Rightarrow \lambda_{0} < 0 \end{gather*} иначе нарушится условие нетривиальности. Возьмем $$ \lambda_{0} = -1 $$ и перепишем условие трансверсальности следующим образом: \begin{gather} \psi^{*}_{0} \equiv -1, \, \, \, \psi^{*}(t^{*}_{1}) = - \frac{\partial \phi}{\partial x} \end{gather} Далее докажем ПМП (1), (2), (3), (4) для задачи Майера-Больца.

Доказательство ПМП и вариация управления

Пусть $$ (x^{*}(t), u^{*}(t)) $$ — оптимальная пара. \begin{gather*} \psi^{*}(t) \displaystyle = - \frac{\partial \phi(x^{*}(t^{*}_{1}))}{\partial x} + \int\limits_{t}^{t_{1}} \bigg( - \psi^{*}_{0} \frac{\partial f^{0}(x^{*}(s), u^{*}(s))}{\partial x}- \bigg( \frac{\partial f}{\partial x} (x^{*}(s), u^{*}(s)) \bigg)^{T} \psi^{*}(s) \bigg) ds \\ \begin{cases} \displaystyle \frac{d\psi^{*}(t)}{dt} = \frac{\partial f^{0}}{\partial x}(x^{*}(t), u^{*}(t)) - \bigg( \frac{\partial f}{\partial x} \bigg)^{T} \psi^{*}(t) , \\ \displaystyle \psi^{*}(t_{1}) = - \frac{\partial \psi(x^{*}(t_{1}))}{\partial x}. \end{cases} \end{gather*} Осталось доказать условие максимума : \begin{gather*} -f^{0}(x^{*}(t), u^{*}(t)) + \langle \psi^{*}(t), f(x^{*}(t), u^{*}(t)) \rangle \geqslant -f^{0}(x^{*}(t), v) + \langle \psi^{*}(t), f(x^{*}(t), v) \rangle \end{gather*} $$ \forall v \in \mathcal{P} $$ ( $$ v $$ — конечномерный вектор). \begin{gather*} \mathcal{J}[u(\cdot)] \displaystyle = \int\limits_{t_{0}}^{t_{1}} f^{0}(x(t), u(t)) dt + \phi(x(t_{1}) \geqslant \mathcal{J}[u^{*}(\cdot)], \\ \forall u(\cdot) \in U_{\varepsilon}(u(\cdot)) \end{gather*} Пусть $$ u $$ кусочно-непрерывна и непрерывна слева, тогда в качестве $$\varepsilon$$-окрестности (вариации) мы можем рассмотреть игольчатую вариацию следующего вида : \begin{gather*} t_{0} < \tau \leqslant t_{1}, 0 < \varepsilon \leqslant \tau - t_{0}, v \in \mathcal{P} \\ u_{\varepsilon} \displaystyle = \begin{cases} u^{*}(t), & t \in [t_{0}, t_{1} ] \ (\tau - \varepsilon, \tau] \\ v, & t \in (\tau - \varepsilon, \tau] \end{cases} \end{gather*} Получаем \begin{gather*} \displaystyle \mathcal{J}[u_{\varepsilon}(\cdot)] \geqslant \mathcal{J}[u(\cdot)] \Rightarrow {\varepsilon > 0} \Rightarrow \frac{ \mathcal{J}[u_{\varepsilon}(\cdot)] - \mathcal{J}[u(\cdot)]}{\varepsilon} \geqslant 0 \Rightarrow \\ \Rightarrow \lim_{\varepsilon \to +0} \inf \frac{ \mathcal{J}[u_{\varepsilon}(\cdot)] - \mathcal{J}[u(\cdot)]}{\varepsilon} \geqslant 0, \\ \dot{x_{\varepsilon}(t)} = f(x(t), u_{\varepsilon}(t)). \end{gather*} Лемма. $$ x_{\varepsilon}(t) = x^{*}(t) + \varepsilon \delta x(t) + \bar o(\varepsilon) $$, где \begin{gather*} \displaystyle \begin{cases} \displaystyle \frac{d}{dt} (\delta x(t)) = \bigg( \frac{\partial f(x^{*}(t), u^{*}(t))}{\partial x} \bigg) \delta x(t), t \geqslant \tau, \\ \delta x(\tau) = f(x^{*}(\tau), v) - f(x^{*}(\tau), u^{*}(\tau)), \end{cases} \end{gather*} при $$t < \tau $$ выполняется $$ \delta x(t) = 0 $$, то есть $$x_{\varepsilon}(t) = x^{*}(t), t < \tau $$ и при $$ t \geqslant \tau $$ \begin{gather*} \displaystyle \frac{x_{\varepsilon}(t) - x^{*}(t)}{\varepsilon} \xrightarrow[\varepsilon \to +0]{} \delta x(t) \end{gather*} Доказательство леммы. \begin{gather*} x^{*}(t) \displaystyle = x^{0} + \int\limits_{t_{0}}^{t} f(x^{*}(s), u^{*}(s)) ds, \\ x_{\varepsilon}(t) \displaystyle = x^{0} + \int\limits_{t_{0}}^{t} f(x_{\varepsilon}(s), u_{\varepsilon}(s)) ds.\\ \end{gather*} При $$ t < \tau $$ возьмем $$\varepsilon \in (0, \tau - t) \Rightarrow x^{*}(t) = x_{\varepsilon}(t).$$ При $$t \geqslant \tau $$ \begin{gather*} \displaystyle x_{\varepsilon}(\tau) - x^{*}(\tau) = \int\limits_{\tau - \varepsilon}^{\tau} [ f(x_{\varepsilon}(s), u_{\varepsilon}(s)) - f(x^{*}(s), u^{*}(s))] ds \end{gather*} $$x_{\varepsilon}(t) $$ удовлетворяет системе: \begin{gather*} \begin{cases} \displaystyle \frac{d x_{\varepsilon}(t)}{dt} = f(x_{\varepsilon}(t), v), \\ x_{\varepsilon}(t - \varepsilon) = x^{*}(\tau - \varepsilon). \end{cases} \end{gather*} Таким образом из доказанных теорем о непрерывности решение системы $$ x(t, \tau - \varepsilon, x^{*}(t - \varepsilon) $$ — непрерывно и $$ x_{\varepsilon}(s) $$ непрерывна по $$(s, \varepsilon)$$. Тогда \begin{gather*} \displaystyle \frac{x_{\varepsilon}(\tau) - x^{*}(\tau)}{\varepsilon} = \frac{1}{\varepsilon} \int\limits_{\tau - \varepsilon}^{\tau} [\ldots]ds \xrightarrow[\varepsilon \to +0]{\textrm{т. о ср.}} f(x^{*}(\tau), v) - f(x^{*}(\tau), u^{*}(\tau)) = \delta x(\tau), t >\tau. \\ \begin{cases} \displaystyle \frac{d x_{\varepsilon}(t)}{dt} = f(x_{\varepsilon}(t), u^{*}(t)), \\ x_{\varepsilon}(\tau) = x^{*}(\tau) + \varepsilon \delta x(\tau) + \bar o(\varepsilon). \end{cases} \end{gather*} По теореме о дифференцируемости по начальным данным \begin{gather*} \exists y(t) = \displaystyle \lim_{\varepsilon \to +0} \frac{x_{\varepsilon}(t) - x^{*}(t)}{\varepsilon}, \end{gather*} для которого справедливо уравнение в вариациях \begin{gather*} \begin{cases} \displaystyle \frac{dy(t)}{dt} = \bigg( \frac{\partial f}{\partial x} \bigg) y(t), \\ y(\tau) = \delta x(\tau), \end{cases} \end{gather*} следовательно, $$ \delta x(t) = y(t) $$. Лемма доказана.

Пользуясь полученным представлением для $$x_{\varepsilon} $$, теперь мы можем завершить доказательство теоремы. \begin{gather*} \displaystyle \frac{ \mathcal{J}[u_{\varepsilon}(\cdot)] - \mathcal{J}[u(\cdot)]}{\varepsilon} = \frac{1}{\varepsilon} \int\limits_{\tau - \varepsilon}^{\tau} [ f^{0}(x_{\varepsilon}(s), v) - f^{0}(x^{*}(s), u^{*}(s))] ds + \frac{1}{\varepsilon} \int\limits_{\tau}^{t_{1}} [ f^{0}(x_{\varepsilon}(s), u^{*}(s)) - f^{0}(x^{*}(s), u^{*}(s))] ds + \frac{\phi(x_{\varepsilon}(t-{1})) - \phi(x^{*}(t-{1}))}{\varepsilon} \equiv \\ \equiv I_{1} + I_{2} + I_{3}. \end{gather*} Каждый из интегралов рассмотрим отдельно. По теореме о производной сложной функции, \begin{gather*} \displaystyle I_{3} \xrightarrow[\varepsilon \to +0]{} \bigg{\langle} \frac{\partial \phi(x^{*}(t_{1}))}{\partial x}, \delta x(t_{1}) \bigg{\rangle} = \hat{I}_{3}. \end{gather*} Первый интеграл разобьем на два : \begin{gather*} \displaystyle I_{1} = \frac{1}{\varepsilon} \int\limits_{\tau - \varepsilon}^{\tau} [ f^{0}(x_{\varepsilon}(s), v) - f^{0}(x^{*}(s), v)]ds + \frac{1}{\varepsilon} \int\limits_{\tau - \varepsilon}^{\tau} [ f^{0}(x_{*}(s), v) - f^{0}(x^{*}(s), u^{*}(s))]ds \\ \Rightarrow I_{1} \xrightarrow[\varepsilon \to +0]{} 0 + [ f^{0}(x_{*}(\tau), v) - f^{0}(x^{*}(\tau), u^{*}(\tau))] = \hat I_{1}. \end{gather*} Второй: \begin{gather*} \displaystyle I_{2} \xrightarrow[\varepsilon \to +0]{} \int\limits_{\tau}^{t_{1}} \bigg{\langle} \frac{ \partial f^{0}(x^{*}(s), u^{*}(s))}{\partial x}, \delta x(s) \bigg{\rangle} ds = \hat{I}_{2} \end{gather*} $$ \hat{I}_{1} + \hat{I}_{2} + \hat{I}_{3} \geqslant 0 $$ — в силу обозначенного ранее необходимого условия существования экстремума. Получим из этого (УМ): \begin{gather*} \begin{cases} \displaystyle \frac{d \psi^{*}}{dt} = \frac{\partial f^{0}}{\partial x} - \bigg( \frac{\partial f}{\partial x} \bigg)^{T} \psi^{*}, \\ \displaystyle \psi^{*}(t_{1}) = - \frac{\partial f}{\partial x} (x^{*}(t_{1})). \end{cases} \\ \displaystyle \frac{d}{dt} \langle \psi^{*}(t), \delta x(t) \rangle = \bigg{\langle} \frac{\partial f^{0}}{\partial x} - \bigg( \frac{\partial f}{\partial x} \bigg)^{T} \psi^{*}, \delta x \bigg{\rangle} + \bigg{\langle} \psi^{*}, \frac{\partial f}{\partial x} \delta x \bigg{\rangle} = \bigg{\langle} \frac{\partial f^{0}}{\partial x}, \delta x \bigg{\rangle}, \end{gather*} а это подынтегральное выражение из $$ \hat{I}_{2} $$. Используем формулу Ньютона-Лейбница : \begin{gather*} \hat{I}_{2} = \int\limits_{\tau}^{t_{1}} \bigg{\langle} \frac{\partial f^{0}}{\partial x}, \delta x \bigg{\rangle} ds = \langle \psi^{*}(t_{1}), \delta x(t_{1}) \rangle - \langle \psi^{*}(\tau), \delta x(\tau) \rangle . \end{gather*} Итак, \begin{gather*} \displaystyle \hat{I}_{2} = - \bigg{\langle} -\frac{\partial \phi}{\partial x} (x^{*}(t_{1})), \delta x(t_{1}) \bigg{\rangle} - \langle \psi^{*}(\tau), f(x^{*}(\tau), v) - f^{*}(x^{*}(\tau), u^{*}(\tau)) \rangle . \end{gather*} Тогда \begin{gather*} \hat{I}_{2} + \hat{I}_{3} = - \langle \psi^{*}(\tau), f(x^{*}(\tau), v) - f^{*}(x^{*}(\tau), u^{*}(\tau)) \rangle \Rightarrow \\ \Rightarrow \hat{I}_{1} + \hat{I}_{2} + \hat{I}_{3} = [f^{0}(x^{*}(\tau), v) - \langle \psi^{*}(\tau), f(x^{*}(\tau), v) \rangle ] - [f^{0}(x^{*}(\tau), u^{*}(\tau)) - \langle \psi^{*}(\tau), f(x^{*}(\tau), u^{*}(\tau) \rangle ] \geqslant 0 \Rightarrow (УМ). \end{gather*} Теорема доказана.

Пример

Условие задачи \begin{gather*} \displaystyle \mathcal{J} = \int\limits_{0}^{1} (u_{1} + u^{2}_{1} + x^{2}_{1} - x_{2} )dt + x^{2}_{1}(0)x_{2}(1) \to \inf, \\ \begin{cases} \displaystyle \dot{x}_{1} = u_{2}, \\ \dot{x}_{2} = 2u_{2} + u_{1} + x_{1}u_{2}, x_{1}(1) = 0, |u_{2}| \leqslant 1, u_{1} \in \mathbb{R} . \end{cases} \end{gather*} Решение. Вводим переменную отвечающую интегральной части функционала: \begin{gather*} \begin{cases} \displaystyle \dot{x}_{0} = u_{1} + u^{2}_{1} + x^{2}_{1} - x_{2}, \\ x_{0}(0) = 0, \end{cases} \end{gather*} тогда \begin{gather*} \mathcal{J} = x_{0}(1) + x^{2}_{1}(0)x_{2}(1) \to \inf{} . \end{gather*} Теперь введем $$ e = (t_{0}, \bar x^{0}, t_{1}, \bar x^{1}) = (0, [x^{0}_{0}, x^{0}_{1}, x^{0}_{2}]^{T}, 1, [x^{1}_{0}, x^{1}_{1}, x^{1}_{2}]^{T}) $$, \begin{gather*} \mathcal{L} = \lambda_{0}(x^{1}_{0} + (x^{0}_{1})^{2} x^{1}_{2}) + \lambda_{1}(t_{0} - 0) + \lambda_{2} (t_{1} - 1) + \lambda_{3} (x^{0}_{0} - 0) + \lambda_{4} (x^{1}_{1} - 0) \\ \mathcal{H} = \psi_{0}(u_{1} + u^{2}_{1} + x^{2}_{1} - x_{2}) + \psi_{1} u_{2} + \psi_{2} (2u_{2} + u_{1} + x_{1} u_{2} ). \end{gather*} Сопряженная система имеет вид : \begin{gather*} \begin{cases} \dot{\psi}_{0} = 0, \\ \dot{\psi}_{1} = -2x_{1} \psi_{0} - \psi_{2}u_{2}, \\ \dot{\psi}_{2} = \psi_{0} . \end{cases} \end{gather*} Условие максимума : \begin{gather*} u^{*}_{2} = \begin{cases} 1, & \psi_{1} + 2\psi_{2} + x_{1} \psi_{2} > 0 \\ [-1, 1], & \psi_{1} + 2\psi_{2} + x_{1} \psi_{2} = 0, \\ -1, & \psi_{1} + 2\psi_{2} + x_{1} \psi_{2} < 0.\\ \end{cases} \end{gather*} Теперь найдем $$ u^{*}_{1} $$. Пусть $$ \psi_{0} \neq 0 (\psi_{0} < 0) $$, тогда $$ u^{*}_{1} $$ - вершина параболы, направленной ветвями вниз : $$ \displaystyle u^{*}_{1} = - \frac{\psi_{2} + \psi_{0}}{2\psi_{0}} $$. Теперь запишем условие трансверсальности : \begin{gather*} \psi_{0}(1) = \lambda_{0} \leqslant 0 \\ \psi_{0}(0) = -\lambda_{3} \\ \psi_{1}(1) = \lambda_{4} \\ \psi_{1}(0) = -2\lambda_{0}x^{0}_{1} x^{1}_{2} \\ \psi_{2}(1) = \lambda_{0} (x^{0}_{1})^{2} \\ \psi_{2}(0) = 0 \\ \mathcal{H} |_{t = 1} = -\lambda_{2} \\ \mathcal{H} |_{t = 0} = \lambda_{1}. \end{gather*} Кроме того, \begin{gather*} \psi_{1}(0) = 2x_{1}(0) x_{2}(1) \\ \psi_{2}(1) = -(x_{1}(0))^{2} \\ \psi_{2}(0) = 0 \\ \psi_{0} \equiv -1 \end{gather*} и сопряженная система принимает вид : \begin{gather*} \begin{cases} \dot{\psi}_{1} = 2x_{1} - \psi_{2}u_{2} \\ \dot{\psi}_{2} = -1 \end{cases} \\ \displaystyle u^{*}_{1} = \frac{\psi_{2} -1}{2} \\ \mathcal{H} |_{u = u^{*}(t)} \equiv const \end{gather*}

Список литературы

1) Комаров Ю.A. Лекции по курсу "Оптимальное управление", 2020/2021.

2) Понтрягин Л.С., Болтянский В.Г., Гамкрелидзе Р.В., Мищенко Е.Ф. "Математическая теория оптимальных процессов", М.: Наука, 1983.

3) Моисеев А.А. "Лекции по математическому анализу", 2021.