Теория двойственности Фенхеля-Моро
Содержание
Определения
Пусть $$X$$ — гильбертово пространство.
Через $$\overline{\mathbb{R}}$$ будем обозначать расширенную вещественную прямую, $$\overline{\mathbb{R}} = \mathbb{R} \cup \left\{ -\infty; +\infty \right\}$$.
Будем рассматривать функции $$f: X \to \overline{\mathbb{R}}$$.
Определение 1.
Надграфиком функции $$f$$ называется множество
\[
\text{epi} \, f = \left\{ \left( x,\alpha \right) \in X\times \mathbb{R} : f(x) \leqslant \alpha\right\}.
\]
Определение 2.
Эффективным множеством функции $$f$$ называется множество
\[
\text{dom} \, f = \left\{ x \in X : f(x) \lt +\infty \right\}.
\]
Определение 3.
Функция $$f$$ называется собственной, если $$\text{dom} \, f \neq \varnothing$$ и $$f(x) \gt -\infty \; \forall x$$.
Определение 4.
Функция $$f$$ называется выпуклой, если ее надграфик $$\text{epi} \, f$$ является выпуклым множеством.
Определение 5.
Функция $$f$$ называется замкнутой, если ее надграфик $$\text{epi} \, f$$ замкнут.
Сопряженная функция
Определение.
Функцией, сопряженной к $$f$$, называется функция, определенная формулой
\[
f^*(x^*) = \underset{x \in X}{\text{sup}}\left( \left\langle x^*,x \right\rangle - f(x) \right),
\]
где $$x^*$$ — обозначение для аргумента сопряженной функции.
Из определения сопряженной функции вытекает неравенство Юнга-Фенхеля
\[
f^*(x^*) + f(x) \geqslant \left\langle x, x^* \right\rangle \; \forall x,x^* \in X.
\]
Вторая сопряженная функция $$f^{**}$$ определяется по формуле $$f^{**}=(f^*)^*$$.
Пример 1.
Для аффинной функции $$f(x) = \left\langle a,x \right\rangle + b$$ сопряженная функция вычисляется по формуле
\[
f^*(x^*) =
\begin{cases}
-b, &x^* = a;\\
+\infty, &x^* \neq a.
\end{cases}
\]
Пример 2.
Для произвольной выпуклой функции $$f$$ умножение на положительный скаляр $$\lambda \gt 0$$ определяется соотношением
\[
\left( \lambda f \right)(x) = \lambda f(x), \; \forall x \in X.
\]
Непосредственно вычисляется, что
\[
\left( \lambda f \right)^*(x^*) \equiv \lambda f^*(x^*/\lambda), \; x^* \in X.
\]
Пример 3.
Пусть $$M$$ — евклидово пространство, и пусть $$f: M \to \mathbb{R}$$ — функция $$f(x) = \left\langle a,x \right\rangle$$, где $$a \in M$$. Поскольку
\[
\underset{x\in M}{\text{sup}}\left\{ \left\langle s,x \right\rangle - \left\langle a,x \right\rangle \right\} = \underset{x\in M}{\text{sup}} \left\langle s-a,x \right\rangle =
\begin{cases}
0, &s = a;\\
+\infty, &s \neq a.
\end{cases}
\]
для всех $$s \in M$$, то сопряженная функция $$f^*$$ — индикаторная функция $$\delta_\left\{ a \right\}$$ одноэлементного множества $$\left\{ a \right\}$$.
Вспомогательная лемма
Лемма. Пусть функция $$f$$ — выпуклая, замкнутая, собственная. Тогда $$f^*$$ — также собственная функция.
Доказательство
Докажем, что $$f^∗(x^∗) \gt -\infty$$ $$\forall x^∗ \in X$$. Возьмем $$x_0 \in \text{dom} \, f \neq \varnothing$$. Тогда $$f^∗(x^∗) \geqslant \left\langle x_0, x^∗\right\rangle − f(x_0) \gt -\infty$$, так как $$f(x_0) \lt +\infty$$.
Остается доказать существование вектора $$y^∗ \in X$$, для которого $$f^∗(y^∗) \lt +\infty$$.
Очевидно, точка $$(x_0, f(x_0) − 1)$$ не принадлежит замкнутому выпуклому множеству $$\text{epi} \, f$$. Следовательно, по теореме об отделимости ее можно строго отделить от выпуклого замкнутого множества $$\text{epi} \, f$$. Поэтому существуют $$y^∗ \in X$$ и $$\beta \in \mathbb{R}$$ такие, что
\begin{equation}
\label{1}
\underset{(x,\alpha) \in \text{epi} \, f}{\text{sup}}\left\{ \beta\alpha + \left\langle y^*,x \right\rangle \right\} \lt \beta (f(x_0) - 1) + \left\langle y^*, x_0 \right\rangle.
\end{equation}
Докажем, что $$\beta \lt 0$$. Действительно, предположим обратное. Случай $$\beta \gt 0$$ невозможен, так как $$(x_0, \alpha) \in \text{epi} \, f\;$$ $$\forall \alpha
\geqslant f(x_0) \neq +\infty$$ и, значит, при $$\beta \gt 0$$ имеет место $$\underset{(x_0,\alpha) \in \text{epi} \, f}{\text{sup}}\beta \alpha = +\infty$$, что противоречит неравенству ($$\ref{1}$$).
Пусть теперь $$\beta = 0$$. Тогда
\[
\underset{(x,\alpha) \in \text{epi} \, f}{\text{sup}} \left\langle y^*, x \right\rangle \lt \left\langle y^*, x_0 \right\rangle,
\] хотя
\[
(x_0, f(x_0)) \in \text{epi} \, f \implies \underset{(x,\alpha) \in \text{epi} \, f}{\text{sup}} \left\langle y^*, x \right\rangle \geqslant \left\langle y^*, x_0 \right\rangle.
\]
Полученное противоречие доказывает, что $$\beta \lt 0$$. Поэтому, в силу положительной однородности неравенства ($$\ref{1}$$) по переменной $$(y^∗, \beta)$$,
не теряя общности, будем считать, что $$\beta = -1$$.
В силу ($$\ref{1}$$) имеем
\[
f^*(y^*) = \underset{x}{\text{sup}} \left\{ -f(x) + \left\langle y^*,x \right\rangle \right\} = \underset{(x,\alpha) \in \text{epi} \, f}{\text{sup}} \left\{ -\alpha + \left\langle y^*,x \right\rangle \right\} \lt -(f(x_0) - 1) + \left\langle y^*, x_0 \right\rangle \implies f^*(y^*) \lt +\infty.
\]
Значит, функция $$f^*$$ является собственной.$$\;\;\blacksquare$$
Теорема Фенхеля-Моро
Теорема. Пусть функция $$f$$ — выпуклая, замкнутая, собственная. Тогда $$f^{**} = f$$.
Доказательство
Покажем, что $$f^{**} \leqslant f$$. В силу неравенства Юнга-Фенхеля $$\forall x \in X$$ имеем
\[
f(x) \geqslant \left\langle x, x^* \right\rangle - f^*(x^*) \; \forall x^* \in X \implies f(x) \geqslant \underset{x^*}{\text{sup}}\left\{ \left\langle x, x^* \right\rangle - f^*(x^*) \right\} = f^{**}(x).
\]
Остается показать, что $$f^{**} \geqslant f$$.
Предположим противное. Тогда существует $$x_0 \in X$$, для которого $$f^{∗∗}(x_0) \lt f(x_0)$$. Поэтому точка $$(x_0, f^{∗∗}(x_0))$$ строго отделима от выпуклого замкнутого множества $$\text{epi} \, f$$. Значит, существуют $$y^∗ \in X$$ и $$\beta \in \mathbb{R}$$ такие, что
\begin{equation}
\label{2}
\beta f^{**}(x_0) + \left\langle y^*,x_0 \right\rangle \gt \underset{(y,\alpha) \in \text{epi} \, f}{\text{sup}}\left( \beta\alpha + \left\langle y^*,y \right\rangle \right).
\end{equation}
Докажем, что $$\beta \lt 0$$. Действительно, случай $$\beta \gt 0$$ невозможен, что обосновывается так же, как и при доказательстве вспомогательной леммы, с учетом того, что $$\text{dom} \, f \neq \varnothing$$.
Пусть теперь $$\beta = 0$$. Тогда
\[
\gamma = \left\langle y^*, x_0 \right\rangle - \underset{y \in \text{dom} \, f}{\text{sup}} \left\langle y^*, y \right\rangle \gt 0.
\]
В силу леммы функция $$f^*$$ является собственной. Поэтому существует $$y^*_1 \in \text{dom} \, f^* \neq \varnothing$$. Для $$t \gt 0$$ имеем
\[
f^*(y^*_1+ty^*) = \underset{y \in \text{dom} \, f}{\text{sup}} \left( \left\langle y^*_1 + ty^*, y \right\rangle - f(y) \right) \leqslant \underset{y \in \text{dom} \, f}{\text{sup}} \left( \left\langle y^*_1, y \right\rangle - f(y) \right) + t \underset{y \in \text{dom} \, f}{\text{sup}} \left\langle y^*, y \right\rangle = f^*(y^*_1) + t \underset{y \in \text{dom} \, f}{\text{sup}} \left\langle y^*, y \right\rangle.
\]
Отсюда в силу неравенства Юнга-Фенхеля для функции $$f^*$$ вытекает
\[
f^{**}(x_0) \geqslant \left\langle y^*_1 + ty^*, x_0 \right\rangle - f^*(y^*_1 + ty^*) \geqslant \left\langle y^*_1, x_0 \right\rangle + t \left\langle y^*, x_0 \right\rangle - f^*(y^*_1) - t \underset{y \in \text{dom} \, f}{\text{sup}} \left\langle y^*, y \right\rangle = \left\langle y^*_1, x_0 \right\rangle - f^*(y^*_1) + t\gamma, \;\forall t\gt 0.
\]
Получили противоречие, так как $$\gamma \gt 0$$ и, значит, при больших $$t$$ значение $$t\gamma$$ может быть сделано как угодно большим и, следовательно, при достаточно больших $$t \gt 0$$ последнее неравенство выполняться не может.
Таким образом, доказано, что $$\beta \lt 0$$; значит, не теряя общности рассуждений, будем считать, что $$\beta = -1$$. В силу неравенства ($$\ref{2}$$) имеем
\[
-f^{**}(x_0) + \left\langle y^*, x_0 \right\rangle \gt \underset{y \in \text{dom} \, f}{\text{sup}} \left( -f(y) + \left\langle y^*,y \right\rangle\right) = f^*(y^*),
\]
откуда
\[
\left\langle y^*, x_0 \right\rangle \gt f^*(y^*) + f^{**}(x_0),
\]
что противоречит неравенству Юнга–Фенхеля для функции $$f^∗$$. Полученное противоречие доказывает, что $$f^{**} \geqslant f$$ и, значит, $$f^{∗∗} = f$$. $$\;\;\blacksquare$$
Список литературы
- Арутюнов А. В. "Лекции по выпуклому и многозначному анализу", М.: ФИЗМАТЛИТ, 2014.
