Производные и дифференциалы Фреше

Определение дифференцируемости по Фреше

Рассмотрим $$X, Y$$ --- нормированные пространства с нормами $$||\cdot||_1, ||\cdot||_2$$ соответственно и $$F: X \mapsto Y$$ --- определенное на некотором открытом подмножестве $$O\subset X$$ отображение (например, $$O$$ --- открытый шар заданного радиуса).

Обозначим $$\mathcal{L}_x(X,Y)$$ --- множество линейных ограниченных операторов $$L: X \mapsto Y$$.

Определение. Отображение $$F: X \mapsto Y$$ называется дифференцируемым по Фреше в точке $$x\in O$$, если существует линейный ограниченный оператор $$L_x \in \mathcal{L}(X,Y)$$ \begin{equation}\label{main_def} \forall\varepsilon > 0~\exists\delta=\delta(\varepsilon):~ \forall h\in X:~ ||h||_1<\delta \quad\Longrightarrow\quad ||F(x+h)-F(x)-L_{x}h||_2 \leqslant \varepsilon||h||_1 \end{equation} или, что то же самое, но сокращённо, \begin{equation*} F(x+h) - F(x) - L_xh = o(h), \end{equation*} где $$o(h)$$ --- это такое отображение, действующее из $$X$$ в $$Y$$, что \begin{equation*} \lim_{||h||_1\to 0}\dfrac{||o(h)||_2}{||h||_1} = 0. \end{equation*} При этом линейный оператор $$L_x(\cdot)$$ называется производной Фреше отображения $$F$$ в точке $$x$$, а выражение $$L_xh:=L_x(h)$$ --- дифференциалом Фреше.

Производная Фреше составляет главную линейную часть приращения отображения $$F$$.

Всюду далее будем опускать индексы среди $$||\cdot||_1, ||\cdot||_2$$, подразумевая подходящую аргументу норму.

Свойства дифференцируемости по Фреше

Далее обозначим производную Фреше в точке $$x$$ отображения $$F$$ как $$F'(x)$$. Под этим символом понимаем линейный оператор $$L_x(\cdot)$$.

1. Если отображение $$F$$ дифференцируемо по Фреше в точке $$x$$, то $$F$$ является непрерывным в точке $$x$$.

Доказательство. Следует из \eqref{main_def} и ограниченности производной Фреше.

2. Если отображение $$F$$ дифференцируемо по Фреше в точке $x$, то производная Фреше определяется единственным образом.

Доказательство. Допустим, что $\exists L_1, L_2 \in \mathcal{L}(X,Y)$, которые удовлетворяют определению \eqref{main_def}. Тогда выполняется равенство $$||L_1h - L_2h|| = o(h)$$, что возможно только при $$L_1=L_2$$.

3. Если $$F(x)=\operatorname{const}$$, то $$F'(x)\equiv 0$$. Т.е. $$F'(x)$$ --- нулевой оператор.

Доказательство. По определению получим, что $$L_xh = o(h)$$. Это возможно только если линейный оператор $$L_x$$ является нулевым.

4. Производная Фреше линейного ограниченного (следовательно, непрерывного) отображения $$L$$ совпадает с самим отображением: $$L'(x) = L, \forall x.$$

Доказательство. По определению линейности $$L$$ имеем, что $$L(x+h) - L(x) = L(h)$$, откуда следует требуемое.

5. Пусть $$F$$ и $$G$$ --- непрерывные отображения, действующие из $$X$$ в $$Y$$. Если $$F$$ и $$G$$ дифференцируемы по Фреше в точке $$x_0$$, то и отображения $$F+G,~\alpha F$$ ($$\alpha$$ --- число, т.е. элемент поля, над которым определено пространство $$Y$$) тоже дифференцируемы в этой точке, причем их производные Фреше вычисляются по формуле: \begin{align*} (F + G)'(x_0) &= F'(x_0) + G'(x_0), \\ (\alpha F)'(x_0) &= \alpha F'(x_0) \end{align*}

Доказательство. Из определения суммы операторов и произведения операторов на число сразу получаем, что \begin{align*} (F+G)(x_0+h) &= F(x_0+h) + G(x_0+h) = F(x_0) + G(x_0) + F'(x_0)h + G'(x_0)h + o_1(h), \\ \alpha F(x_0+h) &= \alpha F(x_0) + \alpha F'(x_0)h + o_2(h), \end{align*} откуда следует требуемое.

6. (правило Лейбница). Пусть $$F: U\mapsto Y, G: U\mapsto\mathbb{R}$$ дифференцируемы по Фреше в точке $$x_0$$. Тогда отображение $$G(x)=g(x)F(x)$$ дифференцируемо по Фреше в точке $$x_0$$, причём \begin{equation*} G'(x_0)h = g'(x_0)h\cdot F(x_0) + g(x_0)\cdot F'(x_0)h. \end{equation*}

Доказательство. Пусть отображения дифференцируемы по Фреше. Тогда при $$||h||\to0$$ выполняется \begin{align*} G(x_0+h) = g(x_0+h)F(x_0+h) &= (g(x_0)+g'(x_0)h + o(h))\cdot(F(x_0)+F'(x_0)h + o(h)) = \\ &= g(x_0)F(x_0) + g'(x_0)h\cdot F(x_0) + g(x_0)\cdot F'(x_0)h + o(h). \end{align*}

Производная Фреше сложной функции

Под понятием дифференцируемости далее подразумеваем дифференцируемость в смысле Фреше, если не указано иначе.

Теорема 1. Пусть $$X,Y,Z$$ --- нормированные пространства, $$U(x_0)$$ --- окрестность точки $$x_0\in X$$, $$F$$ --- отображение этой окрестности в $$Y$$, $$y_0 = F(x_0)$$, $$V(y_0)$$ --- окрестность точки $$y_0 \in Y$$ и $$G$$ --- отображение этой окрестности в $$Z$$. Тогда, если отображение $$F$$ дифференцируемо в точке $$x_0$$, а $$G$$ дифференцируемо в точке $$y_0$$, то отображение $$H = G\circ F$$, определенное в некоторой окрестности точки $$x_0$$ также является дифференцируемым в точке $$x_0$$, причём \begin{equation}\label{chain_rule} H'(x_0) = G'(y_0)\cdot F'(x_0). \end{equation}

Доказательство. Рассмотрим $$\varepsilon_1,\varepsilon_2 > 0$$. По определению дифференцируемости имеем \begin{align*} \exists\delta_1(\varepsilon_1) > 0: ~\forall \xi:||\xi||<\delta_1 &~\Longrightarrow~ ||F(x_0+\xi) - F(x_0) - F'(x_0)\xi|| < \varepsilon_1, \\ \exists\delta_2(\varepsilon_2) > 0: ~\forall \eta:||\eta||<\delta_2 &~\Longrightarrow~ ||G(y_0+\eta) - G(y) - G'(y_0)\eta|| < \varepsilon_2. \end{align*} Выберем $$\delta = \min(\delta_1, \delta_2),~\varepsilon=\max(\varepsilon_1,\varepsilon_2)$$. Зафиксируем $$\xi,\eta:~ ||\xi||<\delta, ||\eta||<\delta$$.

Отметим, что $$F'(x_0), G'(y_0)$$ --- ограниченные линейные операторы. Тогда существует отображение $$G'(F(x_0))\cdot F'(x_0) =: M(x_0)$$, оно является ограниченным, причём \begin{align*} H(x_0+\xi) &= G(F(x_0+\xi)) = G(F(x_0) + F'(x_0)\xi + o(\xi)) = G(F(x_0)) + G'(F(x_0))(F'(x_0)\xi + o_1(\xi)) + o_2(F'(x_0)\xi + o_1(\xi)) = \\ &= H(x_0) + G'(F(x_0))F'(x_0)\xi + o_3(\xi). \end{align*}

Замечание. Если $$F, G, H$$ --- числовые функции, то формула \eqref{chain_rule} превращается в известное из курса математического анализа правило дифференцирования сложной функции.

Определение дифференцируемости по Гато

Пусть снова дано отображение $$F: X\mapsto Y$$.

Определение. Дифференциалом Гато отображения $$F$$ в точке $$x$$ при приращении $$h$$ называется предел \begin{equation*} DF(x,h) = \dfrac{d}{dt}F(x+th)\bigg\vert_{t=0} = \lim_{t\to 0}\dfrac{F(x+th)-F(x)}{t}, \end{equation*} где подразумевается сходимость по норме в пространстве $$Y$$: \begin{equation*} \forall \{ t_n \}_{n=1}^{\infty}: t_n\to0 \quad\Longrightarrow\quad \bigg|\bigg|\dfrac{F(x+t_nh)-F(x)}{t_n} - DF(x, h) \bigg|\bigg| \to 0. \end{equation*}

Пример. Пусть $$F:\mathbb{R}^n\mapsto\mathbb{R}^m$$ дифференцируемо по Гато в точке $$x_0$$ и имеет слабую производную $$F'_c(x_0): \mathbb{R}^n\mapsto\mathbb{R}^m$$.

Тогда слабая производная задаётся матрицей $$A=(a_{ij})_{i=\overline{1,n},j=\overline{1,m}}$$, где \begin{equation*} a_{ij} = \dfrac{\partial F_i}{\partial x_j}(x_0), \end{equation*} т.е. $$A$$ --- матрица Якоби.

Замечания. 1. Иногда в литературе называют производную Фреше сильной производной, а производную Гато --- слабой производной. Аналогично поступают с дифференциалами. Далее будет показано, что из дифференцируемость по Фреше следует дифференцируемость по Гато, но не наоборот, что объясняет названия.

2. Дифференциал Гато $$DF(x,h)$$ может и не быть линеен по $$h$$. Если же такая линейность имеет место, то \begin{equation*} DF(x,h) = F'_c(x)h, \end{equation*} где $$F'_c(x)h$$ --- ограниченный линейный оператор, его обычно называют производной Гато.

3. Теорема о дифференцировании сложной функции, вообще говоря, неверна для производной Гато.

Пример: рассмотрим функции \begin{equation*} f(x_1, x_2) = \begin{cases}\begin{array}{cc} \dfrac{x_1^3}{x_2}, & x_2\neq0, \\ 0, & x_2=0. \end{array}\end{cases},\qquad g(t) = (t, t^2) \in \mathbb{R}^2 \end{equation*} и их композицию $$l(t) = f(g(t)) = f(t, t^2)$$. Дифференциалы Гато в точках $$x=(0,0)$$ при приращениях $$h=(h_1,h_2), h_2\neq 0, a\neq0$$ равен \begin{align*} Df(x, h) &= \lim_{t\to0}\dfrac{f(th_1, th_2) - f(0, 0)}{t} = \lim_{t\to0} \dfrac{th_1^3}{h_2} = 0. \\ Dg(0, a) &= \lim_{t\to0}\dfrac{||(ta,t^2a^2)||}{t} = \lim_{t\to0}\dfrac{\sqrt{t^2a^2+t^4a^4}}{t} = |a|. \\ Dl(x, a) &= \lim_{t\to0}\dfrac{l(ta, ta) - l(0, 0)}{t} = \lim_{t\to0} \dfrac{\frac{t^3a^3}{t^2a^2}}{t} = a. \end{align*} Следовательно, $$Dl(t, a) \neq Dg(f(x), a) \cdot Df(x, h)$ при $t\in\mathbb{R}, h\neq 0, a\neq 0$$.

Формула конечных приращений

Теорема 2. Пусть $$U\subset X$$ --- открытое множество, отрезок $$[x_0, x_1] \subset U$$, отображение $$F: U\mapsto Y$$ дифференцируемо по Гато и имеет слабую производную $$F'_c(x)$$ в каждой точке отрезка $$[x_0, x_1]$$. Тогда \begin{equation*} ||F(x_1) - F(x_0)|| \leqslant \sup_{0\leqslant\theta\leqslant1}||F'_c(x_0+\theta(x_1-x_0))||\cdot||x_1-x_0||. \end{equation*}

Доказательство. Положим $$\Delta x = x_1-x_0$$. Рассмотрим произвольный линейный ограниченный ненулевой функционал $$\phi\in Y^*$$ и числовую функцию \begin{equation*} f(t) = \phi(F(x_0+t\Delta x)),\quad t\in[0,1]. \end{equation*} Эта функция дифференцируема по $$t$$, ведь в выражении \begin{equation*} \dfrac{f(t+\Delta t) - f(t)}{\Delta t} = \phi\left( \dfrac{F(x_0+t\Delta x + \Delta t\Delta x) - F(x_0 + t\Delta x)}{\Delta t} \right) \end{equation*} можно перейти к пределу под знаком непрерывного линейного функционала $$\phi$$. В итоге получим \begin{equation*} f'(t) = \phi\left(F'_c(x_0+t\Delta x)\Delta x\right). \end{equation*} Далее, для функции $$f(t)$$ применим формулу конечных приращений Лагранжа: $$f(1)=f(0)+f'(\theta),~\theta\in[0,1]$$. Следовательно, для произвольного $$\phi\in Y^*$$ получим \begin{equation*} \phi(F(x)-F(x_0)) = \phi(F'_c(x_0+\theta\Delta x)\Delta x). \end{equation*} Применим формулу конечных приращений \begin{equation*} |\phi(F(x)-F(x_0))| \leqslant ||\phi||\cdot \sup_{\theta\in[0,1]} ||F'_c(x_0+\theta\Delta x)||\cdot||\Delta x||. \end{equation*} Напоминание. (следствие из теоремы Хана Банаха). Пусть $$X$$ --- нормированное пространство, $$x\in X$$. Тогда существует вектор $$x^*\in X^*$$ такой, что $$||x^*||=1, x^*(x)=||x||$$. Выберем теперь ненулевой функционал $$\phi$$ так, что (такой функционал $$\phi$$ существует в силу следствия их теоремы Хана Банаха) \begin{equation*} \phi(F(x)-F(x_0)) = ||\phi||\cdot||F(x)-F(x_0)||. \end{equation*} Следовательно, \begin{equation*} ||F(x_1) - F(x_0)|| \leqslant \sup_{0\leqslant\theta\leqslant1}||F'_c(x_0+\theta(x_1-x_0))||\cdot||x_1-x_0||, \end{equation*} что и требовалось доказать.

Замечание. Если $$F: X\mapsto\mathbb R$$, то существует $$x\in[x_0,x_1]:~F(x_1)-F(x_0)=F'(x)(x_1-x_0)$$.

Связь производных Гато и Фреше

Теорема 3. Если отображение $$F$$ имеет сильную производную (Фреше), то оно имеет и слабую производную (Гато), причем сильная и слабая производные совпадают.

Доказательство. Действительно, выберем приращение $$\tilde h = th$$: \begin{align*} & F(x+th) - f(x) = F'(x)(th) + o(th) = tF'(x)h + o(th). \Longrightarrow \\ \Longrightarrow & \dfrac{F(x+th) - F(x)}{t} = F'(x)h + \dfrac{o(th)}{t} \to F'(x)h,~ t\to0. \end{align*}

Пример. Из слабой дифференцируемости отображения $$F$$ не следует его сильная дифференцируемость. Рассмотрим $$F: \mathbb{R}^2\mapsto\mathbb{R}$$: \begin{equation*} f(x_1, x_2) = \begin{cases}\begin{array}{cc} \dfrac{x_1^3x_2}{x_1^4+x_2^2}, & (x_1,x_2)\neq(0,0), \\ 0, & (x_1,x_2)=(0,0). \end{array}\end{cases} \end{equation*} Эта функция непрерывна в $$\mathbb{R}^2\setminus\{(0,0)\}$$.

В точке $$(0,0)$$ её производная Гато существует и равен $$0$$, поскольку \begin{equation*} \lim_{t\to0} \dfrac{f(0+th)-f(0)}{t} = \lim_{t\to0}\dfrac{t^4h_1^3h_2}{t^5h_1^4+t^3h_2^2} = 0. \end{equation*} Однако этот дифференциал не является главной линейной частью приращения функции в $(0,0)$.

При $$h_2=h_1^2$$ имеем \begin{equation*} \lim_{||h||\to0} \dfrac{f(h_1,h_2)-f(0,0)}{||h||} = \lim_{h_1\to0}\dfrac{h_1^5}{2h_1^4\sqrt{h_1^2+h_1^4}} = \dfrac{1}{2} \neq 0. \end{equation*}

Для функций с линейной непрерывной по $$x$$ производной Гато $$F'_c(x)$$ слабая и сильная производные совпадают. Об этом утверждает следующая теорема.

Теорема 4. Если слабая производная $$F'_c(x)$$ отображения $$F$$ существует в некоторой окрестности $$U(x_0)$$, является непрерывной по $$x$$ в точке $$x_0$$, то сильная производная $$F'(x_0)$$ существует и совпадает со слабой.

Доказательство. Выберем $$\varepsilon>0$$ и $$\delta>0$$ так, чтобы при $$||h||<\delta$$ выполнялось неравенство: \begin{equation*} ||F'_c(x_0+h) - F'_c(x_0)|| \leqslant \varepsilon. \end{equation*} Применим формулу конечных приращений и получим \begin{equation*} ||F(x_0+h) - F(x_0) - F'_c(x_0)h|| \leqslant \sup_{\theta\in[0,1]}||F'_c(x_0+\theta h)-F'_c(x_0)||\cdot||h|| \leqslant \varepsilon||h||. \end{equation*} Следовательно, сильная производная существует по определению и совпадает со слабой.

Примеры вычисления дифференциалов

Рассмотрим $$H$$ --- гильбертово пространство, наделённое скалярным произведением $$\langle \cdot,\cdot \rangle_H$$, и $$J(u):H\mapsto\mathbb{R}$$.

1. $$J(u)=\langle c,u \rangle_H$$. \begin{gather*} J(u+h)-J(u) = \langle c,u+h \rangle_H - \langle c,u \rangle_H = \langle c,h \rangle_H = J'(u)h. \\ \Longrightarrow J'(u) = c. \end{gather*}

2. $$J(u)=||u||^2_H = \langle u,u \rangle_H$$. \begin{gather*} J(u+h)-J(u) = \langle u+h,u+h \rangle_H - \langle u,u \rangle_H = 2\langle u,h \rangle_H. \\ \Longrightarrow J'(u) = 2u. \end{gather*}

3. $$J(u)=\langle Au,u \rangle_H$$, где $$A: H\mapsto H$$ --- произвольный оператор, $$A^*$$ --- сопряженный к $$A$$ оператор: $$\langle Au,v \rangle_H = \langle u,A^*v \rangle_H,~ \forall u,v\in H$$. \begin{gather*} J(u+h)-J(u) = \langle A(u+h),u+h \rangle_H - \langle Au,u \rangle_H = \langle (A+A^*)u,h \rangle_H + \underbrace{\langle Ah,h \rangle_H}_{\to0}. \\ \Longrightarrow J'(u) = (A+A^*)u. \end{gather*}

4. $$J(u)=||Au-f||^2 = \langle Au-f,Au-f \rangle_H$$, где $$f\in H$$ и $$A: H\mapsto H$$ --- произвольный оператор. \begin{align*} \langle Au-f,Au-f \rangle_H &= \langle Au - f,Au \rangle_H - \langle Au - f,f \rangle_H = \\ &= \langle Au,Au \rangle_H - \langle f,Au \rangle_H - \langle Au, f \rangle_H + \langle f,f \rangle_H = \\ &= \langle Au,Au \rangle_H - 2\langle f,Au \rangle_H + \langle f,f \rangle_H. \end{align*}

\begin{align*} \langle A(u+h)-f,A(u+h)-f \rangle_H &= \langle A(u+h),A(u+h) \rangle_H - 2\langle f,A(u+h) \rangle_H + \langle f,f \rangle_H. \end{align*}

\begin{align*} J(u+h)-J(u) &= \langle A(u+h)-f,A(u+h)-f \rangle_H - \langle Au-f,Au-f \rangle_H = \\ &= \left(\langle A(u+h),A(u+h) \rangle_H - \langle Au,Au \rangle_H\right) - 2(\langle f,A(u+h) \rangle_H - \langle f,Au \rangle_H) = \\ &= \langle (A^*A + AA^*)u,h \rangle_H - 2\langle f,Ah \rangle_H + o(h) = \\ &= \langle (A^*A + AA^*)u-2A^*f,h \rangle_H + o(h). \\ &\Longrightarrow J'(u) = (A^*A + AA^*)u-2A^*f. \end{align*}

Список литературы

1. Колмогоров A.Н., Фомин С.В. Элементы теории функций и функционального анализа. 7-е изд. М.: ФИЗМАТЛИТ, 2004.

2. Треногин В.А. Функциональный анализ: учебник. 3-е изд. М.: ФИЗМАТЛИТ, 2002.

3. Лекции по курсу "Методы оптимизации", 2024.