Ekstremum funkcji: Różnice pomiędzy wersjami
[wersja przejrzana] | [wersja przejrzana] |
Usunięta treść Dodana treść
AndrzeiBOT (dyskusja | edycje) m Drobne redakcyjne - poprawki linków, apostrofów, cudzysłowów... |
|||
Linia 2:
'''Ekstremum''' (l. mn. ''ekstrema''; z {{łac.|extrēmum}} – koniec) – maksymalna lub minimalna wartość [[Funkcja|funkcji]].
* Funkcja <math>f(x)
* Jeśli dodatkowo w pewnym otwartym [[otoczenie (matematyka)|sąsiedztwie]] punktu <math>x_0
* Minima i maksima lokalne są zbiorczo nazywane '''ekstremami lokalnymi'''.
* Największa i najmniejsza wartość funkcji w całej [[Dziedzina (matematyka)|dziedzinie]] nazywane są odpowiednio '''maksimum i minimum globalnym''', a zbiorczo '''ekstremami globalnymi'''.
'''Obrazowo:''' Na powierzchni Ziemi maksimum globalne [[wysokość bezwzględna|wysokości nad poziomem morza]] występuje na szczycie [[Mount Everest]]u, maksimum lokalnym jest szczyt każdego pagórka. Jeśli szczyt pagórka jest poziomy i płaski (a także niekiedy w innych przypadkach<ref>Ekstremum może nie być właściwe, nawet jeśli funkcja nie posiada odcinka stałego. Wystarczy, że w okolicach rozważanego ekstremum występuje nieskończona liczba ekstremów o tej samej wartości funkcji, tak że w każdym otoczeniu jest przynajmniej jedno. Zobacz sekcja [[#Proste przykłady ekstremów]].</ref>), nie będzie to maksimum lokalne właściwe.
Istnieją funkcje nieposiadające ekstremów lokalnych ani globalnych, np. funkcja <math>f(x)=x.
Poszukiwanie ekstremów jest ważne w praktycznych zastosowaniach matematyki, na przykład w [[technika|technice]] i [[statystyka|statystyce]]. Wiele zagadnień [[optymalizacja|optymalizacyjnych]] sprowadza się do poszukiwania ekstremów odpowiednich funkcji, jak na przykład funkcji kosztu, albo miary jakości dla różnych parametrów danego urządzenia.
Linia 26:
== Definicje ==
Funkcja <math>f
* '''minimum lokalne''', jeśli istnieje [[otoczenie (matematyka)|otoczenie]] otwarte <math>U</math> punktu <math>x_0
:: <math>f(x)\geqslant f(x_0)
: więc nie występują w okolicy punktu <math>x_0
* '''maksimum lokalne''', gdy istnieje otoczenie otwarte <math>U
:: <math>f(x)\leqslant f(x_0)
: więc nie występują w okolicy punktu <math>x_0
* '''właściwe minimum lokalne''', jeśli w pewnym otoczeniu otwartym <math>U
:: <math>x=x_0 \vee f(x)> f(x_0)
* '''właściwe maksimum lokalne''', jeśli w pewnym otoczeniu otwartym <math>U
:: <math>x=x_0 \vee f(x)< f(x_0)
Funkcja <math>f
* '''minimum globalne''', jeśli dla każdego <math>x
:: <math>f(x)\geqslant f(x_0)
* '''maksimum globalne''', jeśli dla każdego <math>x
:: <math>f(x)\leqslant f(x_0)
* '''właściwe minimum globalne''', jeśli dla każdego <math>x
:: <math>x=x_0 \vee f(x)> f(x_0)
: czyli funkcja przyjmuje wszędzie z wyjątkiem punktu <math>x_0
* '''właściwe maksimum globalne''', jeśli dla każdego <math>x
:: <math>x=x_0 \vee f(x)< f(x_0)
: czyli funkcja przyjmuje wszędzie z wyjątkiem punktu <math>x_0
Nie każda funkcja posiada ekstrema. Jeśli funkcja nie jest [[funkcja ograniczona|ograniczona]] (np. <math>f(x)=x
Można też mówić o maksimach i minimach w [[podzbiór|podzbiorze]] dziedziny – są to wówczas największe lub najmniejsze wartości funkcji dla argumentów z tego podzbioru.
Linia 57:
=== Proste przykłady ekstremów ===
<gallery widths="350px" heights="250px" perrow="2">
Plik:Cosinus.svg|Funkcja [[Funkcje trygonometryczne|cosinus]] osiąga maksimum dla każdej parzystej wielokrotności <math>\pi,</math>, czyli <math>\dots, -4\pi, -2\pi, 0, 2\pi, 4\pi, \dots</math> oraz minimum dla każdej nieparzystej wielokrotności <math>\pi,</math>, czyli <math>\dots, -5\pi, -3\pi, -\pi, \pi, 3\pi, 5\pi, \dots.</math> Są to lokalne ekstrema właściwe i jednocześnie ekstrema globalne (ale nie globalne ekstrema właściwe!).
Plik:Function x^2.svg|[[Funkcja kwadratowa]] <math>f(x)=x^2
Plik:Floor function.svg|Funkcja [[podłoga i sufit|entier]] osiąga w każdym punkcie maksimum lokalne niewłaściwe. Minimum lokalne występuje jednak tylko dla liczb niecałkowitych. W każdym otoczeniu [[liczby całkowite]]j z lewej strony występują mniejsze wartości funkcji. Nie ma ekstremów globalnych.
Plik:Non-strict minimum.svg|Funkcja <math>f(x)=\left\{\begin{array}{l}\scriptstyle{x^2(1+\sin\frac{1}{x}),\; x\neq 0}\\\scriptstyle{0,\; x=0}\end{array}\right.</math> ma w punkcie <math>x_0=0
</gallery>
Linia 66:
[[Plik:Strict minimum everywhere.png|thumb|350px|Fragment wykresu funkcji <math>\scriptstyle{f\colon \mathbb{Q}\ni \frac{p}{q}\mapsto \left| \frac{q}{\operatorname{NWD}(p,q)} \right| },</math> mającej właściwe minimum w każdym punkcie swojej dziedziny. Kropki – punkty <math>\scriptstyle{\left( \frac{p}{q},q \right)}</math> odpowiadają nieskracalnym ułamkom <math>\scriptstyle{\frac{p}{q}}</math>]]
Niech funkcja <math>f</math> przyporządkowuje każdej [[liczby wymierne|liczbie wymiernej]] wartość mianownika wyrażającego ją [[ułamek|ułamka]] [[Ułamek#Działania na ułamkach|skróconego]]. Formalnie:
: <math>f\colon \mathbb{Q}\ni \frac{p}{q}\mapsto \left| \frac{q}{\operatorname{NWD}(p,q)} \right|
gdzie NWD oznacza [[największy wspólny dzielnik]].
Linia 74:
prowadzi bowiem do
: <math>\scriptstyle{\left|\frac{pb-aq}{qb}\right|=\frac{|pb-aq|}{qb}<\frac{1}{q^2},}</math>
a wobec <math>\scriptstyle{|pb-aq|\geqslant 1}</math> jest <math>\scriptstyle{b>q.}</math>.</ref>. A zatem funkcja ta ma dla każdej liczby wymiernej (czyli dla każdego punktu swojej dziedziny) właściwe minimum lokalne.
=== Warunek wystarczający ekstremum globalnego (twierdzenie Weierstrassa) ===
Linia 80:
=== Funkcje różniczkowalne ===
W dalszej części sekcji rozważane będą funkcje <math>f\colon [a,b] \to \mathbb R</math> [[funkcja ciągła|ciągłe]] oraz [[funkcja różniczkowalna|różniczkowalne]] w przedziale <math>(a,b).
Geometrycznie oznacza to, że ich wykres jest „nieprzerwany” i „gładki”, czyli ma w każdym punkcie [[styczna|styczną]].
==== Warunek konieczny istnienia ekstremum lokalnego (twierdzenie Fermata) ====
[[Plik:Extrema2.gif|thumb|250px|Funkcja <math>\scriptstyle{g(x)=x^3}</math> nie ma dla <math>x=0
[[warunek konieczny|Warunkiem koniecznym]] istnienia ekstremów lokalnych funkcji <math>f
: <math>f^\prime (x_0)=0</math>
Geometrycznie oznacza to, że [[styczna]] do [[wykres funkcji|wykresu funkcji]] jest w tym punkcie prostą poziomą. Jest to tzw. '''twierdzenie Fermata'''. Udowodnijmy je:
jeśli <math>
:: <math>(f(x_0-h) - f(x_0)) \cdot (f(x_0+h) - f(x_0)) \;\ge\; 0</math>
Linia 97:
:: <math>\frac{f(x_0-h) - f(x_0)}{-h} \cdot \frac{f(x_0+h) - f(x_0)}{h} \;\le\; 0</math>
Po przejściu do granicy, dla <math>
:: <math>(f'(x_0))^2 \;\le\; 0</math>
Zatem <math>f'(x_0) =\; 0</math>.
Warunek Fermata nie jest jednak [[warunek wystarczający|wystarczający]]. Np. funkcja <math>g(x)=x^3
==== Warunek konieczny i wystarczający istnienia ekstremum lokalnego ====
Funkcja ciągła <math>f\colon [a,b]\to \mathbb{R},</math> różniczkowalna w przedziale <math>(a,b)
* minimum lokalne wtedy i tylko wtedy, gdy istnieje takie <math>\delta >0
** <math>f^\prime(x_0)=0</math>
** <math>f^\prime(x)< 0</math> dla <math>x\in (x_0-\delta, x_0)</math>
** <math>f^\prime(x)> 0</math> dla <math>x\in (x_0,x_0+\delta)</math>
* maksimum lokalne wtedy i tylko wtedy, gdy istnieje takie <math>\delta >0
** <math>f^\prime(x_0)=0</math>
** <math>f^\prime(x)> 0</math> dla <math>x\in (x_0-\delta, x_0)</math>
Linia 118:
==== Inne warunki wystarczające istnienia ekstremów ====
Jeśli o funkcji <math>f
: <math>\scriptstyle{f(x_0+h)=f(x_0)+hf^\prime(x_0)+\frac{1}{2}h^2f^{\prime\prime}(x_0+\theta h)}</math>
gdzie
Linia 128:
Dla <math>\scriptstyle{h\neq 0}</math> prawa strona ma ten sam znak, co <math>\scriptstyle{f^{\prime\prime}(x_0+\theta h).}</math> Gdy <math>\scriptstyle{ f^{\prime\prime}(x_0)<0,}</math> to z ciągłości <math>\scriptstyle{f^{\prime\prime}}</math> wynika <math>\scriptstyle{f^{\prime\prime}(x)<0}</math> w pewnym otoczeniu punktu <math>\scriptstyle{x_0,}</math> więc w tym otoczeniu
: <math>\scriptstyle{f(x_0+h)-f(x_0)=f(x)-f(x_0)<0}</math> dla <math>\scriptstyle{x\neq x_0,}</math>
zatem istnieje maksimum w punkcie <math>\scriptstyle{x_0.}</math> Analogicznie, istnieje minimum gdy <math>\scriptstyle{f^{\prime\prime}(x_0)>0.}</math>.</ref>.
Powyższe kryterium nie rozstrzyga przypadku, gdy druga pochodna jest równa zero.
==== Kryterium istnienia ekstremów funkcji ''n''-krotnie różniczkowalnych ====
Jeżeli założy się dodatkowo o funkcji <math>f
Jeżeli
: <math>f^\prime(x_0)=f^{\prime\prime}(x_0)=\ldots=f^{(n-1)}(x_0)=0</math>
tj. wszystkie pochodne do <math>(n-1)
* gdy <math>n
* gdy <math>n
Z założenia zerowania się pochodnych do <math>(n-1)
: <math>f(x_0+h)-f(x_0)=\frac{h^n}{n!}f^{(n)}(x_0+\theta h)</math>
dla pewnego <math>0<\theta<1.
Jeśli <math>n
=== Proste zagadnienia optymalizacyjne ===
Linia 151:
==== Pudełko o największej objętości ====
; Problem: Z kwadratowego arkusza blachy o boku <math>a
; Rozwiązanie 1: Jeśli przez <math>x</math> oznaczyć długość boku wyciętego kwadratu, to objętość <math>V</math> pudełka będzie równa
Linia 177:
==== Koszt eksploatacji statku ====
; Problem: Wiadomo, że koszt eksploatacji statku w ciągu godziny pływania wyraża się wzorem empirycznym <math>a+bv^3
; Rozwiązanie: Przebycie 1 mili morskiej trwa 1/''v'' godziny, więc kosztuje:
Linia 185:
: Ponieważ druga pochodna
:: <math>f^{\prime\prime}(v)=2b+2\tfrac{a}{v^3}>0</math>
: więc koszty rzeczywiście osiągną najmniejszą wartość dla znalezionej wartości <math>v.
== Funkcje określone na podzbiorach przestrzeni unormowanych ==
Linia 191:
[[Plik:HyperbolicParaboloid2.png|thumb|200px|[[Paraboloida hiperboliczna]] – w pobliżu początku układu współrzędnych ma ona kształt podobny do siodła (zob. [[punkt siodłowy]])]]
W dalszej części tego paragrafu przez <math>X
Podobnie jak dla funkcji rzeczywistych, warunkiem koniecznym istnienia ekstremum w punkcie <math>x_0\in D</math> jest, aby wartość funkcji będącej różniczką w <math>x_0\in D</math> wynosiła zero dla wszystkich punktów w pewnym otoczeniu <math>x_0</math> (<math>
Punkt, w którym różniczka się zeruje (jest funkcją stale równą zero w pewnym otoczeniu <math>x_0</math>), nazywany jest '''punktem stacjonarnym'''.
Tak jak w przypadku funkcji jednej zmiennej, w punkcie stacjonarnym wcale nie musi być ekstremum. Na przykład dla funkcji <math>g\colon \mathbb{R}^2\to \mathbb{R}
=== Definicje pomocnicze ===
Na potrzeby dalszych twierdzeń, konieczne będzie wprowadzenie kilku definicji:
[[Forma dwuliniowa|Funkcjonał dwuliniowy]] <math>\varphi\colon X\times X\to \mathbb{R}
Funkcjonał dwuliniowy <math>
* '''dodatnio określony''', jeśli
: <math>\bigvee_{c>0}\bigwedge_{h\in X}\varphi(h,h)\geqslant c\|h\|^2</math>
Linia 209:
: <math>\bigvee_{c>0}\bigwedge_{h\in X}\varphi(h,h)\leqslant -c\|h\|^2</math>
W szczególności, każda [[Macierz|macierz kwadratowa]] może być interpretowana jako macierz funkcjonału dwuliniowego przestrzeni <math>X=\mathbb{R}^m
=== Ekstrema a druga pochodna ===
Jeżeli funkcja <math>f
* jeżeli <math>f
* jeżeli <math>f
=== Warunek konieczny i wystarczający istnienia ekstremum ===
Niech, jak poprzednio, funkcja <math>f
* Jeżeli <math>f^{\prime\prime}(x_0)
* Jeżeli <math>f^{\prime\prime}(x_0)
== Funkcje określone na podzbiorach płaszczyzny ==
Ważnym przypadkiem są funkcje określone na podzbiorach <math>X=\mathbb{R}^2.
# Wyznaczamy wszystkie punkty <math>(x_0,y_0)\in D
f^\prime_x(x_0,y_0)=0 \\
f^\prime_y(x_0,y_0)=0 \\
\end{matrix}\right.
# Dla każdego punktu z osobna badamy znak [[
# Jeżeli w danym punkcie <math>(x_0, y_0)
:* <math>f^{\prime\prime}_{xx}(x_0,y_0)>0
:* <math>f^{\prime\prime}_{xx}(x_0,y_0)<0
=== Przykład ===
[[Plik:Extrema3.gif|thumb|250px|Wykres funkcji <math>\scriptstyle{f\left( {x,y} \right) = 2x^3
Znaleźć ekstrema funkcji
: <math>f\left( {x,y} \right) = 2x^3
Obliczamy pierwsze pochodne cząstkowe funkcji <math>f</math> i przyrównujemy do zera:
: <math>
\left\{ \begin{matrix}
f^\prime_x(x,y) = 0 \Leftrightarrow 6x^2
f^\prime_y(x,y) = 0 \Leftrightarrow -3y^2
\end{matrix} \right.
</math>
Układ równań ma dokładnie 4 rozwiązania, którymi są punkty
: <math>a=(0,3),\ b=(0,-3),\ c=(-4,-3),\ d=(-4,3)
* <math>\delta(a)<0
* <math>\delta(b)>0
* <math>\delta(d)>0
== Funkcje uwikłane ==
W tej sekcji rozważane będą ekstrema funkcji <math>y(x)
Podobnie jak w poprzednim przypadku, o funkcji <math>F</math> zakładamy, że jest dwukrotnie różniczkowalna w pewnym otwartym podzbiorze <math>D\subset\mathbb{R}^2
: <math>F(x,y)=0
Na mocy [[Funkcja uwikłana#Funkcje rzeczywiste|twierdzenia o funkcji uwikłanej]], wzór
: <math>y^\prime(x)=-\frac{F^\prime_x(x,y)}{F^\prime_y(x,y)}
gdzie <math>y=y(x)
: <math>y^{\prime\prime}=-\frac{F^{\prime\prime}_{xx}(F^{\prime}_{y})^2-2F^{\prime\prime}_{xy}F^\prime_xF^\prime_y+F^{\prime\prime}_{yy}(F^{\prime}_{x})^2}{(F^\prime_y)^3}
pozwala wyznaczyć ekstrema funkcji <math>y
<math>F(x,y)=0
: <math>F(x,y)=0, y^\prime=0, y^{\prime\prime}\neq 0
Dwa ostatnie warunki równoważne są poniższym, tj.
: <math>F^\prime_x=0, -\frac{F^{\prime\prime}_{xx}}{F^\prime_y}\neq 0
=== Przykład ===
Znaleźć ekstrema funkcji <math>y,</math> określonej równaniem
: <math>F(x,y)=x^2-2xy-3y^2+4=0
Ponieważ
: <math>F^\prime_x(x,y)=2x-2y=0</math>
tylko gdy <math>x=y,</math> więc wstawiając to do równania
: <math>F(x,y)=0
otrzymujemy jako jedyne rozwiązania punkty <math>(1,1), (-1,-1).</math>
Linia 298:
=== Przykład – równania Eulera-Lagrange’a ===
{{osobny artykuł|Równania Eulera-Lagrange’a|Zasada minimum energii potencjalnej}}
Rachunek wariacyjny bada ekstrema funkcjonałów, często zadanych w postaci [[
Formalnie, o funkcji <math>L</math> zakłada się, że jest określona na <math>\mathbb{R}^{2n+1}</math> oraz jest dwukrotnie różniczkowalna w sposób ciągły. Dalej, o funkcji
: <math>[a,b]\ni t \mapsto q(t)=(q_1(t), \ldots, q_n(t))\in \mathbb{R}^n</math>
zakłada się, że jest funkcją o wartościach wektorowych, dwukrotnie różniczkowalną w sposób ciągły. W celu wyznaczenia toru cząstki, określa się funkcjonał
Linia 313:
== Ekstrema warunkowe ==
W matematyce i fizyce zachodzi często potrzeba badania ekstremów funkcji przy pewnych dodatkowych warunkach. Chcąc np. znaleźć odległość punktu <math>(x_0, y_0, z_0)\in\mathbb{R}^3</math> od [[Rozmaitość topologiczna|hiperpowierzchni]] zadanej równaniem <math>g(x,y,z)=0</math> należy zbadać minima funkcji
: <math>f(x,y,z)=(x-x_0)^2+(y-y_0)^2+(z-z_0)^2
przy warunku dodatkowym
: <math>g(x,y,z)=0
W paragrafie tym podamy ogólną definicję ekstremum warunkowego i ogólne wyniki tej teorii, badanie ekstremów warunkowych funkcji tylko dwóch zmiennych zostanie omówione w następnym ustępie.
Linia 325:
# <math>X</math> i <math>Y</math> są [[przestrzeń Banacha|przestrzeniami Banacha]],
# <math>G\colon X\to Y</math> jest różniczkowalne w sposób ciągły w pewnym otoczeniu punktu <math>x_0\in X,</math>
# <math>x_0\in X</math> jest [[punkt regularny#Teoria różniczkowania|punktem regularnym]] zbioru <math>M=G^{-1}(\{0\}),</math>, tj. <math>G^\prime(x_0)</math> jest [[Funkcja „na”|suriekcją]] <math>X</math> na <math>Y,</math>
# <math>X_1:=(G^\prime(x_0))^{-1}(\{0\}),</math> to znaczy <math>X_1</math> jest [[Jądro (algebra)|jądrem]] <math>G^\prime(x_0),</math>
# <math>X=X_1\oplus X_2</math> (rozkład przestrzeni <math>X</math> na [[
Niech <math>f</math> będzie funkcją określoną na otwartym podzbiorze <math>U</math> przestrzeni Banacha <math>X</math> o wartościach w <math>\mathbb{R}</math> oraz niech <math>x_0\in X</math> będzie punktem regularnym zbioru <math>M=G^{-1}(0).</math> Jeżeli funkcja <math>f</math> jest różniczkowalna w punkcie <math>x_0</math> i ma w tym punkcie ekstremum warunkowe, to
Linia 333:
dla każdego <math>x_1\in X_1.</math>
W praktyce, często wykorzystywanym faktem do badania ekstremów warunkowych jest tzw. [[twierdzenie Lusternika (ekstrema warunkowe)|drugie twierdzenie Lusternika]], mówiące o tym, że jeżeli spełnione są założenia twierdzenia Lusternika i funkcja <math>f,</math> określona jak wyżej, jest różniczkowalna w punkcie <math>x_0\in M</math> i ma w tym punkcie ekstremum warunkowe (związane warunkiem <math>M</math>), to istnieje [[Forma liniowa|funkcjonał liniowy]] <math>\Lambda\in Y^\star</math> taki, że
: <math>f^\prime(x_0)=\Lambda\circ G^\prime(x_0)</math>
Funkcjonał <math>\Lambda</math> nazywany jest '''funkcjonałem Lagrange’a''' i ma ścisły związek z metodą szukania ekstremów warunkowych, zwaną '''metodą mnożników Lagrange’a''', opisaną dalej.
Linia 345:
jest dodatnio (ujemnie) określona dla <math>h\in X_1=\ker G^\prime(x_0),</math> to funkcja <math>f</math> ma w punkcie <math>x_0</math> minimum (maksimum) warunkowe.
Twierdzenie to można udowodnić korzystając z twierdzenia Lusternika i odpowiednio wykorzystując [[wzór Taylora|twierdzenia Taylora]]. Daje się ono łatwo uogólnić na przypadek pochodnych wyższych rzędów – w tym przypadku dodatkowo zakłada się, że odwzorowania <math>f</math> i <math>G</math> są różniczkowalne <math>2n</math> razy w sposób ciągły w pewnym otoczeniu punktu <math>x_0.</math> Wówczas, jeżeli istnieje funkcjonał <math>\Lambda\in Y^\star</math> taki, że
: <math>f^{(k)}(x_0)=\Lambda\circ G^{(k)}(x_0)</math>
dla <math>k=1,2,\ldots, 2n-1</math> oraz odwzorowanie
: <math>\left(f^{(2n)}(x_0)-\Lambda\circ G^{(2n)}(x_0)\right)(h)</math>
jest dodatnio<ref>Uwaga: w tym wypadku pojęcie dodatniej (ujemnej) określoności zostaje rozszerzone na [[Przekształcenie wieloliniowe|funkcjonały ''n''-liniowe]], tj. powiemy że funkcjonał <math>\scriptstyle{n}</math>-liniowy <math>\scriptstyle{\varphi\colon X\times\ldots\times X\to \mathbb{R}}</math> jest dodatnio (ujemnie) określony, jeśli istnieje takie <math>\scriptstyle{c>0,}</math> że <math>\scriptstyle{\varphi(h,\ldots, h)\geqslant c\|h\|^n \; (\leqslant -c\|h\|^n)}</math> dla wszelkich <math>\scriptstyle{h\in X.}</math>.</ref> (ujemnie) określona dla <math>h\in X_1,</math> to funkcja <math>f</math> ma w punkcie <math>x_0</math> minimum (maksimum) warunkowe.
=== Ekstrema warunkowe w <math>\mathbb{R}^n</math> ===
Badanie ekstremów warunkowych przekształceń dowolnych przestrzeni Banacha jest rzeczą trudną. Już samo spełnienie założeń twierdzenia Lusternika może okazać się niemożliwe, gdyż nie każdą przestrzeń unormowaną da się rozłożyć na topologiczną sumę prostą jej podprzestrzeni<ref>Da się to zrobić w przypadku [[przestrzeń Hilberta|przestrzeni Hilberta]] – [[twierdzenie o rozkładzie ortogonalnym]] mówi, że dla każdej [[zbiór domknięty|domkniętej]] podprzestrzeni przestrzeni Hilberta istnieje [[dopełnienie ortogonalne]]. W szczególności, rozkład taki jest możliwy jeżeli <math>\scriptstyle{X}</math> jest przestrzenią skończenie wymiarową.</ref>. Duża część zagadnień praktycznych sprowadza się do badania ekstremów warunkowych w przypadku gdy <math>X=\mathbb{R}^n,\; Y=\mathbb{R}^m,\; n\geqslant m,</math> a odwzorowanie <math>G\colon \mathbb{R}^n\to \mathbb{R}^m</math> reprezentowane jest przez układ <math>m</math> funkcji o <math>n</math> zmiennych, tj. <math>G=(G_1,\ldots, G_m).</math>
Szukanie ekstremów warunkowych funkcji <math>f\colon \mathbb{R}^n\to\mathbb{R},</math> będących zarazem punktami regularnymi<ref name="punktreg">
: <math>\left\{\begin{array}{l}f^\prime(x)=\Lambda\circ G^\prime(x)\\G(x)=0\end{array}\right.</math>
gdzie <math>\Lambda\in (\mathbb{R}^m)^\star.</math> Wiadomo, że każdy taki funkcjonał <math>\Lambda</math> jest reprezentowany przez układ <math>m</math> [[liczby rzeczywiste|liczb rzeczywistych]] <math>\lambda_1,\ldots,\lambda_m</math> a pochodna <math>G^\prime(x)</math> jest [[macierz]]ą wymiaru <math>m\times n</math> [[rząd macierzy|rzędu]] <math>m</math><ref name="punktreg" />. Układ równań operatorowych sprowadza się więc do układu <math>m+n</math> równań skalarnych:
: <math>\left\{\begin{array}{l}\frac{\partial f(x)}{\partial x_j}=\sum_{i=1}^m\lambda_i\frac{\partial G_i(x)}{\partial x_j},\; j=1,\ldots,n\\G_k(x_1,\ldots, x_n)=0,\; k=1,\ldots, m\end{array}\right.</math>
gdzie <math>x=(x_1,\ldots,x_n)</math> o <math>n+m</math> zmiennych <math>\lambda_i, x_k, \; i\leqslant m, k\leqslant n.</math> Wszystkie punkty, w których funkcja może przyjmować ekstrema warunkowe, należą do zbioru rozwiązań tego układu równań. Liczby <math>\lambda_i</math> spełniają tylko rolę pomocniczą i nazywane są często [[Mnożniki Lagrange’a|mnożnikami Lagrange’a]]. Po znalezieniu punktów spełniających warunek konieczny dla ekstremum, należy odwołać się do warunku wystarczającego, tj. zbadać dodatnią (ujemną określoność)
Linia 373:
W praktyce, gdy <math>X=\mathbb{R}^2, Y=\mathbb{R}</math> wprowadzamy funkcję pomocniczą
: <math>F(x,y)=f(x,y)+\lambda G(x,y)
i szukamy dla niej warunków koniecznych na istnienie jej ekstremów, jako funkcji dwóch zmiennych<ref>
: <math>\left\{\begin{array}{l}\frac{D(f,G)}{D(x,y)}=0\\G(x,y)=0\end{array}\right.</math>
gdzie <math>\tfrac{D(f,G)}{D(x,y)}</math> oznacza [[Macierz Jacobiego|jakobian]] funkcji <math>f</math> i <math>G.</math>
=== Przykład – ekstrema funkcji na okręgu ===
[[Plik:Lagrange very simple.jpg|thumb|300px|Wykresem funkcji <math>f(x,y)=x+y
Ilustracją zastosowania metody mnożników Lagrange’a jest problem wyznaczenia ekstremów funkcji:
: <math>f(x,y)=x+y
na kole jednostkowym, tj. przy warunku
: <math>x^2+y^2=1
Zatem funkcja <math>G</math> jest postaci
: <math>G(x,y)=x^2+y^2-1
a więc funkcja <math>F</math> wyraża się wzorem:
: <math>F(x,y)=f(x,y)+\lambda G(x,y)=
:: <math>=x+y +
Wszystkie punkty, które mogą być ekstremami warunkowymi są rozwiązaniami układu równań
Linia 394:
F^\prime_x(x,y)= 1 + 2 \lambda x &= 0 \\
F^\prime_y(x,y)= 1 + 2 \lambda y &= 0 \\
G(x,y) = x^2 + y^2 - 1
Podstawiając <math>x=y, x\neq 0
* minimum warunkowe: <math>f\left( -\tfrac{\sqrt{2}}{2}, -\tfrac{\sqrt{2}}{2}\right) =-\sqrt{2}</math>
* maksimum warunkowe: <math>f\left( \tfrac{\sqrt{2}}{2}, \tfrac{\sqrt{2}}{2}\right) =\sqrt{2}</math>
Linia 403:
=== Przykład – problem maksymalnej entropii ===
Problem polega na znalezieniu [[Dyskretny rozkład prawdopodobieństwa|dyskretnego rozkładu zmiennej losowej]] maksymalizującego [[Entropia (teoria informacji)|entropię]]. Funkcja entropii [[prawdopodobieństwo|prawdopodobieństw]] <math>p_1, \ldots, p_n
: <math>f(p_1,p_2,\ldots,p_n) = -\sum_{k=1}^n p_k\log_2 p_k</math>
Oczywiście, suma prawdopodobieństw <math>p_1, \ldots, p_n
: <math>G(p_1,p_2,\ldots,p_n)=\sum_{k=1}^n p_k-1</math>
Linia 418:
Różniczkując każde równanie <math>n</math>-krotnie, powyższy układ sprowadza się do poniższego:
: <math>-\left(\frac{1}{\ln 2}+\log_2 p_k \right)
Z powyższego wynika, że wszystkie prawdopodobieństwa są równe, tj. <math>p_1=\ldots=p_n
: <math>p_k=\frac{1}{n}</math>
Linia 425:
Ciekawym praktycznym zastosowaniem ekstremum lokalnego w przestrzeni par permutacji jest algorytm [[gradacyjna analiza danych|statystyczny]], zwany [[gradacyjna analiza odpowiedniości|gradacyjną analizą odpowiedniości]] (''Grade Correspondence Analysis''; GCA).
Algorytm ma na celu przekształcenie badanych [[skala nominalna|nominalnych cech statystycznych]] w [[Skala porządkowa|cechy porządkowe]] tak, aby [[korelacja rangowa]] pomiędzy nimi w [[Sprawdzian krzyżowy|zbiorze uczącym]] była maksymalna<ref>Podobny problem ze zwykłą korelacją Pearsona rozwiązuje klasyczna [[analiza odpowiedniości]].</ref>.
Algorytm GCA był stosowany m.in. do tabeli, w której wiersze odpowiadają [[okręg wyborczy|okręgom wyborczym]], kolumny [[partia polityczna|partiom politycznym]], a liczby w komórkach macierzy liczbie głosów oddanych na poszczególne partie w poszczególnych okręgach<ref>
Ściśle: danymi wejściowymi jest tzw. [[Tabele krzyżowe|macierz kontyngencji]], której wiersze odpowiadają możliwym wartościom (tzw. etykietom) pewnej [[skala nominalna|nominalnej cechy statystycznej]] (zwanej zmienną wierszową), a kolumny możliwym wartościom innej cechy nominalnej (zwanej zmienną kolumnową). Wartości elementów macierzy reprezentują liczebność [[obserwacja statystyczna|obserwacji]] w [[próba statystyczna|próbie]], dla których rozważane dwie cechy mają wartości przypisane do danego wiersza i kolumny<ref>Choć GCA można też stosować do innych [[zbiór danych|zbiorów danych]], np. takich gdzie każda kolumna reprezentuje inną zmienną.</ref>.
Celem algorytmu jest znalezienie takiej [[permutacja|permutacji]] wierszy i kolumn macierzy (czyli etykiet zmiennych wierszowej i kolumnowej), aby współczynnik [[Współczynnik korelacji rang Spearmana|rho Spearmana]] dla powstałego rozkładu dwuwymiarowego był największy. Odpowiada to znalezieniu takiego uszeregowania etykiet zmiennych nominalnych, aby powstałe w ten sposób [[Skala porządkowa|zmienne porządkowe]] wykazywały możliwie dużą [[zależność zmiennych losowych|zależność statystyczną]] w sensie [[korelacja rangowa|korelacji rangowej]].
Linia 443:
== Bibliografia ==
[[Kategoria:Analiza matematyczna]]
|