Metoda Newtona (optymalizacja)

Metoda Newtona – algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu.

Metodą Newtona nazywana jest również metoda rozwiązywanie równań nieliniowych. Oba pojęcia pomimo takiej samej nazwy odnoszą się do dwóch różnego rodzaju zadań numerycznych.

Algorytm

Zadanie

Metoda Newtona jest iteracyjnym algorytmem wyszukiwania minimum zadanej funkcji celu $f$

$f\colon D\mapsto \mathbb {R} ,$

gdzie $D\subset \mathbb {R} ^{n}.$

Założenia dla metody są następujące:

• $f\in \mathrm {C} ^{2}$ (funkcja jest ciągła i podwójnie różniczkowalna),
• $f$ jest ściśle wypukła w badanej dziedzinie.

Opis

Porównanie metody najszybszego spadku (linia zielona) z metodą Newtona (linia czerwona). Na rysunku widać linie poszukiwań minimum dla zadanej funkcji celu. Metoda Newtona używa informacji o krzywiźnie w celu zoptymalizowania ścieżki poszukiwań.

Na samym początku algorytmu wybierany jest punkt startowy $\mathbf {x_{0}} \in D.$ W punkcie tym obliczany jest kierunek poszukiwań $\mathbf {d_{k}} \in D.$ Punkt w następnym kroku obliczany jest według wzoru

$\mathbf {x_{k+1}} =\mathbf {x_{k}} +\mathbf {d_{k}} ,$

jeśli obliczony punkt nie spełni warunku stopu algorytmu, całe postępowanie jest powtarzane.

Do obliczenia kierunku poszukiwań w metodzie Newtona wykorzystywane jest rozwinięcie Taylora funkcji celu względem danego punktu $\mathbf {x}$

$f(\mathbf {x} +\delta )=f(\mathbf {x} )+\nabla f(\mathbf {x} )^{T}\delta +{\frac {1}{2}}\delta ^{T}\nabla ^{2}f(\mathbf {x} )\delta +{\mathcal {O}}(\delta ^{2}),$

gdzie $\nabla f(\mathbf {x} )$ jest gradientem funkcji, $\nabla ^{2}f(\mathbf {x} )$ jest macierzą Hessego, zaś ${\mathcal {O}}(\delta ^{2})$ jest resztą o wielkości rzędu $\delta ^{2}.$

Funkcję celu można zatem przybliżyć przez aproksymację kwadratową $F_{k}$ względem punktu $\mathbf {x_{k}}$

$F_{k}(\delta )=f(\mathbf {x_{k}} )+\nabla f(\mathbf {x_{k}} )^{T}\delta +{\frac {1}{2}}\delta ^{T}\nabla ^{2}f(\mathbf {x_{k}} )\delta ,$

kierunek $\mathbf {d_{k}}$ jest tak dobrany aby zminimalizować funkcję $F_{k},$ tzn.

$\mathbf {d_{k}} =\arg \min _{\delta }F_{k}(\delta )=-\left(\nabla ^{2}f(\mathbf {x_{k}} )\right)^{-1}\cdot \nabla f(\mathbf {x_{k}} ).$

Rekurencyjny wzór metody Newtona ma zatem postać

$\mathbf {x_{k+1}} =\mathbf {x_{k}} -\left(\nabla ^{2}f(\mathbf {x_{k}} )\right)^{-1}\cdot \nabla f(\mathbf {x_{k}} ).$

Algorytm można zapisać:

1. Wybierz punkt startowy $\mathbf {x_{0}} .$
2. $\mathbf {d_{k}} =-\left(\nabla ^{2}f(\mathbf {x_{k}} )\right)^{-1}\cdot \nabla f(\mathbf {x_{k}} ).$
3. $\mathbf {x_{k+1}} =\mathbf {x_{k}} +\mathbf {d_{k}} .$
4. Sprawdź kryterium stopu, jeśli nie jest spełniony wykonaj ponownie krok 2.

Modyfikacja Newtona-Raphsona

Istnieje modyfikacja optymalizacyjnej metody Newtona, nazwana metodą Newtona-Raphsona polegającą na uwzględnieniu w kolejnych krokach minimalizacji kierunkowej, przez co zwiększony zostaje obszar zbieżności metody.

Algorytm w tym przypadku polega, analogicznie jak w pierwszej metodzie, na wyborze punktu startowego. Dla danego punktu obliczany jest kierunek poszukiwań oraz dokonywana jest na jego podstawie minimalizacja kierunkowa, tzn. obliczana jest taka wartość $\alpha _{k},$ że

$f(\mathbf {x_{k}} +\alpha _{k}\mathbf {d_{k}} )=\min _{\alpha >0}f(\mathbf {x_{k}} +\alpha \mathbf {d_{k}} ).$

Kolejny krok obliczany jest ze wzoru

$\mathbf {x_{k+1}} =\mathbf {x_{k}} +\alpha _{k}\mathbf {d_{k}}$

Algorytm można zapisać:

1. Wybierz punkt startowy $\mathbf {x_{0}} .$
2. $\mathbf {d_{k}} =-\left(\nabla ^{2}f(\mathbf {x_{k}} )\right)^{-1}\cdot \nabla f(\mathbf {x_{k}} ).$
3. dokonaj minimalizacji $f(\mathbf {x_{k}} +\alpha \mathbf {d_{k}} )$ względem $\alpha .$
4. $\mathbf {x_{k+1}} =\mathbf {x_{k}} +\alpha _{k}\mathbf {d_{k}} .$
5. Sprawdź kryterium stopu, jeśli nie jest spełniony – wykonaj ponownie krok 2.

Minimalizacja kierunkowa może być dokonana przez dowolną numeryczną metodę optymalizacji jednowymiarowej. Przykładowymi algorytmami mogą być: metoda złotego podziału, metoda dychotomii, metoda punktu środkowego.

Implementacja

Przy implementacji metody Newtona, przy określaniu kierunku poszukiwań $\mathbf {d_{k}} ,$ zamiast obliczania odwrotności hesjanu $\left(\nabla ^{2}f(\mathbf {x_{k}} )\right)^{-1},$ warto skorzystać z numerycznych metod rozwiązywania układów równań liniowych

$\nabla ^{2}f(\mathbf {x_{k}} )\cdot \mathbf {d_{k}} =-\nabla f(\mathbf {x_{k}} )$

w celu obliczenia wartości wektora $\mathbf {d_{k}} .$

Kryterium stopu

W celu określenia, czy punkt w danym kroku dostatecznie dobrze przybliża minimum funkcji celu w metodzie Newtona, można użyć następujących kryteriów stopu (dla zadanej precyzji $\epsilon$ oraz normy $\|{\cdot }\|$)

• $\|\nabla f(\mathbf {x_{k}} )\|\leqslant \epsilon$ (test stacjonarności),
• $\|\mathbf {x_{k+1}} -\mathbf {x_{k}} \|\leqslant \epsilon .$

Zbieżność

Metoda Newtona jest metodą o zbieżności kwadratowej. Oznacza to, iż przy spełnieniu założeń metody, odległości pomiędzy kolejnymi przybliżeniami a minimum funkcji $\mathbf {x} ^{*}$ maleją kwadratowo

$\|\mathbf {x} ^{*}-\mathbf {x_{k+1}} \|\leqslant c\|\mathbf {x} ^{*}-\mathbf {x_{k}} \|^{2}.$

Warto wspomnieć, iż metoda Newtona dla funkcji kwadratowych znajduje minimum już w pierwszym kroku – wynika to z faktu iż w metodzie funkcja celu jest lokalnie aproksymowana właśnie funkcją kwadratową.

Optymalizacja jednowymiarowa

Szczególnym przypadkiem metody Newtona jest jej jednowymiarowa wersja, która może być skutecznym sposobem minimalizacji kierunkowej. Zadanie numeryczne polega w takim przypadku na znalezieniu minimum jednowymiarowej funkcji celu $f$

$f\colon \mathbb {R} \supset D\mapsto \mathbb {R} .$

Funkcja $f$ musi być podwójnie różniczkowalna i ściśle wypukła w badanej dziedzinie.

Wzór rekurencyjny dla metody upraszcza się do postaci

$x_{k+1}=x_{k}-{\frac {f'(x_{k})}{f''(x_{k})}},$

gdzie $f'$ oraz $f''$ to kolejne pochodne funkcji $f.$

Zobacz też

• metoda gradientu prostego
• metoda najszybszego spadku
• metoda złotego podziału
• optymalizacja (matematyka)

Bibliografia

• Fortuna Z., Macukow B., Wąsowski J.: Metody numeryczne, Wydawnictwa Naukowo-Techniczne, 2006.
• Stachurski A., Wierzbicki A.: Podstawy optymalizacji, Oficyna Wydawnicza PW, 1999.

Linki zewnętrzne

• Wideo wykład na MIT o metodzie Newtona