Regularyzacja Tichonowa

Regularyzacja Tichonowa – metoda regularyzacji zagadnień nie postawionych poprawnie opracowana niezależnie przez Andrieja Tichonowa i Davida Phillipsa, jednak nazwana od nazwiska rosyjskiego matematyka.

Regularyzacja za pomocą parametru regularyzacyjnego

Rozważmy układ równań typu:

$A\mathbf {x} =\mathbf {b} ,$

gdzie $A$ to macierz układu (macierz przekształcenia), $\mathbf {x}$ wektor niewiadomych, $\mathbf {b}$ wektor wyjściowy. Jeśli zagadnienie to jest źle postawione (np. rozwiązanie nie istnieje, lub jest niejednoznaczne) wtedy standardowym podejściem jest rozwiązanie w sensie najmniejszych kwadratów. Oznacza to poszukiwanie minimum następującego funkcjonału $\Pi$:

$\Pi =\{A\mathbf {x} -\mathbf {b} \}^{T}\{A\mathbf {x} -\mathbf {b} \}.$

Aby poprawić właściwości funkcjonału $\Pi$ (np. żeby wyeliminować niefizyczne oscylacje w rozwiązaniu) do powyższej postaci dodaje się człon regularyzacyjny $\alpha \mathbf {x} ^{T}\mathbf {x} {:}$

$\Pi =\{A\mathbf {x} -\mathbf {b} \}^{T}\{A\mathbf {x} -\mathbf {b} \}+\alpha \mathbf {x} ^{T}\mathbf {x} .$

Wyrażenie $\mathbf {x} ^{T}\mathbf {x}$ to kwadrat długości wektora $\mathbf {x} ,$ zaś $\alpha$ to parametr regularyzacyjny zwany również współczynnikiem tłumienia.

Szukanie minimum funkcjonału $\Pi$ oznacza rozwiązanie równania:

${\frac {\partial \Pi }{\partial x}}=0,$

co daje:

$-2A^{T}\{\mathbf {b} -A\mathbf {x} \}+2\alpha \mathbf {x} =0$

i po przekształceniu:

$A^{T}\mathbf {b} =\left[A^{T}A+\alpha \mathbf {I} \right]\mathbf {x} ,$

gdzie $\mathbf {I}$ to macierz jednostkowa.

Macierz stojąca po prawej stronie powyższego równania jest macierzą symetryczną, ponadto dzięki obecności członu $\alpha \mathbf {I}$ jest również odwracalna. Poza tym parametr regularyzacyjny wpływa na określoność macierzy i poprawia jej uwarunkowanie. W związku z tym rozwiązanie wyjściowego równania może być wyznaczone za pomocą:

$\mathbf {x} =\left[A^{T}A+\alpha \mathbf {I} \right]^{-1}A^{T}\mathbf {b} .$

Dobór parametru regularyzacyjnego może być wykonany za pomocą tzw. metody L-curve.

Regularyzacja za pomocą macierzy regularyzacji

Jeśli dana jest informacja a priori na temat wektora niewiadomych $\mathbf {x}$ może ona zostać uwzględniona w funkcjonale $\Pi$ w następujący sposób:

$\Pi =\{A\mathbf {x} -\mathbf {b} \}^{T}\{A\mathbf {x} -\mathbf {b} \}+\alpha \left[R\mathbf {x} \right]^{T}\left[R\mathbf {x} \right],$

gdzie $R$ to macierz regularyzacji oraz $\alpha$ kontroluje stopień regularyzacji.

Pochodna funkcjonału $\Pi$ względem wektora $\mathbf {x}$ wynosi:

${\frac {\partial \Pi }{\partial x}}=-2A^{T}\{\mathbf {b} -A\mathbf {x} \}+2\alpha R^{T}R\mathbf {x} .$

Co daje:

$A^{T}\mathbf {b} =\left[A^{T}A+\alpha R^{T}R\right]\mathbf {x} .$

Ponownie macierz stojąca po prawej stronie jest symetryczna i w większości przypadków odwaracalna. Postać macierzy regularyzacji zależy od rodzaju informacji, który jest wprowadzany do zagadnienia. Na przykład jeśli rozwiązaniem zagadnienia powinny być w przybliżeniu stałe wartości i-ty wiersz macierzy $R$ powinien wynosić:

$r_{i}=[0,\dots ,0,{\underset {i-1}{\underbrace {-1} }},{\underset {i}{\underbrace {1} }},0,\dots ,0].$

Inne przykłady sformułowania macierzy $R$ w zależności od informacji, która ma być w niej zawarta można odnaleźć w literaturze.

Przykład

Przykład zastosowania regularyzacji Tichonowa. Szczegóły w tekście.

Rozpatrzmy następujący przykład:

$A={\begin{bmatrix}1&2&3&4\\1&3&1&5\\1{,}99999999&3{,}99999999&6{,}00000001&8{,}0000001\\7&5&3&1\end{bmatrix}},$

$\mathbf {x} ={\begin{bmatrix}1\\2\\2\\1\end{bmatrix}}.$

Wtedy $\mathbf {b}$ wynosi:

$\mathbf {b} =A\mathbf {x} \approx {\begin{bmatrix}15\\14\\30{,}00000009\\24\end{bmatrix}}.$

Załóżmy teraz, że na podstawie $A$ i $\mathbf {b}$ chcemy wyznaczyć $\mathbf {x} .$ Ze względu na fakt, że wyznacznik macierzy jest bliski zera $(\det(A)=3{,}6\cdot 10^{-6})$ i wskaźnik uwarunkowania macierzy wynosi w przybliżeniu 909460299 wyznaczenie macierzy odwrotnej może nastręczać kłopotów, dlatego rozwiązanie poszukiwane jest za pomocą metody najmniejszych kwadratów. Na wykresie obok zielonym kolorem naniesiono przykładowy wynik rozwiązania tą metodą. Widać duże odstępstwa od założonych wcześniej wartości $\mathbf {x}$ oznaczonych za pomocą niebieskich kółek. Dodanie członu regularyzacyjnego zgodnie ze schematem przedstawionym we wcześniejszej części artykułu zdecydowanie poprawia uzyskane rozwiązanie (czerwona linia na wykresie obok). Przy czym parametr regularyzacyjny w tym przypadku wynosi $\alpha =0{,}00000007.$ Poniżej znajduje się kod źródłowy w pakiecie MATLAB z omawianym przykładem:

a = 0.00000007;% parametr regularyzacyjny
%macierz A
A=[1 2 3 4; 1 3 1 5; 1.99999999 3.99999999 6.00000001 8.0000001;7 5 3 1];
%wektor x
x = [1;2;2;1];
% wektor b
b = A*x;
% uchwyt do funkcji bez regularyzacji
fun = @(xx)(A*xx-b)*(A*xx-b)';
% uchwyt do funkcji z regularyzacją
fun2 = @(xx)(A*xx-b)*(A*xx-b)'+a*xx*xx';
%rozwiązanie metodą najmniejszych kwadratów
x1 = lsqnonlin(fun,0*x);
x2 = lsqnonlin(fun2,0*x);
hold all
plot(x,'o')
plot(x1)
plot(x2)
grid on
legend('szukane wartości','rozwiązanie bez regularyzacji',...
'rozwiązanie z regularyzacją')

Zobacz też

• problem odwrotny
• regularyzacja funkcją dzeta

Linki zewnętrzne

• Zastosowanie metod numerycznych