Analiza Składowych Głównych (PCA)

Analiza składowych głównych (Principal Component Analysis, PCA) znajduje bazę, w której macierz kowariancji $c_{ij}$ sygnału wielowymiarowego $\vec{s}$ przyjmuje postać diagonalną (baza Karhunena-Loève). Macierz transformacji $B$ obliczamy zwykle znaną z algeby metodą:

1. Wartości własne macierzy kowariancji znajdujemy z równania $\vert C-\lambda I\vert=0$:
   $$\begin{vmatrix} c_{11}-\lambda & c{12} & \dots & c_{1N}\\ c_{21}... ...c_{2N}\\ &&\ddots&\\ c_{N1} & c_{N2} & \dots &c_{NN}-\lambda \end{vmatrix}=0$$

2. wektory własne $\vec{b}_i$, odpowiadające wartościon włanym $\lambda_i$, spełniają $C\vec{b_i}=\lambda_i \vec{b_i}$.
3. normalizujemy $\vec{b_i}$. Wyznaczają one kierunki nowego układu współrzędnych, a złożona z nich macierz $B$ odpowiada obrotowi diagonalizującemu macierz kowariancji $C$.

Rysunek: Kierunki składowych PCA w dwóch wymiarach

Celem jest zwykle redukcja wymiaru przez odrzucenie współrzędnych odpowiadających mniejszym wartościon $\lambda_i$ lub też poszukiwanie nowych współrzędnych per se (rys. 5.1).