Sieci warstwowe z propagacją wsteczną

Rysunek: Schemat sieci neuronowej z jedną warstwą ukrytą

Na rysunku 5.2 wagę połączenia przewodzącego pobudzenie od $j$-tego do $i$-tego neuronu w $k$-tej warstwie oznaczono $w_{ij}^k$. Suma pobudzeń docierających w danej chwili do $i$-tego neuronu wyniesie $\sum_{j} w_{ij} n_j$. Przetwarzanie w neuronie polega na odjęciu od tej sumy charakteryzującego neuron progu $\mu_i$ i podziałaniu na wynik nieliniową funkcją $\Phi$:

$$n_i=\Theta\left(\sum_{j} w_{ij}^k n_j - \mu_i\right)$$ (5.3)

W oryginalnym modelu Mc Culloha i Pittsa z roku 1943, $\Theta(\cdot)$ była funkcją progową:

$$\Theta(x)=\begin{cases}0 \ \text{dla}\ x < 0\\ 1\ \text{dla}\ x\ge 0 \end{cases}.$$

Aktualnie najczęściej stosowaną formą nieliniowości jest funkcja logistyczna

$$\Theta(x)=\dfrac{1}{1+e^{-\beta x}}$$

Tak więc działanie sieci z rys. 5.2 wygląda następująco:

• Sygnał wejściowy $\vec{x}=\{x_1, x_2, x_3, x_4\}$ podawany jest na neurony warstwy wejściowej.
• Aktywacja każdego z neuronów warstwy ukrytej obliczana jest na podstawie równania 5.3. Dla przykładu dla ,,środkowego'' neuronu
  $$n_2=\dfrac{1}{1+\text{e}^{-\beta\left(w_{21}^1x_1+w_{22}^1x_2+w_{23}^1x_3+w_{24}^1x_4-\mu_2 \right)}} .$$

• Aktywacja neuronów warstwy wyjściowej, czyli odpowiedź sieci na sygnał $\vec{x}$, obliczana jest analogicznie jak w poprzednim kroku, tylko sygnały wejściowe $x_i$ zastęują obliczone aktywacje neuronów warstwy ukrytej.

,,Inteligencja'' sieci zawarta jest w wagach $w_{ij}^k$ połączeń między kolejnymi warstwami. Clou problemu polega na dobraniu tych wag tak, by realizowały interesujące nas odwzorowanie.

W klasycznym przypadku, nieznane odwzorowanie mamy zadane z pomocą zestawu ,,przykładów'' postaci (wektor wejściowy, prawidłowa klasyfikacja) -- oznaczmy je $(\vec{x}^i, \vec{r}^i)$. Rozważmy dla przykładu konstrukcję sieci rozpoznającej pisane odręcznie litery. Zestaw przykładów stanowić będą mapy bitowe obrazów reprezentujących litery i ich prawidłowe klasyfikacje. Wagi dobierane są w procesie uczenia sieci. Cała procedura przebiega jak następuje:

1. Ustalamy architekturę sieci:
   • rozmiar warstwy wejściowej jest zwykle zdeterminowany przez rozmiar wektora danych; np w przypadku zapisu pisanych odręcznie liter w postaci obrazów o rozmiarach 15x15 pixeli, rozmiar warstwy wejściowej wyniesie 225 neuronów,
   • rozmiar i ilość warstw ukrytych są problemem otwartym; najczęściej używamy jednej warstwy ukrytej, której rozmiar dobieramy empirycznie,
   • rozmiar warstwy wyjściowej zależy od sposobu kodowania informacji, którą chcemy na niej odczytywać; w przypadku rozpoznawania dużych liter alfabetu polskiego najlepiej wybrać 35 neuronów wyjściowych: literę ,,A'' reprezentować będzie jedynka na pierwszym neuronie i zera na pozostałych, ,,B'' -- jedynka na drugim neuronie itd.
2. Inicjalizujemy wagi połączeń $w_{ij}^k$ przypisując im małe liczby losowe -- warto zapamiętać, że w związku z tym każde uruchomienie tego samego algorytmu na tych samych danych może dać w wyniku inną sieć.
3. Wybrany losowo ze zbioru uczącego wektor $\vec{x}^l$ prezentujemy na wejściu sieci i obliczamy odpowiedź $\vec{n}^$wyjść.
4. Wartości odczytane z neuronów wyjściowych $n_i^$wyjść porównujemy z ,,prawidłową odpowiedzią'' $r_i^l$. Błąd średniokwadratowy obliczamy jako

   $$\sum_i (n_i^ -r_i^l)^2$$ (5.4)

   
   

5. Modyfikujemy wagi połączeń kolejnych warstw proporcjonalnie do ich wkładu w dany wynik (propagacja wsteczna błędu)^5.2.
6. Punkty 3-5 powtarzamy na losowo wybieranych przykładach aż do uzyskania zamierzonego efektu.

Ostatni punkt wymaga podjęcia wysoce nietrywialnej decyzji, od której m.in. zależeć będzie zdolność sieci do generalizacji wiedzy podanej w postaci przykładów.