Generalizacja

Głównym celem opisanej powyżej przykładowej konstrukcji nie było rozpoznawanie liter ze zbioru przygotowanego do uczenia sieci (to możnaby osiągnąć znacznie prostszymi metodami), lecz prawidłowa klasyfikacja nowych, nie widzianych przez sieć przypadków. Uzyskanie takiej własności wymaga prawidłowej generalizacji wiedzy ,,widzianej'' w procesie uczenia. Doskonała klasyfikacja przypadków prezentowanych sieci w procesie uczenia nie implikuje wcale poprawnego zachowania sieci na nowych elementach -- czasami dla uzyskania prawidłowej generalizacji konieczna jest wręcz pewna tolerancja w stosunku do wyników uzyskiwanych na zbiorze uczącym, co ilustruje rys. 5.3. Uzyskaniu poprawnej generalizacji służy m. in. dzielenie zbioru przykładów przeznaczonych do uczenia sieci na zbiór uczący i zbiór kontrolny, nie prezentowany sieci w procesie uczenia (punkty 3-5), i służący wyłącznie do weryfikacji zdolności generalizacji.

Rysunek: Analogia tłumacząca kompromis między wynikami sieci na zbiorze uczącym a generalizacją. $N$ punktów losowanych z równania $y_i=ax_i+b+\epsilon _i$, gdzie $\epsilon$ -- szumowe odchylenia od prostej, można idealnie przybliżyć wielomianem stopnia $N$. Jednak przebieg wielomianu poza przedstawionymi punktami będzie odbiegał od prostej znacznie bardziej niż w przypadku, gdy kosztem pewnych niedokładności odtworzenia danych punktów zdecydujemy się na aproksymację funkcją liniową.

Opisany powyżej schemat to zaledwie szkielet metodologii stosowanej w rozwiązywaniu konkretnych problemów. Nawet w swej podstawowej postaci zawiera dwie arbitrarnie wybierane stałe (współczynniki uczenia i bezwładności) od których zależy jego działanie. Metody uczenia stosowane w praktyce oferują ogromą ilość modyfikacji polepszających zbieżność i generalizację.