wGMDH :: Mjere dobrote modela

Mjere dobrote modela

Za selekciju modela mogu se koristiti različite mjere dobrote [3]. Tipično, GMDH selektira model s najboljom predikcijom u smislu najmanje sume kvadratnih pogrešaka $(E_{sse})$

$E_{sse}=\sum_{i=1}^{N}(p_{vi}-y_{vi})^{2}$

gdje $y_{vi}$ označavai-ti uzorak ciljne funkcije iz validacijskog skupa podataka, a $p_{vi}$ njenu aproksimaciju izračunatu s odgovarajućim polinomskim modelom koristeći validacijski skup uzoraka. Mogući su i ostali kriteriji dobrote modela: srednja kvadratna pogreška, relativana apsolutna pogreška, drugi korijen iz relativne kvadratne pogreške i dr.

Minimalna duljina opisa (engl. Minimum Description Length) [4] je poznati princip koji se može koristiti pri regularizaciji modela. Prema [5], MDL za linearnu polinomsku regresiju sastoji se od

dva dijela:

$MDL=0.5\cdot N \cdot log(E_{rms}^{2})+0.5 \cdot k \cdot log(N)$

gdje N označava broj primjera, a k broj parametara modela. Prvi sumand izraza interpretira se kao broj bitova potrebnih za kodiranje uzoraka, a drugi broj bitova potrebnih za kodiranje parametara modela. Optimizacija s obzirom na MDL u principu štiti model od pretreniranosti. Zbog toga se potencijalno može koristiti sa GMDH, koristeći samo jedan set podataka, umjesto odvojenih setova za treniranje i validaciju

Mjere dobrote modela zasnovane isključivao na mjerenju pogrešaka aproksimacije optimiraju modele ne vode računa o složenosti modela. Takav pristup može dovesti do modela visoke točnosti aproksimacije ali i visoke kompleksnosti, što povlačiti duže vrijeme izvršavanja, često i neprihvatljivo dugo za određene primjene, koje zahtijevaju modele ograničene kompleksnosti s maksimalno mogućom točnošću aproksimacije. Za generiranje takvih modela u [6] je predložena jednostavna heuristična dvoparametarska mjera a relativnom kvadratnom pogreškom (engl. Compound squared relative Error - CE)

$E_{CE}=c_{w}\cdot(\frac{E_{rrs}}{E_{rrs0}})^{2}+(1-c_{w})(\frac{T_{exe}}{T_{exe0}})^{2}$

pri čemu $T_{exe}$ označava vrijeme izvođenja (kompleksnost) modela, $E_{rrs0}$ i $T_{exe0}$ predstavljaju odgovarajuće pragove za relativnu kvadratnu pogrešku i za vrijeme izvođenja, dok $c_{w}\; (0\leq c_{w}\leq 1)$ označava težinski koeficijent. CE mjera sastoji se od dva člana koji predstavljaju normaliziranu pogrešku i normalizirano vrijeme izvođenja (kompleksnost) modela. Težinskim koeficijentom određuje se doprinos svakog člana. Za $c_{w}=1$ CE mjera se reducira samo na član za pogrešku. Za $c_{w}=0$ mjera se reducira na član za kompleksnost. Za razliku od MDL i jednoparametarskih mjera, predložena CE mjera kontrolira način na koji se karakteristike modela približavaju zadanim pragovima, što povećava vjerojatnost pronalaženjamodela koji zadovoljava oba ograničenja.

Traženi model mora zadovoljavati zahtjeve u pogledu točnosti i kompleksnosti, tj. vremena izvođenja:

$(E_{rms}\leq E_{rms0}\vee E_{rrs}\leq E_{rrs0})\wedge (T_{exe}\leq T_{exe0})$

Vrijeme izvođenja GMDH modela može se procijeniti sljedećim izrazom:

$T_{exe}\approx N_{x} \cdot (N_{add}\cdot T_{add}+N_{mul}\cdot T_{mul})$

gdje $N_{x}$ označava sveukupan broj dvodimenzionalnih polinoma drugog stupnja u modelu, $N_{add}$ i $N_{mul}$ odgovarajući broj operacija zbrajanja i množenja u aritmetici pomičnog zareza (engl. Floating Point Arithmetics) potrebnih za izračunavanje bazičnog polinoma, dok $T_{add}$ , i $T_{mul}$

označavaju odgovarajuće prosječno vrijeme izvođenja programskih rutina koje implementiraju FP zbrajanje i FP množenje. Zapišemo li bazični polinom:

$p_{\lambda i} = a_{\lambda i0}+a_{\lambda i1}z_{\lambda i1}+a_{\lambda i2}z_{\lambda i2}+a_{\lambda i3}z_{\lambda i1}^{2}+a_{\lambda i4}z_{\lambda i2}^{2}+a_{\lambda i5}z_{\lambda i1}z_{\lambda i2}$

kao

$p_{\lambda i} = a_{\lambda i0}+z_{\lambda i1}(a_{\lambda i1}+a_{\lambda i3}z_{\lambda i1}+a_{\lambda i5}z_{\lambda i2})+z_{\lambda i2}(a_{\lambda i2}+a_{\lambda i4}z_{\lambda i2})$ , vidimo da je za njegov izračun potrebno svega $N_{add}=5$ FP zbrajanja i $N_{mul}=5$ FP množenja.