wGMDH :: Selektivni kombinatorni GMDH

Selekcijski kombinatorni GMDH

U nastavku je sažeto opisana osnovna ideja selekcijskog kombinatornog (engl. Selectional Combinatorial) GMDH algoritma prema [1], premda koristeći nešto drukčiju terminologiju u kontekstu multivarijatne regresije glatkih funkcija. Regresija pomoću GMDH može se neformalno postaviti na sljedeći način: iz skupa mjernih podataka optimalno modeliraj zavisnu varijablu kao funkciju opisnih varijabla (regresora), na osnovi nekog kriterija pogreške, pri čemu GMDH model aproksimira funkciju zavisnosti.

Kako bi se opisao način na koji se konstruira GMDH model neophodno je definirati osnovne gradbene blokove GMDH mreža i način njihovog povezivanja.

U GMDH mreži razlikujemo dvije vrste primitiva (sl. 1), regresorske čvorove

$\left \{ x_{i} \right \}_{i=0}^{L_{\lambda }}$ i mrežne čvorove $\left \{ p_{\lambda j} \right \}_{\lambda =1}^{\Lambda}_{i=0}^{L_{\lambda}-1}$ , pri čemu sa $\Lambda$ Λ označavamo ukupan broj GMDH slojeva koji sadrže mrežne čvorove, a sa $L_{\lambda}$ širinu pretraživanja (engl. beam search width) tj. unaprijed definirani broj najboljih parcijalnih rješenja (mrežnih čvorova) koji se zadržavaju kao kandidati na sloju $\lambda$ .

Sl. 1: Formiranje GMDH mreže

Općenito, mrežni čvor $p_{\lambda j}$ predstavlja čvor s dva ulaza i s izlaznom nelinearnošću definiranom polinomom drugog stupnja. Regresorski čvor $x_{i}$ nema ulaza, s obzirom da predstavlja ulaz regresora u mrežu. Na primjer, mrežni čvor $p_{\lambda i}$ konstruiran je na sljedeći način:

$p_{\lambda i}=a_{\lambda i0}+a_{\lambda i1}z_{\lambda i1}+a_{\lambda i2}z_{\lambda i2}+a_{\lambda i3}z_{\lambda i1}^{2}+a_{\lambda i4}z_{\lambda i2}^{2}+a_{\lambda i5}z_{\lambda i1}z_{\lambda i2}$

pri čemu svaki od $z_{\lambda i1}$ i $z_{\lambda i2}$ može biti bilo regresorski, bilo mrežni čvor, a $a_{\lambda i0},\cdots ,a_{\lambda i5}$ predstavljaju odgovarajuće koeficijente dobivene polinoskom regresijom.

GMDH mreža raste iterativno spajenjem postojećih čvorova (bilo mrežnih, bilo regresijskih) na ulaze novog mrežnog čvora. u smjeru prema naprijed, pri čemu se koeficijenti polinoma čvora određuju regresijom, tj. aproksimacijom zavisne varijable uz minimalnu sumu kvadrata pogrešaka. Na taj način se mreže, čija složenost nije dostatna da obuhvati kompleksnost dinamike procesa koji se modelira, koriste kao ulazi u kompleksinje mreže, koje mogu bolje opisati proces.

Međutim, pronalaženje optimalne strukture mreže predstavlja veliki problem zbog velilčine prostora mogućih rješenja. Kako bi pretraživanje bilo izvedivo, tipično se koristi pretraživanje po širini (engl. Beam Search). Uz navedeno ograničenje, algoritam se ponaša suboptimalno, međutim takva rješenja često su zadovoljavajuća.

Neka su T i V skupovi za učenje i validaciju organizirani u matrični oblik, s mjernim primjerima po redovima,

$T=\left [ \left.\begin{matrix} x_{11}^{t} & x_{21}^{t} & \cdots & x_{K1}^{t}\\ x_{12}^{t} & x_{22}^{t} & \cdots & x_{K2}^{t}\\ \vdots & \vdots & \ddots & \vdots \\ x_{1M}^{t} & x_{2M}^{t} & \cdots & x_{KM}^{t} \end{matrix}\right|\begin{matrix}y_{1}^{t} \\ y_{2}^{t} \\ \vdots \\ y_{M}^{t} \end{matrix} \right ]=\left [ \left.\begin{matrix} \mathbf{x}_{1}^{t} & \mathbf{x}_{2}^{t} & \cdots & \mathbf{x}_{K}^{t} \end{matrix} \right| \mathbf{y}^{t} \right ]$

$V=\left [ \left.\begin{matrix} x_{11}^{v} & x_{21}^{v} & \cdots & x_{K1}^{v}\\ x_{12}^{v} & x_{22}^{v} & \cdots & x_{K2}^{v}\\ \vdots & \vdots & \ddots & \vdots \\ x_{1M}^{v} & x_{2M}^{v} & \cdots & x_{KM}^{v} \end{matrix}\right|\begin{matrix}y_{1}^{v} \\ y_{2}^{v} \\ \vdots \\ y_{M}^{v} \end{matrix} \right ]=\left [ \left.\begin{matrix} \mathbf{x}_{1}^{v} & \mathbf{x}_{2}^{v} & \cdots & \mathbf{x}_{K}^{v} \end{matrix} \right| \mathbf{y}^{v} \right ]$

gdje je $\mathbf{x_{i}}$ regresor s uzorcima po redovima , $\mathbf{y_{i}}$ zavisna varijabla s uzorcima po redovima, pri čemu superskripti t i v označavaju skupove za učenje i validaciju, redom, K je broj regresora, a M i N predstavljaju ukupan broj primjera u skupovima za učenje i validaciju.

GMDH mreža raste iterativno spajanjem postojećih čvorova (bilo mrežnih bilo regresijskih) na ulaze novog mrežnog čvora u smjeru prema naprijed pri čemu se koeficijenti polinoma čvora određuju regresijom tj. aproksimacijom zavisne varijable s minimalnom sumom kvadrata pogrešaka. Na taj način se mreže, čija složenost nije dostatna da obuhvati kompleksnost dinamike procesa koji se modelira, koriste kao ulazi u još komplelsnije mreže koje bolje oponašaju proces.

Međutim, pronalaženje optimalne strukture mreže predstavlja veliki problem zbog veličine prostora mogućih rješenja. Kako bi pretraživanje u GMDH algoritmu bilo izvedivo tipično se koristi pretraživanje po širini. S navedenim ograničenjem algoritam se ponaša ograničeno optimalno, međutim dobivena rješenja su često zadovoljavajuća.