Curs de doctorat de XARXES NEURONALS.
Index:
-
Temari
-
Bibliografía
-
Transparéncies del curs
-
Links a llocs on es pot trovar informació en
la xarxa
-
Simuladors
Temari
1-Introducció a les xarxes neuronals
Descripció breu dels diferents tipus de arquitectures de xarxes
neuronals i les seves aplicacions.
Es demostra de manera geométrica i amb exemples que una estructura
feed-forward es capaç aproximar funcions i classificar (fer particions
en un espai de característiques)
En aquest apartat es fa la deducció de diverses estructures
de xarxa neuronal a partir de la teoría de classificació
de Bayes i es demostren les limitacions en quan a particions del espai.
També es comenten maneres de superar les limitacions que es dedueixen.
Es comenten breument les propietats de la cerca de gradiente, la necesitat
de definir una bona funció de cost i s'intenta donar una idea intuitiva
de la geometría de les funcions de cost.
Es dedueix la estructura del perceptró juntament amb el algoritme
de aprenentatge. Es relacionen les limitacions propies del perceptró
amb la teoría de classificació bayesiana.
Es dedueixen les equacions de entrenament de una xarxa amb arquitectura
feed-forward, i com es un algoritme molt utilitzat s'expliquen amb detall
aspectes de implementació, programació i funcionament
práctic.
Es presenta un marc probabilistic per deduir els algoritmes paramétrics
que no necesiten informació sobre les dades (teacher). Es dedueix
la estructura de radial basis function, a partir d'aquesta es dedueix el
algoritme LVQ, i finalment es construeix el SOM. Com el algoritme SOM es
molt utilitzat, també s'expliquen detalls de implementació
i aplicacions.
8-Optimització.
Es comenta la xarxa de hopfield, el Simulated annealing i la maquina
de Boltzman.
9-Tractament del senyal
S'explica diverses técniques per preparar el senyal per
tal de ser tractat amb xarxes neuronals. S'explica també la relació
que hi ha entre les transformacions sobre el senyal i la estructura de
la xarxa que es faci servir.
Bibliografía.
-
S.Y Kung, Digital Neural Networks. Prentice Hall, 1993
-
Aquest llibre está molt bé per qui vulgui aplicacions de
les xarxes. La estructura de cada capítul és de teoría+exemples,
la notació utilitzada pel autor és fácil de seguir
per algú que vingui del camp de processat de senyal. La bibliografía
és útil per el que estigui interesat en aplicacions. Hi ha
un últim capítul dedicat a implementació de les xarxes
en hardware, ja sigui en xips analógics o en arquitectures paral.leles
(l'especialitat del autor són els sistolics)
-
S. Haykin, Neural Networks. A comprehensive foundation. McMillan,
1994
-
Aquest llibre és la referéncia standard, a diferència
del llibre del Kung, dedica molt espai a la teoría que hi ha arrera
de cada una de les estructures de xarxes neuronals. També
té exemples d'aplicacions, peró són per aclarir punts
de la teoría, en el llibre del Kung es fá més emfasí
en les aplicacions. Un punt molt interesant de aquest llibre, és
que el autor coneix bé temes que están relacionats amb les
xarxes neuronals i que poden utilitzarse per complementar les explicacions
estandard (ex. teoría de l'informació, filtres adaptatius,
analisi espectral, etc.). Hi han 50 pàgines dedicades a la bibliografía;
que está ben seleccionada.
-
J.Hertz,A.Krogh, R.Palmer, Introduction to the theory of neural computation.
Addison Wesley,1991
-
Aquest es un llibre escrit per fisics. Dedica molt espai a la interpretació
del funcionament de les xarxes com funcions de energía. Interesant
pel que vulgui entrar el aspectes teórics del aprenentatge, sobre
tot de les xarxes de Hopfield.
-
C. Bishop, Neural Networks for Pattern Recognition, Clarendon Press,1995
-
Aques llibre está dedicat a veure les xarxes com sistemes
de classificació. El enfoc está basat en estadística
Bayesiana, i resulta molt interesant pel que vulgui fer classificadors
i tingui informació sobre la estructura del problema. El capitóls
dedicat a les funcions de cost i a les optimitzacions de paràmetres
estàn molt bé.
-
Y. Pao, Adaptive Pattern Recognition and Neural Networks, Addison
Wesley, 1989
-
Un llibre que explica les xarxes relacionant-les amb les técniques
de lógica difusa. Els apartats dedicats a discutir la estadística
Bayesiana y les functional nets són interesants.
-
R. Hecht-Nielsen, Neurocomputing, Addison Wesley, 1989
-
Un dels primers llibres. Fa un resum de técniques i comenta informació
interesant pel que ha de fer servir les xarxes. També hi ha un resum
de aplicacions, que actualment están una mica desfasades. Té
un capítol dedicat a com organitzar un projecte per desemvolupar
una aplicació, que pot ser útil.
-
E. Aarts, J. Korst, Simulated Annealing and Boltzman Machines, J.Wiley,
1989
-
P.Laarhoven, E. Aarts, Simulated Annealing: Theory and Applications.
Kluwer,1988
-
Aquests dos llibres abarquen la teoría del simulated annealling.
Malgrat els títols, el emfasi en les aplicacions es limitat, per
tant es millor anar directament als articles que referencien. Els llibres
están escrits pensant en donar fonaments a técniques heurístiques,
els teoremes són interesants perque ajuden a la comprensió
del que es fá, pero normalment són fites asimptótiques.
-
T. Masters, Advanced Algorithms for Neural Networks, a C++ sourcebook,
J.Wiley,1995
-
Un llibre molt interesant pel que estigui interesat en fer algo que funcioni.
Encara que no s'aprofitin les seves subrutines, explica detalls d'implementació
que no es troven en els altres llibres. Es nota que fet i programat aplicacions.
-
J. McClelland, D. Rumelhart, Parallel Distributed Processing, Explorations
in the microstructure
-
of cognition,Bradford, 1987
-
El primer llibre que va difondre la técnica de xarxes neurals. Está
pensat principalment per psicólegs i físics.
Altre bibliografía que pot ser interesant
-
Duda &Hart, Pattern Recognition. 1973
-
Un clásic de reconeixement de formes, malgrat els anys está
plé de idees que poden ser molt útils pel que treballi
amb xarxes neurals.
-
Luenenberger, Linear and Nonlinear optimization .
-
El llibre de optimització mes pedagógic i complet que
he trovat. Molt útil com llibre de consulta si has de modificar
algoritmes de aprenentatge.
-
E. Blahut, Principles and Practice of Information theory. Addison
Wesley, 1987
-
Un llibre de teoría de la informació, que dóna
els fonaments per poder entendre la relació entre les xarxes
i la teoría de la informació.
Transparéncies del curs
-
Tema 2
-
Qué pot fer una xarxa neuronal?
-
Temes 3 i
4
-
Teoría de classificació bayesiana
-
Estimació de parametres
-
Temes 5 i
6
-
El perceptró
-
Algoritme Backpropagation
-
Tema 7
-
Aprenentatge no supervistat
Links a llocs on es pot trovar informació
en la xarxa
-
Yahoo,
pagina amb links a llocs de xarxes neurals
-
Pagina de matlab
per xarxes neurals
-
Pagina
amb molts links
-
Pagina de Helsinki. SOM
i LVQ
Simuladors
-
Stutgart
Neural Net Simulator
Fonts de Simuladors
-
Fonts en C, Spider
Webb
-
Un altre simulador
en Ansi C
Procés de diseny de la pàgina.
-
Un moment de descans durant la feina
| Sorrolla |
Bonnard |
 |
 |