algoritmi genetici n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Algoritmi Genetici PowerPoint Presentation
Download Presentation
Algoritmi Genetici

Loading in 2 Seconds...

play fullscreen
1 / 47

Algoritmi Genetici - PowerPoint PPT Presentation


  • 162 Views
  • Uploaded on

Modelli Computazionali per Sistemi Complessi A.A. 2005/2006 Università della Calabria. Algoritmi Genetici. Prof. Salvatore Di Gregorio Dr. William Spataro Dr. Donato D’Ambrosio. Cosa sono e come operano gli Algoritmi Genetici.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Algoritmi Genetici' - kimn


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
algoritmi genetici

Modelli Computazionali per Sistemi ComplessiA.A. 2005/2006 Università della Calabria

Algoritmi Genetici

Prof. Salvatore Di Gregorio

Dr. William Spataro

Dr. Donato D’Ambrosio

cosa sono e come operano gli algoritmi genetici
Cosa sono e come operano gli Algoritmi Genetici
  • Gli Algoritmi Genetici (AG) furono proposti da John Holland (Università del Michigan) tra la fine degli anni 60 e l’inizio degli anni 70
  • Gli AG (Holland, 1975, Goldberg, 1989) sono algoritmi di ricerca che si ispirano ai meccanismi della selezione naturale e della riproduzione sessuale
  • Gli AG simulano l'evoluzione di una popolazione di individui, che rappresentano soluzioni candidate di uno specifico problema, favorendo la sopravvivenza e la riproduzione dei migliori
l originario modello di holland
L’originario modello di Holland
  • L’originario modello di Holland opera su una popolazione P di n stringhedi bit (dette individui o genotipi) di lunghezza l fissata
funzione di fitness spazio di ricerca e paesaggio d idoneit
Funzione di fitness, spazio di ricerca e paesaggio d’idoneità
  • la funzione di fitnessvaluta la bontà degli individuigi della popolazione P nel risolvere il problema di ricerca dato:

f : P (-, +); f(gi) = fi

  • L'insieme delle stringhe binarie di lunghezza l ha 2l elementi; tale insieme rappresenta lo spazio di ricerca (search space) dell‘AG, cioè lo spazio che l‘AG deve esplorare per risolvere il problema di ricerca (es. trovare il massimo o il minimo).
  • I valori di fitness sui punti dello spazio di ricerca è detto paesaggio d'idoneità (fitness landscape).
esempio di paesaggio d idoneit di un ag con genotipi binari di 2 bit
Esempio di paesaggio d’idoneità di un AG con genotipi binari di 2 bit
  • Il numero di stringhe binarie di lunghezza 2 è 2l= 22= 4
  • Lo spazio di ricerca dell’AG è dunque

S = {(0,0), (0,1), (1,0), (1,1)}

  • I valori di fitness sui punti di S definiscono il paesaggio d’idoneità dell’AG
operatori
Operatori
  • Una volta che la funzione di fitness ha determinato il valore di bontà di ogni individuo della popolazione, una nuova popolazione di individui (o genotipi) viene creata applicando alcuni operatori che si ispirano alla selezione naturale e alla genetica
  • Gli operatori proposti da Holland sono:
    • Selezione (ispirato alla selezione naturale)
    • Crossover (ispirato alla genetica)
    • Mutazione (ispirato alla genetica)
  • Gli ultimi due sono detti operatori genetici
l operatore di selezione
L’operatore di selezione
  • La selezione naturale Darwiniana sostiene che gli individui più “forti” abbiano maggiori probabilità di sopravvivere nell’ambiente in cui vivono e, dunque, maggiore probabilità di riprodursi
  • Nel contesto dell’AG di Holland, gli individui più forti sono quelli con fitness più alta, poiché risolvono meglio di altri il problema di ricerca dato; per questo essi devono essere privilegiati nella fase di selezione degli individui che potranno riprodursi dando luogo a nuovi individui
la selezione proporzionale
La selezione proporzionale
  • Holland propose un metodo di selezione proporzionale al valore di fitness; sia fi il valore di fitness del genotipo gi, la probabilità che gi sia selezionato per la riproduzione è:

ps,i= fi / fj

  • Tali probabilità sono utilizzate per costruire una sorta di roulette
esempio di roulette
Esempio di roulette
  • I quattro individui A1, A2, A3 e A4, con probabilità di selezione 0.12, 0.18, 0.3 e 0.4, occupano uno “spicchio” di roulette di ampiezza pari alla propria probabilità di selezione. Nell'esempio l'operatore di selezione genera il numero casuale c = 0.78 e l'individuo A4 viene selezionato
mating pool
Mating pool
  • Ogni volta che un individuo della popolazione è selezionato ne viene creata una copia; tale copia è inserita nel così detto mating pool (piscina d’accoppiamento)
  • Quando il mating pool è riempito con esattamente n (numero di individui della popolazione) copie di individui della popolazione, nuovi n discendenti sono creati applicando gli operatori genetici
crossover
Crossover
  • Si scelgono a caso due individui nel mating pool (genitori) e un punto di taglio (punto di crossover) su di essi. Le porzioni di genotipo alla destra del punto di crossover vengono scambiate generando due discendenti.
  • L'operatore di crossover è applicato, in accordo a una prefissata probabilità pc, n/2 volte in modo da ottenere n discendenti; nel caso in cui il crossover non sia applicato, i discendenti coincidono con i genitori.
mutazione
Mutazione
  • Una volta che due discendenti sono stati generati per mezzo del crossover, in funzione di una pressata e usualmente piccola probabilita pm, il valore dei bit dei nuovi individui sono cambiati da 0 in 1 o viceversa.
  • Come il crossover, rappresenta una metafora della riproduzione sessuale, l'operatore di mutazione modella il fenomeno genetico della rara variazione di elementi del genotipo negli esseri viventi durante la riproduzione sessuale.
schema iterativo
Schema iterativo

AG {

t=0

inizializza la popolazione P(t) in maniera casuale

valuta la popolazione P(t)

mentre (!criterio_fermata) {

t=t+1

crea P(t) applicando selezione, crossover e mutazione

valuta P(t)

}

}

esempio da goldberg 1989
Esempio (da Goldberg, 1989)
  • Problema (facile) di ricerca - Problema: trovarfe il massimo della funzione y=x2 in [0,31]
  • Approccio AG :
    • Rappresentazione Genotipo : stringhe binarie (e.g. 000000; 0110113; 1111131)
    • Dimensione popolazione: 4
    • Crossover e no mutazione (solo un esempio!)
    • Selezione a Roulette (i.e. quella proporzionale!)
    • Inizializzazione Random
  • Un ciclo generazionale viene mostrato di seguito
crossover o mutazione
Crossover o mutazione?
  • Lungo dibattito decennale: qual è migliore/necessario?
  • Risposta (comunemente accettata):
    • Dipende sul problema, ma
    • in generale, meglio avere entrambe
    • mutazione da sola è possibile, crossover da solo non dovrebbe funzionare
perch gli ag funzionano
Perché gli AG funzionano?
  • Esplorazione: Ricerca su aree promettenti dello spazio di ricerca
  • Sfruttamento: Ottimizzando in un’area promettente, i.e. utilizzando informazione
  • Sussiste co-operazione e competizione tra loro
  • Crossover è “esplorativo”, fa un “grosso” salto in un’area tra due aree (genitore)
  • Mutazione è “sfruttatore”, esso crea piccole diversificazioni, perciò rimanendo “vicino” all’area del genitore
teoria sugli ag
Teoria sugli AG
  • Parallelismo Implicito (Holland, 1975): mentre l’AG opera su una popolazione din genotipi, esso esplora un numero tra 2l e n2l sotto-regioni dello spazio di ricerca, essendo l la lunghezza del genotipo
  • Esempio: l’individuo 101 può essere considerato un genotipo rappresentativo delle seguenti sotto-regioni dello spazio di ricerca:

101; *01; 1*1; 10*; **1; 1**; *0*; ***

dove il simbolo * sta per 0 o 1

teoria sugli ag1
Teoria sugli AG
  • Teorema Fondamentale (Holland, 1975): dopo una fase iniziale nella quale l’AG esplora in modo quasi random lo spazio di ricerca (campionamento), esso si concentra sulla regione più “promettente”, i.e. la regione caratterizzata da individui con fitness maggiori
  • Per una dimostrazione, vedi Goldberg (1989)
altri modelli ag codifica
Altri modelli AG (Codifica)
  • Codifica binaria:
    • Codifica binaria classica di Holland
    • Grey code (cf. Mitchell 1996) – Tra due codifiche successive, la differenza è di 1 bit
altri modelli ag codifica1
Altri modelli AG (Codifica)
  • Caratteri, interi e valori reali
  • Codifica ad albero (Genetic Programming; cf Koza, 1992). Il seguente esempio mostra una rappresentazione ad albero dell’algoritmo che calcola la funzione A3
altri modelli ag rimpiazzamento
Altri modelli AG (Rimpiazzamento)
  • Rimpiazzamento Generazionale : tutta la popolazione è rimpiazzata con nuovi discendenti. Nota che il miglior individuo non viene conservata nelle iterazioni successive
  • Rimpiazzamento Steady state: solo n’<n individui sono rimpiazzati; se i rimanenti n-n’ individui non-rimpiazzati sono i migliori della vecchia popolazione, l’AG viene chiamato elitistico
altri modelli ag selezione
Altri modelli AG (Selezione)
  • Selezione Proporzionale o Roulette: gli individui sono selezionati proporzionalmente alle loro fitness
  • Boltzmann, Rank-based e Tournament selection: garantiscono un miglior campionamento dello spazio di ricerca durante le prime generazioni dell’AG (cf. Mitchell, 1996)
altri modelli ag selezione1
Altri modelli AG (Selezione)
  • Selezione a Torneo - Scegliere k individui in modo random, con o senza rimpiazzamento, e seleziona i migliori di questi k confrontando le loro fitness con maggiore probabilità per selezionare i migliori
altri modelli ag mutazione
Altri modelli AG (Mutazione)
  • Per codifiche a caratteri, interi o reali, la mutazione funziona in modo simile allo schema classico di Holland.
  • Per la Programmazione Genetica, un “pezzo” di albero viene rimpiazzato da uno generato in modo casuale
example
Example
  • Trovare il massimo della funzione y=x2 nell’intervallo [0,216-1]
    • Scegliere la dimensione (n) della popolazione P
    • Scelgliere la lunghezza del genotipo (l)
    • Scegliere lo schema dello schema di rimpiazzamento
    • Definire la funzione di fitness (f)
    • Scegliere il tipo di crossover e fissare la probabilitàpc
    • Scegliere il tipo di mutazione e fissare la probabilitàpm
    • Scrivere un programma che implementa un AG o (meglio!) utilizzare una libreria AG open source
pgapack
PGAPack
  • PGAPack è una libreria open source ad AG gratis disponibile su http://www-fp.mcs.anl.gov/CCST/research/reports_pre1998/comp_bio/stalk/pgapack.html
    • Implementa il modello di Holland e molti altri
    • Gira su diverse piattaforme (UNIX versions e GNU-Linux)
    • Impelementa inoltre un modello parallelo AG: il Master-Slave GA, sfruttando quindi (in modo trasparente per l’utente) più CPUs contemporaneamente
master slave ga
Master-Slave GA

Iterative schema of the MASTER-SLAVE GA

Master-Slave GA

{

[MASTER]

t=0

Initialize the population P(t)

send n’/S individuals to each slave

[SLAVE]

receive n’/S individuals

evaluate n’/S individuals

send the n’/S computed fitness values to the MASTER

while (NOT(stopping_criterion))

{

[MASTER]

receive n’ computed fitness values from the SLAVEs

t=t+1

create P(t) by applying Selection, Crossover and Mutation

send n’/S individuals to each slave

[SLAVE]

receive n’/S individuals

evaluate n’/S individuals

send the n’/S computed fitness values to the MASTER

}

}

  • Diversi AG paralleli (PGAs) sono stati proposti in letteratura: Master-Slave GA, Multiple Demes GA, etc. (vedi Cantù-Paz, 2000)
  • Il modo più semplice di parallelizzare un AG consiste nel distribuire il carico computazionale su P processori.
  • Un processore (Master) esegue i passi dell’AG, mentre i S=P-1 processori (Slaves) eseguono la valutazione dei n’/S individui della popolazione (dove n’<n).
the beowulf cluster at department of mathematics
The Beowulf cluster at Department of Mathematics
  • A Beowulf Cluster is a low-cost Parallel Machine built with common PC and other hardware components
  • The Beowulf Cluster at Department of Mathematics is composed by 16 1.4 GHz Pentium IV nodes, 512 MB of Ram per node, Red Hat Linux 7.2 OS, gcc v2.96
  • Nodes are connected by a normal Ethernet LAN with a 100 Mbs switch
  • Inter-nodes communications are committed through message exchanges by means of MPI (Message Passing Interface) (Pacheco, 1999; Gropp, 2001)
performance tempi di esecuzione
Performance (tempi di esecuzione)
  • Performance eseguite considerando un AG generazionale, con 100 generazioni, n’=30, 60, 120 e 240 individui, e ft=0.001, 0.01, 0.1 e 1 secondi (fitness function execution time)
performance speed up
Performance (speed-up)
  • The same experiments can be seen in terms of speed-up, defined as:

speed-up = (sequential execution time) / (parallel execution time)

applicazione al modello sciddica
Applicazione al modello SCIDDICA
  • SCIDDICA (Simulation through Computational Innovative methods for the Detection of Debris flow path using Interactive Cellular Automata) è un modello bi-dimensionali per la simulazione di colate di detrito (frane), applicato con successo alle colate di detrito avvenute a Sarno (Campania) nel 1998
applicazione al modello sciddica1
Applicazione al modello SCIDDICA
  • The model SCIDDICA depends on a set of parameters that rule the dynamical behavior of the system
applicazione al modello sciddica2
Applicazione al modello SCIDDICA
  • La calibrazione dei parametri un una fase essenziale dello sviluppo di un modello, e può fornire informazioni sulla affidabilità del modello stesso
  • Un possibile metodo per la valutazione di una simulazione consiste nel confronto tra l’estensione areale tra un evento reale, m(R), e l’estensione di quella simulata, m(S), tramite la seguente funzione di valutazione:
  • e1 è un valore in [0,1]:
    • vale 0 quando i due eventi sono completamente disgiunti
    • vale 1 quando i due eventi si sovrappongono perfettamente
  • Lo scopo dell’AG è di trovare un set di parametri che massimizzano la funzione e1
applicazione al modello sciddica3
Applicazione al modello SCIDDICA
  • GA model
    • Codifica binaria (8 bits per ogni parametri)
    • Steady state replacement
    • Selezione a torneo
    • 200 generazioni
    • Single point crossover con probabilità 0.8
    • 2 bits mutuati per ogni individuo (i.e. mutation probability = 2/genotype_length)
  • Search space

S= [0.001,10][0.1,1][0,10]…[0.001,10] 8

ottimi locali
Ottimi locali
  • E’ possibile la presenza di “minimi locali” nella dinamica della ricerca (i.e. più set di parametri forniscono buoni risultati)
  • E’ stato condotto uno studio sulla distribuzione dei minimi locali nello spazio di ricerca, considerando un evento pseudo-reale (di cui si conosce il set unico (Popt) di parametri che l’ha generata) e considerando la “distanza” tra i set di parametri individuati dall’AG e il set Popt
  • Si noto la presenza di parecchie oscillazioni, indicando la presenza di parecchi minimi locali. Perchè?
applicazione al modello sciddica5
Applicazione al modello SCIDDICA
  • Il solo confronto areale non è sufficiente! Bisogna considerare altre informazioni che possono favorire l’AG verso un set (sub-ottimale) di parametri, ad esempio considerando lo spessore di frana, l’erosione, etc:
applicazione al modello sciddica6
Applicazione al modello SCIDDICA
  • Come in precedenza, un evento pseudo-reale è stato considerato per valutare la dinamica dell’AG
  • La fitness converge verso un buon valore (come prima), ma le oscillazioni sono minori!
  • Questo indica una minore presenza di ottimi locali
applicazione al modello sciara
Applicazione al modello SCIARA
  • SCIARA (Simulation by Cellular Interactive Automata of the Rheology of Aetnean lava flows) è un modello bi-dimensionale ad AC per la simulazione di colate di lava
  • Il modello dipende da un insieme di parametri (globali) che regolano la dinamica del sistema:
applicazione al modello sciara1
Applicazione al modello SCIARA
  • Come per SCIDDICA, un possibile metodo per valutare la bontà di una simulazione consiste nel confronto tra l’estensioni areali tra un evento reale, m(R), e quello simulato, m(S), tramite la funzione di fitness:
  • e1 è un valore in [0,1]:
    • vale 0 quando i due eventi sono completamente disgiunti
    • vale 1 quando i due eventi si sovrappongono perfettamente
  • Lo scopo dell’AG è di trovare un set di parametri che massimizzano la funzione e1
applicazione al modello sciara2
Applicazione al modello SCIARA
  • GA model
    • Codifica binaria (8 bits per ogni parametri)
    • Steady state replacement
    • Selezione a torneo
    • 200 generazioni
    • Single point crossover con probabilità 0.8
    • 2 bits mutuati per ogni individuo (i.e. mutation probability = 2/genotype_length)
bibliografia
Bibliografia
  • Crisci G. M., Di Gregorio S., Rongo R., Spataro, W., (2004). The simulation model SCIARA: the 1991 and 2001 at Mount Etna. Journal of Vulcanogy and Geothermal Research, Vol 132/2-3, pp 253-267, 2004.
  • D. D'Ambrosio, W. Spataro, and G. Iovine, in press. Parallel genetic algorithms for optimising cellular automata models of natural complex phenomena: an application to debris-flows. Computer & Geosciences.
  • D.E. Goldberg. Genetic Algorithms in Search, Optimization and Machine Learning. Addison-Wesley, 1989.
  • J.H. Holland. Adaptation in Natural and Articial Systems. University of Michigan Press, Ann Arbor, 1975.
  • G. Iovine, D. D'Ambrosio, and S. Di Gregorio, 2005. Applying genetic algorithms for calibrating a hexagonal cellular automata model for the simulation of debris flows characterised by strong inertial effects. Geomorphology, 66, 287-303.
  • J.R. Koza. Genetic Programming: On the Programming of Computers by Means of Natural Selection. MIT Press, 1992.
  • M. Mitchell. An Introduction to Genetic Algorithms. MIT Press, 1996.
  • W. Spataro, D. D'Ambrosio, R Rongo and G.A. Trunfio, 2004. An Evolutionary Approach for Modelling Lava Flows through Cellular Automata. In P.M.A. Sloot, B. Chopard and A.G.Hoekstra (Eds.), LNCS 3305, Proceedings ACRI 2004, University of Amsterdam, Science Park Amsterdam, The Netherlands, pp. 725-734.