Evolutionary computing

Transcript

1 Evolutionary computing Collocazione dell'ec e la metafora di base dell'ec Ispirazione biologica: teorie dell'evoluzione di Darwin (semplificata!) Genetica (semplificata!) Motivazioni dell'ec Struttura di un EA (Evolutionary algorithm) A.E. Eiben and J.E. Smith, Introduction to Evolutionary Computing

2 Evolutionary computing Universe Borg Vogons Earth etc Biotop Society Stones & Seas etc Art Science Politics Sports etc Life Sciences Social Sciences Exact Sciences etc Mathematics Physics Computer Science etc Software Engineering Computational Intelligence etc Neural Nets Evolutionary Computing Fuzzy Systems

3 Metafora dell'ec Evoluzione ambiente individui fitness Problem solving problema possibile soluzione qualità della soluzione Fitness: possibilità di sopravvivere e riprodursi Qualità: possibilità di produrre nuove soluzioni Biologically inspired: -NN (neural network) -EC -PSO (particle swarm optimization) -Life

4 Cenni storici 1948, Turing: genetical or evolutionary search 1962, Bremermann: optimization through evolution and recombination 1964, Rechenberg: evolution strategies 1965, L. Fogel, Owens and Walsh: evolutionary programming 1975, Holland: genetic algorithms 1992, Koza: genetic programming 1985: first int. conference (ICGA) 1990: first int. conference in Europe (PPSN) 1993: first scientific EC journal (MIT Press) 1997: European EC Research Network EvoNet

5 Evoluzione Darwiniana L'ambiente ha un numero di risorse limitate Gli esseri viventi hanno istinti di base orientati verso la riproduzione Di conseguenza è inevitabile una selezione Gli individui più competitivi hanno maggiori possibilità di riprodursi La fitness nel mondo naturale è una grandezza derivata, assegnamo una fitness elevata agli individui con più discendenti

6 Evoluzione Darwiniana Caratteri fenotipici: differenze fisiche e comportamentali che influenzano la risposta all'ambente determinati parzialmente per eredità e parzialmente con lo sviluppo unici per ogni individuo Se queste caratteristiche: possono essere ereditate aumentano le probabilità di riproduzione allora tendono ad aumentare nel tempo Si genereranno nuove combinazioni di caratteri

7 Evoluzione Darwiniana La popolazione è composta da diversi gruppi di individui Le combinazioni di caratteri meglio adattati tendono a essere più rappresentati gli individui sono l'unità di selezione Variazioni casuali sono una sorgente di diversità. Questo insieme alla selezione fa sì che la popolazione sia l'unità di evoluzione Notare l'assenza di una forza esterna

8 Genotipo e fenotipo Genotipo: l'informazione genetica, codificata nei cromosomi Fenotipo: le caratteristiche che appaiono negli individui La trasformazione è monodirezionale: genotipo fenotipo genotipo fenotipo Le caratteristiche acquisite non possono essere ereditate

9 Crossover e mutazione durante la riproduzione (meiosi) i cromosomi si mescolano Durante la trascrizione ci può essere un errore catastrofico ininfluente positivo

10 Dalla natura all'ec La natura ha sempre ispirato lo sviluppo delle scienze I migliori esempi di problem solver sono: il cervello umano, che ha creato the wheel, New York, wars and so on (Hitch-Hikers Guide to the Galaxy) l'evoluzione, che ha creato il cervello umano (Origin of Species) Questo ha ispirato: reti neurali evolutionary computing

11 Esigenze dell'ec Uno dei problemi principali è lo sviluppo di strategie di risoluzione dei problemi il tempo disponibile per risolvere il problema diminuisce la complessità del problema aumenta Necessità di strategie di ottimizzazione

12 Struttura di un EA

13 Differenti tipi di EA I vari tipi di EA sono associati a diverse rappresentazioni stringhe binarie: algoritmi genetici vettori reali: strategie evolutive macchine a stati: programmazione evolutive strutture ad albero: programmazione genetica Le differenze non sono però centrali: la rappresentazione scelta in base al problema le regole di evoluzione sono scelte in base alla rappresentazione La selezione si basa sulla fitness e non dipende dalla rappresentazione

14 Rappresentazioni Le soluzioni possibili (individui) sono nello spazio dei fenotipi Ciascun individuo é codificato in un cromosoma (genotipo) encoding: fenotipo->genotipo decoding: genotipo->fenotipo I cromosomi sono composti da geni che hanno ciascuno un valore (allele) Perchè l'algoritmo trovi la soluzione questa deve essere rappresentabile nello spazio dei genotipi

15 Fitness Rappresentazione dell'obiettivo del sistema (funzione target o obiettivo) La funzione deve fornire un singolo valore reale Nell'analogia evolutiva si cerca un massimo della fitness La selezione funziona meglio se i valori di fitness sono tra loro molto diversi

16 Popolazione Contiene (rappresentazioni delle) soluzioni Spesso la dimensione della popolazione è fissata Ci sono casi in cui la popolazione è un multiset o ha una struttura spaziale predeterminata Gli operatori di selezione considerano l'intera popolazione Diversità: molti valori diversi di fitness, fenotipi e genotipi

17 Scelta dei genitori Gli individui hanno una probabilità di essere selezionati dipendente dalla fitness Criteri: gli individui migliori hanno una maggiore probabilità di essere selezionati la scelta è comunque probabilistica anche l'individuo peggiore ha una probabilità di essere selezionato Capacità di uscire da minimi locali

18 Operatori di cambiamento Hanno il compito di generare nuove soluzioni Divisi in funzione della loro arity (numero di ingressi) arity = 1 -> operatori di mutazione arity > 1 -> ricombinazione arity = 2 -> normalmente detto crossover Importanza di mutazione e ricombinazione molti algoritmi usano entrambi la scelta di come sono realizzati gli operatori dipende dalla rappresentazione

19 Mutazione Agisce su un genotipo per crearne uno nuovo L'elemento casuale è essenziale e differenzia la mutazione dagli operatori euristici L'importanza dipende dal tipo di rappresentazione: GA binari: essenziale per mantenere la diversità EP con variabili continue: operatore di ricerca GP: quasi mai usato Può garantire che lo spazio di ricerca sia un insieme connesso (teoremi di convergenza)

20 Ricombinazione Trasferisce l'informazione dei genitori nei figli La scelta di quale informazione trasferire è casuale Molti figli possono essere peggiori o simili ai genitori Alcuni possono essere migliori: selezione aspetti positivi da entrambi i genitori Principio usato da millenni in agricoltura ed allevamento

21 Selezione della popolazione Con la riproduzione la popolazione aumenta Serve un metodo per mantenere la popolazione costante al crescere delle generazioni Spesso si usano metodi deterministici: basati sulla fitness: si ordinano genitori e figli e si tengono gli N migliori basati sull'età: si tengono soltanto i figli combinazioni (elitismo)

22 Inizializzazione/termine L'inizializzazione è spesso casuale necessità di avere i possibili valori degli alleli si possono inserire soluzioni euristiche per fornire un buon punto di partenza Criteri di terminazione, dopo ogni generazione: raggiungere buoni valori di fitness limite sul numero di generazioni limite minimo di diversità stabilizzazione della fitness

23 Goldberg, 1989 Performance of methods on problems Evolutionary algorithm Scale of all problems Special, problem tailored method Random search

24 Michalewicz, 1996 EA 4 Performance of methods on problems EA 1 EA 2 P EA 3 Scale of all problems

25 Genetic Agorithms Developed: USA in the 1970 s Early names: J. Holland, K. DeJong, D. Goldberg Typically applied to: discrete optimization Attributed features: not too fast good heuristic for combinatorial problems Special Features: Traditionally emphasizes combining information from good parents (crossover) many variants, e.g., reproduction models, operators

26 Rappresentazione Phenotype space Genotype space = {0,1} L Encoding (representation) Decoding (inverse representation)

27 Algoritmo SGA 1 Select parents for the mating pool (size of mating pool = population size) 3 Shuffle the mating pool 4 For each consecutive pair apply crossover with probability p c, otherwise copy parents 5 For each offspring apply mutation (bit-flip with probability p m independently for each bit) 6 Replace the whole population with the resulting offspring

28 Crossover ad 1 punto Choose a random point on the two parents Split parents at this crossover point Create children by exchanging tails Pc typically in range (0.6, 0.9)

29 Mutazione Alter each gene independently with a probability p m p m is called the mutation rate Typically between 1/pop_size and 1/ chromosome_length

30 Selezione Main idea: better individuals get higher chance Chances proportional to fitness Implementation: roulette wheel technique Assign to each individual a part of the roulette wheel Spin the wheel n times to select n individuals A B 3/6 = 50% 1/6 = 17% C 2/6 = 33% fitness(a) = 3 fitness(b) = 1 fitness(c) = 2

31 Crossover: problemi Performance with 1 Point Crossover depends on the order that variables occur in the representation more likely to keep together genes that are near each other Can never keep together genes from opposite ends of string This is known as Positional Bias Can be exploited if we know about the structure of our problem, but this is not usually the case

32 Operatori alternativi n-point crossover uniform crossover

33 Altre rappresentazioni Gray coding of integers (still binary chromosomes) Gray coding is a mapping that means that small changes in the genotype cause small changes in the phenotype (unlike binary coding). Smoother genotype-phenotype mapping makes life easier for the GA Nowadays it is generally accepted that it is better to encode numerical variables directly as Integers Floating point variables

34 Crossover operators for real valued GAs Discrete: each allele value in offspring z comes from one of its parents (x,y) with equal probability: z i = x i or y i Could use n-point or uniform Intermediate exploits idea of creating children between parents (hence a.k.a. arithmetic recombination) z i = α x i + (1 - α) y i where α : 0 α 1. The parameter α can be: constant: uniform arithmetical crossover variable (e.g. depend on the age of the population) picked at random every time

35 Ordering - permutation Ordering/sequencing problems form a special type Task is (or can be solved by) arranging some objects in a certain order Example: sort algorithm: important thing is which elements occur before others (order) Example: Travelling Salesman Problem (TSP) : important thing is which elements occur next to each other (adjacency) These problems are generally expressed as a permutation: if there are n variables then the representation is as a list of n integers, each of which occurs exactly once

36 The 8 queens problem Place 8 queens on an 8x8 chessboard in such a way that they cannot check each other

37 Representation Phenotype: a board configuration Genotype: a permutation of the numbers 1-8 Obvious mapping

38 Fitness Penalty of one queen: the number of queens she can check. Penalty of a configuration: the sum of the penalties of all queens. Note: penalty is to be minimized Fitness of a configuration: inverse penalty to be maximized

39 Mutation Small variation in one permutation, e.g.: swapping values of two randomly chosen positions,

40 Recombination Combining two permutations into two new permutations: choose random crossover point copy first parts into children create second part by inserting values from other parent: in the order they appear there beginning after crossover point skipping values already in child

41 Selection Parent selection: Pick 5 parents and take best two to undergo crossover Survivor selection (replacement) When inserting a new child into the population, choose an existing member to replace by: sorting the whole population by decreasing fitness enumerating this list from high to low replacing the first with a fitness lower than the given child

42 Magic Square Winmaqu.exe

43 Evolutionary computing Collocazione dell'ec e la metafora di base dell'ec Ispirazione biologica: teorie dell'evoluzione di Darwin (semplificata!) Genetica (semplificata!) Motivazioni dell'ec Struttura di un EA (Evolutionary algorithm) A.E. Eiben and J.E. Smith, Introduction to Evolutionary Computing

44 Evolutionary computing Universe Borg Vogons Earth etc Biotop Society Stones & Seas etc Art Science Politics Sports etc Life Sciences Social Sciences Exact Sciences etc Mathematics Physics Computer Science etc Software Engineering Computational Intelligence etc Neural Nets Evolutionary Computing Fuzzy Systems

45 Metafora dell'ec Evoluzione ambiente individui fitness Problem solving problema possibile soluzione qualità della soluzione Fitness: possibilità di sopravvivere e riprodursi Qualità: possibilità di produrre nuove soluzioni Biologically inspired: -NN (neural network) -EC -PSO (particle swarm optimization) -Life

46 Cenni storici 1948, Turing: genetical or evolutionary search 1962, Bremermann: optimization through evolution and recombination 1964, Rechenberg: evolution strategies 1965, L. Fogel, Owens and Walsh: evolutionary programming 1975, Holland: genetic algorithms 1992, Koza: genetic programming 1985: first int. conference (ICGA) 1990: first int. conference in Europe (PPSN) 1993: first scientific EC journal (MIT Press) 1997: European EC Research Network EvoNet

47 Evoluzione Darwiniana L'ambiente ha un numero di risorse limitate Gli esseri viventi hanno istinti di base orientati verso la riproduzione Di conseguenza è inevitabile una selezione Gli individui più competitivi hanno maggiori possibilità di riprodursi La fitness nel mondo naturale è una grandezza derivata, assegnamo una fitness elevata agli individui con più discendenti

48 Evoluzione Darwiniana Caratteri fenotipici: differenze fisiche e comportamentali che influenzano la risposta all'ambente determinati parzialmente per eredità e parzialmente con lo sviluppo unici per ogni individuo Se queste caratteristiche: possono essere ereditate aumentano le probabilità di riproduzione allora tendono ad aumentare nel tempo Si genereranno nuove combinazioni di caratteri

49 Evoluzione Darwiniana La popolazione è composta da diversi gruppi di individui Le combinazioni di caratteri meglio adattati tendono a essere più rappresentati gli individui sono l'unità di selezione Variazioni casuali sono una sorgente di diversità. Questo insieme alla selezione fa sì che la popolazione sia l'unità di evoluzione Notare l'assenza di una forza esterna

50 Genotipo e fenotipo Genotipo: l'informazione genetica, codificata nei cromosomi Fenotipo: le caratteristiche che appaiono negli individui La trasformazione è monodirezionale: genotipo fenotipo genotipo fenotipo Le caratteristiche acquisite non possono essere ereditate

51 Crossover e mutazione durante la riproduzione (meiosi) i cromosomi si mescolano Durante la trascrizione ci può essere un errore catastrofico ininfluente positivo

52 Dalla natura all'ec La natura ha sempre ispirato lo sviluppo delle scienze I migliori esempi di problem solver sono: il cervello umano, che ha creato the wheel, New York, wars and so on (Hitch-Hikers Guide to the Galaxy) l'evoluzione, che ha creato il cervello umano (Origin of Species) Questo ha ispirato: reti neurali evolutionary computing

53 Esigenze dell'ec Uno dei problemi principali è lo sviluppo di strategie di risoluzione dei problemi il tempo disponibile per risolvere il problema diminuisce la complessità del problema aumenta Necessità di strategie di ottimizzazione

54 Struttura di un EA

55 Differenti tipi di EA I vari tipi di EA sono associati a diverse rappresentazioni stringhe binarie: algoritmi genetici vettori reali: strategie evolutive macchine a stati: programmazione evolutive strutture ad albero: programmazione genetica Le differenze non sono però centrali: la rappresentazione scelta in base al problema le regole di evoluzione sono scelte in base alla rappresentazione La selezione si basa sulla fitness e non dipende dalla rappresentazione

56 Rappresentazioni Le soluzioni possibili (individui) sono nello spazio dei fenotipi Ciascun individuo é codificato in un cromosoma (genotipo) encoding: fenotipo->genotipo decoding: genotipo->fenotipo I cromosomi sono composti da geni che hanno ciascuno un valore (allele) Perchè l'algoritmo trovi la soluzione questa deve essere rappresentabile nello spazio dei genotipi

57 Fitness Rappresentazione dell'obiettivo del sistema (funzione target o obiettivo) La funzione deve fornire un singolo valore reale Nell'analogia evolutiva si cerca un massimo della fitness La selezione funziona meglio se i valori di fitness sono tra loro molto diversi

58 Popolazione Contiene (rappresentazioni delle) soluzioni Spesso la dimensione della popolazione è fissata Ci sono casi in cui la popolazione è un multiset o ha una struttura spaziale predeterminata Gli operatori di selezione considerano l'intera popolazione Diversità: molti valori diversi di fitness, fenotipi e genotipi

59 Scelta dei genitori Gli individui hanno una probabilità di essere selezionati dipendente dalla fitness Criteri: gli individui migliori hanno una maggiore probabilità di essere selezionati la scelta è comunque probabilistica anche l'individuo peggiore ha una probabilità di essere selezionato Capacità di uscire da minimi locali

60 Operatori di cambiamento Hanno il compito di generare nuove soluzioni Divisi in funzione della loro arity (numero di ingressi) arity = 1 -> operatori di mutazione arity > 1 -> ricombinazione arity = 2 -> normalmente detto crossover Importanza di mutazione e ricombinazione molti algoritmi usano entrambi la scelta di come sono realizzati gli operatori dipende dalla rappresentazione

61 Mutazione Agisce su un genotipo per crearne uno nuovo L'elemento casuale è essenziale e differenzia la mutazione dagli operatori euristici L'importanza dipende dal tipo di rappresentazione: GA binari: essenziale per mantenere la diversità EP con variabili continue: operatore di ricerca GP: quasi mai usato Può garantire che lo spazio di ricerca sia un insieme connesso (teoremi di convergenza)

62 Ricombinazione Trasferisce l'informazione dei genitori nei figli La scelta di quale informazione trasferire è casuale Molti figli possono essere peggiori o simili ai genitori Alcuni possono essere migliori: selezione aspetti positivi da entrambi i genitori Principio usato da millenni in agricoltura ed allevamento

63 Selezione della popolazione Con la riproduzione la popolazione aumenta Serve un metodo per mantenere la popolazione costante al crescere delle generazioni Spesso si usano metodi deterministici: basati sulla fitness: si ordinano genitori e figli e si tengono gli N migliori basati sull'età: si tengono soltanto i figli combinazioni (elitismo)

64 Inizializzazione/termine L'inizializzazione è spesso casuale necessità di avere i possibili valori degli alleli si possono inserire soluzioni euristiche per fornire un buon punto di partenza Criteri di terminazione, dopo ogni generazione: raggiungere buoni valori di fitness limite sul numero di generazioni limite minimo di diversità stabilizzazione della fitness

65 Goldberg, 1989 Performance of methods on problems Special, problem tailored method Evolutionary algorithm Random search Scale of all problems

66 Michalewicz, 1996 Performance of methods on problems EA 1 EA 2 P EA 4 EA 3 Scale of all problems

67 Genetic Agorithms Developed: USA in the 1970 s Early names: J. Holland, K. DeJong, D. Goldberg Typically applied to: discrete optimization Attributed features: not too fast good heuristic for combinatorial problems Special Features: Traditionally emphasizes combining information from good parents (crossover) many variants, e.g., reproduction models, operators

68 Rappresentazione Phenotype space Genotype space = {0,1} L Encoding (representation) Decoding (inverse representation)

69 Algoritmo SGA 1 Select parents for the mating pool (size of mating pool = population size) 3 Shuffle the mating pool 4 For each consecutive pair apply crossover with probability p c, otherwise copy parents 5 For each offspring apply mutation (bit-flip with probability p m independently for each bit) 6 Replace the whole population with the resulting offspring

70 Crossover ad 1 punto Choose a random point on the two parents Split parents at this crossover point Create children by exchanging tails Pc typically in range (0.6, 0.9)

71 Mutazione Alter each gene independently with a probability p m p m is called the mutation rate Typically between 1/pop_size and 1/ chromosome_length

72 Selezione Main idea: better individuals get higher chance Chances proportional to fitness Implementation: roulette wheel technique Assign to each individual a part of the roulette wheel Spin the wheel n times to select n individuals A 1/6 = 17% B C 3/6 = 50% 2/6 = 33% fitness(a) = 3 fitness(b) = 1 fitness(c) = 2

73 Crossover: problemi Performance with 1 Point Crossover depends on the order that variables occur in the representation more likely to keep together genes that are near each other Can never keep together genes from opposite ends of string This is known as Positional Bias Can be exploited if we know about the structure of our problem, but this is not usually the case

74 Operatori alternativi n-point crossover uniform crossover

75 Altre rappresentazioni Gray coding of integers (still binary chromosomes) Gray coding is a mapping that means that small changes in the genotype cause small changes in the phenotype (unlike binary coding). Smoother genotype-phenotype mapping makes life easier for the GA Nowadays it is generally accepted that it is better to encode numerical variables directly as Integers Floating point variables

76 Crossover operators for real valued GAs Discrete: each allele value in offspring z comes from one of its parents (x,y) with equal probability: z i = x i or y i Could use n-point or uniform Intermediate exploits idea of creating children between parents (hence a.k.a. arithmetic recombination) z i = α x i + (1 - α) y i where α : 0 α 1. The parameter α can be: constant: uniform arithmetical crossover variable (e.g. depend on the age of the population) picked at random every time

77 Ordering - permutation Ordering/sequencing problems form a special type Task is (or can be solved by) arranging some objects in a certain order Example: sort algorithm: important thing is which elements occur before others (order) Example: Travelling Salesman Problem (TSP) : important thing is which elements occur next to each other (adjacency) These problems are generally expressed as a permutation: if there are n variables then the representation is as a list of n integers, each of which occurs exactly once

78 The 8 queens problem Place 8 queens on an 8x8 chessboard in such a way that they cannot check each other

79 Representation Phenotype: a board configuration Genotype: a permutation of the numbers 1-8 Obvious mapping

80 Fitness Penalty of one queen: the number of queens she can check. Penalty of a configuration: the sum of the penalties of all queens. Note: penalty is to be minimized Fitness of a configuration: inverse penalty to be maximized

81 Mutation Small variation in one permutation, e.g.: swapping values of two randomly chosen positions,

82 Recombination Combining two permutations into two new permutations: choose random crossover point copy first parts into children create second part by inserting values from other parent: in the order they appear there beginning after crossover point skipping values already in child

83 Selection Parent selection: Pick 5 parents and take best two to undergo crossover Survivor selection (replacement) When inserting a new child into the population, choose an existing member to replace by: sorting the whole population by decreasing fitness enumerating this list from high to low replacing the first with a fitness lower than the given child

84 Magic Square Winmaqu.exe