Ottimizzazione. Marco Caliari Dipartimento di Informatica Università di Verona. Simone Zuccher Liceo Scientifico Statale E. Medi Villafranca di Verona

Transcript

1 Ottimizzazione Marco Caliari Dipartimento di Informatica Università di Verona Simone Zuccher Liceo Scientifico Statale E. Medi Villafranca di Verona Piano Lauree Scientifiche, a.s. 4 5

2 Capitolo Ottimizzazione unidimensionale. Massimi e minimi di funzione. Funzioni unimodali Una funzione f : [a,b] R è detta strettamente unimodale se esiste t [a,b] tale che ft ) min{ft): t [a,b]} e se per ogni a t < t b si ha t t ft ) > ft ) t t ft ) > ft ) Vale il seguente risultato: se f è una funzione strettamente unimodale e a t < t b, allora ft ) > ft ) t t,b) ft ) ft ) t t,t ) ft ) < ft ) t a,t ).a).b).c)

3 Un intervallo che contiene il minimo di f è detto intervallo di incertezza. Il risultato sopra dice che a partire dall intervallo di incertezza [a, b], è possibile ridurlo in [t,b], [t,t ] oppure [a,t ] mediante due valutazioni della funzione f in t e in t ). Con successive valutazione della funzione f si ridurrà ulteriormente l intervallo di incertezza. I metodi di minimizzazione che consideriamo riescono a trovare un intervallo di incertezza di ampiezza minore di δ, δ fissato e piccolo a piacere, dentro il quale si trova il minimo della funzione..3 Metodo della bisezione el metodo della bisezione si cercano t e t in modo che il successivo intervallo di incertezza, qualunque ipotesi sia soddisfatta delle tre.) abbia ampiezza non più di metà di quello precedente. Bisognerebbe allora scegliere t t, ma allora non avremmo a disposizione le due valutazioni di funzione. Se δ è l ampiezza massima dell intervallo di certezza, si potrebbe scegliere allora t a + b)/ δ/ e t a + b)/ + δ/. In tal modo, l intervallo di incertezza sarebbe quasi dimezzato se ft ) > ft ) o se ft ) < ft )) o addirittura ridotto all intervallo di incertezza voluto se ft ) ft )). ella pratica, si considerano solo i due casi ft ) > ft ) t t,b) ft ) ft ) t a,t ) e si usa, per sicurezza, δ/3 invece di δ/. In tal modo, l intervallo di incertezza iniziale [a,b ] [a,b] viene ridotto all intervallo [a,b ] [t,b ] oppure [a,b ] [a,t ]..4 Metodo della sezione aurea Siano dati a a, b b e x a,b). Cerchiamo un punto y > x, in modo che, all iterazione successiva, l intervallo di incertezza sia [a,b ] [x,b ] se fx ) > fy )) oppure [a,b ] [a,y ] se fx ) fy )). Cerchiamo tale punto in modo che si abbia la stessa riduzione relativa dell intervallo nei due casi, cioè y a b x r.) b a b a Supponiamo di essere nell intervallo [a,b ] [x,b ], chiamiamo x y e cerchiamo y > x con lo stesso criterio di prima stessa riduzione dell inter-

4 vallo) ed esattamente con lo stesso fattore di riduzione Da.) si ha e quindi da.3) y a b a b x b a r.3) b y b x x a b x b a b x r r b x b a b y b x r Pertanto r 5 )/. Se invece siamo nell intervallo [a,b ] [a,y ], chiamiamo y x. Cerchiamo x < y con lo stesso criterio.3). Da.) si ha x a b y b a y a y a y a r e quindi da.3) r y a b a x a y a r e dunque r è lo stesso. Da.) si ricavano x e y e da.3) x oppure y. La riduzione dell intervallo di incertezza è dunque pari ad r.6, dunque minore della riduzione che si ottiene con il metodo di bisezione. Ma ogni riduzione avviene con una sola valutazione della funzione f..5 Approssimazione mediante parabole Una tecnica diversa dalle precedenti consiste nell approssimare la funzione di cui trovare il minimo con una funzione più semplice, per esempio una parabola. Si può procedere in questo modo: dati i punti a, b e x a+b)/, si trova l ascissa del vertice, diciamo y, della parabola passante per i tre punti. Poniamo adesso t min{x,y } e t max{x,y }. Se ft ) > ft ), allora t t,b) e dunque si può considerare la parabola passante per t, t e b, altrimenti si può considerare la parabola passante per a, t e t e continuare iterativamente. Questo metodo è in generale più efficiente dei due visti, ma genera anche situazioni più difficili da controllare:. y potrebbe coincidere con x. Potrebbe voler dire che abbiamo trovato il minimo, ma anche no vedi Figura.). Come capire di fermarsi o come proseguire? 3

5 Figura.: Approssimazione con parabola.. y potrebbe cadere al di fuori dell intervallo [a,b] vedi Figura.). Come proseguire?.6 Minimizzazione bidimensionale Le funzioni possono dipendere anche da due variabili indipendenti e la ricerca del minimo, in questo caso, è molto più difficile in generale. Per fortuna non sempre: data la funzione z gx,y) x +y è facile scoprire che il minimo si ha nel punto, ), poiché solo in quel punto la funzione vale e in tutti gli altri assume un valore maggiore. È possibile estendere il metodo della sezione aurea al caso bisimensionale? Sì, procedendo per direzioni. Si deve scegliere un ragionevole punto x e poi trovare il minimo della funzione di una variabile f y) gx,y) usando il metodo della sezione aurea e quindi, in particolare, fissare un intervallo di incertezza [y min,y max ]. Una volta trovato, diciamo y, possiamo considerare la funzione di una variabile f x) gx,y ) e trovarne il minimo, diciamo x, in un intervallo di incertezza [x min,x max ]. E continuare così. Questo metodo si chiama metodo di discesa per direzioni coordinate. Poiché gli intervalli di incertezza per ogni variabile sono sempre gli stessi, bisogna trovare il modo di terminare l algoritmo. Un test di arresto comune prevede di valutare la differenza tra [x n,y n ] e [x n+,y n+ ] per esempio tramite la loro distanza Euclidea δ n+ x n+ x n ) + y n+ y n ) Quando δ n+ è minore di una tolleranza prefissata δ, si termina l algoritmo. 4

6 Capitolo Best fit In questo capitolo ci occupiamo di determinare la forma analitica di una funzione f : R R che rappresenti al meglio una nuvola di coppie di dati ;y i ) con i, i derivanti, per esempio, da degli esperimenti. Come può essere misurata la bontà o meno di una certa approsimazione y fx)? Evidentemente l approssimazione è tanto migliore quanto più la differenza tra y i e f ) è piccola. Al limite, se l approsimazione fosse perfetta, la funzione y fx) passerebbe per tutti i punti ;y i ) per cui per ogni punto si avrebbe y i f ). Questo tipo di approsimazione viene detto interpolazione. Qui non ci interessa l interpolazione dei dati ;y i ), quanto piuttosto di determinare una funzione che li rappresenti adeguatamente. Consideriamo come misura della bontà dell approssimazione la quantità E f [y i f )]. i Perché proprio questa scelta? Certamente la somma degli scarti non può andare bene in quanto, data la nuvola di punti qualunque retta passante per x i )/ e per ȳ i y i)/ rende nulla la sommma degli scarti. La somma dei valori assoluti degli scarti è più plausibile, cosí come la somma di qualunque funzione pari degli scarti. Si sceglie la somma dei quadrati degli scarti come funzione da minimizzare perché la retta che ne risulta, che è una sorta di retta media ha la proprietà di cui gode anche la media aritmetica. Infatti, supponiamo di fare misure ripetute di una lunghezza di un banco. Detti y i i valori misurati, un indicatore della misura cercata è la media aritmetica ȳ y i 5 i

7 Tale valore minimizza la somma dei quadrati degli scarti. Infatti la funzione di y ) y i y) yi y i y + y i i è una parabola il cui vertice corrisponde a y b/a) i y i)/ ȳ. Interpretando questo solo come il caso particolare della ricerca della miglior retta orizzontale, è naturale minimizzare la somma dei quadrati degli scarti.. La retta dei minimi quadrati La funzione più semplice cui si possa pensare, diversa da una costante, è un polinomio di primo grado, ossia una retta del tipo fx) mx + q. La bontà dell approssimazione si misura, quindi, con la funzione i Em,q) [y i m + q)],.) i dove si è messo in evidenza il fatto che E dipende da due variabili reali, m e q. L obiettivo è minimizzare Em,q), ossia determinare i valori m e q che rendono minima E. Si osservi che, essendo E la somma di quadrati, il suo minimo non può che essere una quantità positiva. Per determinare simultaneamente la coppia m, q) che minimizza Em, q) basta osservare che, fissato q q, la.) si riduce a E m Em, q) [y i m + q)], i che è una parabola nell incognita m, mentre fissato m m, la.) si riduce a E q E m,q) [y i m + q)], i che è una parabola nell incognita m. Ricordando che una parabola del tipo y ax +bx+c, con a >, assume il proprio valore minimo in corrispondenza di x b/a), si possono ottenere il valore di m in corrispondenza del quale E m è minima ed il valore q in corrispondenza del quale E q è minima. Mettendo a sistema queste due condizioni, nel caso il sistema sia determinato, si ottengono i valori m; q) che garantiscono il minimo di Em,q). 6

8 Fissando q q si ha E m [y i m + q)] i [ ] y i + m x i + q m y i qy i + m q i yi + i m x i + i q i m y i i yi + m x i + q m i i m x i m y i q i i y i q i ) + i qy i + i m q i y i + m q i yi + q q da cui il valore di m che assicura il minimo di E m m): ) y i q y i q m i i x i i i i i x i i i y i, i.).3) Svolgendo calcoli analoghi su E q E m,q) che lasciamo allo studente diligente), si ottiene E q q q y i m )+ yi + m x i m y i,.4) i i i da cui il valore di q che assicura il minimo di E q q): q y i m i ) i i y i m i i i..5) In definitiva, la coppia m, q) che minimizza Em, q) si determina risolvendo 7

9 il sistema m y i q i i q che ha come unica soluzione m i y i m i y i i x i i i i ) x i i i y i q y i x i y i i i i i ) x i i i. Minimizzazione lungo direzioni coordinate 8