Teoria della Complessità Computazionale

Transcript

1 Teoria della Complessità Computazionale Daniele Vigo D.E.I.S. - Università di Bologna dvigo@deis.unibo.it Rev. 1.3, 11/00 rev Novembre 2000 Teoria della Complessità Studia la difficoltà dei problemi computazionali Difficoltà: tempo di calcolo per la soluzione occupazione di memoria Problema : a) struttura matematica (dipendente da variabili) b) domanda circa le proprietà della struttura Es. struttura = un numero intero domanda = il numero è primo? Complessità 2 1

2 Problemi ed istanze Istanza : problema in cui i valori delle variabili sono specificati un insieme dei dati di ingresso del problema un problema molte istanze Es. A) Problema del numero primo I 1 = 5, I 2 =27,, I n = B) Ordinamento di un vettore di n elementi I={4,6,9,3,2,7, } Complessità 3 Forme dei problemi Versione Riconoscimento (Recognition V., RV) Soluzione SI o NO (Es. K è numero primo?) Ottimizzazione soluzione di valore ottimo (Optimization V., OV) (Es. x* : min {cx : x F }) Enumerazione tutte le soluzioni Complessità 4 2

3 Alfabeti Algoritmo : metodo di soluzione di un problema Per risolvere i problemi si usa un calcolatore È necessario un mezzo di comunicazione o codifica dei dati di ingresso al calcolatore (alfabeto) Alfabeto: unario = un solo simbolo (Es. 6: ) binario = due simboli (0,1) (Es. 6: 110) esadecimale = 16 simboli (0-9,A-F) (Es. 6: 6, 14: E) Complessità 5 Codifica delle informazioni la codifica di un informazione richiede un numero diverso di simboli a seconda dell alfabeto usato Es. codifica numero intero n : alfabeto unario = n simboli (Es. 6: ) alfabeto binario = log 2 n (Es. 6: log 2 6 = 3) Complessità 6 3

4 Dimensione di un problema Dimensione di un problema (µ(i)): numero di simboli necessari per codificare una sua istanza Es. ordinamento di un vettore di n elementi n. bit = log 2 n + Σ j=1,n log 2 c j (n + 1) log 2 max{n,c j } in generale è sufficiente determinare un valore proporzionale al numero di simboli se L= max{n,c j }=costante (es ) µ(i) n Complessità 7 Comportamento asintotico Date due funzioni f (x) e g(x) definite sullo stesso dominio si ha che f (x) = O(g(x)) se esistono due costanti k 1 e k 2 tali che f (x) k 1 g(x) + k 2, per ogni x del dominio se f (x) e g(x) monotone crescenti di dominio R f (x) = O(g(x)) lim x (f (x) / g(x)) = costante Es. f (x) = x 2 + 3x +27, f (x) = x 2 + log x, sono O(x 2 ) ordinamento: se L = costante µ(i) = O(n) Complessità 8 4

5 Complessità in tempo massimo tempo di calcolo f (n) impiegato da un algoritmo per risolvere ogni istanza del problema di dimensione n (caso peggiore) tempo di calcolo: espresso in numero di operazioni elementari (somme, sottrazioni, confronti ) su un calcolatore (ideale) deterministico e sequenziale (es. macchina di Turing, PRAM...) Ο(n), O(n 2 ), O(log 2 n), O(2 n ) Complessità 9 Esempio: ricerca di un numero Struttura: numeri reali a 1,,a n e b Domanda i : a i = b? Dimensione istanza : log 2 b + Σ i=1,n log 2 a i = log 2 (b Π i=1,n a i ) (n + 1) log 2 (max {b, a 1, a n }) dimensione : (n + 1) c = O(n) Complessità in tempo : n confronti nel caso peggiore tempo O(n), lineare nella dimensione del problema Complessità 10 5

6 Esempio: SST (in RV) Struttura: grafo non orientato pesato e connesso G=(V,E) V = n, E = m = O(n 2 ) numero intero K Domanda: esiste in G uno SST di costo K? Dimensione istanza : O(m), O(n 2 ) oppure O(n) Complessità in tempo : Algoritmo di Prim O(n 2 ) Algoritmo di Kruskal O(m log m), O(n 2 log n) Complessità 11 Esempio: Circ. Hamiltoniano Struttura: grafo orientato G=(V,A) V = n, A = m = O(n 2 ) Domanda: esiste in G un HC? Dimensione istanza : O(m), O(n 2 ) oppure O(n) Complessità in tempo : non si conoscono algoritmi che richiedono un numero di operazioni polinomiale in n Algoritmi enumerativi O(n!), O(2 n ) Complessità 12 6

7 Esempio: Knapsack 0-1 (OV) Struttura : n coppie di interi (p 1,w 1 ),,(p n,w n ), un intero W Domanda: determinare il sottoinsieme S di coppie tale che: Σ i S w i W e Σ i S p i è massimo Dimensione istanza : O(n) Complessità in tempo : non si conoscono algoritmi polinomiali in n Algoritmi branch-and-bound O(2 n ) Complessità 13 Esempio: Knapsack 0-1 (RV) Struttura : n coppie di interi (p 1,w 1 ),,(p n,w n ), un intero W un intero K Domanda: determinare il sottoinsieme S di coppie tale che: Σ i S w i W e Σ i S p i K Complessità 14 7

8 Esempio: Progr. Lineare 0-1 (LP01) Struttura : sistema di disuguaglianze lineari Ax b funzione obiettivo: min cx un intero K (per RV) OV: determinare un vettore booleano x che soddisfa il sistema ed ha costo minimo? RV: Esiste un vettore booleano x che soddisfa il sistema ed ha costo K?) Complessità 15 Complessità in tempo n 10-5 sec 2*10-5 s 3*10-5 s 4*10-5 s 5*10-5 s 6*10-5 s n sec 4*10-4 s 9*10-4 s 1.6*10-3 s 2.5*10-3 s 3.6*10-3 s n sec 8*10-3 s 0.027s 0.064s 0.125s 0.216s n sec 3.2s 24.3s 1.7 min 5.2 min 13.0 min 2 n 10-3 sec 1.0s 17.9 min 12.7 gg 35.7 anni 3.6*10 4 anni 3 n 5.9*10-2 s 58 min 6.5 anni 3855 anni 2* *10 13 secoli secoli Complessità 17 8

9 Tempo e tecnologia computer computer 100 volte computer 1000 volte funzione attuale più veloce più veloce n N N N 1 n 2 N 2 10 N N 2 n 3 N N 3 10 N 3 n 5 N N N 4 2 n N 5 N N n N 6 N N PC 486/ Mflop/s. Cray C90 (16 proc) 479 Mflop/s. Complessità 18 Classi di complessità classificazione in base al tasso di crescita del tempo di calcolo al crescere della dimensione dell istanza Prob. facili : crescita polinomiale in µ(i) Prob. difficili : crescita esponenziale in µ(i) µ (I) = n O(n!) O(2 n ) O(n 3 ) O(n 2 ) O(n) O(logn) t Complessità 16 9

10 Classi di complessità: P ed NP P classe dei problemi in RV per cui si conosce un algoritmo polinomiale (Es. Ricerca, SST P) NP classe dei problemi in RV per cui si può verificare che la soluzione è SI in un numero polinomiale di passi (certificato polinomiale) (Es. HC NP, un circuito è Hamiltoniano se visita n vertici) Complessità 19 Un problema in NP: certificato polinomiale Classe NP risolubile con un albero decisionale di altezza µ (I) Risolubile in tempo polinomiale da un calcolatore non deterministico (NP = N on-deterministic Polynomial) Complessità 20 10

11 Classe NP (2) Se un problema NP c è la speranza di risolverlo in tempo polinomiale Quasi tutti i problemi di Ott. Comb. in RV NP P NP NP P Per la maggior parte dei problemi di Ott. Comb. non si conosce un algoritmo polinomiale P = NP? (MOLTO IMPROBABILE) Complessità 21 Classi di complessità: co-np co-np classe dei problemi in RV per cui si può verificare che la soluzione è NO in un numero polinomiale di passi (Es. verifica se G non contiene HC co-np, dato un HC la risposta è NO) NP P co-np Complessità 22 11

12 Confronto tra OV e RV Un problema in OV ed il suo equivalente in RV hanno la stessa difficoltà a) RV non è più difficile di OV: risolvendo il problema in OV si può stabilire se la risposta per RV è SI o NO Es. KP01 in RV ( p,w,w,k ) algoritmo per KP01 in OV ( p,w,w ) z * se z * K la risposta è SI, altrimenti è NO Complessità 23 Confronto tra OV e RV (2) b) sotto l ipotesi (realistica) che il valore massimo U della f. obiettivo sia codificabile con un n. di bit polinomiale nella dimensione del problema, OV non è più difficile di RV: si usa più volte un algoritmo per RV con valori di tentativo per z * (risposta SI/NO) usando la ricerca binaria si trova z * in al più log 2 U (n. polinomiale) di esecuzioni di RV Complessità 24 12

13 Ricerca binaria per KP01 (OV) 1. Poni U = Σ i=1, n p i, L = 0, K = (U-L)/2 2. Risolvi KP01 in RV 3. Se la risposta è SI poni L=K altrimenti U=K 4. Se U L vai al passo 2 L=K L = 0 K=50 K=75 U=100 SI Complessità 25 Trasformazioni polinomiali A NP è trasformabile polinomialmente in B NP (A B) se algoritmo polinomiale che istanza di A definisce un istanza di B che ha soluzione SI se e solo se l istanza di A ha soluzione SI A non è più difficile di B Es. Cammino più lungo in RV (LPP): Istanza : grafo G pesato, vertici σ e ρ, un intero Κ Domanda : cammino elementare da σ a ρ, avente costo K? Complessità 26 13

14 Trasf. Polinomiali: HC LPP istanza di HC: G =(V, A) istanza di LPP: (V, A, c, σ, ρ, K ) v 1 v 1 v 1 V =V {v 1 }; A = (A\{(v j,v 1 ) A}) {(v j,v 1 ):(v j,v 1 ) A} c ij = 1 (v i,v j ) A LPP(V, A, c, v 1, v 1, V ) HC è SI LPP è SI (il cammino più lungo vale V ) Complessità 27 Trasformazioni polinomiali Se A B: algoritmo polinomiale per B algoritmo polinomiale per A Se A B e B C A C Dim. La somma di polinomi è un polinomio Complessità 28 14

15 Problemi NP-completi A NP è NP completo se B NP,B A Se algoritmo polinomiale per A, allora algoritmo polinomiale per tutti i problemi NP. A non è più facile di ogni problema NP ogni problema NP è un caso particolare di A Complessità 29 Problemi NP-completi (2) NP-c NP Difficoltà crescente P Complessità 30 15

16 Problemi NP-completi (3) fino al 1970 Non si conoscono problemi NP-c Soddisfacibilità SAT Istanza : un espressione booleana (and,or,not) in forma congiuntiva normale in n variabili x 1,,x n Domanda : un assegnamento dei valori VERO e FALSO alle variabili che rende vera l espressione? Es. n = 5 (x 1 x 2 x 3 ) (x 4 ) (x 5 x 6 ) Complessità 31 Problemi NP-completi (4) 1971 Cook dimostra che SAT è NP-c NP P NP-c Complessità 32 16

17 Problemi NP-completi (5) 1972 Karp dimostra che SAT HC, SAT KP01, SAT altri 4 problemi NP P NP-c Complessità 33 Problemi NP-completi (6) 1973-oggi Viene dimostrato che moltissimi problemi P sono NP-c. Restano alcuni problemi aperti. NP P NP-c? Complessità 34 17

18 Dimostrazioni di NP-c (1) Per dimostrare che un problema A è NP-c: 1) dimostrare che A NP certificato Polinomiale del SI o risolubile con albero decisionale di altezza DIM(I) 2) B NP, B A, OPPURE 2 ) B NP c : B A Complessità 35 Dimostrazioni di NP-c (2) Es. LPP NP-c infatti HC NP-c e LPP HC (già visto) Es. LP01 NP-c LP01 NP (triviale), trasf da SAT ( NP-c) SAT LP01 n variabili booleane x j k clausole C i ; poni { + 1 se x j C i a ij = 1 se x j C i b i = 1 - {j : x j C i } 0 altrimenti Complessità 36 18

19 Dimostrazioni di NP-c (3) Es. SAT LP01 (x 1 ) ( x 1 x 2 x 3 ) ( x 3 ) x 1 1 x 1 + x 2 x 3 1 x 3 1 Complessità 37 Dimostrazioni di NP-c (4) Cammino semplice da v a se stesso con costi degli archi qualsiasi NP-c Un cammino semplice da un vertice a se stesso ha al più n archi e se ne ha esattamente n è un HC HC NP-c Dato un grafo G=(V,A) definendo c ij = 1 per ogni (i,j) A, se il cammino semplice di costo minimo da un qualunque vertice v a se stesso ha costo n, tale cammino è un HC Complessità 38 19