CPU Performance: Regressione multipla e Analisi Cluster in Matlab

Transcript

1 CPU Performance: Regressione multipla e Analisi Cluster in Matlab Alberto Lusoli Abstract Il seguente documento, illustra le tecniche utilizzate nell analisi del dataset CPU Performance. Gli scopi dello studio erano di scoprire le relazioni esistenti tra le caratteristiche delle CPU e le loro prestazioni e di partizionare il Dataset in cluster i più possibili omogenei. L analisi è stata condotta con l ausilio del software MATLAB ed applicando le tecniche della regressione multipla e dell analisi cluster. Oltre alle normali funzioni della Toolbox Statistic, sono state utilizzate funzioni incluse nella toolbox jplv7.

2 Introduzione Che relazione esiste tra quantità di memoria e capacità di elaborazione di un calcolatore? Le prestazioni di una CPU da quali parametri dipendono? Attraverso lo studio del dataset CPU Performances abbiamo cercato di dare una risposta a questi interrogativi. L analisi è stata effettuata su un campione di 09 CPU, ognuna caratterizzata da 10 variabili, con l ausilio del software MATLAB. L analisi comprende lo studio della regressione, con selezione del modello applicando la tecnica Backward Elimination, selezionando le variabili in base alla significatività. Assieme alla stima dei parametri dei regressori, sono stati condotti test per controllare l omoschedasticità, l autocorrelazione e la distribuzione normale dei residui, la multicollinearità e la stabilità dei regressori. Per quanto riguarda l analisi Cluster, il Dataset è stato partizionato utilizzando algoritmi di natura gerarchica agglomerativa e partitiva (K Means). La migliore partizione, in entrambi i casi, è stata ottenuta valutando il Variance Ratio Criterion. Sono stati utilizzati gli strumenti grafici messi a disposizione da Matlab per visualizzare dendogrammi, cluster k means, istogrammi e box plot delle variabili. Il k-means è stato ripetuto una seconda volta considerando solamente le componenti principali. Descrizione dei dati Il dataset CPU Performance è composto da una tabella di 09 righe e 10 colonne. Le prime colonne contengono il nome del produttore ed il nome della CPU. Le colonne dalla 3 alla 8 contengono le caratteristiche della CPU utilizzate nel modello di regressione. La colonna 9 contiene un numero indicante le prestazioni della CPU, secondo quanto dichiarato dai costruttori. La colonna 10 contiene una valutazione delle prestazioni delle CPU, ottenuta tramite regressione lineare in uno studio effettuato sullo stesso Dataset da Kibler,D. & Aha,D. (1988). Numero Colonna Nome 1 Vendor Name Model Name 3 MYCT 4 MMIN 5 MMAX 6 CACH 7 CHMIN 8 CHMAX 9 PRP 10 ERP Tabella 1 - Elenco nomi attributi 1. Vendor Name: Nome del produttore della CPU. Attributo di tipo testuale. Assume 30 diversi valori: (adviser, amdahl,apollo, basf, bti, burroughs, c.r.d, cambex, cdc, dec, dg, formation, four-phase, gould, honeywell, hp, ibm, ipl, magnuson, microdata, nas, ncr, nixdorf, perkin-elmer, prime, siemens, sperry, sratus, wang).

3 3. Model Name: Nome del modello della CPU. Attributo di tipo tesuale. 3. MYCT (machine cycle time): Misura espressa in Nano secondi. Tempo impiegato per un ciclo di Clock. Se il Clock indica il numero di operazioni che la CPU è in grado di eseguire in 1 secondo, il Cycle time è inversamente proporzionale al Clock. Maggiore il cycle time, minore il Clock. Attributo di tipo numerico. 4. MMIN (minimum main memory in kilobytes): Misura espressa in KiloBytes. Quantità minima di informazione che la CPU è in grado di memorizzare. Attributo di tipo numerico. 5. MMAX (maximum main memory in kilobytes): Misura espressa in KiloBytes. Quantità massima di informazione che la CPU è in grado di memorizzare. Attributo di tipo numerico. 6. CACH (cache memory in kilobytes): Misura espressa in KiloBytes. La cache permette di caricare al suo interno più di una locazione di memoria. Questo significa avere la possibilità di memorizzare all interno della memoria della CPU, non solo l istruzione da eseguire, ma anche le istruzioni successive, evitando di dover accedere alle memorie esterne alla CPU. 7. CHMIN (minimum channels in units): Numero minimo di Canali o comunemente chiamati Bus, permettono alla CPU di comunicare con gli altri componenti dell elaboratore. Attributo di tipo numerico. 8. CHMAX (maximum channels in units): Numero massimo di Canali o comunemente chiamati Bus, permettono alla CPU di comunicare con gli altri componenti dell elaboratore. Attributo di tipo numerico. 9. PRP (published relative performance): Numero fornito dal costruttore che esprime la potenza del calcolatore. 10. ERP (estimated relative performance): Stima della potenza del calcolatore ottenuta da Kibler,D. & Aha,D. attraverso la regressione lineare, in uno studio del Modello di regressione multipla Lo studio del Dataset ci ha permesso di capire quali caratteristiche influenzano maggiormente la capacità di elaborazione di una CPU (attributo 9, PRP). Per individuare tali variabili, abbiamo eseguito una regressione multipla includendo nel modello una variabile per volta. Y = " 0 + " 1 x 1 + " x + " 3 x 3 + " 41 x 41 + " 51 x 51 + " 61 x 6 + u (I ) Nell effettuare la regressione multipla abbiamo deciso di analizzare le prestazioni delle CPU attraverso lo studio delle sei variabili MYCT, MMIN, MMAX, CACH, CHMIN., CHMAX. Abbiamo volutamente escluso dall analisi la colonna 10 del dataset, cioè ERP, che corrisponde alla potenza stimata tramite regressione lineare da Kibler,D. & Aha,D in uno studio del Per determinare la capacità del modello di spiegare il fenomeno in esame, vale a dire la potenza della CPU (attributo 9, PRP), abbiamo calcolato di volta in volta il coefficiente di determinazione multipla R : R = ESS TSS = TSS " RSS TSS =1" RSS TSS (II )

4 4 ESS=Explainded Sum of Square RSS=Residual Sum of Square TSS=Total Sum of Square R Può assumere un valore compreso tra: 0 < R <1 L indice R è uno dei più diffusi indicatori della bontà della regressione poiché esprime con immediatezza quanta parte della variabilità complessiva del fenomeno Y, che si intende spiegare tramite X, si può attribuire al legame lineare stimato mediante la retta di regressione; per contro 1- R esprime la parte di variabilità che la regressione stimata non riesce a spiegare e che va, quindi, attribuita a tutte le cause sintetizzate nella v.c. errori (1). Tuttavia, quando si ricorre ad un modello di regressione multipla, è opportuno fare uso di un indice che tenga conto anche del numero di variabili esplicative incluse nel modello e dell ampiezza del campione, l r corretto. L r corretto è dato dalla seguente espressione: R corr n= Numero di osservazioni p=numero di variabili incluse nel modello Di seguito riportiamo i valori assunti da Variabili inserite nel modello (III ) # n "1 & =1" %(1" R ) ( $ n " p "1' R e da Indice R R corr (IV ) per ogni variabile inserita: Indice MYCT 0,0943 0,0899 MYCT MMIN MYCT MMIN MMAX MYCT MMIN MMAX CACH 0,6337 0,630 0,798 0,7898 0,8319 0,886 R corr MYCT MMIN MMAX CACH CHMIN 0,8345 0,8305

5 5 MYCT MMIN MMAX CACH CHMIN CHMAX 0,8649 0,8609 Tabella - Valori coefficiente di determinazione normale e corretto al variare del numero di variabili inserite nel modello Il grafico ottenuto riportando sull asse delle Y i valori assunti da sull asse delle X il numero di variabili inserite, mostra l andamento di variare del numero di variabili inserite nel modello. e da R e di R R corr R corr e al Figura 1 - Andamento del coefficiente di determinazione, normale e corretto, al variare del numero di variabili inserite R corr L andamento crescente di R e di indica che ogni variabile inserita nel modello, contribuisce positivamente nello spiegare il fenomeno Y. Ovviamente R corr indicato nel grafico da una x rossa, assumerà valori sempre inferiori rispetto a R dato che viene corretto per il numero di variabili inserite. Per la scelta del modello ci siamo affidati al metodo Backward Elimination. Abbiamo inizialmente incluso tutte le variabili, stimato R e R corr, poste le ipotesi: H 0 : " i = 0 H 1 : " i # 0 Dato che il test è a code, abbiamo eliminato le variabili con p-value > 0,05. Dall elaborazione di MATLAB abbiamo ottenuto i seguenti valori: Variabile (V ) " Stimato t statistic p-value Intercetta MYCT MMIN MMAX CACH CHMIN

6 6 CHMAX Tabella 3 - Coefficiente stimato e significatività di tutte le variabili Dalla tabella 3, possiamo osservare che la variabile CHMIN, vale a dire il numero minimo di BUS di comunicazione posseduti da una CPU, non influisce in modo significativo sul modello. Il suo p-value è superiore al livello di significatività fissato, 0,05, perciò cade nella regione di non rifiuto dell ipotesi nulla. () Figura - Regione di rifiuto per p value > 0,05 Osservando la figura 1, notiamo che l incremento di R e di R corr quando si aggiunge la variabile 5 è minimo. Calcoliamo nuovamente la regressione escludendo quindi la variabile CHMIN. Variabile " Stimato t statistic p-value Intercetta MYCT MMIN MMAX CACH CHMAX Tabella 4 - Coefficiente stimato e significatività di tutte le variabili incluse nel modello definitivo Nella seconda regressione stimata tutte le variabili risultano significative. Ripetiamo il calcolo di R e di considerando solo le variabili significative: R corr Figura 3 - Andamento del coefficiente di determinazione, normale e corretto, al variare del numero di variabili inserite

7 7 I valori assunti da R e da R corr nel modello definitivo sono: Variabili inserite nel modello Indice R Indice MYCT 0,0943 0,0899 MYCT 0,6337 0,630 MMIN MYCT MMIN MMAX MYCT MMIN MMAX CACH MYCT MMIN MMAX CACH CHMAX 0,798 0,7898 0,8319 0,886 0,8648 0,8615 R corr Tabella 5 - Andamento coefficienti di determinazione al variare del numero di variabili inserite Il test f, condotto sull intera regressione ci ha restituito un p-value uguale a 0, questo significa che il modello scelto è valido. Il coefficiente di determinazione indica che 86,15% della variabilità della Y è spiegato dall insieme delle variabili indipendenti. p-value Test f R R corr Durbin Watson 0 0,8648 0,8615 1,1994 Tabella 6 - Statistiche relative al modello di regressione Il valore Durbin Watson uguale a 1,1994 non ci permette di sapere se tra i residui vi è autocorrelazione. Non avendo a che fare con dati temporali possiamo supporre che non siamo in presenza di autocorrelazione. Visualizziamo quindi i valori assunti dalla Y e i valori stimati dalla regressione: Figura 4 - Andamento valori reali e stimati di Y

8 8 E il relativo andamento dei residui. Figura 5 - Andamento dei Residui Il grafico della dispersione dei residui ci permettere di condurre un analisi grafica per determinare la presenza di eteroschedasticità. Analizzando il grafico, a parte la presenza sporadica di qualche osservazione Outlier, possiamo affermare che la varianza dei residui è costante. Figura 6 - Dispersione dei Residui Con il seguente grafico evidenziamo in rosso le osservazioni Outliers. Dal confronto con il grafico precedente, notiamo che i residui più lontani dalla media 0 corrispondono ai valori outliers evidenziati nella figura 6. Figura 7 - Valori Outliers

9 9 Proseguiamo l analisi controllando se i residui si distribuiscono secondo una normale. L analisi è stata condotta utilizzando il Jarque Bera Test ed il Lillie Test. In entrambi i casi abbiamo constatato che i residui non si distribuiscono secondo una normale. Si è quindi proceduto effettuando una trasformazione logaritmica dei residui, ma ancora una volta il test ci ha confermato la non normalità della distribuzione dei residui. Gli istogrammi illustrano la distribuzione dei residui e la distribuzione del logaritmo dei residui. Figura 8 - Distribuzione dei Residui Figura 9 - Distribuzione logaritmo dei residui Uno dei problemi che si può presentare nell analisi di un modello di regressione multipla è la multicollinearità delle variabili esplicative, che consiste nella presenza di una elevata correlazione tra le variabili esplicative. In questo caso, le variabili collineari non forniscono delle informazioni aggiuntive e risulta difficile individuare l effetto che ciascuna di esse ha sulla variabile risposta. I valori dei coefficienti di regressione per queste variabili potrebbero variare in maniera elevata a seconda di quali variabili indipendenti sono incluse nel modello. Un metodo per la misurazione della multicollinearità si basa sul Variance Inflationary Factor (VIF), che si può calcolare per ciascuna delle variabili esplicative. Il VIFj corrispondente alla variabile j, è di seguito definito (3).

10 VIF j = 1" R j R j è il coefficiente di determinazione che caratterizza il modello in cui la variabile dipendente è Xj e tutte le altre variabili esplicative sono incluse nel modello. Per il calcolo del VIF abbiamo utilizzato in MATLAB un ciclo ricorsivo che ci ha permesso di calcolare il VIF per ciascuna variabile. (VI ) Variabile VIF MYCT MMIN.7386 MMAX CACH CHMIN Tabella 7 - Variabili e VIF, Variance Inflactionary Factor La teoria insegna che se le variabili non sono correlate il VIF è uguale a 1. Nel nostro caso le variabili non superano il 3,036, quindi essendo inferiori di 5 possiamo considerare le variabili non collineari. L ultimo test eseguito sul nostro Dataset è stato il test di Chow per verificare la stabilità dei coefficienti " per l intero periodo campionario. Il test consiste nel dividere il periodo campionario in sottoperiodi, effettuare la regressione su entrambi i sottoperiodi e calcolare i rispettivi Residual Sum of Square.(RSS). Dopodichè si applica la formula: Chow = RSS " (RSS " RSS ) 1 RSS 1 + RSS RSS = Residual Sum of Square per l intero periodo RSS 1 = Residual Sum of Square per il primo sottoperiodo RSS = Residual Sum of Square per il secondo sottoperiodo T= Numero di osservazioni k=numero di regressori # T " k k Si esegue il test di ipotesi. Se il valore della statistica test è maggiore del valore critico della distribuzione F, che è F(k, T-k), si rifiuta l ipotesi nulla che i parametri siano stabili nel tempo. (VII ) H 0 = Parametri stabili H 1 = Parametri non stabili (VIII ) Nel nostro caso i valori ottenuti sono stati: RSS = 7,78"10 5 RSS 1 =,040 "10 5 RSS =,8437"10 5 Chow= 19,498 Valore critico f(5,197)=,599

11 11 Essendo 19,498 >,59, si rifiuta l ipotesi nulla che i coefficienti sono gli stessi nei due sottoperiodi. Analisi Cluster Il processo di clustering è finalizzato all individuazione di gruppi omogenei di osservazioni. Tali gruppi devono essere il più possibile eterogenei tra loro. Il processo di Clustering comincia con l analisi delle variabili che caratterizzano l oggetto di studio, nel nostro caso la CPU. Nel nostro caso si è tenuto conto delle seguenti caratteristiche: Numero Colonna Nome 1 Vendor Name Model Name 3 MYCT 4 MMIN 5 MMAX 6 CACH 7 CHMIN 8 CHMAX 9 PRP Tabella 8 - Caratteristiche utilizzate per Clustering L analisi delle variabili è stata condotta in maniera visuale grazie alle potenzialità grafiche di Matlab. Cominciamo mostrando gli istogrammi in frequenza delle variabili in esame: Figura 10 - Istogrammi in frequenza delle variabili

12 1 Gli istogrammi ci permettono di osservare che tutte le variabili in esame abbiano una distribuzione asimmetrica a destra. In secondo luogo mostriamo i Box Plot per evidenziare la dispersione, la simmetria e la presenza di valori anomali nelle distribuzioni delle variabili: Figura 11 - Box Plot delle variabili Il box plot ci permette di individuare i valori anomali per ogni variabile. Possiamo notare che vi sono molti valori estremi nella variabile 7 cioè PRP, la potenza del calcolatore. Una volta analizzate le variabili, abbiamo proceduto con il primo algoritmo di clustering: il Clustering Gerarchico. Prima di procedere con la partizione del Dataset è stato necessario scegliere la migliore combinazione di misura di distanza e tipo di legame. Per valutare la migliore combinazione, abbiamo utilizzato il coefficiente Cofenetico. Il coefficiente cofenetico può assumere valori compresi tra 0 e 1. Maggiore è il coefficiente cofenetico, migliore risulterà il clustering. Questi i dati relativi alle possibili combinazioni: Funzione di Distanza Tipo di Legame Coefficiente Cofenetico Euclidea Ward Euclidea Completo Euclidea Medio City Block Ward City Block Completo City Block Medio Tabella 9 - Legame, Distanza e Coefficienti Cofenetici

13 13 La combinazione che massimizza il coefficiente cofenetico è quella formata da funzione di distanza Euclidea e legame Medio. Dopo aver selezionato il tipo di legame e la funzione di istanza, abbiamo effettuato il clustering ed visualizzato il dendogramma relativo: Figura 1 - Dendogramma clustering gerarchico Il dendogramma ci permette di visualizzare le divisioni operate sul Dataset. Inoltre ci può aiutare nel determinare il numero ottimale di Clustering. Per ottenere gruppi di dati significativi, la regola generale è quella di tagliare alla radice i rami del dendogramma più lunghi. Oltre all analisi del dendogramma, un altro metodo per la scelta del numero ottimale di partizioni è il Variance Ratio Criterion (VRC). Il VRC è definito come: f (G,X nxp ) = tr(b)= Traccia matrice varianza Between tr(w )= Traccia matrice varianza Within n= Numero di osservazioni g= Numero di gruppi tr(b) /(g "1) tr(w ) /(n " g) Maggiore è il valore del VRC, migliore sarà l analisi Cluster in termini di omogeneità interna ai cluster ed eterogeneità esterna. Per la selezione del numero ottimale di cluster, abbiamo considerato sia la tecnica della massimizzazione del VRC, sia la tecnica di analisi del dendogramma. Abbiamo quindi deciso di dividere il dataset in, 3, 4 e 5 cluster e di selezionare la partizione con il VRC maggiore. La scelta di non operare (IX )

14 14 clustering con più di 5 partizioni è dovuta dal fatto che al di sotto di tale livello, i rami del dendogramma assumono lunghezze troppo piccole. Figura 13 - Dendogramma e numero di Cluster Utilizzando un ciclo ricorsivo in Matlab abbiamo ottenuto i seguenti valori di VRC: Numero Cluster VRC Tabella 10 - Numero Cluster e VRC La suddivisione del Dataset con VRC maggiore è quella che prevede 5 Cluster. Questi 5 Cluster sono cosi composti: Cluster Numero n. osservazioni contenute % osservazioni contenute ,46% 41 19,6% 3 1 0,48% 4 3 1,44% ,00% Tabella 11 - Suddivisione osservazioni in 5 Cluster Il VRC e l analisi del dendogramma ci permette di affermare che tale divisione in 5 Cluster è quella che soddisfa al meglio il nostro bisogno di partizionamento.

15 15 Il secondo approccio adottato per il clustering è stato di tipo partitivo, nello specifico abbiamo utilizzato il procedimento k-means. Il procedimento k means si basa su 4 semplici operazioni che vengono ripetute fino a quando non si ottiene un clustering soddisfacente: 1. Si determinano il numero n dei gruppi da creare. Sono presi dal dataset n elementi che saranno considerati centroidi dei rispettivi gruppi.. Ogni elemento nel dataset viene incluso nel gruppo in cui la distanza euclidea con il centroide è minore 3. Sulla base dei gruppi appena formati si ricalcolano i centroidi 4. Si riparte dal punto fino a quando tutti gli elementi non sono assegnati in maniera definitiva ad un gruppo Non conoscendo a priori il numero corretto di Cluster, abbiamo deciso di procedere a diverse analisi, ognuna con un diverso numero di Cluster. Come nell approccio gerarchico, abbiamo considerato le analisi in,3,4 e 5 cluster e abbiamo scelto la migliore sulla base del Variance Ratio Criterion (VRC). I dati ottenuti sono riportati in tabella: Numero Cluster Cluster ID n. osservazioni contenute % osservazioni contenute , , , , , , , , , , , , , ,74 Tabella 1 - Numero Cluster, divisione delle osservazioni e VIF Dopo aver valutato il VRC di ciascuna divisione, quella in 3 Cluster risulta essere la migliore. Di seguito mostriamo graficamente come le osservazioni si distribuiscono nei 3 gruppi: VRC

16 16 Figura 14 - Suddivisione delle osservazioni in Clustering a 3 gruppi E la relativa matrice di scatterplots: Figura 15 - Matrice Scatterplots per clustering a 3 gruppi Il passo successivo è stato l analisi delle componenti principali. L analisi delle componenti principali è una tecnica classica multivariata che consente di ridurre il

17 17 numero di variabili o caratteri associati ad ogni oggetto che descrivono il profilo degli oggetti concentrando gran parte dell informazione in un numero ristretto di nuove variabili (componenti principali). Tale tecnica porta alla ricerca della riduzione ottimale della matrice di partenza, in grado di conservare il massimo contenuto informativo e quindi la struttura relazionale esistente fra gli oggetti nella matrice dei dati nel minor (4 ) numero possibile di componenti. Con l ausilio del software Matlab abbiamo individuato le componenti principali e la percentuale di varianza spiegata da ciascuna componente. Componente principale % varianza spiegata Tabella 13 - Componenti principali e varianza spiegata Lo scree plot ci permette di mostrare graficamente il contributo di ciascuna componente principale nello spiegare la varianza: Figura 16 - Scree Plot componenti principali Per la scelta delle componenti principali, abbiamo fissato un limite inferiore q, alla quota di varianza spiegata dalle prime r componenti. Tale limite inferiore è stato fissato al valore 0,7. Questo significa che andremo a considerare solamente le prime componenti principali dato che: 59, ,8878 = 71,5480% > 70% (X )

18 18 Dopo aver selezionato le componenti principali, abbiamo eseguito nuovamente l analisi cluster con il metodo k-means. Abbiamo utilizzato lo stesso numero di cluster utilizzato in precedenza cioè 3. Abbiamo ottenuto i seguenti risultati: Numero Cluster 3 Cluster ID n. osservazioni contenute % osservazioni contenute ,99% 56 6,79% ,% Tabella 14 - Clustering in 3 gruppi delle componenti principali VRC L output grafico di Matlab ci aiuta a comprendere meglio la composizione dei 3 cluster: Figura 17 - Clustering in 3 gruppi delle componenti principali Conclusioni I risultati ottenuti ci suggeriscono quali sono i caratteri più importanti da valutare nel determinare la potenza di una CPU. La componente che più influisce sulle prestazioni è il l ampiezza del BUS di collegamento con le altre parti del calcolatore. CPU caratterizzate da un elevato parallelismo, vale a dire che possiedono una ampiezza di BUS elevata, avranno prestazioni superiori rispetto a CPU dotate di BUS con ampiezza inferiore. Il secondo elemento da considerare nel valutare la potenza di una CPU è la

19 19 quantità di memoria Cache posseduta. I risultati del nostro studio contrastano con l attuale tendenza che porta a valutare la potenza delle CPU solamente in base al Clock. Con l analisi cluster abbiamo individuato 5 gruppi con il procedimento gerarchico e 3 gruppi con il procedimento k-means. I dati riassuntivi di ciascun gruppo sono riportati di seguito: ID Gruppo MYCT MMIN MMAX CACH CHMIN CHMAX PRP Min Max Medio Min Max Medio Min Max Medio Min Max Medio Min Max Medio Tabella 15 - Statistiche Cluster Gerarchico Figura 10 - Boxplot cluster gerarchici su attributo PRP

20 0 I Cluster ottenuti rappresentano gruppi di processori dalle caratteristiche simili. Il valore medio dell indice delle prestazioni PRP ci può indicare la fascia in cui rientra la CPU. Processori più potenti apparterranno alla fascia 4, i meno potenti alla fascia 1. Il gruppo 3 ha chiaramente 1 solo elemento al suo interno, tale osservazione rappresenta un outlier e date le sue caratteristiche particolari crea un gruppo a parte. ID Gruppo 1 3 MYCT MMIN MMAX CACH CHMIN CHMAX PRP Min Max Medio Min Max Medio Min Max Medio Tabella 16 - Statistiche Clustering k-means Figura 11 - Boxplot cluster k-means su attributo PRP I cluster ottenuti con il procedimento k-means sono solamente 3. In questo caso, il gruppo 3 contiene le CPU con elevate prestazioni mentre il gruppo CPU con prestazioni modeste.

21 1 Bibliografia (1) Levine et Al Cap.10 () Figura tratta da: Levine et Al Cap.10 (3) Levine et Al Cap.10 (4 ) Cap.3 Cluster