4. Matrici e Minimi Quadrati
|
|
- Sara Marchetti
- 6 anni fa
- Visualizzazioni
Transcript
1 4. Matrici e Minimi Quadrati Matrici e sistemi di equazioni di lineari Formulazione matriciale del metodo dei minimi quadrati Regressione polinomiale Regressione non lineare Cross-validazione e overfitting Regressione lineare multipla (MLR)
2 Sistemi Lineari e Matrici Un sistema lineare è un insieme di n equazioni lineari in n incognite È noto che le incognite possono essere determinate con semplicità utilizzando il formalismo matriciale a x b y k c x d y g a c b x d y k g A x k x A -1 k Il sistema quindi ammette soluzione, cioè è invertibile, se la matrice A ammetta la sua inversa quindi se det(a) Quindi se tutte le equazioni sono linearmente indipendenti una rispetto all altra 2
3 Formalismo matriciale y i a x i b y 1 y n a b esempio: n= 2 senza errori di misura 1 Y 1x2 K 1x2 X 2x2 K 1x2 Y 1x2 X 2x2 Y 1xn K 1x2 X 2xn 1 1 x 1 x n X -1 è detta matrice inversa di X 1 a b c d X 2x2 Inversamente proporzionale al determinante Se due righe o colonne sono proporzionali o combinazione lineare delle altre il determinante della matrice è e la matrice inversa diverge! Problema della co-linearità nella soluzione dei problemi lineari. 1 d det X b det X c det X a det X 3
4 In presenza di errori di misura x y i a x i b e i y 1 y n a b 1 x n e 1 e n 1 1 Y 1xn K 1x2 X 2xn E 1xn In presenza di errori di misura ci sono n righe indipendenti con n>2 La soluzione minimi quadrati, in cui cioè la norma del vettore E 1xn si ottiene, formalmente come nel caso precedente scambiando l operazione di inversione con quella di pseudo-inversione o inversa generalizzata (teorema di Gauss-Markov) esempio: n= 2 con er rori di misura Y 1xn K 1x2 X 2xn E 1xn ; min E 1xn K 1x2 Y 1xn X nx2 4
5 Matrice Pseudo-inversa a.k.a. inversa generalizzata o inversa di Moore Definita attraverso le relazioni di Moore: Calcolo pratico: X X X X X X X X X X * X X X X * X X Esiste se det X T X. Pinv(x) in Matlab PseudoInverse[x] in Mathematica X X T X 1 X T 5
6 Regressione Polinomiale Una relazione funzionale polinomiale può essere scritta in forma matriciale. Il problema ai minimi quadrati si può risolvere applicando il teorema di Gauss-Markov Polinomio di grado n; n+1 parametri; m>n+1 misure sperimentali y a a 1 x a 2 x 2 a n x n 1 1 x y 1 y m a a 1 a 1 x m n e 1 e m n n x 1 x m Y 1xm K 1xn 1 X N 1xm E 1xm min E 1xm K 1xn 1 Y 1xm X mxn 1 6
7 Regressione non-lineare Se la funzione f(x) non permette l applicazione della regressione matriciale il problema ai minimi quadrati ammette una soluzione numerica. y f x;k 1,,k m e Algoritmi iterativi che generalizzano la soluzione al problema f(x)=. Metodo di Newton o della tangente Metodo iterativo che procede, da un punto iniziale, verso la soluzione Sensibile al punto di partenza, false convergenze verso punti di minimo. xi+1 a ²x xi f(xi) ²x=f(xi)/tan(a) = f(xi)/f'(xi) x i 1 x i f x i df dx x i 7
8 Generalizzazione alla soluzione di sistema di equazioni non lineari Algoritmo di Newton-Rhapson y 1 f x 1,k 1,,k n y n f x n,k 1,,k n k i 1 k i J 1 k i fk i y dove J ij f i k j La soluzione passa attraverso l inversione dello Jacobiano (J ij ) 8
9 Minimi quadrati non-lineari Algoritmo di Ben-Israel y 1 f x 1,k 1,,k n e 1 y m f x n,k 1,,k n e m k i 1 k i J k i fk i y dove J ij f i k j Versione ottimizzata: algoritmo di Levenberg-Marquardt 9
10 Modello lineare o non-lineare? Il problema della validazione Quale è la migliore funzione che descrive i dati sperimentali? Quella che consente di predirre con errore minimo le variabili che non sono state usate per costruire il modello. L operazione che consente di stimare questo errore si chiama crossvalidation. Esempio: consideriamo i seguenti dati in cui si ha: y=f(x)+e Quale è la migliore funzione che descrive la relazione tra y e x? y x 1
11 Esempi di soluzione lineare Moderatamente non lineare Altamente non lineare 11
12 Il metodo del test L insieme dei dati viene diviso in due Il modello viene determinato su un sottoinsieme dei dati (insieme di calibrazione training set) L errore viene valutato sull altro sottoinsieme (insieme di test test set) La stima dell errore di predizione dell insieme di test è significativa della capacità di generalizzazione del modello. Cioè della sua applicabilità a dati non utilizzati per la calibrazione. Quindi all utilizzo del modello nel mondo reale per stimare grandezze incognite. 12
13 Stimatori della prestazione della regressione PRESS- Predicted Sum of Squares PRESS RMSEC - Root Mean Square error of calibration i y LS i y 2 i RMSEC PRESS N RMSECV - Root Mean Square error of Cross-Validation Per un modello che include k campioni non inclusi nel modello stesso RMSECV k PRESS k N 13
14 Applicazione del metodo del test I dati segnati in rosso sono il test set. Il modello è calcolato sui restanti dati (punti blù). L errore sui dati di test è valutato come RMSECV RMSECV=2.4 RMSECV=.9 RMSECV=2.2 14
15 Discussione Il metodo migliore è quello moderatamente non lineare (quadratico) Il metodo lineare ha un errore grande sia in calibrazione che in test Il metodo fortemente non lineare ha un errore di calibrazione nullo ma un errore di test elevato. Tale modello è troppo specializzato nel descrivere i dati di calibrazione e non è in grado di generalizzare cioè di trattare adeguatamente i dati non usati per la calibrazione. Tale effetto si chiama overfitting ed è tipico nel caso di modelli fortemente non lineari. Inciso: dati n punti questi sono fittati perfettamente da un polinomio di ordine n 15
16 Considerazioni sul metodo del test-set Il metodo è molto semplice ma richiede insiemi di dati numerosi. La selezione degli insiemi non è semplice in generale va fatta in maniera casuale ma bisogna evitare di sbilanciare i due insiemi È bene controllare che i due insiemi abbiano la stessa varianza e la stessa media Se i due insiemi sono disgiunti si possono verificare fenomeni di overfitting apparente Inciso: a parte casi semplici, in genere i modelli falliscono nelle estensioni analitiche cioè nella predizione di misure fuori del range considerato per la calibrazione. 16
17 Leave-One-Out cross-validation Nel caso di insiemi numerosi di dati il metodo del test set si può utilizzare senza problemi, ma quando il numero di dati diventa esiguo è necessario ricorrere ad altre strategie per la scelta della funzione e per la stima dell errore. Il metodo più utilizzato in tal senso è il leave-one-out Letteralmente lasciane uno fuori Il metodo consiste nel ridurre a 1 il contenuto dell insieme di test, e nel valutare l errore di predizione rispetto al dato eliminato. Eliminando consecutivamente tutti i dati e facendo la media degli errori ottenuti si ottiene una stima robusta dell errore di predizione del modello funzionale. Passo i-esimo: Escludere il dato i Calcolare la regressione sugli n-1 dati Valutare l errore di predizione rispetto al dato i-esimo Immagazzinare il valore in i L errore finale di predizione è la 17 media degli i
18 LOO modello lineare RMSECV=
19 LOO modello moderatamente non lineare (quadratico) RMSECV=.96 19
20 LOO modello altamente non lineare RMSECV=3.33 2
21 Confronto test - LOO LOO fornisce una stima migliore dell errore di predizione rispetto al test set la cui stima dell errore è inattendibile. LOO sfrutta al massimo l intero set di dati. Ovviamente LOO è il metodo del test set con insieme di validazione di ampiezza minima. Per insiemi di grandi dimensioni LOO è dispendioso dal punti di vista del calcolo. Può essere ammorbidito considerando più insiemi di k dati. 21
22 Sistemi Lineari e matrici di dati In un sistema lineare, ogni equazione definisce una funzione di più variabili. Nella scienza analitica i sistemi lineari consentono di estrarre informazioni da metodi di misura non specifici, cioè nei quali il risultato della misura non è funzione solo di una grandezza ma di più grandezze caratterizzanti un campione. Quando però si considerano dati sperimentali bisogna tenere conto di tre fattori: Errori di misura Dipendenza da più grandezze rispetto a quelle considerate Limiti della relazione lineare Tutto ciò fa si che ad esempio la risposta di una misura (y) rispetto a due variabili (x 1, x 2 ) si possa scrivere come: y k 1 x 1 k 2 x 2 e Il termine e contiene i tre fattori sopra elencati 22
23 Sistemi lineari e matrici di dati Dato un metodo di misura come il precedente per la misura delle grandezze x 1 e x 2 è necessario almeno disporre di un altro metodo di misura ma con coefficienti differenti y 1 k 1 x 1 k 2 x 2 e 1 y 2 w 1 x 1 w 2 x 2 e 2 Si noti che in assenza dei termini e il sistema sarebbe deterministico, e due equazioni sarebbero il massimo necessario per ricavare due variabili Nel senso che ogni altra equazione sarebbe necessariamente combinazione lineare delle prime due La presenza dei termini e fa si che il problema della determinazione di x 1 e x 2 sia un problema statistico simile al problema della regressione e quindi risolvibile con il metodo dei minimi quadrati In particolare, si possono avere più equazioni che termini incognite anzi maggiore è il numero di equazioni minore è l errore di stima 23
24 Osservabili selettivi e non selettivi Le quantità osservabili possono essere, rispetto alle variabili da misurare, selettivi o non selettivi Selettivi: L osservabile dipende in maniera dominante da una variabile Non selettivi: l osservabile dipende da più variabili Gli osservabili non selettivi sono gli oggetti della analisi multivariata coefficiente Osservabile specifico coefficiente Osservabile Non selettivo variabili variabili z k j C j z k i C i i 24
25 Osservabili non selettivi Esempio: Spettri ottici L assorbimento ad una data frequenza dipende dalla concentrazione di più specie Gas cromatogrammi L intensità di una riga può risultare dalla concentrazione di più composti con tempi di eluizione simili Sensori chimici La risposta di una sensore è data dalla combinazione di più sostanze a seconda della loro concentrazione e della loro affinità con il sensore stesso. 25
26 Parametri importanti dei metodi analitici: la sensibilità e la risoluzione Dato un metodo analitico, si definisce sensibilità il rapporto tra la variazione del risultato del metodo e la corrispondente variazione della variabile misurata. Tale quantità corrisponde alla seguente derivata: S Y X La risoluzione indica la quantità minima misurabile della variabile considerata, essa è generata dall errore di misura ed è definita da: R X Y S Y Y S X Y X X Y X X Y S X 26 X X X X
27 Spazio delle variabili e spazio degli osservabili: caso di osservabili selettivi Y 1 ax 1 bx 2 Spazio delle variabili Y 2 cx 1 dx 2 X 2 Se I due osservabili sono i X 1 Osservabile 2 K a c b d 1 1 Osservabile 1 Correlazione=1-det(K)= 27
28 Spazio delle variabili e spazio degli osservabili: caso di osservabili non selettivi Correlazione parziale osservabile 2 <C<1 a b K c d a, b, c, d Osservabile 1 X 2 X 1 Correlazione totale C=1 K a b c d a d b c 28
29 Multiple Linear Regression Dati n osservabili ognuno dipendente da m variabili e caratterizzato da errore di misura nel senso esteso del termine, le m variabili possono essere statisticamente stimate utilizzando il metodo dei minimi quadrati. Ovviamente dovranno essere rispettate le 4 condizioni del metodo dei minimi quadrati: 1 L errore su y è molto maggiore dell errore su x 2 Y è distribuita normalmente 3 Gli eventi osservati sono indipendenti 4 Le misure hanno varianza uguale 29
30 q Multiple Linear Regression k q q k n Y = X * B + E n n k = n osservabili n =n misure q= n variabili misurabili Y=XB+E 3
31 Multiple Linear Regression Come nel caso dei minimi quadrati monovariati, si identificano due fasi: Calibrazione: misurando gli osservabili Y relativi a variabili note X si determina la matrice B Utilizzo: conoscendo la matrice B si ricavano le migliori stime per le quantità X dalle misure degli osservabili Y Calibrazione: Noti X e Y la migliore stima per B è data dal teorema di Gauss-Markov: B MLR X Y Se X è di rango massimo si può calcolare la pseudoinversa come: B MLR X T X 1 X T Y Significa imporre che ogni osservabile sia indipendente dagli altri 31
32 Significato della MLR La soluzione del teorema di Gauss-Markov è detta anche estimatore BLUE (best linear unbiased estimator) cioè è lo stimatore di varianza minima In pratica B MLR massimizza la correlazione tra X e Y Geometricamente la soluzione trovata corrisponde ad una proiezione ortogonale di Y in un sottospazio di X. Y MLR X B MLR X X T X 1 X T Y Y è una matrice di proiezione ortogonale in un sottospazio di X e Y Y LS 32
33 Utilizzo pratico In pratica conviene imporre la dipendenza lineare tra le grandezze da misurare e gli osservabili ipotizzando un errore distribuito normalmente X Y B e La soluzione minimi quadrati è quindi data da: X MLR Y B MLR E la matrice B MLR viene stimata dalla seguente: B MLR Y X 33
34 Limitazioni della MLR La Pseudoinversa può essere risolta agevolmente nel caso in cui il rango di X sia massimo e quindi gli osservabili siano indipendenti Questa condizione non è sempre vera: In una riga spettrale, tutte le frequenze della riga sono verosimilmente formate dalle stesse variabili con coefficienti pressochè simili Nel caso in cui il rango non sia massimo siamo nella condizione di avere osservabili fortemente correlati, questo grossi errori nel calcolo della pseudoinversa che portano ad errori di stima delle variabili non accettabili se la correlazione è troppo elevata. In questi casi bisogna trovare un metodo che riduca la correlazione tra gli osservabili. Bisogna in pratica trovare delle nuove variabili dipendenti (funzione degli osservabili) che non siano soggette alla eccessiva correlazione. 34
35 Esempio misura di clorofilla ed antociani in una popolazione di pesche con spettroscopia Vis-NIR Spettri (Y) Clorofilla e Antociani (X) ANTOCIANI.1 TextEnd CLOROFILLA 35
36 Definizione di MLR Dati suddivisi in due insiemi: calibrazione e validazione Ipotesi: le grandezze X sono calcolabili come combinazione lineare dei valori spettrali Y più un errore che distribuito normalmente. X Y B e La stima LS di X è quindi: X MLR Y B MLR E la matrice B MLR è data da: B MLR Y X 36
37 risultati Coefficienti matrice B
38 risultati Confronto Y LS ed Y Scatter plot: ascissa: valore vero; ordinata: valore stimato 4.5 calibrazione 8 validazione 4 6 clorofilla antociani
39 5. L Analisi delle Componenti Principali (PCA) Analisi della Varianza PCA e diagonalizzazione della matrice di covarianza Scores e Loadings Sviluppo di matrici e residui Applicazioni all analisi delle immagini Applicazione alla regressione multivariata: Principal Components Regression (PCR)
40 Lo spazio degli osservabili Ogni misurazioni multivariata è rappresentata da un vettore in uno spazio a N dimensioni N è pari alla dimensione del vettore che esprime la osservazione La distribuzione statistica dei punti (vettori) definisce le proprietà dell intero set di dati. Per ogni grandezza multivariata rappresentabile in uno spazio vettoriale a dimensione N possiamo definre una PDF multivariata. Corollario di grande importanza: osservazioni che descrivono campioni simili sono rappresentate da punti vicini Relazione quindi tra distanza reciproca e similitudine tra campioni (Ipotesi base della pattern recognition) variabler 2 S={S 1,,S n } variable 1 4
41 Statistica descrittiva multivariata Come per una distribuzione univariata possiamo definire i descrittori fondamentali: Media scalare vettore Varianza scalare matrice (matrice di covarianza). La distribuzione normale definita per una variabile univariata conserva la sua importanza nella statisica multivariata 41
42 La matrice di covarianza La varianza di una distribuzione univariata definisce la ampiezza della distribuzione stessa, in pratica il range di valori della variabile che hanno una probabilità reale di essere osservati In pratica il 99% della probabilità si ottiene in un range ampio 3 attorno al valore medio. Poiché la normale è simmetrica attorno al valore medio i punti di isoprobabilità sono 2 a distanza uguale dalla media In una distribuzione multivariata la matrice di covarianza definisce l ampiezza della PDF e definisce il grado di correlazione tra le variabili stesse Il luogo dei punti di isoprobabilità è una ellisse ottenuta come forma quadratica avente come matrice la matrice di covarianza Esponente della PDF multivariata La matrice di covarianza può essere stimata dai dati come: cov(xy)=x T y. 42
43 Colinearità In un problema MLR la soluzione, stima della variabili x, si ottiene invertendo (meglio pseudoinvertendo) la matrice degli osservabili y Tale operazione è possibile se il rango della matrice y è massimo cioè se il numero di colonne linearmente indipendenti coincide con il numero di colonne della matrice. Cioè se tutte gli osservabili sono linearmente indipendenti tra di loro Se esiste una parziale dipendenza, cioè se i coefficienti della combinazione lineare sono rigorosamente non nulli, l inversione numerica della matrice comporta grossi errori di calcolo Questo effetto si chiama colinearità 43
44 Esempio di colinearità In uno spettro ottico le righe spettrali coprono un intervallo di lunghezze d onda, tale intervallo è generalmente coperto da più canali spettrali, di modo che più variabili concorrono a formare una riga spettrale. Se la riga è proporzionale ad una caratteristica del campione (es. concentrazione di glucosio) tutti i canali spettrali relativi alla riga saranno in egual modo proporzionali alla caratteristica del campione, quindi le relative variabili (colonne nella matrice dei dati) risulteranno colineari Sono colineari le variabili che dipendono quantitativamente da caratteristiche del campione Spettro NIR di frutti.12 Variabili colineari Absorbance.4.2 TextEnd Absorbance.6.4 TextEnd Wavelenght [nm] Wavelenght [nm] 44
45 Colinearità e matrice di covarianza La colinearità si esprime attraverso la matrice di covarianza. In caso di colinearità i termini non diagonali della matrice di covarianza sono diversi da zero. Rimuovere la colinearità quindi significa ridurre la matrice di covarianza in forma diagonale introducendo delle nuove variabili latenti. La tecnica della analisi delle componenti principali consente, tra le altre cose, di ottenere questo risultato. 45
46 Esempio di matrici di covarianza e luoghi di punti isoprobabili Ci sono tre esempi notevoli di matrici di covarianza in termini di correlazione tra le variabili. Come esempio usiamo uina distribuzione bivariata 2 Variabili scorrelate Varianze diverse Variabili scorrelate Varianze uguale x xy xy y Variabili correlate Varianze diverse 46
47 PDF multivariata e matrice di covarianza La normale multivariata ha senso solo se la matrice di covarianza descrive grandezze correlate tra loro, cioè se la matrice è non diagonale. Infatti per due grandezze (x e y) tra loro non correlate ed indipendenti la probabilità di osservare contemporaneamente il valore di x e di y è semplicemente il prodotto delle due distribuzioni univariate: Px,y Px Py 47
48 La matrice di covarianza in forma canonica La matrice di covarianza può essere scritta in forma diagonale con un adeguato cambiamento del sistema di riferimento. Tale sistema di riferimento corrisponde agli autovettori della matrice di covarianza, cioè agli principali dell ellisse costruita come forma quadratica dalla matrice di covarianza stessa. Tale operazione rende le variabili scorrelate e la PDF prodotto di PDF univariate. D altro canto le nuove variabili non sono più degli osservabili fisici (oggetto di misurazioni) ma sono combinazioni lineari di queste. Le nuove variabili prendono il nome di Componenti Principali e l insieme di procedure di calcolo e interpretazione delle componenti principali si chiama analisi delle componenti principali (PCA) a x 2 2b xy c y 2 x y a b x b c y 48 1 u 2 2 w 2 u w 1 u o 2 w
49 Dimensioni del data set Se le variabili di un fenomento multivariato hanno un certo grado di correlazione allora i vettori rappresentativi del fenomeno tenderanno ad occupare solo una porzione dello spazio degli osservabili. Quindi una veriabile di dimensione N riempie uno spazio di dimensione minore Example: linear sensors Spazio delle variabili indipendenti s 1 k 11 g 1 k 12 g 2 s 2 k 21 g 1 k 22 g 2 Gas 2 Sensori specifici k 12 =k 21 = Sensori non specifici ma diversi K 11 ; k 12 ; k 22 ; k 22 diversi Gas 1 Non specifi ed uguali Sensor 2 Sensor 2 Sensor 2 Sensor 1 Sensor 1 C= Dim=2 C> and <1 Dim intermedia Sensor 1 C=1 Dim=1 49
50 Principal Component Analysis Lo scopo della PCA è la rappresentazione di un insieme di dati con matrice di covarianza non diagonale e di dimensione N in uno spazio di dimensione minore di N in cui gli stessi dati siano rappresentati da una matrice di covarianza diagonale. La diagonalizzazione si ottiene con una rotazione delle coordinate nella base degli autovettori (componenti principali) Ad ogni autovettore è associato un autovalore a cui corrisponde la varianza della componente principale associata. Se le variabili originarie erano parzialmente correlate tra loro alcuni autovalori avranno un valore trascurabile. In pratica gli autovettori corrispondenti possono essere trascurati e limitare la rappresentazione solo agli autovettori con glu autovalori più grandi. Poiché la matrice di covarianza nella base delle componenti principali è diagonale la varianza totale è la somma delle varianze delle singole componenti principali. 5
51 PCA e proiezione La PCA è uno dei possibili modelli che danno luogo alla riduzione delle dimensioni, in pratica si tratta di una proiezione ortogonale dallo spazio originale allo spazio delle componenti principali i cui autovalori associati siano quelli di valore maggiore. s W x 51
52 PCA PCA è un metodo detto del secondo ordine poiché sia le nuove coordinate che il criterio per la riduzione delle dimensioni si basano unicamente sulle proprietà della matrice di covarianza La varianza è detta momento secondo dei una distribuzione ed è proporzionale al quadrato della variabile Momento primo: media; secondo: varianza; terzo: skewness;.. Quindi la PCA si basa sulla ipotesi che la variabile x sia distribuita normalmente La media è in genere resa nulla e quindi tutta l informazione statistica è contenuta nella matrice di covarianza Solo in questo caso le singole componenti principali saranno indipendenti e la probabilità multivariata diventa il prodotto delle probabilità univariate Nel caso contrario si ottiene unicamente lo scorrelazione delle componenti principali 52
53 PCA, autovalori ed autovettori Le componenti principali della matrice X sono gli autovettori (P) della matrice X T X. La matrice X risulta decomposta nel prodotto dei P (loadings) e delle coordinate dei patterns originali nella base degli P (scores): X=TP T Le coordinate delle righe della matrice X nella base delle componenti principali si calcolano come: T=XP Gli autovalori sono proporzionali alla varianza dei dati lungo la direzione principale identificata dall autovettore corrispondente 53
54 Interpretazione geometrica della PCA Spazio osservabili Spazio comp. Princ. Ellisse della matrice di covarianza variabile 2 PCA pc 2 T T T 1 o 2 X T X x xy xy y variabile 1 X T X P T T X P;X T P T pc 1 Spazio ridotto T 1 X P 1 E pc Riduzione delle dimensioni autovalore 1 pc1 2 pc2 Confronto autovalori: una PC ha un contenuto di informazione maggiore rispetto all altra 54
55 PCA: scores e loadings Le nuove coordinate dei vettori corrispondenti alle osservazioni (le righe della matrice x) nella base delle componenti principali prendono il nome di scores I coefficienti delle combinazioni lineari che definiscono le componenti principali sono detti loadings Il loading quindi fornisce una misura del contributo di ogni osservabile alle componenti principali I loadings sono anche rappresentabili come scores in quanto sono la proiezione degli assi originali nel sottospazio identificato dalla componenti principali, quindi scores e loadings possono essere graficati insieme s 2.8 Biplot: (o) normalized scores, (+) loads 2 pc 2.6 pc 1 s 1 PC 2 (1.3%) s 3 loadings PC 1 (85.9%).4.5.6
56 PCA matrix Decomposition PCA Può essere considerata come la scomposizione della matrice X nella base delle componenti principali. M X = 1 st PC 2 nd PC M th PC score loading M score loading M score loading * * * M N N Limitare la scomposizione alla componente p (p<m) significa reiettare una parte dei dati T X nm S np L pm Residual 56
57 PCA, correlazione e rumore Il rumore è un termine aggiuntivo stocastico proprio di ogni grandezza osservabile. Il rumore è il termine che rende statistica l operazione di misura. Date N variabili il rumore che affetta ognuna di esse è scorrelato rispetto al rumore che affetta le altre. Le componenti principali descrivono le direzioni di massima correlazione tra I dati, per cui le PC di ordine più elevato sono orientate verso le direzioni di massima correlazione e quelle di ordine inferiore verso le direzioni di scarsa correlazione Limitare la decomposizione alle componenti principali di ordine più elevato significa quindi trattenere le direzioni di massima correlazione e rimuovere quelle non correlate, nella parte non correlata c è sicuramente il rumore La PCA quindi è un metodo per ridurre la quantità di rumore in un set di dati multivariati. esempio: spettroscopia, GC, 57
58 Esempio di rimozione del rumore: Reflectance Anisotropy Spectroscopy di superfici organiche ordinate PC1 PC1-3 Original Spectra X residuo 58
59 Esempio: 3 SnO2 sensori for 2 gas G f /G i CO NO NO2 [ppm] CO [ppm] 59
60 PCA score plot Scores Plot 1.5 1, CO 1, NO 2.5 5,5 1,1 PC 2 (18.11%) , , ,.1 4 1, PC 1 (77.25%) 6
61 PCA bi-plot 1 Biplot: (o) normalized scores, (+) loads PC 2 (18.11%) PC 1 (77.25%) 61
62 Sensor 1 vs sensor CO.5.4 sensor NO sensor 1 62
63 Residual of PCA representation (leverage) x i a s 1 b s 2 n s n x i pca a pc 1 b pc 2 residual Scores Plot x Scores Plot Q Residual PC 2 (18.11%) PC 1 (77.25%) PC 2 (18.11%) PC 1 (77.25%)
64 Procedura PCR DATI X cal PCA PC & Y cal X cal Y cal X Y MLR X vall Y vall CALIBRAZIONE B VALIDAZIONE Errore= Y val - Y est Y est = X val * B 64
65 Algoritmo PCR Y = X * B Original problem PCA X P T = T * + E Y = T P T * * B PCR 65
66 Algoritmo PCR X T X P T E T X P X T P T 1 N Y X B T T Q T T P T B T B T P Q T Y X P P T B T B T X T X B T P 1 P T 1 X T B T P 1 P T X T Y P T T Y P 1 T T Y 66
67 Esempio: Spettri NIR di frutta secca Supponiamo di aver raccolto 36 spettri NIR di frutta secca e di voler realizzare un modello per la misura del contenuto di umidità e di acidità totale. Ogni spettro è formato da 88 variabili corrispondenti ai canali spettrali nell intervallo µm. Per ogni specie di frutta sono stati misurati umidità ed acidità con metodi di riferimento. Vogliamo quindi realizzare il seguente modello che dallo spettro X ci consente di ricavare i due parametri Y. E necessario quindi stimare il parametro K Y 1x 2 X 1x 88 K 88x 2 67
68 Inciso sugli spettri Spesso gli spettri ottici, in particolare quelli NIR, sono affetti da drift in lunghezza d onda detto baseline drift La baseline può essere eliminato derivando numericamente lo spettro Un altro metodo, sempre basato sulla derivata. è la normalizzazione di Savitzky-Golay.1 1 Absorbance Absorbance Wavelenght [nm] Wavelenght [nm]
69 Matrice X e matrice di covarianza samples TextEnd absorbances Colinearità elevata I blocchi di elevata correlazione (+ e -) corrispondono alle righe spettrali Colonne colorate nella matrice di assorbanza covarianza Wavelenght [nm] Spectral Channels 4 5 TextEnd Spectral Channels 69
70 Calcolo della PCA Riduciamo gli spettri a media nulla in modo che se l ipotesi di distribuzione normale è soddisfatta, tutta l informazione è contenuta nella matrice di covarianza. Calcolo di autovettori ed autovalori 45 Eigenvalue vs. Principal Component Eigenvalue Principal Component I primi 3 autovalori hanno un valore considerevolmente diverso da zero. Gli 88 spettri, vettori in uno spazio a dimensione 88, sono in buona parte confinati in un sottospazio a dimensione 3. 7
71 Autovalori e varianza 5 eigenvalue 5 explained variance [%] 11 total variance [%] PC PC PC 71
72 1 1st SCORE SAMPLES Scores e loadings 1 2nd SCORE SAMPLES rd SCORE SAMPLES Loadiings Canali spettrali Spettro originale
73 Scores plot Scores Plot Scores Plot PC 2 (43.12%) PC 3 ( 8.4%) PC 1 (46.1%) PC 1 (46.1%) 73
74 Decomposizione e residui Prima PC Seconda PC Terza PC x Residui x
75 Calcolo della Principal Components Regression (PCR) Separiamo il set di dati in due: 26 per il calcolo del modello PC cal, Y cal 1 per la valutazione dell errore PC val, Y val Dal modello si calcola la matrice di regressione B pcr Y cal X cal B T B T P 1 T T Y cal Si calcola poi la stima sul set di validazione (e per confronto anche su quello di calibrazione) Si valuta RMSEC ed RMSECV r stimay cal X cal B T stimay val X val B T 75
76 Esempio risultati calibrazione test x x x x RMSEC acidità = RMSEC umidità =.13 RMSECV acidità = RMSECV umidità =.19 76
77 Applicazione alla analisi delle immagini Un immagine digitalizzata può essere considerata come una matrice NxM nel caso di immagine a scala di grigio (bianco nero) o NxMx3 (nel caso di immagine a colori) Considerando una immagine in una scala di tonalità la possiamo considerare come una matrice ed applicare la PCA Più avanti considereremo le strutture 3dimensionali di dati. La decomposizione PCA può mettere in evidenza alcune strutture peculiari dell immagine permettendo quindi di studiare le caratteristiche dell immagine stessa. 77
78 PCA: Application to Image Analysis (example 1: I) STM image of Sapphyrin molecules growth as a Langmuir-Blodgett film onto a gold substrate Au grains Sapphyrins 78
79 PCA: Application to Image Analysis (example 1: II) X S T 1 L X S T 1 1:1 L X S T 1:1 1:15 L 1:15 79
80 PCA: Application to Image Analysis (example 1: III) The residuals of the expansion at the tenth PC put in evidence the sapphyrine film only T X S 1:1 L 1:
81 PCA: Application to Image Analysis (example 2: I) Caravaggio Deposition 81
82 PCA: Application to Image Analysis (example 2: II) T X S 1:1 L 1:1 T X S 1:1 L 1:1 82
83 6. Partial Least Squares (PLS) Partial Least Squares PLS toolbox di MATLAB
84 Da PCR a PLS approccio geometrico Nella PCR la soluzione del problema della regressione passa attraverso la decomposizione della matrice dei dati nella matrice delle componenti principali Le componenti principali sono le direzioni, nello spazio delle variabili di X, che massimizzano la varianza e generano una base nella quale I dati di X risultano non correlati Nella PCR le componenti principali diventano le nuove variabili (non correlate) della regressione che così diventa più facilmente risolvibile. Nella PLS anche la matrice Y viene decomposta in componenti principali e le componenti principali di X vengono ruotate nella direzione di massima correlazione rispetto alle componenti principali di Y Scopo della PLS è determinare delle variabili latenti, simili alle componenti principali che massimizzano la varianza di entrambe le matrici 84
85 PLS e PCR PLS funziona meglio di PCR perchè le variabili latenti sono scelte massimizzando la correlazione con le PC della matrice Y Le componenti principali sono le direzioni di massima varianza, queste direzioni non dipendono dallo scopo (matrice Y) ma sono determinate univocamente dalla matrice X Le componenti principali quindi non sono di per se significative per la costruzione di un modello che stima Y, agevola solo la MLR eliminando la correlazione tra le variabili. 85
86 PLS calcolo variabili latenti X = T * P T + E Y = U * Q T + F Le componenti principali sono determinate massimizzando la correlazione tra T e U e la loro varianza max corr 2 U,T,var U var T 86
87 Overfitting in PLS PLS è soggetta ad overfitting Il numero di variabili latenti deve essere ottimizzato in un processo di crossvalidation L overfitting è dato dal fatto data la variabile latente k la variabile k+1 è ottenuta fittando il sottospazio di dimensione k+1, poichè le variabili latenti non sono ortogonali tra loro, non c è limite alla possibilità di fittare esattamente i dati di calibrazione con un numero N di variabili latenti. La cross-validation fissa il numerodi variabili latenti la cui accuratezza è stimata sul set di validazione. Normalmente tale valore è più grande rispetto all errore ottenuto dal modello sui dati di calibrazione Tali errori sono quantificati dalle grandezze RMSEC Root Mean Square Error in Calibration RMSECV Root Mean Square Error of Calibration in Validation 87
88 Algoritmo PLS Modello PCA per X e Y X T P T E Y U Q T F Determinazione delle variabili latenti max corr 2 T,U,var U var T T X P X X T U U Y Q Y Y T T Costruzione del modello: matrice di regressione B Y X B T B T X T X B T P 1 T T U Q T 1 X T Y 88
89 Matlab PLS toolbox modlgui Dati: 4 sensori TSMR, per la misura di ottano e toluene 89
90 Esempio modlgui ottano toluene 9
4. Matrici e Minimi Quadrati
& C. Di Natale: Matrici e sistemi di equazioni di lineari Formulazione matriciale del metodo dei minimi quadrati Regressione polinomiale Regressione non lineare Cross-validazione e overfitting Regressione
Dettagli6. Partial Least Squares (PLS)
& C. Di Natale: (PLS) Partial Least Squares PLS toolbox di MATLAB 1 Da PCR a PLS approccio geometrico Nella PCR la soluzione del problema della regressione passa attraverso la decomposizione della matrice
Dettagli3. Vettori, Spazi Vettoriali e Matrici
3. Vettori, Spazi Vettoriali e Matrici Vettori e Spazi Vettoriali Operazioni tra vettori Basi Trasformazioni ed Operatori Operazioni tra Matrici Autovalori ed autovettori Forme quadratiche, quadriche e
Dettagli5. L Analisi delle Componenti Principali (PCA)
. L Analisi delle Componenti Principali (PCA) Analisi della Varianza PCA e diagonalizzazione della matrice di covarianza Scores e Loadings Sviluppo di matrici e residui Applicazioni all analisi delle immagini
DettagliMetodi computazionali per i Minimi Quadrati
Metodi computazionali per i Minimi Quadrati Come introdotto in precedenza si considera la matrice. A causa di mal condizionamenti ed errori di inversione, si possono avere casi in cui il e quindi S sarebbe
DettagliSistemi II. Sistemi II. Elisabetta Colombo
Corso di Approfondimenti di Matematica per Biotecnologie, Anno Accademico 2011-2012, http://users.mat.unimi.it/users/colombo/programmabio.html 1 2 3 con R.C.+ o 1.10 Rango massimo e determinante con R.C.+
DettagliRisoluzione di sistemi lineari sparsi e di grandi dimensioni
Risoluzione di sistemi lineari sparsi e di grandi dimensioni Un sistema lineare Ax = b con A R n n, b R n, è sparso quando il numero di elementi della matrice A diversi da zero è αn, con n α. Una caratteristica
DettagliStatistica Applicata all edilizia: il modello di regressione
Statistica Applicata all edilizia: il modello di regressione E-mail: orietta.nicolis@unibg.it 27 aprile 2009 Indice Il modello di Regressione Lineare 1 Il modello di Regressione Lineare Analisi di regressione
DettagliSISTEMI LINEARI MATRICI E SISTEMI 1
MATRICI E SISTEMI SISTEMI LINEARI Sistemi lineari e forma matriciale (definizioni e risoluzione). Teorema di Rouché-Capelli. Sistemi lineari parametrici. Esercizio Risolvere il sistema omogeneo la cui
DettagliSOTTOSPAZI E OPERAZIONI IN SPAZI DIVERSI DA R n
SPAZI E SOTTOSPAZI 1 SOTTOSPAZI E OPERAZIONI IN SPAZI DIVERSI DA R n Spazi di matrici. Spazi di polinomi. Generatori, dipendenza e indipendenza lineare, basi e dimensione. Intersezione e somma di sottospazi,
Dettaglia + 2b + c 3d = 0, a + c d = 0 c d
SPAZI VETTORIALI 1. Esercizi Esercizio 1. Stabilire quali dei seguenti sottoinsiemi sono sottospazi: V 1 = {(x, y, z) R 3 /x = y = z} V = {(x, y, z) R 3 /x = 4} V 3 = {(x, y, z) R 3 /z = x } V 4 = {(x,
DettagliIl modello di regressione lineare multipla. Il modello di regressione lineare multipla
Introduzione E la generalizzazione del modello di regressione lineare semplice: per spiegare il fenomeno d interesse Y vengono introdotte p, con p > 1, variabili esplicative. Tale generalizzazione diventa
DettagliMaria Prandini Dipartimento di Elettronica e Informazione Politecnico di Milano
Note relative a test di bianchezza rimozione delle componenti deterministiche da una serie temporale a supporto del Progetto di Identificazione dei Modelli e Analisi dei Dati Maria Prandini Dipartimento
DettagliSISTEMI LINEARI: APPROFONDIMENTI ED ESEMPI
SISTEMI LINEARI: APPROFONDIMENTI ED ESEMPI Appunti presi dalle lezioni del prof. Nedo Checcaglini Liceo Scientifico di Castiglion Fiorentino (Classe 4B) January 17, 005 1 SISTEMI LINEARI Se a ik, b i R,
DettagliEsplorazione grafica di dati multivariati. N. Del Buono
Esplorazione grafica di dati multivariati N. Del Buono Scatterplot Scatterplot permette di individuare graficamente le possibili associazioni tra due variabili Variabile descrittiva (explanatory variable)
DettagliSistemi sovradeterminati
Sistemi sovradeterminati Sia A una matrice m n ove m > n sia b R m trovare una soluzione del sistema sovradeterminato Ax = b significa cercare di esprimere un vettore di R m come combinazione lineare di
DettagliLeLing12: Ancora sui determinanti.
LeLing2: Ancora sui determinanti. Ārgomenti svolti: Sviluppi di Laplace. Prodotto vettoriale e generalizzazioni. Rango e determinante: i minori. Il polinomio caratteristico. Ēsercizi consigliati: Geoling
DettagliAnalisi delle corrispondenze
Analisi delle corrispondenze Obiettivo: analisi delle relazioni tra le modalità di due (o più) caratteri qualitativi Individuazione della struttura dell associazione interna a una tabella di contingenza
DettagliApplicazioni lineari e diagonalizzazione. Esercizi svolti
. Applicazioni lineari Esercizi svolti. Si consideri l applicazione f : K -> K definita da f(x,y) = x + y e si stabilisca se è lineare. Non è lineare. Possibile verifica: f(,) = 4; f(,4) = 6; quindi f(,4)
DettagliTEORIA DEI SISTEMI ANALISI DEI SISTEMI LTI
TEORIA DEI SISTEMI Laurea Specialistica in Ingegneria Meccatronica Laurea Specialistica in Ingegneria Gestionale Indirizzo Gestione Industriale TEORIA DEI SISTEMI ANALISI DEI SISTEMI LTI Ing. Cristian
DettagliEsercizi di ripasso: geometria e algebra lineare.
Esercizi di ripasso: geometria e algebra lineare. Esercizio. Sia r la retta passante per i punti A(2,, 3) e B(,, 2) in R 3. a. Scrivere l equazione cartesiana del piano Π passante per A e perpendicolare
DettagliIntroduzione soft alla matematica per l economia e la finanza. Marta Cardin, Paola Ferretti, Stefania Funari
Introduzione soft alla matematica per l economia e la finanza Marta Cardin, Paola Ferretti, Stefania Funari Capitolo Sistemi di equazioni lineari.8 Il Teorema di Cramer Si consideri un generico sistema
DettagliEsercizi svolti. delle matrici
Esercizi svolti. astratti. Si dica se l insieme delle coppie reali (x, y) soddisfacenti alla relazione x + y è un sottospazio vettoriale di R La risposta è sì, perchè l unica coppia reale che soddisfa
Dettagli4 Autovettori e autovalori
4 Autovettori e autovalori 41 Cambiamenti di base Sia V uno spazio vettoriale tale che dim V n Si è visto in sezione 12 che uno spazio vettoriale ammette basi distinte, ma tutte con la medesima cardinalità
DettagliAnalisi delle corrispondenze
Capitolo 11 Analisi delle corrispondenze L obiettivo dell analisi delle corrispondenze, i cui primi sviluppi risalgono alla metà degli anni 60 in Francia ad opera di JP Benzécri e la sua equipe, è quello
DettagliSistemi lineari. Lorenzo Pareschi. Dipartimento di Matematica & Facoltá di Architettura Universitá di Ferrara
Sistemi lineari Lorenzo Pareschi Dipartimento di Matematica & Facoltá di Architettura Universitá di Ferrara http://utenti.unife.it/lorenzo.pareschi/ lorenzo.pareschi@unife.it Lorenzo Pareschi (Univ. Ferrara)
DettagliRichiami di algebra delle matrici a valori reali
Richiami di algebra delle matrici a valori reali Vettore v n = v 1 v 2. v n Vettore trasposto v n = (v 1, v 2,..., v n ) v n = (v 1, v 2,..., v n ) A. Pollice - Statistica Multivariata Vettore nullo o
Dettagliossia può anche essere localizzato univocamente sul piano complesso con la sua forma polare.
ALGEBRA COMPLESSA Nel corso dei secoli gli insiemi dei numeri sono andati man mano allargandosi per rispondere all esigenza di dare soluzione a equazioni e problemi sempre nuovi I numeri complessi sono
DettagliSISTEMI LINEARI. x y + 2t = 0 2x + y + z t = 0 x z t = 0 ; S 3 : ; S 5x 2y z = 1 4x 7y = 3
SISTEMI LINEARI. Esercizi Esercizio. Verificare se (,, ) è soluzione del sistema x y + z = x + y z = 3. Trovare poi tutte le soluzioni del sistema. Esercizio. Scrivere un sistema lineare di 3 equazioni
DettagliSi consideri il sistema a coefficienti reali di m equazioni lineari in n incognite
3 Sistemi lineari 3 Generalità Si consideri il sistema a coefficienti reali di m equazioni lineari in n incognite ovvero, in forma matriciale, a x + a 2 x 2 + + a n x n = b a 2 x + a 22 x 2 + + a 2n x
DettagliIL CRITERIO DELLA MASSIMA VEROSIMIGLIANZA
Metodi per l Analisi dei Dati Sperimentali AA009/010 IL CRITERIO DELLA MASSIMA VEROSIMIGLIANZA Sommario Massima Verosimiglianza Introduzione La Massima Verosimiglianza Esempio 1: una sola misura sperimentale
DettagliAutovalori e autovettori, matrici simmetriche e forme quadratiche (cenni) (prof. M. Salvetti)
Autovalori e autovettori, matrici simmetriche e forme quadratiche (cenni) (prof. M. Salvetti) April 14, 2011 (alcune note non complete sugli argomenti trattati: eventuali completamenti saranno aggiunti)
DettagliDefinizione 1. Una matrice n m a coefficienti in K é una tabella del tipo. ... K m, detto vettore riga i-esimo, ed a im
APPUNTI ed ESERCIZI su matrici, rango e metodo di eliminazione di Gauss Corso di Laurea in Chimica, Facoltà di Scienze MM.FF.NN., UNICAL (Dott.ssa Galati C.) Rende, 23 Aprile 2010 Matrici, rango e metodo
DettagliEsercizi di Geometria - 1
Esercizi di Geometria - Samuele Mongodi - smongodi@snsit Di seguito si trovano alcuni esercizi assai simili a quelli che vi troverete ad affrontare nei test e negli scritti dell esame Non è detto che vi
DettagliDIARIO DEL CORSO DI GEOMETRIA E ALGEBRA LINEARE
DIARIO DEL CORSO DI GEOMETRIA E ALGEBRA LINEARE DOCENTI: S. MATTAREI (TITOLARE), G. VIGNA SURIA, D. FRAPPORTI Prima settimana. Lezione di martedí 23 febbraio 2010 Introduzione al corso: applicazioni dell
Dettagli2 Sistemi lineari. Metodo di riduzione a scala.
Sistemi lineari. Metodo di riduzione a scala. Esercizio.1 Utilizzando il metodo di eliminazione di Gauss, risolvere i seguenti sistemi lineari: 1. 3. x 1 x + 3x 3 = 1 x 1 x x 3 = x 1 + x + 3x 3 = 5 x 1
DettagliSperimentazioni di Fisica I mod. A Statistica - Lezione 2
Sperimentazioni di Fisica I mod. A Statistica - Lezione 2 A. Garfagnini M. Mazzocco C. Sada Dipartimento di Fisica G. Galilei, Università di Padova AA 2014/2015 Elementi di Statistica Lezione 2: 1. Istogrammi
DettagliMATRICI E SISTEMI LINEARI
1 Rappresentazione di dati strutturati MATRICI E SISTEMI LINEARI Gli elementi di una matrice, detti coefficienti, possono essere qualsiasi e non devono necessariamente essere omogenei tra loro; di solito
DettagliSapienza Università di Roma Corso di laurea in Ingegneria Energetica Geometria A.A ESERCIZI DA CONSEGNARE prof.
Sapienza Università di Roma Corso di laurea in Ingegneria Energetica Geometria A.A. 2015-2016 ESERCIZI DA CONSEGNARE prof. Cigliola Consegna per Martedì 6 Ottobre Esercizio 1. Una matrice quadrata A si
DettagliOgni misura è composta di almeno tre dati: un numero, un'unità di misura, un'incertezza.
Ogni misura è composta di almeno tre dati: un numero, un'unità di misura, un'incertezza. Misure ripetute forniscono dati numerici distribuiti attorno ad un valore centrale indicabile con un indice (indice
DettagliRegressione Lineare Semplice e Correlazione
Regressione Lineare Semplice e Correlazione 1 Introduzione La Regressione è una tecnica di analisi della relazione tra due variabili quantitative Questa tecnica è utilizzata per calcolare il valore (y)
DettagliMatematica Discreta e Algebra Lineare (per Informatica)
Matematica Discreta e Algebra Lineare (per Informatica) Docente: Alessandro Berarducci Anno accademico 2016-2017, versione 14 Marzo 2017 Tipiche domande d esame La seguente lista di domande non intende
DettagliDipendenza e indipendenza lineare (senza il concetto di rango)
CAPITOLO 5 Dipendenza e indipendenza lineare (senza il concetto di rango) Esercizio 5.1. Scrivere un vettore w R 3 linearmente dipendente dal vettore v ( 1, 9, 0). Esercizio 5.2. Stabilire se i vettori
Dettagli(P x) (P y) = x P t (P y) = x (P t P )y = x y.
Matrici ortogonali Se P è una matrice reale n n, allora (P x) y x (P t y) per ogni x,y R n (colonne) Dim (P x) y (P x) t y (x t P t )y x t (P t y) x (P t y), CVD Ulteriori caratterizzazioni delle matrici
DettagliMetodi di regressione multivariata
Metodi di regressione multivariata Modellamento dei dati per risposte quantitative I metodi di regressione multivariata sono strumenti utilizzati per ricercare relazioni funzionali quantitative tra un
DettagliFondamenti di Automatica
Fondamenti di Automatica Proprietà strutturali e leggi di controllo aggiungibilità e controllabilità etroazione statica dallo stato Osservabilità e rilevabilità Stima dello stato e regolatore dinamico
DettagliAPPLICAZIONI LINEARI
APPLICAZIONI LINEARI Esercizi Esercizio Date le seguenti applicazioni lineari f : R 2 R 3 definita da fx y = x 2y x + y x + y; 2 g : R 3 R 2 definita da gx y z = x + y x y; 3 h : Rx] 2 R 2 definita da
DettagliFONDAMENTI DI ALGEBRA LINEARE E GEOMETRIA
Cognome Nome Matricola FONDAMENTI DI ALGEBRA LINEARE E GEOMETRIA Ciarellotto, Esposito, Garuti Prova del 21 settembre 2013 Dire se è vero o falso (giustificare le risposte. Bisogna necessariamente rispondere
DettagliNOTE DI ALGEBRA LINEARE v = a 1 v a n v n, w = b 1 v b n v n
NOTE DI ALGEBRA LINEARE 2- MM 9 NOVEMBRE 2 Combinazioni lineari e generatori Sia K un campo e V uno spazio vettoriale su K Siano v,, v n vettori in V Definizione Un vettore v V si dice combinazione lineare
DettagliRegistro Lezioni di Algebra lineare del 15 e 16 novembre 2016.
Registro Lezioni di Algebra lineare del 15 e 16 novembre 2016 Di seguito si riporta il riassunto degli argomenti svolti; i riferimenti sono a parti del Cap8 Elementi di geometria e algebra lineare Par5
DettagliREGISTRO DELLE LEZIONI
UNIVERSITA DEGLI STUDI DI GENOVA FACOLTA DI SCIENZE MATEMATICHE, FISICHE E NATURALI REGISTRO DELLE LEZIONI del Corso UFFICIALE di GEOMETRIA B tenute dal prof. Domenico AREZZO nell anno accademico 2006/2007
Dettaglix1 + 2x 2 + 3x 3 = 0 nelle tre incognite x 1, x 2, x 3. Possiamo risolvere l equazione ricavando l incognita x 1 x 1 = 2x 2 3x 3 2r 1 3r 2 x 2 x 3
Matematica II -..9 Spazio delle soluzioni di un sistema lineare omogeneo.. Consideriamo l equazione lineare omogenea nelle tre incognite x, x, x 3. x + x + 3x 3 = Possiamo risolvere l equazione ricavando
DettagliLa lunghezza dei vettori e legata alle operazioni sui vettori nel modo seguente: Consideriamo due vettori v, w e il vettore v + w loro somma.
Matematica II, 20.2.. Lunghezza di un vettore nel piano Consideriamo il piano vettoriale geometrico P O. Scelto un segmento come unita, possiamo parlare di lunghezza di un vettore v P O rispetto a tale
Dettagli1 Il polinomio minimo.
Abstract Il polinomio minimo, così come il polinomio caratterisico, è un importante invariante per le matrici quadrate. La forma canonica di Jordan è un approssimazione della diagonalizzazione, e viene
DettagliIl teorema di Rouché-Capelli
Luciano Battaia Questi appunti (1), ad uso degli studenti del corso di Matematica (A-La) del corso di laurea in Commercio Estero dell Università Ca Foscari di Venezia, campus di Treviso, contengono un
DettagliElementi di Algebra Lineare Matrici e Sistemi di Equazioni Lineari
Elementi di Algebra Lineare Matrici e Sistemi di Equazioni Lineari Antonio Lanteri e Cristina Turrini UNIMI - 2016/2017 Antonio Lanteri e Cristina Turrini (UNIMI - 2016/2017 Elementi di Algebra Lineare
DettagliSPAZI EUCLIDEI, APPLICAZIONI SIMMETRICHE, FORME QUADRATICHE
SPAZI EUCLIDEI, APPLICAZIONI SIMMETRICHE, FORME QUADRATICHE. Esercizi Esercizio. In R calcolare il modulo dei vettori,, ),,, ) ed il loro angolo. Esercizio. Calcolare una base ortonormale del sottospazio
DettagliIl metodo delle osservazioni indirette
Il metodo delle osservazioni indirette Teoria della stima ai minimi quadrati Il criterio di massima verosimiglianza Sia data una grandezza η e si abbiano n osservazioni indipendenti l i (i=1,...,n) di
DettagliEsercitazione 6 - Soluzione
Anno Accademico 28-29 Corso di Algebra Lineare e Calcolo Numerico per Ingegneria Meccanica Esercitazione 6 - Soluzione Immagine, nucleo. Teorema di Rouché-Capelli. Esercizio Sia L : R 3 R 3 l applicazione
DettagliRette e piani nello spazio
Rette e piani nello spazio Equazioni parametriche di una retta in R 3 : x(t) = x 0 + at r(t) : y(t) = y 0 + bt t R, parametro z(t) = z 0 + ct ovvero r(t) : X(t) = P 0 + vt, t R}, dove: P 0 = (x 0, y 0,
DettagliCorso di Geometria Ing. Informatica e Automatica Test 1: soluzioni
Corso di Geometria Ing. Informatica e Automatica Test : soluzioni k Esercizio Data la matrice A = k dipendente dal parametro k, si consideri il k sistema lineare omogeneo AX =, con X = x x. Determinare
Dettagli0.1 Condizione sufficiente di diagonalizzabilità
0.1. CONDIZIONE SUFFICIENTE DI DIAGONALIZZABILITÀ 1 0.1 Condizione sufficiente di diagonalizzabilità È naturale porsi il problema di sapere se ogni matrice sia o meno diagonalizzabile. Abbiamo due potenziali
DettagliESERCIZI DI MATEMATICA DISCRETA ANNO 2006/2007
ESERCIZI DI MATEMATICA DISCRETA ANNO 6/7 //7 () Ridurre la seguente matrice ad una a scala ridotta utilizzando il metodo di Gauss-Jordan. Soluzione. () Determinare quante e quali sono le matrici a scala
DettagliII Università degli Studi di Roma
Versione preliminare gennaio TOR VERGATA II Università degli Studi di Roma Dispense di Geometria. Capitolo 3. 7. Coniche in R. Nel Capitolo I abbiamo visto che gli insiemi di punti P lineare di primo grado
DettagliCONTROLLO DI SISTEMI ROBOTICI Laurea Specialistica in Ingegneria Meccatronica
CONTROLLO DI SISTEMI ROBOTICI Laurea Specialistica in Ingegneria Meccatronica CONTROLLO DI SISTEMI ROBOTICI ANALISI DEI SISTEMI LTI Ing. Tel. 0522 522235 e-mail: secchi.cristian@unimore.it http://www.dismi.unimo.it/members/csecchi
DettagliConcetti di teoria dei campioni ad uso degli studenti di Statistica Economica e Finanziaria, A.A. 2016/2017. Giovanni Lafratta
Concetti di teoria dei campioni ad uso degli studenti di Statistica Economica e Finanziaria, A.A. 2016/2017 Giovanni Lafratta ii Indice 1 Spazi, Disegni e Strategie Campionarie 1 2 Campionamento casuale
DettagliUniversità di Siena. Corso di STATISTICA. Parte seconda: Teoria della stima. Andrea Garulli, Antonello Giannitrapani, Simone Paoletti
Università di Siena Corso di STATISTICA Parte seconda: Teoria della stima Andrea Garulli, Antonello Giannitrapani, Simone Paoletti Master E 2 C Centro per lo Studio dei Sistemi Complessi Università di
Dettagli8 Metodi iterativi per la risoluzione di sistemi lineari
8 Metodi iterativi per la risoluzione di sistemi lineari È dato il sistema lineare Ax = b con A R n n e x, b R n, con deta 0 Si vogliono individuare dei metodi per determinarne su calcolatore la soluzione,
Dettagli2. Coordinate omogenee e trasformazioni del piano
. Coordinate omogenee e trasformazioni del piano Nella prima sezione si è visto come la composizione di applicazioni lineari e di traslazioni porta ad una scomoda combinazione di prodotti matriciali e
DettagliLEZIONE 12. v = α 1 v α n v n =
LEZIONE 12 12.1. Combinazioni lineari. Definizione 12.1.1. Sia V uno spazio vettoriale su k = R, C e v 1,..., v n V vettori fissati. Un vettore v V si dice combinazione lineare di v 1,..., v n se esistono
DettagliA.A. 2014/2015 Corso di Algebra Lineare
A.A. 2014/2015 Corso di Algebra Lineare Stampato integrale delle lezioni Massimo Gobbino Indice Lezione 01: Vettori geometrici nel piano cartesiano. Operazioni tra vettori: somma, prodotto per un numero,
DettagliIl metodo dei minimi quadrati. Molto spesso due grandezze fisiche x e y, misurabili direttamente, sono legate tra loro da una legge del tipo:
Il metodo dei minimi quadrati Molto spesso due grandezze fisiche x e y, misurabili direttamente, sono legate tra loro da una legge del tipo: Dove A e B sono costanti y = A + Bx (ad esempio in un moto uniformemente
DettagliI. Foglio di esercizi su vettori linearmente dipendenti e linearmente indipendenti. , v 2 = α v 1 + β v 2 + γ v 3. α v 1 + β v 2 + γ v 3 = 0. + γ.
ESERCIZI SVOLTI DI ALGEBRA LINEARE (Sono svolti alcune degli esercizi proposti nei fogli di esercizi su vettori linearmente dipendenti e vettori linearmente indipendenti e su sistemi lineari ) I. Foglio
Dettagli1 Schemi alle differenze finite per funzioni di una variabile
Introduzione In questa dispensa vengono forniti alcuni elementi di base per la soluzione di equazioni alle derivate parziali che governano problemi al contorno. A questo scopo si introducono, in forma
DettagliEsercitazione di Analisi Matematica II
Esercitazione di Analisi Matematica II Barbara Balossi 06/04/2017 Esercizi di ripasso Esercizio 1 Sia data l applicazione lineare f : R 3 R 3 definita come f(x, y, z) = ( 2x + y z, x 2y + z, x y). a) Calcolare
DettagliAppunti su Indipendenza Lineare di Vettori
Appunti su Indipendenza Lineare di Vettori Claudia Fassino a.a. Queste dispense, relative a una parte del corso di Matematica Computazionale (Laurea in Informatica), rappresentano solo un aiuto per lo
DettagliSimulazione dei dati
Simulazione dei dati Scopo della simulazione Fasi della simulazione Generazione di numeri casuali Esempi Simulazione con Montecarlo 0 Scopo della simulazione Le distribuzioni di riferimento usate per determinare
DettagliSistemi lineari - Parte Seconda - Esercizi
Sistemi lineari - Parte Seconda - Esercizi Terminologia Operazioni elementari sulle righe. Equivalenza per righe. Riduzione a scala per righe. Rango di una matrice. Forma canonica per righe. Eliminazione
DettagliMetodi per la riduzione della dimensionalità. Strumenti quantitativi per la gestione
Metodi per la riduzione della dimensionalità Strumenti quantitativi per la gestione Emanuele Taufer file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/6c_pca.html#(1) 1/25 Introduzione Gli approcci
DettagliLa regressione lineare. Rappresentazione analitica delle distribuzioni
La regressione lineare Rappresentazione analitica delle distribuzioni Richiamiamo il concetto di dipendenza tra le distribuzioni di due caratteri X e Y. Ricordiamo che abbiamo definito dipendenza perfetta
DettagliStatistica di base per l analisi socio-economica
Laurea Magistrale in Management e comunicazione d impresa Statistica di base per l analisi socio-economica Giovanni Di Bartolomeo gdibartolomeo@unite.it Definizioni di base Una popolazione è l insieme
DettagliEsercizio 2. Consideriamo adesso lo spazio di funzioni V = {f : [0, 1] R}. Dire quali dei seguenti insiemi di funzioni sono sottospazi.
1 Esercizi 1.1 Spazi vettoriali Studiare gli insiemi definiti di seguito, e verificare quali sono spazi vettoriali e quali no. Per quelli che non lo sono, dire quali assiomi sono violati. x 1, x 2, x 3
DettagliLa riduzione a gradini e i sistemi lineari (senza il concetto di rango)
CAPITOLO 4 La riduzione a gradini e i sistemi lineari (senza il concetto di rango) Esercizio 4.1. Risolvere il seguente sistema non omogeneo: 2x+4y +4z = 4 x z = 1 x+3y +4z = 3 Esercizio 4.2. Risolvere
DettagliLa notazione usata è quella usuale nel caso scalare, ed è estesa al caso generale. Consideriamo una forma quadratica:
. SU ALCUNI OPERAORI DI DERIVAZIONE Alcune operazioni tipiche dell analisi matematica hanno un diretto riscontro in termini matriciali. Consideriamo ad esempio una forma lineare: f() l l + l +..l n n ;
DettagliESERCIZI DI ALGEBRA LINEARE. Vincenzo Di Gennaro
ESERCIZI DI ALGEBRA LINEARE Vincenzo Di Gennaro Sono raccolti, in ordine cronologico, gli esercizi di Algebra Lineare proposti nelle prove scritte per i vari corsi di Geometria che ho tenuto presso la
DettagliApplicazioni eliminazione di Gauss
Applicazioni eliminazione di Gauss. Premessa Nel seguito supporremo sempre di applicare il metodo di eliminazione di Gauss allo scopo di trasformare la matrice del sistema Ax = b in una matrice triangolare
DettagliRisposta in vibrazioni libere di un sistema lineare viscoso a più gradi di libertà. Prof. Adolfo Santini - Dinamica delle Strutture 1
Risposta in vibrazioni libere di un sistema lineare viscoso a più gradi di libertà Prof. Adolfo Santini - Dinamica delle Strutture 1 Vibrazioni libere non smorzate 1/6 Le equazioni del moto di un sistema
DettagliEndomorfismi e matrici simmetriche
CAPITOLO Endomorfismi e matrici simmetriche Esercizio.. [Esercizio 5) cap. 9 del testo Geometria e algebra lineare di Manara, Perotti, Scapellato] Calcolare una base ortonormale di R 3 formata da autovettori
DettagliLa matrice delle correlazioni è la seguente:
Calcolo delle componenti principali tramite un esempio numerico Questo esempio numerico puó essere utile per chiarire il calcolo delle componenti principali e per introdurre il programma SPAD. IL PROBLEMA
Dettagli( ) TEORIA DELLE MATRICI. A. Scimone a.s pag 1
. Scimone a.s 1997 98 pag 1 TEORI DELLE MTRICI Dato un campo K, definiamo matrice ad elementi in K di tipo (m, n) un insieme di numeri ordinati secondo righe e colonne in una tabella rettangolare del tipo
DettagliAnalisi della disponibilità d acqua. Valutazione dell impianto attraverso il calcolo di un indice economico (criterio)
Analisi della disponibilità d acqua Valutazione dell impianto attraverso il calcolo di un indice economico (criterio) Approccio diverso a seconda del criterio di valutazione Nel caso di criterio statistico
DettagliAnalisi in Componenti Principali (ACP)
Analisi in Componenti Principali (ACP) Metodi di analisi fattoriale Obiettivo: individuazione di variabili di sintesi = dimensioni = variabili latenti = variabili non osservate Approccio: Ordinamenti tra
DettagliVETTORI NELLO SPAZIO ORDINARIO ,
VETTORI E GEOMETRIA ANALITICA 1 VETTORI NELLO SPAZIO ORDINARIO Vettori ordinari ed operazioni. Dipendenza ed indipendenza lineare, basi. Prodotto scalare, proiezioni, angoli. Prodotto vettoriale e prodotto
DettagliAnalisi statistica e matematico-finanziaria II. Alfonso Iodice D Enza Università degli studi di Cassino e del Lazio Meridionale
delle sui delle Analisi statistica e matematico-finanziaria II Alfonso Iodice D Enza iodicede@unicas.it Università degli studi di Cassino e del Lazio Meridionale sulle particolari ali dei dati Outline
Dettagli3.3 FORMULAZIONE DEL MODELLO E CONDIZIONI DI
3.3 FORMULAZIONE DEL MODELLO E CONDIZIONI DI ESISTENZA DI UN PUNTO DI OTTIMO VINCOLATO Il problema di ottimizzazione vincolata introdotto nel paragrafo precedente può essere formulato nel modo seguente:
DettagliSTATISTICA (2) ESERCITAZIONE Dott.ssa Antonella Costanzo
STATISTICA (2) ESERCITAZIONE 7 11.03.2014 Dott.ssa Antonella Costanzo Esercizio 1. Test di indipendenza tra mutabili In un indagine vengono rilevate le informazioni su settore produttivo (Y) e genere (X)
DettagliIntroduzione al Metodo agli Elementi Finiti (FEM) (x, y) Γ Tale formulazione viene detta Formulazione forte del problema.
Introduzione al Metodo agli Elementi Finiti (FEM) Consideriamo come problema test l equazione di Poisson 2 u x 2 + 2 u = f(x, y) u = f y2 definita su un dominio Ω R 2 avente come frontiera la curva Γ,
DettagliPOTENZE DI MATRICI QUADRATE
POTENZE DI MATRICI QUADRATE In alcune applicazioni pratiche, quali lo studio di sistemi dinamici discreti, può essere necessario calcolare le potenze A k, per k N\{0}, di una matrice quadrata A M n n (R)
DettagliGAAL: Capitolo dei prodotti scalari
GAAL: Capitolo dei prodotti scalari Teorema di Rappresentazione rappresentabile Aggiunto Autoaggiunto Unitariamente diagonalizzabile Teorema spettrale reale Accoppiamento Canonico Forme bilineari Prodotti
DettagliMatematica per Analisi dei Dati,
Matematica per Analisi dei Dati, 230209 1 Spazio vettoriale R n Sia n un intero positivo fissato Lo spazio vettoriale R n e l insieme delle n ple ordinate di numeri reali, che rappresenteremo sempre come
Dettagli