Kernel Methods. Corso di Intelligenza Artificiale, a.a Prof. Francesco Trovò
|
|
- Angelo Baldini
- 5 anni fa
- Visualizzazioni
Transcript
1 Kernel Methods Corso di Intelligenza Artificiale, a.a Prof. Francesco Trovò 14/05/2018
2 Kernel Methods Definizione di Kernel Costruzione di Kernel Support Vector Machines Problema primale e duale Kernel representation of SVM
3 Kernel Methods Sono metodi memory based (usano direttamente il training set) Veloci a fare training Lenti per fare predizione Richiedono una metrica sullo spazio degli input Quando vogliamo catturare degli effetti nonlineari Possiamo utilizzare degli spazi a dimensioni più grandi (es. base functions φ i ( )) Dobbiamo scegliere degli spazi appropriati al problema analizzato Il loro uso rende i metodi più costosi computazionalmente Abbiamo un numero maggiore di feature Dobbiamo operativamente calcolare le feature
4 Esempio Supponiamo di avere un vettore di input x composto da M elementi e di voler calcolare la sua espansione a feature quadratiche Devo considerare tutte le feature, tutte le feature al quadrato e ogni combinazione a due a due delle variabili originali Mi richiede sia di calcolare le nuove feature composte da 5M+M2 elementi 2 Devo apprendere in uno spazio in cui ho 5M+M2 2 dimensioni
5 Con l utilizzo dei kernel non dobbiamo calcolare esplicitamente le feature utilizzate Una funzione di kernel è data da una funzione simmetrica esprimibile come prodotto di funzioni di base, ovvero: Può essere interpretata come una funzione di similarità tra i due vettori dello spazio degli input
6 Kernel classici Kernel lineare Kernel stazionario Kernel omogeneo Kernel Gaussiano
7 Kernel Trick Idea: ogni volta che la funzione di base appare nella formulazione del modello come un prodotto scalare possiamo sostituirla con il kernel Un kernel per essere valido deve essere esprimibile come prodotto scalare di funzioni di base Molti dei metodi di regressione e classificazione possono essere riformulati in termini di kernel
8 Esempio: Ridge regression Consideriamo la loss della regressione regolarizzata con la norma 2 del vettore dei parametri Mettendo il gradiente a zero abbiamo:
9 Gram Matrix Definiamo la Gram matrix di N vettori come: ovvero ogni elemento è É una matrice N N simmetrica (essendo il kernel simmetrico)
10 Loss in termini di Gram Matrix Esplicitando i termini della loss abbiamo E sostituendo la gram matrix Derivando e ponendo la derivata a zero abbiamo Ovvero abbiamo che la soluzione è una combinazione degli input e dipende solo dalla gram matrix
11 Quindi la predizione diventa La predizione è una combinazione lineare degli output del training set Differenze della formulazione a kernel: Inverto una matrice N N Non lavoro mai esplicitamente con il vettore delle feature φ(x)
12 Costruzione dei kernel Possiamo riformulare i nostri problemi con dei kernel a patto che essi siano validi Due metodi esistono per la costruzione di kernel: Costruzione dalle feature Costruzione diretta Composizione di kernel validi
13 Kernel costruiti con basi di feature k(x, x ) con x =
14 Costruzione diretta Definiamo il kernel da un prodotto scalare in qualche spazio Esempio: kernel in 2D Per calcolare il prodotto delle feature necessito 9 moltiplicazioni, per calcolare il valore del kernel solo 3 (2 moltiplicazioni ed un elevamento a potenza)
15 Testare se una funzione è un kernel Esiste un modo per capire se una funzione può essere un kernel valido, senza scrivere esplicitamente la base φ(x) La Gram matrix deve essere semidefinita positiva ( x 0, x T K x 0) Teorema (Mercer s theorem) Ogni funzione continua, simmetrica e semi definita positiva k(x, y) può essere espressa come un prodotto scalare in uno spazio (potenzialmente con molte dimensioni)
16 Regole di composizione dei Kernel
17 Kernel su oggetti A differenza dei vettori di feature, i kernel possono essere applicati anche elementi non numerici Grafi Oggetti Necessitiamo solo una misura di similarità tra due oggetti considerati Esempio: kernel sugli insiemi
18 Esempio: kernel regression
19 Esempi di metodi con kernel: GP Generalizzazione delle gaussiane multivariate nel caso infinito dimensionale Possono essere usati per: Regressione Classificazione Permettono di stimare sia il valore medio di una funzione, sia l incertezza corrispondente al punto predetto
20 Support Vector Machines Proposte negli anni 90 per problemi di classificazione, rimangono uno dei metodi migliori per questo task Sono state estese anche per risolvere problemi di regressione, clustering e anomaly detection Sono un argomento complesso in quanto richiedono la comprensione di Teoria dell apprendimento Teoria dei kernel Ottimizzazione vincolata Proveremo a descriverne i meccanismi principali per poter operare con esse
21 Definizione di SVM Una SVM è univocamete definita da: Un sottoinsieme S del training set (x, t) detto insieme dei support vector Un vettore di pesi a, uno per ogni support vector Una funzione di similarità tra i vettori di input k(x, x ) La predizione viene effettuata tramite la funzione: Ricorda molto la funzione decisionale del perceptron
22 Oltre il perceptron Idea: massimizzo il margine tra superfice di separazione e i dati
23 Massimizzare il Margine Distanza del più vicino punto del dataset al decision boundary Voglio il parametro che massimizzi questa grandezza
24 Ottimizzazione Purtroppo la cifra da massimizzare risulta essere un problema troppo complesso da risolvere Un problema equivalente risulta essere:
25 Funzione Lagrangiana Dato un problema di ottimizzazione vincolata Posso trasformarlo nelle seguente: Lagrangian function Condizioni KKT
26 Lagrangiana delle SVM Mettendo il gradiente a zero abbiamo Il problema diventa:
27 Primale vs. Duale Entrambi i problemi sono di ottimizzazione quadratica Problema primale Può essere risolto con complessità M 3 Se lo spazio dell è feature abbastanza piccolo posso risolverlo Problema duale Riporta il problema rispetto ad un kernel generico Può lavorare su spazi di feature potenzialmente di dimensioni infinite
28 Soluzione Classifico i punti in base a: Dove ho che molti dei coefficienti α n sono nulli e Posso sommare solo su un sottoinsieme S di N S support vectors, che solitamente è molto minore dei punti del training set
29 SVM con kernel gaussiani
30 Se le classi non sono separabili Posso riformulare il problema nel caso in cui non esista il margine, modificando i vincoli esistenti per rilassare il problema
Apprendimento Automatico
Apprendimento Automatico Fabio Aiolli www.math.unipd.it/~aiolli Sito web del corso www.math.unipd.it/~aiolli/corsi/1516/aa/aa.html Rappresentazione dei dati con i kernel Abbiamo una serie di oggetti S
DettagliComputazione per l interazione naturale: Richiami di ottimizzazione (3) (e primi esempi di Machine Learning)
Computazione per l interazione naturale: Richiami di ottimizzazione (3) (e primi esempi di Machine Learning) Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università
DettagliUniversità degli Studi di Roma Tor Vergata
Funzioni kernel Note dal corso di Machine Learning Corso di Laurea Specialistica in Informatica a.a. 2010-2011 Prof. Giorgio Gambosi Università degli Studi di Roma Tor Vergata 2 Queste note derivano da
DettagliSistemi di Elaborazione dell Informazione 170. Caso Non Separabile
Sistemi di Elaborazione dell Informazione 170 Caso Non Separabile La soluzione vista in precedenza per esempi non-linearmente separabili non garantisce usualmente buone prestazioni perchè un iperpiano
DettagliApprendimento statistico (Statistical Learning)
Apprendimento statistico (Statistical Learning) Il problema dell apprendimento Inquadriamo da un punto di vista statistico il problema dell apprendimento di un classificatore Un training set S={(x,y ),,(x
DettagliESAME di OTTIMIZZAZIONE Corso di Laurea Magistrale in Ingegneria Gestionale 1 o anno
SIMULAZIONE ESAME di OTTIMIZZAZIONE 27 Gennaio 21 ESAME di OTTIMIZZAZIONE Corso di Laurea Magistrale in Ingegneria Gestionale 1 o anno Cognome : Nome : Esercizio 1. Si consideri il seguente problema: min
DettagliApprendimento statistico (Statistical Learning)
Apprendimento statistico (Statistical Learning) Il problema dell apprendimento Inquadriamo da un punto di vista statistico il problema dell apprendimento di un classificatore Un training set S={(x,y ),,(x
DettagliUniversità degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019
DIPARTIMENTO DI INGEGNERIA GESTIONALE, DELL INFORMAZIONE E DELLA PRODUZIONE Università degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019 Nome: Cognome: Matricola: Riga: Colonna:
DettagliFunzioni kernel. Docente: Nicolò Cesa-Bianchi versione 18 maggio 2018
F94) Metodi statistici per l apprendimento Funzioni kernel Docente: Nicolò Cesa-Bianchi versione 18 maggio 2018 I predittori lineari possono soffrire di un errore di bias molto elevato in quanto predittore
DettagliSupport Vector Machines
F94) Metodi statistici per l apprendimento Support Vector Machines Docente: Nicolò Cesa-Bianchi versione 28 maggio 208 La Support Vector Machine d ora in poi SVM) è un algoritmo di apprendimento per classificatori
DettagliComputazione per l interazione naturale: processi gaussiani
Computazione per l interazione naturale: processi gaussiani Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it
DettagliComputazione per l interazione naturale: Classificatori non probabilistici
Computazione per l interazione naturale: Classificatori non probabilistici Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it
DettagliUniversità degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) Secondo Parziale - 11 Giugno 2018
DIPARTIMENTO DI INGEGNERIA GESTIONALE, DELL INFORMAZIONE E DELLA PRODUZIONE Università degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) Secondo Parziale - 11 Giugno 2018 Nome: Cognome: Matricola:
DettagliUniversità degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019
DIPARTIMENTO DI INGEGNERIA GESTIONALE, DELL INFORMAZIONE E DELLA PRODUZIONE Università degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019 Nome: Cognome: Matricola: Riga: Colonna:
DettagliRegressione Lineare. Corso di Intelligenza Artificiale, a.a Prof. Francesco Trovò
Regressione Lineare Corso di Intelligenza Artificiale, a.a. 2017-2018 Prof. Francesco Trovò 23/04/2018 Regressione Lineare Supervised Learning Supervised Learning: recap È il sottocampo del ML più vasto
DettagliRICERCA OPERATIVA (9 cfu)
a PROVA scritta di RICERCA OPERATIVA (9 cfu) gennaio Cognome Nome Ai fini della pubblicazione (cartacea e elettronica) del risultato ottenuto nella prova di esame, autorizzo al trattamento dei miei dati
DettagliComputazione per l interazione naturale: Regressione lineare
Computazione per l interazione naturale: Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it http://homes.dsi.unimi.it/~boccignone/l
DettagliComputazione per l interazione naturale: Classificatori non probabilistici
Computazione per l interazione naturale: Classificatori non probabilistici Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano
DettagliData Mining and Machine Learning Lab. Lezione 8 Master in Data Science for Economics, Business and Finance 2018
Data Mining and Machine Learning Lab. Lezione 8 Master in Data Science for Economics, Business and Finance 2018 18.05.18 Marco Frasca Università degli Studi di Milano SVM - Richiami La Support Vector Machine
DettagliAlgoritmi di classificazione supervisionati
Corso di Bioinformatica Algoritmi di classificazione supervisionati Giorgio Valentini DI Università degli Studi di Milano 1 Metodi di apprendimento supervisionato per problemi di biologia computazionale
DettagliSupport Vector Machines introduzione
7 Support Vector Machines introduzione Vittorio Maniezzo Università di Bologna 1 SVM - introduzione Le SV machinessono state sviluppate negli AT&T Bell Laboratoriesda Vapnike colleghi (Boseret al., 1992,
DettagliLa notazione usata è quella usuale nel caso scalare, ed è estesa al caso generale. Consideriamo una forma quadratica:
. SU ALCUNI OPERAORI DI DERIVAZIONE Alcune operazioni tipiche dell analisi matematica hanno un diretto riscontro in termini matriciali. Consideriamo ad esempio una forma lineare: f() l l + l +..l n n ;
Dettagli25 - Funzioni di più Variabili Introduzione
Università degli Studi di Palermo Facoltà di Economia CdS Statistica per l Analisi dei Dati Appunti del corso di Matematica 25 - Funzioni di più Variabili Introduzione Anno Accademico 2013/2014 M. Tumminello
DettagliRichiami di Algebra Lineare
Richiami di Algebra Lineare Eduardo Rossi Università degli Studi di Pavia Corso di Econometria Marzo 2015 Rossi Algebra Lineare 2015 1 / 41 Vettori Prodotto interno a : (n 1) b : (n 1) a b = a 1 b 1 +
Dettagli5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate. min f(x) s.v. c i (x) 0 i I c i (x) = 0 i E (1) x R n
5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate Consideriamo il generico problema di PNL min f(x) s.v. c i (x) 0 i I c i (x) = 0 i E (1) x R n dove f e le c i sono di classe
Dettagli5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate
5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate Consideriamo il generico problema di PNL min f (x) s.v. c i (x) 0 i I c i (x) = 0 i E (1) x R n dove f e le c i sono di classe
DettagliMinimi quadrati e massima verosimiglianza
Minimi quadrati e massima verosimiglianza 1 Introduzione Nella scorsa lezione abbiamo assunto che la forma delle probilità sottostanti al problema fosse nota e abbiamo usato gli esempi per stimare i parametri
DettagliClassificazione e regressione per mezzo di Support Vector Machine
Classificazione e regressione per mezzo di Support Vector Machine Felice Andrea Pellegrino Dipartimento di Elettrotecnica Elettronica e Informatica Università degli Studi di Trieste Il presente documento
DettagliClassificazione e regressione per mezzo di Support Vector Machine
Classificazione e regressione per mezzo di Support Vector Machine Felice Andrea Pellegrino Dipartimento di Elettrotecnica Elettronica e Informatica Università degli Studi di Trieste fapellegrino@units.it
DettagliGaussian processes (GP)
Gaussian processes (GP) Corso di Modelli di Computazione Affettiva Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it Giuseppe.Boccignone@unimi.it http://boccignone.di.unimi.it/compaff017.html
DettagliNeural Networks. Corso di Intelligenza Artificiale, a.a Prof. Francesco Trovò
Neural Networks Corso di Intelligenza Artificiale, a.a. 2017-2018 Prof. Francesco Trovò 28/05/2018 Neural Networks Struttura di una NN Backpropagation algorithm Altre strutture di rete Limiti dei sample-based
DettagliRIASSUNTO ARGOMENTI LEZIONI STRUMENTI PER L ANALISI DEI DATI-LM DIP. DI ECONOMIA E MANAGEMENT - UNIV. DI FERRARA A.A. 2018/19
RIASSUNTO ARGOMENTI LEZIONI STRUMENTI PER L ANALISI DEI DATI-LM DIP. DI ECONOMIA E MANAGEMENT - UNIV. DI FERRARA A.A. 2018/19 25/09/2018 ore 12.00-14.00 Presentazione del corso. Funzioni ad output reale
DettagliUniversità degli Studi di Roma La Sapienza
Università degli Studi di Roma La Sapienza Dipartimento di Informatica e Sistemistica A. Ruberti Proff. Gianni Di Pillo and Laura Palagi Note per il corso di OTTIMIZZAZIONE (a.a. 2007-08) Dipartimento
DettagliCondizioni di Karush-Kuhn-Tucker e Programmazione Lineare
Condizioni di Karush-Kuhn-Tucker e Programmazione Lineare A. Agnetis 1 Richiami su condizioni di Karush-Kuhn-Tucker e convessità Si consideri il problema di ottimizzazione vincolata: min f(x) (1) x X R
Dettagli7.9 Il caso vincolato: vincoli di disuguaglianza
7.9 Il caso vincolato: vincoli di disuguaglianza Il problema con vincoli di disuguaglianza: g i (x) 0, i = 1,..., p, (51) o, in forma vettoriale: g(x) 0, può essere trattato basandosi largamente su quanto
DettagliSul XIX problema di Hilbert
Sul XIX problema di Hilbert Lorenzo Brasco 12 Aprile 2019 Cos è un equazione ellittica? Si tratta di un equazione alle derivate parziali, ovvero di un equazione che contiene una funzione incognita u di
DettagliComputazione per l interazione naturale: Regressione probabilistica
Computazione per l interazione naturale: Regressione probabilistica Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2018.html
DettagliSequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di:
Teoria dei Fenomeni Aleatori AA 01/13 Sequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di: N-pla o Sequenza
DettagliATTENZIONE: : giustificate le vostre argomentazioni! Geometria Canale 3. Lettere J-PE (Prof P. Piazza) Esame scritto del 12/02/2014. Compito A.
Geometria Canale. Lettere J-PE (Prof P. Piazza) Esame scritto del 12/02/2014. Compito A. Nome e Cognome: Numero di Matricola: Esercizio Punti totali Punteggio 1 7 2 6 6 4 6+1 5 6+2 Totale 1+ ATTENZIONE:
DettagliPolinomio di Taylor del secondo ordine per funzioni di due variabili
Esercitazioni del 15 aprile 2013 Polinomio di Taylor del secondo ordine per funzioni di due variabili Sia f : A R 2 R una funzione di classe C 2. Fissato un p unto (x 0, y 0 A consideriamo il seguente
DettagliRichiami di Meccanica Classica
Richiami di Meccanica Classica Corso di Fisica Matematica 3 (seconda parte), a.a. 2016/17 G. Gaeta 18/4/2017 Questa dispensa, che va vista in connessione a quella sul principio variazionale e la formulazione
DettagliSUPPORT VECTOR MACHINES. a practical guide
SUPPORT VECTOR MACHINES a practical guide 1 SUPPORT VECTOR MACHINES Consideriamo un problema di classificazione binaria, a partire da uno spazio di input X R n e uno spazio di output Y = { 1, 1} Training
DettagliRegressione. Apprendimento supervisionato //Regressione. Corso di Sistemi di Elaborazione dell Informazione
Regressione SCUOLA DI SPECIALIZZAZIONE IN FISICA MEDICA Corso di Sistemi di Elaborazione dell Informazione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it
DettagliComputazione per l interazione naturale: Regressione probabilistica
Computazione per l interazione naturale: Regressione probabilistica Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2016.html
DettagliLe condizioni di Karush-Kuhn-Tucker
Capitolo 9 Le condizioni di Karush-Kuhn-Tucker 9. Introduzione In questo capitolo deriveremo le condizioni necessarie di Karush-Kuhn-Tucker (KKT) per problemi vincolati in cui S è descritto da vincoli
DettagliSequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di:
Teoria dei Fenomeni Aleatori AA 01/13 Sequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di: N-pla o Sequenza
DettagliI. Foglio di esercizi su vettori linearmente dipendenti e linearmente indipendenti. , v 2 = α v 1 + β v 2 + γ v 3. α v 1 + β v 2 + γ v 3 = 0. + γ.
ESERCIZI SVOLTI DI ALGEBRA LINEARE (Sono svolti alcune degli esercizi proposti nei fogli di esercizi su vettori linearmente dipendenti e vettori linearmente indipendenti e su sistemi lineari ) I. Foglio
DettagliIndice. Prefazione Ringraziamenti
Prefazione Ringraziamenti xi xiv Argomento di ripasso Argomento più difficile 1 Matrici e vettori 1 1.1 Matrici 1 1.2 Esercizi 11 1.3 Vettori di R 2 14 1.4 Esercizi 20 1.5 Vettori di R 3 21 1.6 Rette 24
DettagliMassimi e minimi vincolati
Massimi e minimi vincolati Sia f una funzione differenziabile, definita su un aperto A di R N. Se K è un sottoinsieme chiuso e limitato di A, per il teorema di Weierstrass f assume massimo e minimo su
DettagliProgrammazione Matematica / A.A Soluzioni di alcuni esercizi
Programmazione Matematica / A.A. 8-9 Soluzioni di alcuni esercizi Esercizi - I 3. Aggiungiamo al problema una variabile v, e richiediamo che v soddisfi v n a ij x j b i. j= Fissato x, il minimo v che soddisfa
DettagliLezione 10: Teorema di Rouchè-Capelli e la classificazione dei sistemi lineari
Lezione 10: Teorema di Rouchè-Capelli e la classificazione dei sistemi lineari In questa lezione ci dedicheremo a studiare a fondo quali proprietà della matrice dei coefficienti di un sistema (e della
DettagliCALCOLO NUMERICO. Francesca Mazzia. Calcolo degli autovalori. Dipartimento Interuniversitario di Matematica. Università di Bari
CALCOLO NUMERICO Francesca Mazzia Dipartimento Interuniversitario di Matematica Università di Bari Calcolo degli autovalori 1 Calcolo degli autovalori Gli autovalore e gli autovettore di una matrice quadrata
DettagliProgrammazione Matematica / A.A Soluzioni di alcuni esercizi
Programmazione Matematica / A.A. 7-8 Soluzioni di alcuni esercizi Esercizi - I. Aggiungiamo al problema una variabile v, e richiediamo che v soddisfi v n a ij x j b i. j= Fissato x, il minimo v che soddisfa
DettagliGeometria BAER I canale Foglio esercizi 3
Geometria BAER I canale Foglio esercizi 3 Esercizio. Discutere le soluzioni del seguente sistema lineare nelle incognite,, z al variare del parametro k. 3 + kz = k k + 3z = k k + z = Soluzione: Il determinante
DettagliMetodi supervisionati di classificazione
Metodi supervisionati di classificazione Giorgio Valentini e-mail: valentini@dsi.unimi.it DSI - Dipartimento di Scienze dell'informazione Classificazione bio-molecolare di tessuti e geni Diagnosi a livello
DettagliOutline. 1 Teorema dei moltiplicatori di Lagrange. 2 Uso pratico dei moltiplicatori di Lagrange. 3 Derivazione alternativa dei moltiplicatori
Outline Minimi Vincolati (Metodi Matematici e Calcolo per Ingegneria) Enrico Bertolazzi DIMS Università di Trento anno accademico 2006/2007 1 2 3 Derivazione alternativa dei moltiplicatori 4 Minimi Vincolati
DettagliNote sulle funzioni convesse/concave
Note sulle funzioni convesse/concave 4th December 2008 1 Definizioni e proprietà delle funzioni convesse/concave. Definizione 1.1 Un insieme A IR n è detto convesso se per ogni x 1 e x 2 punti di A, il
DettagliRichiami di algebra delle matrici a valori reali
Richiami di algebra delle matrici a valori reali Vettore v n = v 1 v 2. v n Vettore trasposto v n = (v 1, v 2,..., v n ) v n = (v 1, v 2,..., v n ) A. Pollice - Statistica Multivariata Vettore nullo o
DettagliEsercizi su ottimizzazione vincolata
Esercizi su ottimizzazione vincolata 1. Rispondere alle seguenti domande (a) Quando un vincolo di disuguaglianza è detto attivo? (b) Cosa è l insieme delle soluzioni ammissibili? Gli algoritmi di ricerca
DettagliGeometria BAER I canale Foglio esercizi 2
Geometria BAER I canale Foglio esercizi 2 Esercizio 1. Calcolare il determinante e l inversa (quando esiste) della matrice ( ) cos θ sin θ R θ =, θ [0, 2π] sin θ cos θ Soluzione: Il determinante ( é cos
DettagliComputazione per l interazione naturale: Richiami di ottimizzazione (3) (e primi esempi di Machine Learning)
Computazione per l interazione naturale: Richiami di ottimizzazione (3) (e primi esempi di Machine Learning) Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università
DettagliRichiami di Algebra Lineare
Richiami di Algebra Lineare Eduardo Rossi Università degli Studi di Pavia Corso di Econometria Marzo 2012 Rossi Algebra Lineare 2012 1 / 59 Vettori Prodotto interno a : (n 1) b : (n 1) a b = a 1 b 1 +
DettagliFUNZIONI DI DUE VARIABILI REALI. f(x, y) = ax + by + c. f(x, y) = x 2 + y 2
0.1 FUNZIONI DI DUE VARIABILI REALI Sia A R 2. Una applicazione f : A R si chiama funzione reale di due variabili reali ESEMPI: 1. La funzione affine di due variabili reali: 2. f(x, y) = ax + by + c f(x,
Dettagli0.1 Coordinate in uno spazio vettoriale
.1. COORDINATE IN UNO SPAZIO VETTORIALE 1.1 Coordinate in uno spazio vettoriale Sia V uno spazio vettoriale di dimensione finita n costruito sul campo K. D ora in poi, ogni volta che sia fissata una base
DettagliSistemi Lineari. Andrea Galasso
Sistemi Lineari Andrea Galasso Esercizi svolti Teorema. (Rouché-Capelli. Un sistema lineare Ax = b ammette soluzioni se e solo se il rango della matrice dei coefficienti A è uguale al rango della matrice
DettagliTecniche di riconoscimento statistico
Tecniche di riconoscimento statistico Applicazioni alla lettura automatica di testi (OCR) Parte 8 Support Vector Machines Ennio Ottaviani On AIR srl ennio.ottaviani@onairweb.com http://www.onairweb.com/corsopr
DettagliI Componenti del processo decisionale 7
Indice Introduzione 1 I Componenti del processo decisionale 7 1 Business intelligence 9 1.1 Decisioni efficaci e tempestive........ 9 1.2 Dati, informazioni e conoscenza....... 12 1.3 Ruolo dei modelli
DettagliSi consideri il seguente tableau ottimo di un problema di programmazione lineare
ESERCIZIO 1 Si consideri il seguente tableau ottimo di un problema di programmazione lineare -25/3 0 4/3 19/6 9/2 0 0 0 7/6 1 0 1-1/2-3/2 1 0 0 3/2 11/3 1-2/3-1/3 0 0 0 0 2/3 2/3 0 1/3 1/6-1/2 0 1 0 7/6
DettagliGeometria per Fisica e Astrofisica
Geometria per Fisica e Astrofisica Soluzione esercizi - Foglio 3 Esercizio. Risolvere i seguenti sistemi lineari al variare dei parametri reali α β e k < < (a) x + y z = αx + αy + βz = x + y z = β. (b)
DettagliMetodi di Ricerca Lineare
Metodi di Ricerca Lineare Stefano Gualandi Università di Pavia, Dipartimento di Matematica email: twitter: blog: stefano.gualandi@unipv.it @famo2spaghi http://stegua.github.com Metodi di Ottimizzazione
DettagliAnalisi Matematica 2
Analisi Matematica Appunti delle lezioni tenute dal Prof. A. Fonda Università di Trieste CdL Matematica a.a. 07/08 La derivata direzionale In questa sezione E sarà un sottoinsieme aperto di R N x 0 un
DettagliLa crittografia a curve iperellittiche
Dott. Stefania Vanzetti Torino 2011. Crittografia a chiave pubblica: oltre RSA Università degli Studi di Torino 13 maggio 2011 1.LE CURVE IPERELLITTICHE Motivazioni al loro utilizzo Motivazioni al loro
DettagliConstraint Satisfaction Problems
Constraint Satisfaction Problems Corso di Intelligenza Artificiale, a.a. 2017-2018 Prof. Francesco Trovò 19/03/2018 Constraint Satisfaction problem Fino ad ora ogni stato è stato modellizzato come una
DettagliRichiami di Algebra Lineare
Università di Pavia Richiami di Algebra Lineare Eduardo Rossi Vettori a : (n 1) b : (n 1) Prodotto interno a b = a 1 b 1 + a 2 b 2 +... + a n b n Modulo (lunghezza): a = a 2 1 +... + a2 n Vettori ortogonali:
DettagliCorso di Geometria BIAR, BSIR Esercizi 3: soluzioni
Corso di Geometria - BIAR, BSIR Esercizi : soluzioni Rango e teorema di Rouché-Capelli Esercizio. Calcolare il rango di ciascuna delle seguenti matrici: ( ) ( ) ( ) A =, A =, A =, A 4 = ( ). a a a Soluzione.
DettagliValutazione e Selezione del Modello
Valutazione e Selezione del Modello Fondamenti Matematici della Teoria dell Apprendimento Statistico Laura Lo Gerfo Dipartimento di Informatica e Scienze dell Informazione 18 maggio 2007 Laura Lo Gerfo
DettagliSistemi lineari - Parte Seconda - Esercizi
Sistemi lineari - Parte Seconda - Esercizi Terminologia Operazioni elementari sulle righe. Equivalenza per righe. Riduzione a scala per righe. Rango di una matrice. Forma canonica per righe. Eliminazione
DettagliSistemi lineari e spazi vettoriali 1 / 14
Sistemi lineari e spazi vettoriali 1 / 14 Sistemi lineari 2 / 14 Studieremo sistemi lineari costituiti da m equazioni in n incognite (m,n N, m,n 1): cioè a 11 x 1 + +a 1n x n = b 1 a 21 x 1 + +a 2n x n
DettagliGeometria A. Università degli Studi di Trento Corso di laurea in Matematica A.A. 2017/ Maggio 2018 Prova Intermedia
Geometria A Università degli Studi di Trento Corso di laurea in Matematica A.A. 7/8 Maggio 8 Prova Intermedia Il tempo per la prova è di ore. Durante la prova non è permesso l uso di appunti e libri. Esercizio
DettagliCriteri alternativi all Entropia
Sistemi Intelligenti 94 Criteri alternativi all Entropia Altri criteri suggeriti al posto dell Entropia: - Variance Impurity (per due classi) - (Weighted) Gini Impurity (generalizzazione di Variance Impurity
DettagliAppunti sui Codici di Reed Muller. Giovanni Barbarino
Appunti sui Codici di Reed Muller Giovanni Barbarino Capitolo 1 Codici di Reed-Muller I codici di Reed-Muller sono codici lineari su F q legati alle valutazioni dei polinomi sullo spazio affine. Per semplicità
DettagliUNIVERSITÀ DEGLI STUDI DI MILANO. Matteo Re. Bioinformatica. A.A semestre I modulo 2 parte B.2. Kernel e funzioni di score kernelizzate
Docenti: Giorgio Valentini Matteo Re UNIVERSITÀ DEGLI STUDI DI MILANO C.d.l. Informatica Bioinformatica A.A. 2012-2013 semestre I modulo 2 parte B.2 2 Kernel e funzioni di score kernelizzate Bio MOTIVAZIONI
Dettaglia + 2b + c 3d = 0, a + c d = 0 c d
SPAZI VETTORIALI 1. Esercizi Esercizio 1. Stabilire quali dei seguenti sottoinsiemi sono sottospazi: V 1 = {(x, y, z) R 3 /x = y = z} V = {(x, y, z) R 3 /x = 4} V 3 = {(x, y, z) R 3 /z = x } V 4 = {(x,
DettagliMinimi quadrati vincolati e test F
Minimi quadrati vincolati e test F Impostazione del problema Spesso, i modelli econometrici che stimiamo hanno dei parametri che sono passibili di interpretazione diretta nella teoria economica. Consideriamo
DettagliCORSI DI LAUREA IN MATEMATICA E FISICA
CORSI DI LAUREA IN MATEMATICA E FISICA FOGLIO DI ESERCIZI # 6 GEOMETRIA 1 Esercizio 6.1 (Esercizio 5.1). Scrivere un vettore w R 3 linearmente dipendente dal vettore v ( 1, 9, 0). Per esempio il vettore
DettagliIL CRITERIO DELLA MASSIMA VEROSIMIGLIANZA
Metodi per l Analisi dei Dati Sperimentali AA009/010 IL CRITERIO DELLA MASSIMA VEROSIMIGLIANZA Sommario Massima Verosimiglianza Introduzione La Massima Verosimiglianza Esempio 1: una sola misura sperimentale
Dettagli5.5 Programmazione quadratica (PQ)
5.5 Programmazione quadratica (PQ Minimizzare una funzione quadratica soggetta a vincoli lineari: 1 min x t Qx + c t x 2 s.v. a t i x b i i D (P a t i x = b i i U x R n dove Q matrice n n, D e U sono gli
DettagliAlgoritmi e Strutture Dati II: Parte B Anno Accademico Lezione 8
Algoritmi e Strutture Dati II: Parte B Anno Accademico 2004-2005 Docente: Ugo Vaccaro Lezione 8 Ricordiamo ancora una volta il nostro meta-algoritmo per il progetto di algoritmi di approssimazione: 1.
Dettagli1 Fit di dati sperimentali: il χ 2. Il metodo dei minimi quadrati.
1 Fit di dati sperimentali: il χ 2. Il metodo dei minimi quadrati. Per comprendere dei fenomeni fisici, non basta raccogliere buoni dati sperimentali, occorre anche interpretarli. Molto spesso lo scopo
DettagliGeometria BAER A.A. Canale I Foglio esercizi 4
Geometria BAER A.A. Canale I Foglio esercizi 4 Esercizio. Si trovino basi degli spazi delle soluzioni dei seguenti sistemi lineari Soluzione: Sol(S ) = L[ x + 3x x 3 + 5x 4 = S : x + 3x x 3 + x 4 = S x
Dettagli1 1, { x1 2x 2 + x 3 = 0 2x 2 8x 3 = 1 x 1 x 4 = = 0
a.a. 5-6 Esercizi. Sistemi lineari. Soluzioni.. Determinare quali delle quaterne, 3,, sono soluzioni del sistema di tre equazioni in 4 incognite { x x + x 3 = x 8x 3 = x x 4 =. Sol. Sostituendo ad x, x,
DettagliCalcolo Numerico Laurea di base in Ingegneria Elettronica e Ingegneria delle Comunicazioni e Clinica. Prof.ssa Laura Pezza (A.A.
Calcolo Numerico Laurea di base in Ingegneria Elettronica e Ingegneria delle Comunicazioni e Clinica Prof.ssa Laura Pezza (A.A. 2018-2019) VIII Lezione del 14.03.2019 http://www.dmmm.uniroma1.it/ laura.pezza
DettagliComputazione per l interazione naturale: classificazione probabilistica
Computazione per l interazione naturale: classificazione probabilistica Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2016.html
DettagliFrame. Frame. Otteniamo il concetto di frame a partire da quello di base di Riesz facendo cadere l ipotesi di indipendenza lineare
Frame Frame Otteniamo il concetto di frame a partire da quello di base di Riesz facendo cadere l ipotesi di indipendenza lineare Un frame è quindi un insieme di vettori φ i tali che esistono A > 0 e B
Dettaglib vettore(termine noto) y* proiezione ortogonale di b
Carla Guerrini 1 Sistemi sovradeterminati Sia A una matrice m n ove m > n sia b R m trovare una soluzione del sistema sovradeterminato Ax = b significa cercare di esprimere un vettore di R m come combinazione
DettagliLezione 13 Maggio Ricapitolazione del Controllo Ottimo LQ
PSC: Progettazione di sistemi di controllo III rim. 2007 Lezione 13 Maggio 16 Docente: Luca Schenato Stesori: Comin, Dal Bianco,Fabris, Parmeggiani 13.1 Ricapitolazione del Controllo Ottimo LQ Ripassiamo
DettagliReti Neurali. Corso di AA, anno 2016/17, Padova. Fabio Aiolli. 2 Novembre Fabio Aiolli Reti Neurali 2 Novembre / 14. unipd_logo.
Reti Neurali Corso di AA, anno 2016/17, Padova Fabio Aiolli 2 Novembre 2016 Fabio Aiolli Reti Neurali 2 Novembre 2016 1 / 14 Reti Neurali Artificiali: Generalità Due motivazioni diverse hanno spinto storicamente
Dettagli