Università degli Studi di Napoli. Tesi di laurea. Inferenza induttiva e algoritmi genetici

Transcript

1 Università degli Studi di Napoli Federico II Facoltà di Scienze MM.FF.NN. Corso di Laurea in Fisica A.A Tesi di laurea Inferenza induttiva e algoritmi genetici Relatori: Ch.mo Prof. Giuseppe Trautteur Dott. Aniello Iazzetta Candidato: Alessandro Mazzei Matricola: 007/6227

2

3 Indice Indice i Introduzione 1 1 Inferenza induttiva Apprendimento e induzione Caratterizzare l apprendimento Una possibile schematizzazione Induzione Problemi di induzione Un esempio esplicito: polinomi Inferenza Grammaticale Classificare il problema Spazio dei concetti Spazio delle ipotesi Presentazione degli esempi Macchine inferenziali induttive Criteri di successo Identificazione al limite Inferenza grammaticale regolare Caratterizzazione algebrica dello spazio di ricerca Strategie di ricerca nel reticolo L algoritmo L Approcci incrementali Metodi numerici PAC-learning ed inferenza regolare Complessità di Kolmogorov Algoritmi Evolutivi Terminologia i

4 3.2 Storia Gli algoritmi genetici La teoria degli schemi Progettare un algoritmo genetico Il lavoro sperimentale Il programma realizzato La codifica Operatori Parametri Fitness Linguaggi di prova Primo test Dati usati nel primo test Protocollo di sperimentazione del primo test Risultati del primo test Descrizione di alcuni run Secondo test Dati secondo test Protocollo di sperimentazione del secondo test Risultati del secondo test Limiti dell algoritmo genetico realizzato Considerazioni conclusive A Preliminari 115 A.1 Teoria della calcolabilità A.2 Linguaggi formali A.3 Automi finiti Bibliografia 126 ii

5 Introduzione Questo lavoro nasce con l intenzione di applicare il modello computazionale degli algoritmi genetici al campo dell inferenza grammaticale, cioè con l idea di realizzare un algoritmo ispirato all evoluzione naturale per poi applicarlo ad uno specifico problema di inferenza induttiva. L induzione è un procedimento che elabora informazioni parziali riguardanti le proprietà di un insieme, fornendo una generalizzazione, cioè estendendo l insieme su cui le proprietà valgono. Questo procedimento in generale non è logicamente giustificato, e di conseguenza non è certo che l informazione fornita in uscita sia vera. Tuttavia il metodo scientifico, cosidetto ipotetico deduttivo, tipico delle scienze empiriche, sembra non possa fare a meno dell induzione nella fase di formulazione delle ipotesi 1. All interno degli studi sull induzione nasce l inferenza grammaticale, che si occupa di studiare le modalità con cui può essere individuato un linguaggio formale, quando è conosciuto un insieme di stringhe che appartengono al linguaggio e, eventualmente, un insieme di stringhe che non appartengono al linguaggio. Supponiamo che una sorgente di informazioni fornisca delle stringhe binarie: 01, 0101, ,... Ci si può domandare se c è una regola formale con la quale la sorgente genera le stringhe, se eventualmente questa regola sia individuabile guardando solo l insieme delle stringhe, e quali siano i fattori che influenzano l identificabilità della regola. L inferenza grammaticale cerca di trovare risposte a queste domande, nell ipotesi che esiste una regola con cui le stringhe sono state create, e che si tratti di una grammatica generativa di Chomsky. I primi studi sull inferenza grammaticale sono di carattere esclusivamente teorico. Questi lavori, attraverso la progettazione e l analisi di algoritmi, in generale intrattabili, pongono dei limiti alla più ampia classe di linguaggi 1 Il problema filosofico dell induzione nasce in epoca classica e ha il suo punto di riferimento moderno nella Enquiry Concerning Human Understanding di D. Hume; come riferimenti contemporanei si possono consultare [Sal67] [Car71]. 1

6 2 Introduzione esattamente inferibili da un unico algoritmo induttivo. Successivamente la direzione degli studi mutò verso la ricerca di algoritmi induttivi che fossero anche efficientemente realizzabili nella pratica. L interesse si strinse sulla classe più piccola della gerarchia chomskyana, i linguaggi regolari: teoricamente era stato dimostrato da Gold [Gol67] che questa classe può essere identificata al limite se gli esempi contengono sia stringhe che appartengono al linguaggio (esempi positivi) sia stringhe che non appartengono al linguaggio (esempi negativi). Lo stesso Gold dimostra diversi anni dopo [Gol78] che trovare il più piccolo automa finito compatibile 2 con un insieme finito di esempi positivi e negativi è un problema NP hard rispetto alla lunghezza delle stringhe. Questo teorema è molto importante, poiché un algoritmo che aspira ad identificare al limite efficientemente un insieme di linguaggi formali, dovrebbe efficientemente trovare il più piccolo automa (grammatica) che accetta (genera) un sottoinsieme finito del linguaggio. Succesivamente si individuarono delle proprietà che, se possedute dall insieme di esempi, permettono di rivedere l inferenza grammaticale regolare come ricerca in uno spazio dotato di particolari caratteristiche algebriche. Cercando di sfruttare questa possibilità vengono ideati negli ultimi anni un numero significativo di algoritmi concreti, che inferiscono il più piccolo automa finito compatibile con un insieme di esempi positivi e negativi: alcuni di questi raggiungono l efficienza utilizzando informazioni addizionali, come l esistenza di un oracolo, cioè con la possibilità di chiedere se una stringa appartiene o non appartiene al linguaggio. Nel contesto di rivedere l inferenza grammaticale regolare come ricerca all interno di uno spazio, si inserisce poi anche l uso degli algoritmi evolutivi. Gli algoritmi evolutivi sono un modello computazionale che si ispira alla selezione naturale. L algoritmo simula il procedimento naturale che permette agli individui migliori di sopravvivere (valutazione della fitness), e evolvere (mutazione, crossover). Gli individui della popolazione sono delle soluzioni approssimate del problema che si intende risolvere. La popolazione evolve continuamente: ad ogni generazione vengono selezionati statisticamente gli individui per riprodursi e generare una nuova popolazione. Una funzione apposita chiamata fitness, che dipende direttamente dal problema a cui l algoritmo evolutivo è applicato, decide se un elemento della popolazione debba sopravvivere oppure no. Gli algoritmi evolutivi sono superiori ad altri modelli computazionali nei problemi in cui lo spazio di ricerca è molto ampio: viene sfruttata una sorta di parallelismo implicito che permette di analizzare contemporaneamente più modelli di soluzione [Gol89]. 2 Compatibile sta ad indicare che accetta tutte le stringhe degli esempi positivi e nessuna stringa degli esempi negativi (vedi paragrafo 2.1.3).

7 Introduzione 3 In diversi lavori [LHK99] [Lan94] [Lan95], si applica il paradigma degli algoritmi evolutivi per trovare il più piccolo automa finito compatibile con un insieme di esempi positivi e negativi. In tutti questi studi i linguaggi usati per testare le caratteristiche degli algoritmi sono i linguaggi di Tomita [Tom82], un insieme di sette linguaggi regolari ideati da Tomita per testare il proprio algoritmo di hill cimbing. I lavori citati usano un solo insieme di esempi per testare ogni linguaggio, seguendo il procedimento originariamente usato da Tomita. Gli algoritmi induttivi sono in generale molto sensibili alla costituzione degli esempi, e quindi provare l algoritmo evolutivo con diversi insiemi di esempi potrebbe risultare un presupposto imprescindibile per un analisi critica delle prestazioni dell algoritmo. In questo lavoro si parlerà dell algoritmo genetico realizzato per trovare la più piccola grammatica regolare compatibile con un insieme di esempi positivi e negativi. Per provare le prestazioni di tale algoritmo si è attinto ai dati presentati in [Tom82] e [Dup94]: quest ultimo lavoro descrive le caratteristiche dell algoritmo genetico GIG, particolarmente interessante poiché sfrutta alcune caratteristiche peculiari dell inferenza grammaticale regolare, supponendo per l insieme degli esempi proprietà non eccessivamente restrittive. Nel fare ciò si sono anche confrontate le prestazioni dimostrate da due diversi operatori genetici: il classico operatore di crossing over, e l operatore di traslocazione. Prima di questo lavoro l operatore di traslocazione era stato usato solo in un recente studio [FITC00], con l intento preciso di saggiarne le caratteristiche. Il lavoro si divide in quattro parti. Nel primo capitolo si parlera dell induzione, e basandosi sulla classificazione proposta in [Mic87b], si inquadrerà questo procedimento nel complesso meccanismo dell apprendimento. Inoltre, dopo aver confrontato l induzione con le altre forme di inferenza presenti nel pensiero logico (deduzione e abduzione), si elencheranno gli elementi che caratterizzano un problema induttivo; alla fine del capitolo verranno dati due esempi di problemi induttivi. Nel secondo capitolo viene fornita una definizione formale dell inferenza grammaticale, specificando i punti che distinguono un problema induttivo. Dopo aver analizzato i risultati teorici generali dell inferenza grammaticale lo studio si focalizzerà sull inferenza grammaticale di linguaggi regolari: si descriveranno nei particolari le peculiarità di questo tipo di induzione, e si passeranno in rassegna alcuni algoritmi realizzati nella pratica per eseguire questa inferenza. All interno del terzo capitolo si introdurrà il modello degli algoritmi evolutivi. Nello specifico si parlerà degli algoritmi genetici, particolare tipo di algoritmo evolutivo che presuppone la codifica delle soluzioni parziali sotto forma di stringa [Hol75].

8 4 Introduzione Il quarto capitolo è dedicato alla descrizione dell algoritmo genetico realizzato in questo lavoro per eseguire l inferenza grammaticale di un linguaggio regolare. Dopo avere spiegato quali sono le caratteristiche di tale algoritmo, si descriveranno criticamente i risultati di due test eseguiti sul programma con lo scopo di valutarne le prestazioni. I risultati ottenuti verranno infine confrontati con quelli presenti in letteratura [Dup94].

9 Capitolo 1 Inferenza induttiva L induzione è la parte del pensiero logico che sintetizza il passaggio dal particolare al generale. Con il termine Inferenza Induttiva si indica un processo che ipotizza delle regole generali partendo da degli esempi. L inferenza induttiva gioca un ruolo fondamentale nel vasto scenario dell apprendimento e in tutti i campi che si prefiggono la scoperta di strutture universali, come ad esempio la costruzione di una teoria scientifica. Il tentativo di ricreare il fenomeno dell inferenza induttiva, caratteristica degli esseri intelligenti, all interno delle macchine ha comportato la nascita di diversi campi di studio. Uno dei più importanti si occupa di indagare sui meccanismi che permettono ad un essere umano di apprendere un linguaggio. 1.1 Apprendimento e induzione Caratterizzare l apprendimento L apprendimento è certamente un fenomeno tipico di tutti gli esseri intelligenti. L approccio dell intelligenza artificiale all apprendimento si orienta verso una classificazione precisa dei vari fattori, delle varie strategie, delle varie strutture che sono coinvolte nell apprendimento negli esseri umani. Nonostante queste intenzioni, un punto di partenza largamente diffuso è che non sia possibile dare una definizione dell apprendimento: ciò che si può fare è invece caratterizzare l apprendimento analizzando i fenomeni ad esso collegati. Due concetti giocano certamente un ruolo fondamentale nell apprendimento: il miglioramento delle capacità del sistema che apprende, e l acquisizione di nuova conoscenza. Un idea largamente accettata nel mondo dell intelligenza artificiale è che l apprendimento comporti delle modifiche in un 5

10 6 Inferenza induttiva sistema, e che tali modifiche ne migliorano le caratteristiche. Minsky cerca di formalizzare questa idea richiedendo che le modifiche nel sistema siano genericamente utili: L apprendimento è il fare dei cambiamenti utili nella nostra mente; egli stesso riconosce poi l inutilità di questa definizione dovuta alla troppa vaghezza. Simon [Sim83] da una caratterizazione più dettagliata dell apprendimento, nel tentativo di precisare che cosa esattamente si può intendere per miglioramento nel sistema: L apprendimento denota dei cambiamenti in un sistema che sono adattivi, nel senso che permettono al sistema di eseguire lo stesso compito, o compiti analoghi, in maniera migliore nel futuro. Questo modo di riconoscere attività di apprendimento va sotto il nome di principio di miglioramento. Bisogna però notare che vi sono delle attività che coinvolgono l apprendimento in cui non è semplice capire in cosa consiste il miglioramento delle capacità, inoltre vi sono dei sistemi che migliorano nel tempo senza che nessun tipo di apprendimento entri in gioco. Un altro fattore che accompagna l apprendimento è l acquisizione di nuove conoscenze. Per poter acquisire qualsiasi conoscenza è necessario rappresentare questa conoscenza in qualche modo, ad esempio in forma di enunciati o di procedure. Questo conduce verso una nuova possibile caratterizzazione dell apprendimento: L apprendimento è costruire e modificare rappresentazioni di ciò che è stato sperimentato. In questa definizione il termine sperimentare intende sia gli stimoli provenienti dai sensori del sistema che apprende, sia ciò che il sistema sperimenta sotto forma di processi interni. Ripetere a mente una frase molte volte ci consente di impararla a memoria, pur non avendo alcuno stimolo dai nostri sensi. Stimoli e processi interni sono i veicoli attraverso i quali il sistema che apprende percepisce la realtà che intende rappresentare. Sotto questo punto di vista l aspetto centrale dell apprendimento è il processo di costruire una rappresentazione di una certa realtà piuttosto che il miglioramento delle capacità del sistema. L aumento delle capacità del sistema è considerato come una conseguenza. Un modo per coinvolgere il principio di miglioramento nell acquisizione di nuova informazione è caratterizzare l apprendimento come la costruzione e la modifica di informazioni finalizzate al miglioramento delle proprietà del sistema. Questo punto di vista consente di poter misurare il grado di apprendimento di un sistema misurando i miglioramenti mostrati dal sistema nell eseguire un certo compito. È importante notare che in questa schematizzazione implicitamente si assume che il sistema abbia uno scopo e che tale scopo sia conosciuto dall osservatore che analizza l apprendimento.

11 1.1 Apprendimento e induzione Una possibile schematizzazione Esistono diversi modi di catalogare i fattori che influenzano l apprendimento. Michalski [Mic87b] propone una divisione ragionata, basata su diverse caratteristiche del sistema che apprende. Michalski esegue una prima distinzione in base alla quantità di conoscenze iniziali di cui il sistema è dotato. Ai due estremi della classificazione troviamo le reti neurali artificiali e i sistemi esperti. Nel contesto dei sistemi dotati di scarse conoscenze iniziali le reti neurali sono uno strumento largamente usato: le connessioni dei neuroni che costituiscono il sistema, sono determinate in maniera essenziale dagli esempi presentati e solo in maniera molto limitata dai valori iniziali delle connessioni. Nella progettazione di un sistema esperto una grande quantità di informazione viene fornita al sistema, che quindi inizialmente già possiede delle informazioni strutturate, generalmente non modificabili. Un ulteriore approccio, suggerito da Michalski, propone di suddividire i sistemi artificiali che apprendono in funzione della similitudine degli algoritmi usati con i processi mentali umani. Da una parte troviamo quei lavori che studiano l apprendimento da un punto di vista teorico, sviluppando algoritmi indipendenti dal campo di applicazione: in questo caso non si fanno restrizioni sulla natura degli algoritmi, che possono essere molto diversi da quelli che si ipotizzano siano i processi che permettono ad un essere umano di apprendere. In un altra orientazione di ricerca rientrano quegli studi sullo sviluppo di modelli computazionali per i processi di apprendimento umani. In questo orientamento l apprendimento nell uomo è il centro di interesse; lo scopo è lo sviluppo di teorie computazionali e di modelli sperimentali che rispettino le conoscenze psicologiche e neurofisiologiche. Lo sviluppo di questi studi potrebbe dare importanti contributi persino nel campo della pedagogia. L analisi più precisa fatta da Michalski nel suo tentativo di classificare l apprendimento, si basa sul tipo di manipolazione eseguita dal sistema che apprende sull informazione proveniente dall esterno. In ogni processo di apprendimento il sistema che apprende trasforma l informazione fornita da un teacher, o più in generale da una sorgente di informazione, in una nuova forma che viene poi memorizzata per usi futuri. Questa trasformazione dell informazione, che fa uso anche delle conoscenze già possedute dal sistema, viene chiamata inferenza. Il tipo di trasformazione eseguita determina la strategia di apprendimento di cui il sistema fa uso. Si possono distinguere, seguendo esattamente Michalski in [Mic87a], cinque diverse strategie 1 : 1 Fino al termine del capitolo il testo tra virgolette indicherà una trascrizione esatta dal riferimento bibliografico

12 8 Inferenza induttiva Apprendimento per imitazione Apprendimento per istruzioni Apprendimento per deduzione Apprendimento per analogia Apprendimento per induzione Queste strategie sono state elencate in base ad una crescente complessità dell inferenza eseguita sull informazione inizialmente fornita. Per poter capire le differenze tra le varie strategie ci restringiamo al campo dell apprendimento dei concetti. Definizione 1.1. Un concetto è una classe di equivalenza per cui esiste una procedura effettiva che permette di discriminare gli oggetti come appartenenti o non appartenenti al concetto. In intelligenza artificiale un concetto è definito in maniera molto più vaga come un insieme di oggetti accomunati da un uso comune, da uno stesso scopo, dallo stesso ruolo in una teoria, o comunque da caratteristiche comuni. La definizione 1.1 è invece un modo molto preciso di intendere i concetti, che si è affermata nel contesto del PAC learning [Val84]. Un sistema apprende un concetto quando impara una procedura effettiva che gli permette di discriminare gli oggetti come appartenenti o non appartenenti al concetto. Questo compito può quindi essere rivisto come la scoperta di una definizione intensionale per il concetto. Si possono allora esemplificare le varie strategie di apprendimento vedendone l applicazione all apprendimento di concetti. Apprendimento per imitazione Questo è il caso estremo in cui il sistema che apprende non deve eseguire alcuna inferenza sulle informazioni che gli provengono dalla sorgente. Il compito principale svolto dal sistema è indicizzare in qualche maniera l informazione per poterla poi recuperare. Normalmente si attua questa strategia nell apprendimento di un concetto fornendo come informazione al sistema una descrizione operativa del concetto oppure fornendo un programma per riconoscere gli elementi del concetto. Per esempio questa strategia è applicata quando uno specifico algoritmo per riconoscere un concetto viene programmato su un calcolatore, oppure quando al calcolatore viene fornito un database di fatti che permettono di riconoscere il concetto. Questa strategia veniva applicata, ad esempio, nei primi programmi che giocavano a scacchi: si salvavano i risultati della ricerca in un albero di gioco, per poter essere poi ripresi risparmiando spazio e tempo di esecuzione.

13 1.1 Apprendimento e induzione 9 Apprendimento per istruzioni In questo caso il sistema che apprende acquisisce un concetto da un insegnante, o da un altra forma organizzata di informazione, come una publicazione o un libro, ma non copia direttamente in memoria l informazione acquisita. Nell apprendimento per istruzioni le trasformazioni sull informazione eseguite dal sistema sono la selezione e la riformulazione a livello sintattico. Il processo di apprendimento può consistere nel selezionare i fatti più importanti e poi trasformarli in una forma più appropiata. Un programma che costruisce una database di fatti e regole sulla base di una conversazione con un utente è un esempio di sistema che apprende per istruzioni. Apprendimento per deduzione Il sistema che apprende acquisisce un concetto deducendolo dalle conoscenze fornite dalla sorgente insieme a quelle che il sistema già possedeva. In altre parole, questa strategia include ogni processo nel quale la conoscenza appresa è il risultato di una trasformazione che preserva la verità delle informazioni generate dalla sorgente. All interno dell apprendimento dei concetti, l apprendimento per deduzione trasforma una definizione non adoperabile per discriminare il concetto, in una definizione operativa adatta a questo scopo. Ad esempio dal fatto che una brocca sia un oggetto stabile e trasportabile, si può dedurre che la brocca ha un fondo piatto e un manico. Apprendimento per analogia Il sistema che apprende acquisisce un nuovo concetto modificando la definizione di un concetto simile già conosciuto. Piuttosto che formulare una descrizione del concetto partendo da zero, il sistema adatta una descrizione esistente modificandola appropriatamente per il nuovo scopo. Ad esempio se già si conosce una regola che definisce il concetto di arancia, per imparare il concetto di mandarino si possono notificare le differenze e le similitudini tra arancia e mandarino. Un altro esempio è l apprendere il concetto di circuito elettrico notando le analogie di questo con un sistema di tubature idrauliche. Come Michalski sottolinea, l apprendimento per analogia può essere visto come un incrocio tra l apprendimento deduttivo equello induttivo. Attraverso l inferenza induttiva si possono determinare le caratteristiche generali o le trasformazioni che unificano i concetti confrontati. Poi, attraverso un inferenza deduttiva si possono derivare le proprietà caratterizzzanti possedute dal concetto che deve essere appreso. Apprendimento per induzione

14 10 Inferenza induttiva Nell apprendimento per induzione il sistema acquisisce un concetto operando delle inferenze induttive su dei fatti forniti dalla sorgente o in base a delle osservazioni su tali fatti. In funzione del tipo di informazioni fornite dalla sorgente e di che cosa è inizialmente conosciuto dal sistema, due differenti forme di questa strategia si possono individuare. Nell apprendimento da esempi il sistema che apprende induce una descrizione del concetto generalizzando degli esempi, e eventualmente dei controesempi, forniti dalla sorgente di informazione. Un ipotesi operativa è che il concetto esista, cioè che effettivamente esista una procedura effettiva per testare l appartenenza alla classe. Il compito del sistema è determinare una descrizione per il concetto analizzando le singole istanze del concetto. Questa strategia è applicata nell inferenza grammaticale, che verrà trattata nel seguito di questo lavoro. Nell apprendimento per osservazione e scoperta il sistema che apprende analizza degli oggetti e determina se alcuni sottoinsiemi di questi possono essere raggruppati vantaggiosamente insieme in singoli concetti. Diversamente dal caso precedente non si fa alcuna ipotesi operativa a priori sull esistenza di questi concetti. Appena un concetto viene individuato gli si da un nome: questo permette di riusare il concetto per definirne altri. Michalski fornisce come esempio di questa strategia il clustering, cioè il partizionamento di una collezione di oggetti in classi organizzate in maniera gerarchica: se un oggetto è riconosciuto essere un istanza di un certo concetto, gli vengono assegnate le propietà di quel concetto e di tutti i concetti più in alto nella gerarchia. Se si apprende che sabrina è un elefantessa, si può, senza vedere sabrina, dire che essa ha quattro zampe, una proboscide e tutte le proprietà specifiche degli elefanti; si può inoltre dire che sabrina possiede anche le proprietà degli erbivori, e più in generale ancora dei mammiferi. 1.2 Induzione L inferenza induttiva è lo strumento principale per creare nuova conoscenza. È usuale caratterizare l inferenza induttiva come il ragionamento che conduce dallo specifico al generale, dal particolare all universale. Questa caratterizzazione è innegabilmente semplice ma altrettanto poco precisa: non si specificano tutte le componenti in gioco nel processo induttivo e non si spiega come questa inferenza sia possibile. Per capire meglio questo tipo di inferenza bisogna delineare le sue componenti principali ed è necessario specificare le proprietà delle sue conclusioni. Seguiremo ancora le definizioni

15 1.2 Induzione 11 di Michalski in [Mic87a]. Gli elementi di partenza dell inferenza, vista come manipolazione simbolica, sono: 1. Un insieme di enunciati premessa, costituiti da fatti, specifiche osservazioni, generalizzazioni intermendie, che forniscono informazioni riguardanti degli oggetti, dei fenomeni, dei processi. 2. Le conoscenze di background, che contengono concetti generali e specifici dell applicazione, e che permettono di interpretare le premesse e le regole rilevanti per l inferenza. Queste conoscenze includono concetti precedentemente imparati, relazioni di causalità, assunzioni circa le premesse e circa le ipotesi candidate, scopi dell inferenza, metodi per valutare la bontà di una ipotesi sulla base dello scopo (criterio di preferenza). Mentre l elemento finale dell inferenza induttiva è: Una ipotesi induttiva, che implica gli enunciati premessa nel contesto delle conoscenza di background ed è l ipotesi migliore rispetto al criterio di preferenza. Le definizioni ora date si riassumono in quella che Michalski [Mic94] chiama equazione fondamentale dell inferenza. (Ipotesi induttiva) (Conoscenze di background) = (Enunciati premessa) (1.1) Michalski precisa che in 1.1 l implicazione può assumere due valenze distinte. Si può avere che un ipotesi induttiva implica fortemente gli enunciati premessa nel contesto delle conoscenze di background se usando tali conoscenze, e l inferenza deduttiva, gli enunciati premessa risultano essere una conseguenza logica dell ipotesi induttiva. Una ipotesi che rispetta questa condizione è chiamata una ipotesi induttiva forte. In contrasto, un ipotesi induttiva è debole se solo debolmente implica gli enunciati premessa: questo significa che in 1.1 gli enunciati premessa sono una conseguenza plausibile dell ipotesi induttiva, ma non una coseguenza logica. Per chiarire questa distinzione Michalski fornisce un esempio di inferenza induttiva. Enunciati premessa Socrate era greco. Aristotele era greco. Platone era Greco.

16 12 Inferenza induttiva Conoscenze di background Socrate, Aristotele e Platone erano filosofi. Sono vissuti nell antichità. I filosofi sono persone. I greci sono persone. Criterio di preferenza = Si preferiscono le ipotesi più corte, più specifiche e più utili per decidere la nazionalità dei filosofi. Alcune ipotesi induttive sono: 1. I filosofi che hanno vissuto nell antichità erano greci. 2. Tutti i filosofi sono greci. 3. Tutte le persone sono greche. L ipotesi da preferire sulla base del criterio di preferenza è la 2, poiché è più breve della 1, è più specifica della 3, e permette di determinare la nazionalità dei filosofi. Si può dimostrare che questa ipotesi induttiva è un ipotesi forte, poiché gli enunciati premessa risultano essere una conseguenza logica delle ipotesi e delle conoscenze di background. Supponiamo di aggiungere ai fatti di partenza premessa gli enunciati Locke era inglese. Hume era inglese. e di modificare le conoscenze di background aggiungendo il fatto che sia Locke che Hume erano filosofi. In questo caso una ipotesi induttiva forte potrebbe essere che tutti i folosofi erano greci, con l eccezione di Locke e Hume. Mentre una ipotesi induttiva debole potrebbe essere che alcuni filosofi erano greci. Dal fatto che Platone era un filosofo e sulla base di questa nuova ipotesi debole non consegue che Platone era greco, consegue solo che c è la possibilità che Platone fosse greco. Le ipotesi induttive hanno delle proprietà che possono essere evidenziate nel confronto con gli altri tipi di inferenza presenti nel pensiero logico, ovvero la deduzione e l abduzione. Consideriamo l inferenza come un trasformazione di informazioni che prende in Input un enuciato, e grazie alle conoscenze di background (BK) già possedute fornisce un enunciato in Output [Mic94]. 1. DEDUZIONE tabella 1.1 L Input consiste in un enunciato che si esprime sull appartenenza di un elemento a ad un insieme X. Le BK sono formate da un enuniato che assegna una certa proprietà q agli elemeni dell insieme X, e da una regola della logica formale detta regola di

17 1.2 Induzione 13 Input a X a è un elemento di X. BK x X, q(x) Tutti gli elementi di X hanno la proprietà q. ( x X, q(x)) (a X q(a)) Se tutti gli elementi di X hanno la proprietà q, allora ogni elemento di X, e quindi anche a, deve avere la proprietà q. Output q(a) a ha la proprietà q. Tabella 1.1: Deduzione specializzazione universale. L inferenza vera e propria consiste solo nell applicazione di tale regola. A causa della natura tautologica della regola usata per eseguire l inferenza segue che la deduzione preserva la verità. Se l enunciato di Input risulta vero, cioè effettivamente a X, anche l enunciato di Output deve essere vero, poiché nell inferenza deduttiva non ci sono passaggi logicamente non giustificati che possono comportare un alterazione del valore di verità. 2. INDUZIONE tabella 1.2 L Input è un enunciato che afferma che un elemento a, già presente nelle conoscenze di BK, possiede la proprietà q. Le conoscenze BK sono identiche a quelle dell esempio sull inferenza deduttiva. L Output consiste in un enunciato che assegna la proprietà q a tutti gli elementi dell insieme X menzionato nelle conscenze di BK. Input q(a) a ha la proprietà q. BK a X a è un elemento di X. ( x X, q(x)) (a X q(a)) Se tutti gli elementi di X hanno la proprietà q, allora ogni elemento di X, e quindi anche a, deve avere la proprietà q. Output x X, q(x) Tutti gli elementi di X hanno la proprietà q. Tabella 1.2: Induzione

18 14 Inferenza induttiva L inferenza consiste nel supporre l implicazione presente nella regola di specializzazione valida anche nel verso opposto. Input q(a) a ha la proprietà q. BK ( x, x X) q(x) Se x è un elemento di X allora x ha la proprietà q. Output a X a è un elemento di X. Tabella 1.3: Abduzione 3. ABDUZIONE tabella 1.3 Nell abduzione l enunciato di Input afferma che un elemento a gode della proprietà q. Le BK consistono di un unico enunciato, che esprime il fatto che tutti gli elementi di un certo insieme X hanno la proprietà q. L ipotesi abduttiva, cioè l Output, asserisce l appartenenza di a a X. Questa ipotesi si ottiene considerando valida in ambo i sensi l implicazione presente nelle BK, come accade anche nell induzione. La differenza rispetto all induzione è che l implicazione invertita non è una tautologia, bensì è un enunciato che può o può non esere vero a seconda dell interpretazione. Ancora Michalski ha tentato di rivedere l induzione sotto un punto di vista strettamente sintattico e hanno individuato alcune regole sintattiche di inferenza induttiva [Mic87a]. Queste regole prendono uno o più enunciati di partenza e ne generano di nuovi, facendo diventare gli enunciati di partenza delle conseguenze. Aluni esempi di queste regole sono: Perdere condizioni: rimuovere una condizione in una congiunzione dell enunciato di partenza. Ad esempio partendo da un uomo è giusto se è onesto e fedele con l enunciato un uomo è giusto se è onesto. Trasformare esistenziali in universali: ad esempio trasformare l enunciato questa mela sembra buona in tutte le mele sembrano buone. Aggiungere opzioni: cioè aggiungere in forma disgiuntiva nuove cause. Ad esempio l enunciato sopraviverai se saprai nuotare può essere trasformata in sopraviverai se saprai nuotare o se avrai un salvagente. Generalizzare gli oggetti: rimpiazzare un termine meno generale con uno più generale. Ad esempio Mi piacciono le mele con mi piace la frutta. Nei discorsi precedenti si è definito l apprendimento di un concetto da esempi come un processo che costruisce una rappresentazione di una certa classe di elementi, attraverso l osservazione di membri della classe ed eventualmente anche attraverso l osservazione di entità che non appartengono alla classe. Michalski propone di rivedere questo compito di apprendimento come

19 1.2 Induzione 15 Riformulazione Descrizioni equivalenti Spaziodelle istanze Spazio dlle descrizioni Selezione degli esempi Figura 1.1: Induzione come ricerca in uno spazio [Mic87a] ricerca all interno di uno spazio [Mic87a]. Si definisce spazio delle istanze l insieme di tutti i possibili esempi e controesempi dei concetti che possono essere appresi. Lo spazio dei concetti è l insieme di tutte le possibili descrizioni, nel formalismo definito dalle conoscenze di background, di concetti che possono essere appresi. Gli elementi forniti come esempi e controesempi a qualsiasi tempo dalla sorgente di informazione, saranno elementi dello spazio delle istanze. L induzione di un concetto da esempi, comporta un interazione da parte del sistema che apprende con questi due spazi. Al sistema viene fornito un sottoinsieme sempre più grande dello spazio delle istanze: il sistema deve formulare un ipotesi induttiva selezionando un elemento dello spazio dei concetti. Può capitare che ad un singolo concetto corrispondono diverse descrizioni equivalenti nello spazio delle descrizioni. Un concetto è consistente rispetto agli esempi se accetta alcuni esempi positivi e nessun esempio negativo. Un concetto è completo rispetto agli esempi se accetta tutti gli esempi positivi. La descrizione di un concetto consistente e completo rispetto agli esempi è una possibile ipotesi induttiva. L insieme di tutte le ipotesi induttive possibili forma uno spazio chiamato spazio delle ipotesi possibili o version space. Lo spazio delle ipotesi possibili può essere ordinato parzialmente sulla base di una relazione di inclusione tra i corrispondenti concetti. L ipotesi più generale descrive un concetto che è esattamente il complemento degli esempi negativi; l ipotesi meno generale descrive un concetto che è esattamente l unione di tutti gli esempi positivi. Lo spazio delle ipotesi possibili può essere molto grande ed in questo caso un criterio di preferenza deve essere usato per poter scegliere quale elemento sarà l ipotesi induttiva. Questo criterio può essere la lunghezza della descrizione o la sua semplicità o comunque un

20 16 Inferenza induttiva criterio che mglio rappresenta lo scopo dell apprendimento. Se lo spazio delle ipotesi possibili è costituito da un singolo elemento, la scelta del criterio sarà chiaramente ininfluente. L induzione di un concetto da esempi può allora essere descritto come la ricerca euristica, in uno spazio di descrizioni, del migliore elemento consistente e completo rispetto agli esempi forniti. È seguendo questo schema che è stato sviluppato il lavoro sperimentale descritto nei capitoli successivi. 1.3 Problemi di induzione Il modello generale di inferenza induttiva si applica a molti campi, ognuno caratterizzato da un diverso tipo di concetti da dover inferire. Diversi studi sono stati condotti sull inferenza induttiva di espressioni logiche, MdT, programmi LISP, funzioni matematiche, linuaggi formali ed altro. La diffussione di questi studi ha portato l inferenza induttiva ad essere un campo autonomo di studi. Questa autonomia ha anche provocato la diffusione di un linguaggio specifico che a volte entra in contraddizione con le definizioni di termini già in uso nel campo del machine learning. In questo campo si sono sviluppati due filoni fondamentali. Il primo filone si occupa di studiare l inferenza induttiva con atteggiamento strettamente teorico, disinteressandosi delle specifiche e dei problemi legati ad una effettiva realizazione pratica degli algoritmi sotto forma di programmi. Il secondo filone si occuppa invece di scrivere ed ottimizzare programmi che eseguono l inferenza induttiva, trascurando lo studio dei risultati più strettamente teorici. Entrambi questi filoni si sono concentrati sull analisi di una singola variante della strategia induttiva, ovvero in quello che è stato in precedenza chiamato apprendimento da esempi o generalizzazione induttiva. Questo indirizzamento è stato molto favorito dalla possibilità di schematizzare facilmente un problema di questa categoria, e dalla possibilità di ridurre l inferenza vera e propria ad una ricerca in uno spazio (figura 1.1). Quindi è necessario definire precisamente cosa è un problema di inferenza induttiva. Seguendo una classificazione largamente accettata [AS83] sono necessari cinque elementi affinché il problema sia correttamente definito 1. Lo spazio dei concetti è l insieme delle possibili soluzioni del problema induttivo. In questo contesto il termine concetto assume lo stesso significato che gli viene assegnato in alcuni studi sull apprendimento. Un concetto è una classe di equivalenza che ammette almeno una procedura effettiva per determinare se un elemento appartiene o meno alla classe.

21 1.3 Problemi di induzione Lo spazio delle ipotesi è uno spazio che contiene delle descrizioni intensionali di concetti. Poiché il risultato ultimo di un problema di induzione è l individuazione, più o meno precisa, di un concetto, questo risultato deve essere fornito nell unica forma effettiva in cui una classe di equivalenza, di cardinalità infinita, può essere descritta: attraverso una procedura effettiva che discrimini gli elementi appartenenti alla classe. Per come è schematizzato il problema di induzione nello spazio delle ipotesi ci dovrà essere almeno una descrizione per ogni elemento dello spazio dei concetti. 3. Per ogni concetto appartenente allo spazio dei concetti, è necessario definire il tipo di esempi che verranno forniti al sistema induttivo; è necessario quindi specificare cos è una presentazione accettabile, o presentazione ammissibile, del concetto. Molte variazioni possono essere fatte sul tipo di esempi e sulla modalità di presentazione di tali esempi. Se lo scopo dell inferenza induttiva è eseguire una generalizzazione induttiva, si possono fornire al sistema, ad esempio, solo istanze che appartengono al concetto; oppure si possono fornire sia istanze che appartengono al concetto sia istanze che non vi appartengono. Più in generale è possibile che gli esempi siano presentati con delle informazioni aggiuntive su di essi: ad esempio si possono fornire le istanze divise in tre classi, la prima formata da istanze che appartengono al concetto, la seconda formata da istanze che non appartengono al concetto, la terza formata da istanze che con alta probabilità non appartengono al concetto. Si può inoltre permettere al sistema di richiedere quali esempi devono essere forniti nel seguito, oppure introdurre un margine di rumore, e quindi di errore, nella comunicazione o nella classificazione delle istanze. Un altra importante specifica è l ordine con cui gli esempi si presentano. La procedura che decide l ordine di presentazione può essere una generica funzione calcolabile, una funzione non effettiva o una funzione che tiene conto della congettura fatta dal sistema induttivo. Inoltre si possono avere delle ripetizioni o delle mancanze nella sequenza di esempi. Riferendosi agli studi sull apprendimento lo spazio delle ipotesi equivale allo spazio delle descrizioni raffigurato in figura Specificare i metodi di inferenza vuol dire specificare il tipo di algoritmi, utilizzabili per eseguire l inferenza. Intuitivamente un metodo di inferenza induttiva è una generica procedura effettiva che prende in ingresso degli esempi ammissibili e produce come congettura un elemento dello spazio delle ipotesi. La possibilità di vedere l apprendi-

22 18 Inferenza induttiva mento da esempi come la ricerca in uno spazio, permette di usare come algoritmo induttivo algoritmi di ricerca usati in altri campi, adattati alla natura dello spazio delle ipotesi. Gli algoritmi genetici, ad esempio permettono di trovare una congettura compatibile con gli esempi attraverso una ricerca nello spazio delle ipotesi che si basa sull imitazione del procedimento noto in natura come selezione naturale. Gli algoritmi usati nei problemi di induzione vengono chiamati indifferentemente metodi di inferenza, macchine inferenziali induttive o algoritmi induttivi. 5. È necessario definire quando il problema di inferenza è da considerarsi risolto: questa specifica verrà chiamata criterio di successo. Un criterio molto usato è l identificazione al limite: un concetto si considera correttamente inferito se l algoritmo induttivo produce solo un numero finito di congetture inesatte. Un altra condizione che spesso viene inserita nel criterio di successo è che se ci sono diverse descrizioni dello stesso concetto nello spazio delle ipotesi, l algoritmo induttivo restituisca al limite la più breve. Un altra classe di criteri di successo non richiede, come nell identificazione al limite, un esatta identificazione del concetto, ma considerano l inferenza induttiva corretta anche se la descrizione del concetto è parziale o imprecisa, purché entro certi limiti. Il criterio più conosciuto che si basa su questo principio è il PAC learning. 1.4 Un esempio esplicito: polinomi Non esiste un criterio generale per giudicare la bontà di un ragionamento induttivo: il passaggio dal particolare al generale non porta con sè alcuna garanzia di unicità. Supponiamo di dover indovinare il prossimo numero della sequenza infinita 3, 5, 7,... Una ipotesi ragionevole sembra essere il numero 9: si sta congetturando che la sequenza sia quella dei numeri dispari a partire da 3. Non c è nulla di sbagliato nel pensare, alternativamente, che il prossimo numero della sequenza sia 11: la sequenza potrebbe essere quella dei numeri primi a partire da 3. Infiniti numeri possono essere sospettati di essere il prossimo della sequenza e corrispondentemente infinite regole possono essere indicate come motivo della scelta. Ci si può domandare se tra le infinite ipotesi corrette sulla giusta continuazione della sequenza 3, 5, 7,... quella che la identifica con la sequenza dei numeri dispari sia in qualche maniera da preferire alle altre sulla base della semplicità. Una risposta a tale domanda dovrebbe chiarire prima cosa effettivamente è la semplicità

23 1.4 Un esempio esplicito: polinomi 19 in una ipotesi. Analizziamo un problema più specifico seguendo l esempio di Angluin [AS83]: pensiamo ad un gioco che si svolge tra di un uomo ed un calcolatore elettronico. Il calcolatore fornisce dei numeri stampandoli su di un terminale, l uomo deve indovinare in base ai numeri precedentemente forniti, quale sarà li prossimo numero della sequenza. Se l uomo sbaglia il calcolatore lo corregge fornendogli il numero giusto. Uno svolgimento del gioco può essere: il calcolatore stampa 2 L uomo scrive 3 Il calcolatore stampa: SI 2, 3 L uomo scrive: 4 Il calcolatore stampa: NO 2, 3, 5 L uomo scrive: 7 Il calcolatore stampa: SI 2, 3, 5, 7 L uomo scrive 11 Il calcolatore stampa: SI 2, 3, 5, 7, L uomo vince se riesce a scoprire quale è la regola con la quale i numeri sono generati, cioè quando le sue previsioni sul prossimo numero saranno sempre esatte. Per rendere il gioco interessante supponiamo che il calcolatore sia onesto, cioè non cambi la regola per la produzione dei numeri durante il gioco. La possibilità di vincere a questo gioco sembra dipendere dalla classe di regole a cui il calcolatore può accedere per generare i numeri. Ad esempio il calcolatore può essere programmato per generare il primo numero a caso e per rispondere nel seguito sempre NO, correggendo la congettura aumentando il numero pensato dall uomo di una unità. Questa è una regola che non permette di indovinare il prossimo numero: la nostra congettura sul prossimo numero sarà sempre inferiore di 1 al numero che il calcolatore genererà come corretto. Studiamo un caso specifico; supponiamo che le regole tra cui il calcolatore può scegliere sia l insieme dei polinomi di una variabile a coefficienti interi P: p(n) =a 0 + a 1 n + a 2 n a i n i +... P (1.2) con a i Z La sequenza fornita dal calcolatore c 1,c 2,c 3,..., c i,... con i N sarà generata dal polinomio p nel senso che c j = p(j) j N

24 20 Inferenza induttiva Ad esempio se il polinomio generatore è x 2 + 1, la sequenza visualizzata sarà: 2, 5, 10, 17, 26, 37, 50, 65, Consideriamo ora due algoritmi che con certezza permettono di vincere in questo caso. Si scelga una numerazione effettiva di tutti i polinomi a coefficienti interi P. Una possibile numerazione si ottiene elencando per d = 0, 1, 2, 3,... tutte le (d + 1) ple di interi compresi tra [ d, d], e usando queste (d + 1) ple come coefficienti di 1, n, n 2,..., n d. Per d = 0 si ottiene Per d = 1 si ottiene Per d = 2 si ha 0 = p(n) = 0 1, 1 = p(n) = 1 + n 1, 0 = p(n) = 1 1, 1 = p(n) = 1 n 0, 1 = p(n) =n 0, 0 = p(n) = 0 0, 1 = p(n) = n 1, 1 = p(n) = 1+n 1, 0 = p(n) = 1 1, 1 = p(n) = 1 n 2, 2, 2 = p(n) = 2 + 2n +2n 2 2, 2, 1 = p(n) = 2 + 2n + n 2 2, 2, 0 = p(n) = 2 + 2n 2, 2, 1 = p(n) = 2 + 2n n 2 2, 2, 2 = p(n) = 2 + 2n 2n 2 2, 1, 2 = p(n) = 2 + n +2n 2 2, 1, 1 = p(n) = 2 + n + n e così via. Per ogni valore di d vi sono esattamente (2d + 1) d+1 (d + 1) ple distinte; inoltre se d 1 e d 2 sono due numeri naturali, ed accade che d 1 <d 2 l insieme dei polinomi numerati da d 2 contiene propriamente l insieme dei polinomi numerati da d 1. Questa elencazione ricopre, numerandolo in maniera effettiva, tutto linsieme P, man mano che d cresce.

25 1.4 Un esempio esplicito: polinomi 21 Possiamo usare questa numerazione di P per vincere il nostro gioco contro il calcolatore. Per congetturare il prossimo numero della sequenza y 1,y 2,..., y t, si sceglie il primo polinomio p della numerazione di P tale che p(i) =y i con 1 i t. La congettura sul prossimo numero della sequenza sarà p(t + 1). Questa procedura ci porta con sicurezza alla vittoria. Supponiamo che il calcolatore usi il polinomio q(n) =a 0 +a 1 n+a 2 n a r n r per produrre i numeri della sequenza nel gioco. Questo polinomio appartiene a P e quindi è nella numerazione precedente. Precisamente q(n) viene elencato quando d supera il massimo tra i valori assoluti degli a i e il valore di r. Consideriamo la prima occorenza di q(n) nella numerazione: tutti i polinomi che precedono questo valore differiranno da q(n) per qualche n. Quando l insieme y 1,y 2,..., y t sarà grande abbastanza verranno rigettati tutti i polinomi che precedono nella numerazione q(n). Da quel punto in poi si userà proprio q(n) per congetturare i prossimi numeri della sequenza, e quindi tutte le previsioni saranno corrette. Questo metodo di congettura per numerazione, che cerca sistematicamente in tutto lo spazio delle possibili regole, eliminando quelle che non sono compatibili con i dati finora conosciuti, cerca attraverso più di d d differenti polinomi per arrivare al corretto grado d della soluzione: se m è il massimo tra { a 0, a 1,..., a r,r}, verrano esaminti almeno m i=0 (2i + 1)i+1. Prendiamo i valori disponibili della sequenza, cioè il segmento iniziale y 1,..., y t, interpoliamo cercando un polinomio di grado al massimo uguale a t 1 che passi per questi punti, usiamo questo polinomio per predire il prossimo valore della sequenza. Il seguente teorema [Dav63] ci assicura che questo metodo conduce al successo Teorema 1.2 (di Interpolazione). 2 Se con P n si indica l insieme dei polinomi di grado minore uguale a n, dati n +1 punti distinti (reali o complessi) z 0,z 1,..., z n e n +1 valori (reali o complessi) w 0,w 1,..., w n, esiste ed è unico il polinomio p(z) P n tale che p(z i )=w i con i =0, 1,..., n Il metodo vero e proprio per eseguire l interpolazione ed ottenere il polinomio consiste nel risolvere il sistema che si ottiene usando la sequenza 2 Questo teorema generalizza il fatto che per due punti passa un unica retta.

26 22 Inferenza induttiva iniziale y 1,..., y t y 1 = a 0 + a a t 1 y 2 = a 0 +2a t 1 a t 1... y t = a 0 + ta t t 1 a t 1 Quando la sequenza iniziale avrà un numero di elementi superiore al grado del polinomio che genera la sequenza, l interpolazione fornisce per il teorema precedente il risultato corretto. Entrambi i metodi presentati hanno successo al limite: esiste un tempo t dopo il quale il polinomio congetturato risulta essere quello corretto. Si può però intuire come il metodo per numerazione richieda un quantità di calcolo nettamente superiore al metodo per interpolazione, che per convergere ad un polinomio di grado d usa un numero di operazioni aritmetiche polinomiale in d. L esistenza del metodo di interpolazione per la classe dei polinomi dimostra che la dimensione dello spazio di ricerca non è l unico fattore determinante per l esistenza di un metodo di inferenza efficiente. Un vantaggio che ha il metodo per numerazione rispetto a quello per interpolazione è sicuramente la generalità: allargando la classe delle regole possibili a tutte le fuzioni aritmetiche si può pensare ad una nuova numerazione effettiva che ci consente ancora di inferire la funzione giusta. Questo non è possibile con il metodo per interpolazione. Una considerazione valida per entrambi i metodi è che in caso di vittoria non si sa di aver vinto: anche essendo arrivati ad inferire il polinomio giusto e indovinato un numero notevole di numeri in successione, non si può mai essere sicuri che ad un certo punto non venga una previsione sbagliata. Per rimuovere questa insicurezza ed essere certi di aver vinto si devono avere delle informazioni aggiuntive sulla forma della soluzione, come ad esempio il massimo grado del polinomio usabile come ipotesi. Questa certezza di trovare una soluzione accompagnata dall impossibilità di riconoscerla quando la si ottiene è tipica dei problemi di induzione in cui si lavora con sequenze non terminanti e si richiede un accordo con l intera sequenza. Se si volesse inferire un polinomio che ha come primi dieci valori: 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,... si potrebbe ragionevolmente pensare che la soluzione sia il polinomio costante: p(n) = 1