Politecnico di Torino

Transcript

1 Politecnico di Torino III Facoltà di Ingegneria Corso di Laurea Magistrale in Ingegneria Informatica Tesina di Intelligenza Artificiale Applicazione del classificatore Naive Bayes in un software di geo-localizzazione basato su reti WiFi Docente: Ing. Piccolo Elio Studente: de Pinto Alessandro A.A. 2012/2013

2 Introduzione Nella breve trattazione che segue si enfatizzeranno le scelte architetturali e metodologiche adottate al fine di implementare un sistema software di geo-localizzazione in ambito Indoor basato sull acquisizione e corretta gestione di informazioni di reti WiFi. In particolare, con il fine di determinare la posizione fisica di un dispositivo in un dato luogo, andando ad analizzare le reti wireless presenti e la relativa intensità del segnale ricevuto, ci si focalizzerà maggiormente sul problema della classificazione dei luoghi e del loro corretto riconoscimento da parte dell applicativo software adottando le tecniche proprie del ragionamento Bayesiano mediante un classificatore Naive Bayes. Il classificatore Un sistema di classificazione o di riconoscimento ha solitamente il compito di fornire all utente finale una valutazione della realtà osservata avvalendosi di una suddivisione del mondo reale in classi aventi caratteristiche omogenee. L obiettivo dell analisi di classificazione si traduce quindi nella verifica dell esistenza di differenze tra le classi conosciute in funzione di variabili e parametri considerati e la formulazione di un modello che sia in grado di assegnare ciascun campione alla classe a cui appartiene. La classificazione dei luoghi Per classificazione dei luoghi fisici si intende la possibilità di ricondursi ad un luogo specifico, memorizzato in precedenza, basandosi semplicemente su informazioni accessibili liberamente in un dato istante di tempo dal dispositivo sul quale verrà eseguito l applicativo di geo-localizzazione. Nella fattispecie tali informazioni saranno: le reti wireless presenti nel luogo di interesse ed identificate univocamente mediante il MAC address associato al dispositivo trasmettitore; la potenza del segnale associata a ciascuna rete, espressa in db. Quest ultima informazione risulta particolarmente utile al fine di distinguere luoghi interni ad uno stesso edificio, localizzati ad una distanza limitata nello spazio: si pensi, ad esempio, a luoghi su uno stesso piano o su piani differenti dello stesso stabile, dove è molto probabile che ci sia una medesima rete wifi. 2

3 In questo caso specifico la potenza del segnale permetterà di distinguere con maggiore precisione un luogo da un altro realizzando una simil-triangolazione come avviene per la telefonia cellulare, nell ipotesi che siano presenti più di una rete wireless in un luogo. Di seguito si riporta una rappresentazione grafica che illustra la situazione semplificata che il classificatore Naive Bayes si trova ad affrontare: ci sono molto spesso un numero variabile di reti wifi ed i vari luoghi saranno individuati univocamente mediante l intersezione delle varie potenze del segnale di ciascuna rete acquisita. Figura 1 - Esempio di disposizione delle reti wireless in un piano di un edificio Un problema che occorre non sottovalutare nella scelta di un classificatore è quello dato dalla frequente variabilità del contesto ambientale di lavoro in cui l applicativo è tenuto ad operare: trattandosi di reti wireless che utilizzano l etere come canale di propagazione del segnale, saranno soggette a variazioni più o meno imprevedibili dovute a situazioni non sempre sotto il proprio controllo e che il classificatore, debitamente addestrato mediante numerosi esempi di training, dovrà essere in grado di gestire con basso tasso di errore. Come esempio di quanto appena asserito si tenga presente che, in una stanza anche il solo aprire o chiudere una porta che il linea d aria si trova tra il dispositivo di ricezione e quello di trasmissione può comportare una variazione fino a 3-5 db rispetto ai valori medi di potenza del segnale rilevato e ciò potrebbe portare, sotto opportune ipotesi, a considerare il segnale stesso ammissibile o meno in un range di accettazione della misura rispetto ai casi di training memorizzati nel sistema. 3

4 Il Classificatore Naive Bayes Il classificatore Naive Bayes è un metodo di apprendimento bayesiano che si rivela utile in molte applicazioni, tra cui la classificazione di luoghi indoor. E un modello di apprendimento che, come dice il nome stesso, è basato sull'assunzione semplificativa che tutti gli attributi che descrivono una certa istanza di classe sono tra loro condizionatamente indipendenti. Di seguito si riporta il comportamento teorico del suddetto classificatore che ne evidenziano le potenzialità. Sia A = {A 1,,A n } un insieme di variabili che modellano gli attributi delle istanze da classificare e sia C={C 1,,C n } una variabile i cui stati rappresentano le categorie a cui appartengono le istanze. Occorre quindi stimare una funzione che, applicata ad ogni istanza, fornisca la classe di appartenenza dell'istanza stessa, partendo da un insieme di dati di addestramento D in cui ogni elemento d i = {a 1,,a n } è descritto tramite i valori dei suoi attributi e tramite la sua classe c i. Nel caso specifico di studio d i saranno proprio i luoghi memorizzati che forniscono l addestramento per il classificatore. Per classificare una nuova istanza partendo dalla sua descrizione in termini di attributi, secondo l'approccio bayesiano, si calcolano le probabilità a posteriori P(c j d i ) con j = 1,,n e si determina la categoria c j che massimizza tale probabilità secondo l Ipotesi Maximum a Posteriori (MAP): ( ) ( ) Noto che il teorema di Bayes permette di esprimere la probabilità a posteriori in funzione della verosimiglianza e della probabilità a priori, allora si ha che: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Si noti che, nell ultima equazione, è stato possibile trascurare il termine P(d i ) = P(a 1,, a n ) poiché esso rappresenta una costante di normalizzazione ed è quindi ininfluente ai fini della massimizzazione. 4

5 Supponendo per semplicità che tutti gli attributi A i A che descrivono un'istanza siano realizzazioni diverse della stessa variabile aleatoria caratterizzata da m stati distinti, cercando di stimare i due termini dell'equazione precedente si ha che: il termine P(c j ) può essere stimato facilmente contando il numero di volte che la classe c j compare tra i dati; la stima del termine P(a 1,, a n c j ) è computazionalmente più onerosa, perché il numero di configurazioni che può assumere è dato dal numero di possibili istanze moltiplicato per il numero dei possibili valori obiettivo. Il Classificatore Naive Bayes: punti di forza In riferimento a quanto detto pocanzi, per avere una stima attendibile, servirebbero un numero di entry informative nella base dati di training piuttosto elevato e questo non è sempre possibile se non andando a considerare tempistiche di apprendimento elevate che inevitabilmente, nell applicazione software di geo-localizzazione, andrebbero ad inficiarne l utilizzo in real-time con l utente finale magari costretto ad attendere fermo in un luogo fintanto che la base dati non sia sufficientemente popolata da validi dati di training: certamente una situazione non ragionevole. Per ridurre il numero dei parametri da stimare e, corrispondentemente, il numero di dati necessari, si adotta l'ipotesi semplificativa che gli attributi siano mutuamente indipendenti data la classe dell'istanza: ( ) ( ) ( ) ( ) Sostituendo quest ultima equazione alla precedente c MAP, si ottiene: ( ) ( ) In definitiva dunque il numero totale dei parametri da stimare si riduce sensibilmente e ciò permette una computazione più agevole e tempi di risposta molto più rapidi. Notare che se è soddisfatta l'ipotesi di indipendenza degli attributi il classificatore Naive Bayes esegue una stima MAP (Ipotesi Maximum a Posteriori), quindi si dimostrerà che c NB = c MAP. 5

6 Lo smoothing Considerata l elevata dinamicità delle rilevazioni delle reti wireless in un dato luogo ed istante di tempo e data la scelta di non realizzare intenzionalmente una base dati di training esaustiva per ogni singolo luogo memorizzato per non generare rilevanti tempi di attesa e un proporzionale aumento di memoria occupata, si è adottata la tecnica dello smoothing. Normalmente si valuta la probabilità di un evento come, dove: n c è il numero di occorrenze dell evento; n rappresenta il numero totale di prove. Per fronteggiare problemi legati a possibili n c non sufficientemente grandi o addirittura nulli che potrebbero portare a stime errate del classificatore allora si adotta la tecnica dello smoothing esplicitata dalla relazione:, dove: p è la stima a priori della probabilità che si intende determinare; m è una costante chiamata equivalent sample size che determina il peso relativo di p in relazione ai dati osservati. In definitiva l'equazione può essere interpretata come l'aver aggiunto m dati virtuali distribuiti secondo p agli n dati reali, pesando in modo relativo la conoscenza a priori e l'informazione presente nei dati. Qualora non si disponga di alcuna informazione a priori, p può essere scelto in modo uniforme: se un attributo assume k valori, allora p = 1/k. Invece il termine m si pone solitamente pari al numero di valori distinti assunti (k nel caso precedente) così da poter asserire che ogni valore è apparso sempre almeno una volta prima di cominciare a contare. In questo caso specifico si osserverà che m*p=1 e questa è una situazione conosciuta come add-one smoothing, caso particolare del Laplace Smoothing. Si deduce che: se m = 0 allora l'm-stima coincide con ed utilizza solo l'informazione presente nei dati; se m e n sono entrambi diversi da zero, l'informazione a priori p e la stima ricavata dai dati sono combinate in accordo con m. 6

7 Osservazioni pratiche E importante notare come spesso l assunzione che i valori dei singoli attributi siano condizionalmente indipendenti sia violata nella maggior parte dei problemi reali come, ad esempio, nella geo-localizzazione del luogo in cui ci si trova poiché, una stessa rete potrebbe concorrere a distinguere luoghi differenti. L'assunzione di indipendenza permette di apprendere separatamente i parametri di ogni attributo, semplificando molto l'apprendimento, specialmente in quelle situazioni, come quella in esame, in cui il numero di attributi è molto elevato ed in cui i dati a disposizione non sono molto numerosi. La scelta di adottare il classificatore Naive Bayes è risultata ulteriormente avvalorata dal fatto che permette la classificazione di istanze che possono essere descritte mediante un insieme di attributi di cardinalità anche molto elevata: infatti occorre stimare i parametri del modello utilizzando i dati a disposizione dalla corrente acquisizione delle reti wifi in un dato istante di tempo e la stima di questi parametri corrisponderà ad aver identificato un modello (luogo) tra tutti quelli presenti nello spazio delle ipotesi avente maggiore similarità. Al contrario, alcune tecniche di apprendimento riducono drasticamente la numerosità delle reti per ciascun luogo memorizzato limitandole, ad esempio nel caso specifico, solo a quelle aventi maggiore potenza di segnale e trascurando quelle a minor contenuto energetico in db in modo da avere poche entry da gestire. Tale scelta concettuale però è improponibile nel campo della geo-localizzazione poiché mediamente solo un esiguo numero di reti è realmente irrilevante ai fini della classificazione e quindi un'eccessiva diminuzione porta ad un deterioramento delle prestazioni del classificatore. Soluzioni adottate Affinché ci sia un aggiornamento dinamico e costante delle reti riferite ad uno specifico luogo nel tempo, considerando non remota l ipotesi che il numero e l intensità delle reti percepite in un luogo possa variare anche con medio-alta frequenza, allora sarà necessario considerare la possibilità di sostituire le scansioni meno recenti con quelle correnti ogni qualvolta si effettua una rilevazione delle reti ed il classificatore Naive Bayes individua correttamente il luogo associato. Dunque occorrerà un intervento umano che possa confermare la correttezza dell output del classificatore così da permettere un aggiornamento delle informazioni memorizzate per ciascun luogo. 7

8 Si tenga presente che, per scelta implementativa, anche possibili output errati forniti dal classificatore verranno memorizzati all interno del luogo ma prestando attenzione a segnalarli, mediante una variabile booleana, come non corretti. È infatti emerso, durante le simulazioni, che spesso luoghi adiacenti potrebbero condividere 1 o più reti aventi un medesimo range di potenza del segnale e ciò andrebbe a scapito della corretta classificazione del luogo corrispondente. Quindi, prima di adoperare nel software il risultato del classificatore, si andranno a confrontare le probabilità in output e a verificare che probabilità(luogox) > probabilità( luogox), ovvero che sia più probabile l ipotesi di essere in un luogo piuttosto di non essere nel medesimo luogo sfruttando la base di training contenente anche le misclassificazioni passate. Data la significativa mole di informazioni legate alle reti acquisite in un singolo luogo si è ritenuto utile evitare molteplici letture e scritture su file prediligendo l implementazione di una base dati gestita da un DBMS facilmente interrogabile mediante query SQL così da poter generare, in tempi estremamente ridotti, il calcolo delle frequenze con cui appare ogni valore target (rete wifi + potenza del segnale) nel training set dei vari luoghi memorizzati. Da segnalare l utilizzo dello smoothing in modalità add one smoothing andando a settare i parametri: k=2 pari al numero di valori che può assumere una data rete, ovvero iscorrect or (NOT iscorrect) in riferimento al fatto che una data rete con la sua potenza associata sia nel range di accettazione o meno; m=k che permette di allargare il numero di prove immaginando un numero di campioni virtuali pari al numero di valori assunti k così da assumere che ogni valore è apparso almeno una volta prima di cominciare a contare; p=1/m che rappresenta la stima a priori della probabilità di trovarsi in uno specifico luogo, con l ipotesi di assumere una distribuzione uniforme dove tutti i possibili luoghi memorizzati abbiano medesima probabilità di essere corretti data una specifica scansione delle reti wifi in un dato istante di tempo. Di seguito si riportano delle snapshot che evidenziano l organizzazione interna del database. 8

9 Figura 2- Snapshot di una scansione delle reti wifi Figura 3- Snapshot di un luogo (Aula 10I) in cui sono presenti entry correttamente classificate e misclassificazioni (iscorrect=0) Conclusione I classificatori nonostante la loro estrema semplicità, riescono a raggiungere buone prestazioni spesso al pari dei più rinnomati algoritmi di apprendimento nel campo dell Intelligenza Artificiale. Si è scelto di evitare l utilizzo algoritmi basati sull apprendimento di concetti a forza bruta poiché computazionalmente molto onerosi e, immaginando un impiego di questi ultimi in un contesto dinamico quale quello della rilevazione di reti wifi variabili in un dato istante di tempo, risulterebbe anche molto complesso sia da implementare che da testare, oltre ad avere un forte impatto nel conseguente consumo 9

10 di risorse e di memoria su device che potrebbero essere fortemente penalizzati da questa scelta (vedi smartphone, tablet, ecc ). Senza dubbio c è da considerare che la classificazione mediante metodo probabilistico realizza delle forti assunzioni sulla generazione dei dati ed utilizzano un modello probabilistico che ingloba queste assunzioni, ovvero il fatto che i valori dei singoli attributi siano condizionalmente indipendenti. Ciò che è stato verificato sperimentalmente al termine del progetto è stato come, nonostante sia violata l assunzione che afferma che i valori dei singoli attributi siano condizionalmente indipendenti, il classificatore Naive Bayes sia comunque in grado di generare output corretti nella maggior parte dei casi evidenziando ulteriormente l efficacia di tale soluzione. Le incongruenze tra una classificazione errata del classificatore Naive Bayes ed il luogo effettivo in cui ci si trova sono da attribuire essenzialmente a scelte di eccessiva riduzione del training set eseguite spesso per non appesantire il comparto storage e computazionale del dispositivo sul quale l applicativo di geolocalizzazione indoor verrà installato ed eseguito: spesso infatti basta iterare, all atto della memorizzazione del training set, un numero maggiore di scansioni sequenziali delle reti, per ovviare a tale problema. 10