Efficient Algorithms for Mining Outliers from Large Data Sets

Transcript

1 Effcent Algorthms for Mnng Outlers from Large Data Sets Artcolo d S. Ramaswamy, R. Rastog, K. Shm Presentazone a cura d Marcoln Serena, Marno Renato 1

2 Indce dell ntervento Defnzon d Outlers Algortm Rsultat e confront 2

3 Da large patterns a small patterns Gl algortm trattat fno ad ora (tra cu Brch, Cure, DBScan) trattano gl outlers, ma tentano d rdurne l nterferenza con l processo d rcerca d large patterns. In molte applcazon real gl outlers (small patterns) contengono le vere nformazon rlevant (es. frod sulle carte d credto, rcerca farmaceutca, applcazon fnanzare). 3

4 Un confronto tra defnzon (1) Un punto p n un data set è un outler rspetto a parametr k e d se non pù d k punt sono a dstanza mnore o uguale a d da p. ( Knorr, Ng, 1998) Vantagg: non rchede a pror la conoscenza della dstrbuzone de dat. Svantagg: Il parametro d vene defnto come nput. Non classfca gl outlers. Problem computazonal degl algortm che lo mplementano. 4

5 Un confronto tra defnzon (2) Dat un data set d N punt e parametr n e k, k un punto p è un outler D se non c sono pù d n-1 punt p t.c. D k (p )> D k n (p) n numero d outlers rcercat k numero d vcn consderat D k (p) dstanza d p dal knn Vantagg: Non rchede d specfcare la dstanza d n nput. Gl outlers vengono classfcat n fuzone della loro D k (p). Funzona con dstanze metrche (L p ) e non metrche. 5

6 Notazon (1) Dstanza tra due punt: eucldea al quadrato Dstanza tra p e R: p,r є spazo δ-dmensonale MINDIST( p, R)= x2 = 1 y r p p r p r r p x Dove x = r p, p < p r ', r ' < 0, altrment r p 6

7 7 Notazon (2) Dstanza tra p e R: p,r є spazo δ-dmensonale Dove = )= 1 2, ( x R p MAXDIST + < = altrment r p r r p p r x, 2 ', ' p r r y x

8 8 Notazon (3) Dstanza tra S e R: S,R є spazo δ-dmensonale = )= 1 2, ( x R S MINDIST < < = altrment s r r s r s s r x 0, ' ', ', ' = )= 1 2, ( x R S MAXDIST = s r r s MAX x ', ' s s r r x y

9 Algortm Nested Loop Algorthm Index Based Algorthm Partton Based Algorthm 9

10 Nested Loop Algorthm Idea d base: per ogn punto p del DS calcola D k (p) e prende prm n punt con l massmo valore d D k (p). Calcolo d D K : Mantenmento de k-nn d p Scansone del data base per ogn punto p Check: per ogn q del data set, se dst(p,q) è mnore della D k corrente, q vene nserto nella lsta de k-nn Se la lsta contene pù d k element s elmna l punto pù lontano da p. 10

11 Index-Base Algorthm (1) Idea d base ved algortmo precedente Problema: complesstà computazonale O(N 2 ) Utlzzo d R * -tree: dmnure l numero d computazon nel calcolo delle dstanze. Prunng optmzaton 1: se la dstanza mnma tra p e MBR d un nodo (MINDIST(p,Node)) è maggore del D k (p) corrente Prunng dell ntero sottoalbero 11

12 Index-Base Algorthm (1) Prunng optmzaton 2: 1. Mantenamo n memora una lsta degl n outler mglor trovat fno ad ora. 2. Ogn outler ha una sua D k. Chamamo mndkdst la dstanza mnma tra queste. 3. Ogn punto p, l cu valore corrente d D k (p) è mnore o uguale a mndkdst, non sarà ma un ouler. Non outler mndkdst 12

13 Index-Base Algorthm (2) Scopo:calcolare k D outler 1,2 Costruzone dell ndce 3 outheap:lsta degl n punt con massmo D k n ordne crescente (outlers) 5,6 Per ogn punto p s calcola D k (p)= p.dkdst usando la procedura 7 Test sul valore d D k (p) 9,10 Se Dk(p) è nserto s aggorna la lsta affnchè contenga n element 11 S pone mndkdst uguale al prmo elemento della lsta outheap n Procedure computeoutlersindex(k,n) begn 1. for each pont p n nput data set do 2. nsertintoindex(tree, p) 3. outheap :=0 4. mndkdst := 0 5. for each pont p n nput data set do { 6. getkthneghbordst(tree.root, p, k, mndkdst) 7. f (p.dkdst> mndkdst){ 8. outheap.nsert(p) 9. f (outheap.numponts()> n)outheap.deletetop() 10. f (outheap.numponts( )= n) 11. mndkdst := outheap.top().dkdst 12. } 13. } 14. return outheap end 13

14 Index-Base Algorthm (3) Scopo: calcolare D k (p) d un punto p esamnando nod del R*-tree 1 nodelst: contene nod dell ndce ordnat secondo MINDIST da p ascendente. 3 nearheap:lsta de k vcn d p esamnat, n ordne decrescente della loro dstanza da p 4 Durante ogn terazone s esamna l prmo nodo della lsta 8,9.S cercano k vcn del punto p controllo del numero d element n nearheap, eventuale elmnazone ed aggornamento d pdkdst 13 Prunng 2 17,18 Se l nodo è nteror node nsermento de nod fgl n nodelst 21Prunng 1 Procedure getkthneghbordst(root, p, k, mndkdst) begn 1. nodelst := { Root } 2. p.dkdst := 3. nearheap := 0 4. whle nodelst s not empty do { 5. delete the frst element, Node, from nodelst 6. f (Node s a leaf) { 7. for each pont q n Node do 8. f (dst(p, q) < p.dkdst) { 9. nearheap.nsert(q) 10. f (nearheap.numponts()> k)nearheap.deletetop() 11. f (nearheap.numponts() = k) 12. p.dkdst :=dst(p, nearheap.top()) 13. f (p.dkdst<=mndkdst) return 14. } 15. } 16. else { 17. append Node s chldren to nodelst 18. sort nodelst by MINDIST 19. } 20. for each Node n nodelst do 21. f (p.dkdst <= MINDIST(p,Node)) 22. delete Node from nodelst 23. } 14 end

15 Partton Based Algorthm Idea d base: Partzonamento del DS e prunng sulle partzon che non contengono outlers. Implcazon: > veloctà nel calcolo degl outlers < overhead nella fase d preprocessng. Macofas del processo: 1. Generazone delle partzon. 2. Calcolo del lmte sup. e nf. d D k (p) per punt n ogn partzone. 3. Selezon delle partzon che possono contenere outlers. 4. Calcolo degl outlers da punt delle sole partzon consderate. 15

16 1-Generazone delle Partzon Usamo la fase d pre-clusterng d Brch (scala lneramente n N) Brch genera un set d clusters d dmensone unforme che stanno n memora. Ogn cluster è una partzone e vene rappresentata come un MBR. N.B. non utlzzamo Brch per scovare outlers, ma solo per generare partzon! 16

17 2-Calcolo del lmte sup. e nf. d D k (p) Per ogn partzone P, calcolamo l lmte superore ed l lmte nferore della D k (p), vald per tutt punt ntern alla partzone. per ogn p є P, P.lower <= D k (p) <= P.upper P.lower e P.upper possono essere defnt determnando le L partzon pù vcne a P per MINDIST e MAXDIST tal che l numero totale de punt d P 1,,P L è almeno k. (S. Ramaswamy, R. Rastog, K. Shm). Qund Consdero le L partzon pù vcne a P tal che l numero totale de punt d P 1,,P L è almeno k. P.lower èla mnma MINDIST ( P,P ) per = 1,,L P.upper èla massma MAXDIST ( P,P ) per = 1,,L 17

18 3-Determnazone delle partzon canddate S dentfcano le partzon che potenzalmente contengono outlers (Candset) e s potano quelle rmanent. S defnsce mndkdst da bound dello step precedente: Sano P 1,,P L le partzon con l massmo valore d P.lower tal che la somma de punt sa almeno n: mndkdst = mn { P.lower } per 1<= <= L Data una partzone P, questa è una partzone canddata se P.upper >= mndkdst. 18

19 4-Rcerca degl outlers Per ogn partzone P chamamo P.neghbors l nseme delle partzon pù vcne: { P } : MINDIST( P,P ) < = P.upper Procedamo con la rcerca degl outlers attraverso l calcolo della D k (p) per ogn punto p (Index Based Algorthm). se l punto p є P, allora sol altr punt da consderare per l calcolo d D k (p) sono solo quell appartenent a P.neghbor. P. neghbor << DataSet 19

20 Partton Based Algorthm (1) Scopo: selezonare le partzon che contengono outlers 3 partheap:lsta delle partzon con l valore P.lower maggore contenent almeno n punt, memorzzate n ordne crescente d P.Lower 8-13 se per una partzone P, Plower è pù grande del valore corrente d mndkdst,la partzone vene nserta n partheap e vene aggornato l valore d mndkdst 13 mndkdst è posto uguale al prmo valore della lsta partheap per ogn partzone canddata P s va a costrure Pneghbors composte dalle partzon Q che potenzalmente possono contenere l Kth NN per un punto P. 23 la procedura resttusce l nseme delle partzon canddate da esamnare nell ultmo step dell algortmo Procedure computecanddateparttons(pset, k, n) begn 1. for each partton P n PSet do 2. nsertintoindex(tree, P) 3. partheap := 0 4. mndkdst := 0 5. for each partton P n PSet do { 6. computelowerupper(tree.root, P, k, mndkdst) 7. f (P.lower > mndkdst) { 8. partheap.nsert(p) 9. whle partheap.numponts() _ 10. partheap.top().numponts()>=n do 11. partheap.deletetop() 12. f (partheap.numponts() >=n) 13. mndkdst := partheap.top().lower 14. } 15. } 16. candset := for each partton P n PSet do 18. f (P.upper>= mndkdst) { 19. candset := candset U {P} 20. P.neghbors := 21. {Q: Q Є PSet and MINDIST(P,Q)<= P.upper } 22 } 23. return candset end 20

21 Partton Based Algorthm (2) Scopo: calcolare P.lower e P.Upper della partzone P 3 lowerheap: lsta delle partzon vcne ordnate per MINDIST da P decrescente 3 upperheap: lsta delle partzone vcne ordnate per MAXDIST da p decrescente 6-15 controllo MINDIST(Q,P), eventale nsermento n lowerheap ed aggornamento della lsta controllo MAXDIST(P,Q), eventale nsermento n upperhead ed aggornamento della lsta. 23 controllo con MnDkDs ed eventuale prunng 28,29 Se l nodo è nteror node nsermento de nod fgl n nodelst controllo dstanza del nodo dalla partzone consderata Procedure computelowerupper(root, P, k, mndkdst) Begn 1. nodelst := { Root } 2. P.lower := P.upper := 3. lowerheap := upperheap := 0 4. whle nodelst s not empty do { 5. delete the frst element, Node, from nodelst 6. f (Node s a leaf) { 7. for each partton Q n Node { 8. f (MINDIST(P,Q)<P.lower) { 9. lowerheap.nsert(q) 10. whle lowerheap.numponts() lowerheap.top().numponts()>=k do 12. lowerheap.deletetop() 13. f (lowerheap.numponts() >= k) 14. P.lower := MINDIST(P, lowerheap.top()) 15. } 16. f (MAXDIST(P,Q)< P.upper) { 17. upperheap.nsert(q) 18. whle upperheap.numponts() upperheap.top().numponts() >= k do 20. upperheap.deletetop() 21. f (upperheap.numponts() >= k) 22. P.upper := MAXDIST(P, upperheap.top()) 23. f (P.upper <= mndkdst) return 24. } 25. } 26. } 27. else { 28. append Node s chldren to nodelst 29. sort nodelst by MINDIST 30. } 31. for each Node n nodelst do 32. f (P.upper <= MAXDIST(P,Node) and 33. P.lower <= MINDIST(P,Node)) 34. delete Node from nodelst 35. } end 21

22 Caso applcatvo Data base NBA, dat stagone gocator consderat Normalzzazone de valor delle colonne Specfche d rcerca: k=10 neghbors n=5 outlers 22

23 Applcazone PBA Gl outlers sono que gocator che presentano un valore maggore d D k I gocator che tendono a domnare n una o due colone e sono partcolarmente scars n altre, rsultano gl outlers pù fort. Non compaono, nvece, nella lsta gocator ben blancat n tutte le statstche. Gl otulers tendono ad essere pù nteressant se vengono consderate poche dmenson 23

24 Confronto fra gl algortm S consdera un data set costruto artfcalmente: Data set bdmensonale 100 cluster (sferc d raggo 4) organzzat n una grgla 10 X 10 Parametr d confronto 1. Numero d punt nel Data Set 2. Numero d outler 3. KthNN 4. Numero d dmenson 24

25 Confronto fra gl algortm (2) Numero d punt nel Data Set - Block nested-lopp: worst performer, O(N 2 ) - Index- based: mglore d block nested-loop ma 2-6 volte pù lento d PBA - PBA: best performer - 75% partzon completamente elmnate -Le operazon d prunng sono meno effcac se N cresce ma non cresce l numero d partzon Numero d outler - Crescta graduale del tempo d esecuzone per tutt gl algortm 25

26 Confronto fra gl algortm (3) KthNN PBA non degrada al crescere d k Se k cresce l numero d partzon canddate decresce sgnfcatvamente,n quanto k mpone un valore d mndkdst maggore e qund pù prunng, ma s tende ad avere molt vcn e qund gl effett s compensano. Al crescere d k la performance dell algortmo peggora, n quanto se ogn partzone contene poch punt l costo computazonale per l calcolo de bounds s alza. In questo caso l algortmo tende a convergere con ndex-base Numero d dmenson PBA cresce sub-lneramente al crescere del numero d dmenson Index based cresce molto rapdamente a causa dell alto dervante dall uso d R*-tree. 26

27 Concluson del confronto Partton based algortm scala bene sa n relazone alla grandezza del Data Set (num. d punt), che n funzone della dmensonaltà dello stesso. Partton based è pù veloce d almeno un ordne d grandezza rspetto agl altr algortm consderat. 27