Dati di tipo video. Indicizzazione e ricerca video

Transcript

1 Corso d Laurea n Informatca Applcata Unverstà d Urbno Dat d tpo vdeo I dat vdeo sono generalmente rcch dal punto d vsta nformatvo. Sottottol (testo) Colonna sonora (audo parlato e/o musca) Frame (mmagn catturate e rprodotte a veloctà costante), Metadat (ttolo, autore, produttore, ecc ). Corso d Laurea n Informatca Applcata Unverstà d Urbno Indczzazone e rcerca vdeo Metod basat su metadat: nformazon memorzzate n manera strutturata n RDBMS tradzonal Metod basat sul testo: sottottol o la trascrzone de dalogh sono utlzzat con tecnche d IR standard per l ndczzazone e la rcerca Metod basat sull audo: segmentazone n parlato e nonparlato e tecnche d speech recognton per ottenere l testo e qund tecnche d IR sul testo Metod basat sul contenuto con 2 approcc dstnt: Consderare l vdeo come una sere d mmagn ndpendent utlzzando le tecnche per le mmagn (s perdono le nformazon temporal e la mole d dat da elaborare è molto grande) Dvdere frame n grupp (shots) e l ndczzazone è basata su frame rappresentatv d ogn shot Approcc ntegrat: due o pù metod sono utlzzat n manera combnata

2 Corso d Laurea n Informatca Applcata Unverstà d Urbno Indczzazone e rcerca basata sugl SHOT SHOT = gruppo d frame contgu che hanno uno o pù delle seguent caratterstche: Frame fanno parte della stessa scena Frame non sono nterrott da uno stacco della telecamera Frame contengono lo stesso evento / azone Esempo: n un vdeo d un telegornale, ogn notza rappresenta uno shot dverso. In un flm, una sere d mmagn con gl stess protagonst present nello stesso ambente è uno shot In molte applcazon è necessaro non soltanto ndvduare quale vdeo contene una determnata nformazone, ma anche quale parte del vdeo la contene. Scorrere un vdeo alla rcerca d una partcolare sequenza è una operazone che rchede molto tempo: Sono necessare tecnche d SEGMENTAZIONE de vdeo per l dentfcazone automatca degl shot Corso d Laurea n Informatca Applcata Unverstà d Urbno Segmentazone automatca(1) I frame consecutv che stanno prma e dopo d un cambo d camera generalmente mostrano un elevato cambamento quanttatvo nel loro contenuto. Per ndvduare gl shot occorre defnre una msura quanttatva che cattur la dfferenza tra una coppa d frame: Data una certa sogla, se la dfferenza tra un frame e l successvo supera tale valore, l punto vene consderato una nterruzone tra shot dvers.

3 Corso d Laurea n Informatca Applcata Unverstà d Urbno Segmentazone automatca(2) La prma msura potzzable per calcolare la dfferenza tra due frame è la somma, pxel per pxel, delle dfferenze tra frame: tale metodo non funzona bene n quanto la presenza d oggett n movmento tra l prmo e l secondo frame causa grand dfferenze anche all nterno della stesa scena e porta a ottenere molte false nterruzon d shot. Un secondo metodo consste nella msura della dfferenza tra gl stogramm d colore de due frame consecutv: Il concetto utlzzato è che l movmento d oggett all nterno della stessa scena causa pccole varazon nell stogramma dell mmagne Se la varazone è grande, probablmente samo d fronte ad un cambo d scena. Corso d Laurea n Informatca Applcata Unverstà d Urbno Calcolo della dfferenza tra stogramm d colore Calcolo della dstanza tra frame: H ( j) H+ 1 j SD = ( j) Dove H (j) denota l stogramma d colore dell -esmo frame e j e un bn dell stogramma Se SD supera una sogla ammettamo un cambo d shot La scelta della sogla per l ndvduazone degl shot è molto crtca per l ottenmento d rsultat corrett: deve tollerare le varazon present normalmente tra sngol frame ma ndvduare tutt camb d shot un buon compromesso consste nel consderare un valore d sogla leggermente pù grande della meda d tutte le dfferenze tra un frame ed l successvo.

4 Corso d Laurea n Informatca Applcata Unverstà d Urbno Shot e transzon Quando tra una scena e l altra d un vdeo sono utlzzate le transzon (dssolvenza ncrocata, fade-n, fade-out, ecc ) la dfferenza frame per frame è sempre molto bassa. Sarebbe necessaro ntrodurre una sogla molto pù bassa ma con l rscho d trovare molt cambament d shot che non corrspondono a effettv camb d scena. Corso d Laurea n Informatca Applcata Unverstà d Urbno Segmentazone a due sogle Un meccansmo utlzzato consste nell ntrodurre due sogle dverse: una pù alta Tb utlzzata per determnare camb d camera e una pù bassa Ts per determnare frame ne qual avvene una transzone graduale: Confrontando un frame con l successvo, se la dfferenza è maggore d Tb s ntroduce un cambo d shot, se la dfferenza è mnore d Tb ma superore a Ts l frame è dcharato come un potenzale frame d transzone. Fno a quando s hanno potenzal frame d transzone consecutv, la loro dstanza vene sommata e quando raggunge la sogla Tb s genera un cambo d shot (se la sequenza d potenzal frame d transzone è nterrotta da una dfferenza nferore alla sogla Ts la somma rparte da zero) In generale l compto d ndvduazone degl shot è molto pù complesso n presenza d transzon e le percentual d rconoscmento corretto degl shot sono basse.

5 Corso d Laurea n Informatca Applcata Unverstà d Urbno Il problema del pannng e dello zoom Le operazon d pannng e zoom effettuate con la telecamera generano de cambament gradual (sml alle transzon) che possono portare all ndvduazone d fals shot. Per lmtare questo fenomeno s possono ntrodurre tecnche d anals del movmento d blocch d pxel tra frame successv. Nel caso d pannng e zoom vettor d movmento hanno un precso comportamento: Nel pannng, vanno tutt nella stessa drezone Nello zoom convergono o dvergono dal punto centrale dell mmagne. Corso d Laurea n Informatca Applcata Unverstà d Urbno Cambament d llumnazone Un secondo problema è dovuto alla determnazone d fals shot a causa d cambament d llumnazone. Per evtarl s possono applcare operazon d normalzzazone a color de frame d cu calcolare la dfferenza: Normalzzazone de valor de pxel rspetto all mmagne stessa: ' R ' G ' B = = = R N = 1 R 2 G N = 1 G 2 B N = 1 B 2 Conversone n cromatcta R r = R + G + B ' ' ' ' g R ' ' = b ' ' ' = ' ' R + G + B ' R + G + B R

6 Corso d Laurea n Informatca Applcata Unverstà d Urbno Utlzzo degl SHOT A seguto della ndvduazone degl shot, occorre rappresentare e ndczzare ogn shot n modo che quest possano essere ndvduat e rcercat n manera veloce. Per ogn shot s determnano uno o pù frame rappresentatv (r frame) che vengono usat per l ndczzazone e la rcerca con tecnche sml a quelle vste per le mmagn statche (colore, forma o texture) Quant r frame utlzzo per ogn shot? 1 r frame per ogn shot posso non consderare correttamente le dfferenze d lunghezza tra var shot e non catturare completamente l contenuto d uno shot N r frame ogn secondo gestsco la lunghezza ma non l contenuto (potrebbero anche essere sovrabbondant nel caso d uno shot molto unforme) Suddvdo n sotto-shot utlzzo le stesse tecnche utlzzate per determnate gl shot per ntrodurre un nuovo lvello e genero un r-frame per ogn sotto-shot Corso d Laurea n Informatca Applcata Unverstà d Urbno Indvduazone degl r-frame Se l vdeo è abbastanza statco, ognuno de frame d uno shot può essere scelto come r-frame Se c sono movment d oggett e/o della camera all nterno dello shot, la scelta dell r-frame rveste una mportanza fondamentale per ottenere buone performance d rcerca. Metod possbl: Consdero come r-frame l prmo frame dello shot ( o del sotto-shot) Calcolo un frame medo facendo la meda de color d tutt frame dello shot pxel per pxel Calcolo la meda d tutt gl stogramm de frame dello shot e scelgo come r-frame l frame l cu stogramma è pù vcno all stogramma medo

7 Corso d Laurea n Informatca Applcata Unverstà d Urbno Tecnche basate sulle nformazon d movmento Memorzzano, per ogn frame, le nformazon dervant da moton vectors : drezone prevalente d movmento unformtà del movmento Pannng zoom, Ogn shot vene ndczzato attraverso moton vectors che lo caratterzzano Questa tecnca d solto completa l ndczzazone basata sugl r-frame Corso d Laurea n Informatca Applcata Unverstà d Urbno Tecnche basate sul rconoscmento degl oggett Le tecnche d rconoscmento sono d dffcle applcazone nel caso d mmagn statche. Contraramente a quanto può essere ntutvamente pensato, nel caso d dat vdeo tal tecnche funzonano meglo n quanto l movmento degl oggett tra frame successv fornsce nformazon utl per segmentare l vdeo e rconoscerne sngol element. Gl oggett rconoscut sono qund utlzzat per l ndczzazone degl shot e la successva rcerca.

8 Corso d Laurea n Informatca Applcata Unverstà d Urbno Rappresentazone dat vdeo Rcch dal punto d vsta nformatvo Contengono una dmensone temporale Metod per una rappresentazone compatta che catturno le nformazon essenzal da presentare all utente. Tal tecnche hanno 3 applcazon dverse: Vdeo browsng (scorrere un vdeo rcercando una porzone d nteresse) Una rappresentazone compatta veloczzerebbe d molto tal operazon su vdeo d una certa lunghezza Presentazone de rsultat d una rcerca Un sstema d rcerca rtorna vdeo o shot a seguto d una query dell utente. Una rappresentazone compatta occupa una lmtata porzone d schermo Lmtazone de requst sulla banda d trasmssone. Un utente potrebbe consultare la rappresentazone compatta che occupa molt meno byte dell orgnale Corso d Laurea n Informatca Applcata Unverstà d Urbno Classfcazone de vdeo per argoment E un auslo alla rcerca n quanto consente una maggore focalzzazone sugl nteress nformatv dell utente (rduce lo spazo d rcerca) Può essere utlzzata sa a lvello d ntero vdeo che de suo sngol shot (e qund realzzare una rappresentazone compatta del vdeo stesso)

9 Corso d Laurea n Informatca Applcata Unverstà d Urbno Presentazone vdeo tramte MICON MICON Moton Icon Sono rappresentazon compatte che possono essere applcate agl shot (l analogo delle mnature per le mmagn fsse) Una MICON ha tre dmenson: Un r-frame La profondtà ndca la durata temporale I pxel present su bord orzzontal e vertcal danno una dea del movmento all nterno dello shot S possono mplementare alcune operazon sulle MICON: Browsng: posso portare n prmo pano qualunque frame dello shot Taglo: posso taglare orzzontalmente o vertcalmente l cubo per ottenere nformazon agguntve Corso d Laurea n Informatca Applcata Unverstà d Urbno Browser vdeo gerarchco E uno strumento che consente d spezonare n manera gerarchca var element d un vdeo. L utente s muove sulla gerarcha alla rcerca delle nformazon che gl nteressano Lvello vdeo Vdeo ttolo 3 Lvello scene Scena 1 Scena 2 Scena 3 Scena 4 Scena 5 Lvello shot Shot 1 r frame Shot 2 r frame Shot 3 r frame Shot 4 r frame Shot 5 r frame Shot 6 r frame Lvello frame Frame 21 Frame 22 Frame 23 Frame 24 Frame 25 Frame 26

10 Corso d Laurea n Informatca Applcata Unverstà d Urbno Altre tecnche d rappresentazone compatta Storyboard: Collezone d r-frame che rappresentano le porzon pù mportant d un vdeo Mosacatura: Unone d frame dvers che nel loro nseme descrvono un elemento complesso (ad esempo un edfco) Scene Transton Graph (STG): E una struttura a grafo che cattura n modo compatto sa l contenuto che l flusso temporale d un vdeo (utlzza un concetto smle a quello degl pertest per la rappresentazone de document) Corso d Laurea n Informatca Applcata Unverstà d Urbno Tecnche e strutture dat per la rcerca effcente d smlartà ne dat multmedal Le feature, una volta estratte vengono rappresentate attraverso vettor multdmensonal: Zero crossng rate Slence rato Istogramm d colore,.. ecc La smlartà o la dstanza sono calcolate come dstanza tra vettor che rappresentano le feature estratte. Il calcolo della smlarta e un operazone computazonalmente dspendosa. Se la dmensonaltà del vettore è grande, temp d rcerca per confrontare tutt vettor de dat memorzzat con la query dventano troppo lung Servono tecnche e strutture dat che permettano d organzzare vettor multdmensonal e d effettuare le rcerche n modo veloce. Lo scopo fondamentale d tal tecnche è d suddvdere lo spazo multdmensonale n sottospaz n modo tale che solo alcun d quest debbano essere consderat per rspondere ad una query

11 Corso d Laurea n Informatca Applcata Unverstà d Urbno Tp d query e vettor POINT QUERY: Una query utente è rappresentata da un vettore e la rcerca ha come obettvo quello d trovare gl oggett memorzzat nel database l cu vettore delle feature rsulta dentco a quello della query (exact match) RANGE QUERY: La query è rappresentata da un vettore e da un range d dstanza. Tutt gl oggett la cu dstanza dalla query è nferore o uguale a quella specfcata sono rtrovat (n alcun cas s possono dare range d dstanze per ogn dmensone del vettore) K-NEAREST NEIGHBOR: La query è rappresentata da un vettore e da un ntero k. I k oggett con le dstanze pù pccole dal vettore d query sono rtrovat Le tecnche e le strutture dat che vedremo potranno permettere una o pù delle tpologe d query. Oltre alla rcerca ed al calcolo della dstanza devo permettere INSERIMENTI ed ELIMINAZIONI (non crtche perché possbl offlne) Corso d Laurea n Informatca Applcata Unverstà d Urbno Rduzone dello spazo d rcerca tramte fltraggo In alcune applcazone è possble utlzzare alcun crter per focalzzare la rcerca solo n alcune zone dello spazo multdmensonale. C è una fase d fltro che deve essere molto effcente e portare ad escludere automatcamente una gran parte de vettor multdmensonal dal confronto vero e propro.

12 Corso d Laurea n Informatca Applcata Unverstà d Urbno Fltraggo tramte classfcazone Fltraggo tramte classfcazone, attrbut strutturat o parole chave: Utlzza nformazon assocate a dat multmedal per rdurre lo spazo d rcerca. Es: l utente può essere nteressato ad un ntervallo d date d produzone o a prodott d un autore/regsta, ecc ) Nell ndczzazone delle mmagn regon-based basato sulla forma abbamo utlzzato l eccentrctà delle forme come crtero d fltraggo: solo le forme con una eccentrctà smle sono confrontate Corso d Laurea n Informatca Applcata Unverstà d Urbno Fltraggo basato sulla dsuguaglanza trangolare Molte msure d dstanza (ad esempo la dstanza eucldea) sono dette METRICHE Queste godono d una propretà detta d dsuguaglanza trangolare La dstanza tra due oggett non può essere nferore alla dfferenza tra le loro dstanze con un terzo oggetto d(,q) >= d(,k) - d(q,k) dove d è la dstanza e,q,k sono vettor d feature Tale propretà è valda qualunque sa l vettore k. Qund possamo scrvere d(,q) >= max 1<=j<=m d(,k j ) - d(q,k j ) dove m = numero d vettor d feature

13 Corso d Laurea n Informatca Applcata Unverstà d Urbno Fltraggo basato sulla dsuguaglanza trangolare A partre dagl N vettor present nel database, ne selezonamo un numero m come base d confronto (con m molto mnore d N) Per ogn vettore -esmo presente nel database e per ogn vettore d confronto K j calcolamo off-lne la dstanza d(,k j ) e la memorzzamo nel database Durante la rcerca calcolamo la dstanza d(q,k j ) tra la query q ed ognuno de vettor d confronto K j. Trovamo l() = max 1<=j<=m d(,k j ) - d(q,k j ) per ogn vettore presente nel database Soltanto vettor con l() nferore ad una determnata sogla T sono selezonat per calcolare la loro dstanza d(q,). Per gl altr vettor non calcolamo la dstanza da q n quanto samo scur che sa maggore della sogla Corso d Laurea n Informatca Applcata Unverstà d Urbno Esempo Esempo: Supponamo d avere un database multmedale con 8 oggett memorzzat (da 1 a 8 ) e due vettor d confronto (k 1 e k 2 ). In modaltà offlne vengono calcolate le dstanze tra ogn oggetto del database e due vettor d confronto. Supponamo d voler trovate tutt gl oggett del database che dstano meno d 3 dalla query q e che le dstanze tra q e due vettor d confront sano 3 e 4.

14 Corso d Laurea n Informatca Applcata Unverstà d Urbno Esempo Items d(, k 1 ) d(, k 2 ) d(,k 1 )- d(q, k 1 ) d(, k 2 )- d(q, k 2 ) Solo gl oggett 1 e 7 potrebbero avere dstanza da q nferore a 3 e qund solo 2 oggett su 8 devono essere confrontat con q! l() Corso d Laurea n Informatca Applcata Unverstà d Urbno Fltraggo per stogramm d colore Un stogramma è composto da n bn. La dstanza tra due stogramm è calcolata sommando le dfferenze tra valor de bn corrspondent. Per ottenere una elevata veloctà d rcerca s possono: Rdurre l numero d bn (dmnuendo l accuratezza n quanto color dvers vengono consderat ugual) Effettuare l calcolo della dstanza solo per un sottonseme delle mmagn present nel database Le due stratege s possono combnare nel seguente modo: S utlzzano stogramm con poch bn per selezonare possbl canddat tra tutte le mmagn present nel database D tale sottnseme s calcola la dfferenza con la query utlzzando gl stogramm complet

15 Corso d Laurea n Informatca Applcata Unverstà d Urbno Fltraggo basato sul colore medo Un altro metodo consste nel realzzare l fltraggo basandos sul colore medo delle mmagn. Possamo calcolarlo come: P P P R( p) G( p) B( p) p= Ravg = 1 p= Gavg = 1 p= Bavg = 1 P P P dove P è l numero d pxel dell mmagne e R(p),G(p) e B(p) sono component d colore del pxel p. Dato l vettore de color med x e y d due mmagn s defnsce la dstanza eucldea tra due vettor: d avg ( X, Y ) = 3 = 1 ( x y ) S dmostra che: la dstanza calcolata attraverso l stogramma completo non può ma essere nferore a d avg () e qund tale valore può essere utlzzato per l fltraggo delle mmagn sulle qual effettvamente calcolare la dstanza tra stogramm 2 Corso d Laurea n Informatca Applcata Unverstà d Urbno Indczzazone a semantca latente (LSI) All nterno d un database testuale ogn documento è rappresentato da un vettore d N element rappresentant l peso d ognuno degl N termn nel documento. Se un database ha M document, la collezone d document può essere rappresentata da una matrce A d dmenson M x N. Durante la rcerca la query è rappresentata da un vettore d N termn e la smlartà è calcolata con l prodotto tra una rga della matrce A ed l vettore della query. Ogn rcerca comporterebbe M moltplcazon d vettor a N dmenson e temp d rcerca sarebbero molto lent. S utlzza una INDICIZZAZIONE SEMANTICA LATENTE (LSI) che consste nel raggruppare nseme termn sml per formare CONCETTI e utlzzare tal concett per memorzzare document.

16 Corso d Laurea n Informatca Applcata Unverstà d Urbno Scomposzone a valor sngolar (SVD) La tecnca LSI s basa sulla scomposzone a valor sngolar d una matrce. Se A è una matrce M x N possamo esprmerla come: A = U x S x V t dove U è una matrce ortonormale M x r (coè U t x U = I) r è l RANGO d A S è una matrce dagonale r x r V è una matrce ortonormale N x r (coè V t x V = I) In termn d IR su document testual: r E IL NUMERO DI CONCETTI U è la matrce d smlartà tra document e concett (u 2,3 = 0.6 sgnfca che l concetto 3 ha peso 0.6 nel documento 2) V è la matrce d smlartà tra termn e concett (v 1,2 = 0.4 sgnfca che la smlartà tra l termne 1 e l concetto 2 è 0.4) Corso d Laurea n Informatca Applcata Unverstà d Urbno Esempo In tal modo s possono memorzzare le matrc U, S e V rducendo n manera sgnfcatva lo spazo d memora utlzzato Esempo: M = N = r = 500 Lo spazo totale rchesto è d MB nvece d 10 GB ( x x x500) [se uso un byte per elemento] Durante la rcerca la query q espressa nello spazo de termn è tradotta nella query q c nello spazo de concett moltplcandola per V t q c = V t x q La smlartà è calcolata tra q c ed ognuna delle rghe della matrce U In tal modo s effettuano moltplcazon tra vettor d r (nvece che d N) element rducendo d molto anche l tempo necessaro per la rcerca.