Il trattamento computazionale del lessico azionale. Irene Russo ILC CNR

Transcript

1 Il trattamento computazionale del lessico azionale Irene Russo ILC CNR 4th ModelAct meeting - Firenze 11 giugno 2015

2 ILC in MODELACT (WP4) 4.1 Modulo di disambiguazione (M1-M20) Pre-processing del corpus IMAGACT annotazione automatica, semi-automatica, manuale del corpus IMAGACT esperimenti di word sense disambiguation per la disambiguazione automatica degli action types Esperimenti su affordances primarie e linguaggio (tesi di dottorato Irene De Felice) 4.2 Definizione di una ontologia orientata linguisticamente per l'interazione uomo-macchina (M13 -M30)

3 Disambiguazione dei sensi di parola Un algoritmo prende come input la parola con il suo contesto linguistico e i suoi possibili sensi e restituisce in output il senso usato nel contesto: Marco apre un conto in banca vs. Marco apre la porta supervisionato (classificazione di dati annotati) vs non supervisionato (clustering di dati non etichettati) tipo di sensi da disambiguare successo misurabile in base alla capacità umana di disambiguare (perfomance su datasets annotati manualmente) Dizionari come punto di riferimento Annotazione manuale = performance ottimale? alcune definizioni nei dizionari sono vaghe e gli usi nel contesto possono essere ambigui La disambiguazione supervisionata ha bisogno di un test set annotato

4 Informazione per la disambiguazione Tipo di informazione usata nella disambiguazione: co-occorrenze (modello bag-of-words) informazione relazionale (soggetto, oggetto, etc.) PoS collocazioni (preferenze di selezione) associazioni semantiche tra parole: associazione tassonomica (sedia, mobilio) associazione in eventi (sedia, cameriere) associazione topic (mazza, baseball) relazione argomento-testa (cane, mordere) ruoli tematici informazione dominio-specifica

5 Peculiarità della disambiguazione in ModelAct I verbi sono la black box, la disambiguazione viene effettuata a partire dai nomi che sono complemento oggetto le proprietà percettive degli oggetti che i nomi denotano sono rilevanti (la forma, le dimensioni, il peso etc.) necessità di incrementare il dataset di ImagAct necessità di un corpus specifico sui verbi d azione Instructables.com corpus, parsato, 20 milioni di parole ImagAct types ImagAct tokens instructables types instructables tokens wipe open hang

6 Proprietà situazionali e affordances Inspired by cognitive psychology literature, artifactual categories are theorized as situated conceptualization where physical and situational properties meet (Barsalou 2002) situational properties describe a physical setting or event in which the target object occurs (as grocery store, fruit basket, slicing, picnic for apple ) notion of affordance as possibilities for actions that every environmental object offers (Gibson 1979) affordance is quality of an object that enables an action: it concerns the relation between a perceptual property of the object and what an agent can do with it

7 Clusters degli oggetti che possono essere aperti i modelli distribuzionali per la semantica nominale sono cognitivamente plausibili per la similarità tra concetti e la categorizazzione concettuale (Erk, 2012; Turney and Pantel, 2010) due concetti sono simili e possono essere classificati nello stesso gruppo se i lemmi corrispondenti condividono contesti linguistici il nuovo trend prevede la combinazione di modelli distribuzionali predittivi (word2vec di Mikolov) con features visuali estratte dalla immagini che sono associate alle parole usate per descriverle (Bruni et al. 2012)

8 Features visuali Rilevanti quando si deve disambiguare tra due action types generici che hanno la stessa struttura sintattica H: le caratteristiche percepibili dell'oggetto (estratte come SIFT) possono aiutare nella disambiguazione Vettori di features sia testuali che visuali per nomi concreti (Bruni et al. 2012) take_2689 Mary takes the poster/apple/report take_2694 Mary takes water/ some potatoes... acc. SVM 67% put_3175 John puts the flowers in the arrangment put_3176 John puts the refrigerator in the hall acc. SVM 81%

9 Clusters degli oggetti che possono essere aperti manual clusters per to open da ImagAct open_1564,door, gate, car, window, building, shutter, gown open_1567,pack, pit, bottle, lid, letter, mail, packet, desk, cheque, hole, present open_1568,bandage, scroll, book, card open_1668,pin, binder, lock open_3616,nut 106 nomi estratti dal corpus instructables.com n biscuit, fridge, tube, etc

10 Clusters degli oggetti che possono essere aperti context-predictive semantic vectors (word2vec) trained on GoogleNews, SIFT from Bruni et al., mix of GoogleNews and BoW SIFT (with SVD), clustering with Cluto (k-1 repeated bisections, cosine similarity) homogeneity completeness GoogleNews SIFT BoVW GoogleNews+SIFT BoVW

11 Word sense induction per to attach coseno di similitudine per misurare la similarità tra due vettori nomi simili a envelope per il tipo John attaches the envelope to the claim with staples Come valutare i rankings così ottenuti? Valutazione crowdsourcing, 20 giudizi per immagine: visione di un video giudizi su immagini degli oggetti word2vec training con GoogleNews: bag, box, mailbox, drawer, pouch, door, crate, jar... bow sift: snowflake, ornament, address, card, letter, screen, paper... GoogleNews + bow sift: vulture, tubing, wand, holder, extension, keyboard...

12 Word sense induction per to attach GoogleNews SIFT GoogleNews+SIFT bag Yes box No card Yes claw No drawer No 0.67 mailbox Yes pouch No thread No address Yes card Yes letter Yes ornament No screen No sidecar No snowflake No velcro No banana No card Yes dish No extension No holder No tubing No vulture No wand

13 Derivazione bottom-up di un'ontologia annotazione dei video secondo il modello di Crispim et. al per il riconoscimento automatico di attività umane Con video understanding in computer vision si intende il trovare un matching tra l'informazione fornita dai sensori con i modelli che gli umani usano per comprendere una scena activity models basati su un formalismo per la rappresentazione degli eventi CompositeEvent ( Person_change_from_bedroom_to_livingroom, ) PhysicalObjects ( (per : Person), (bedr : Zone), (livr: Zone)) Components ( (c1: PrimitiveState Person_in_bedroom(per,bedR)) (c2: PrimitiveState Person_in_livingroom(per,livR)) Constraints ( (c1 meet c2) ) Alarm( (Level: URGENT ) )

14 Knowledge-base Event Recognition Un evento in un video è costituito da cinque componenti: Oggetti fisici: tutti gli oggetti presenti sulla scena osservata dalle videocamere Oggetti mobili (persone), oggetti contestuali (TV), zone di interesse (coffee table zone) Componenti: lista degli stati e dei sub-eventi coinvolti nell'evento Vincoli: relazioni simboliche, logiche, spazio-temporali tra i componenti o gli oggetti fisici. Per i vincoli temporali si usa l'algebra a intervalli di Allen. Azione: un insieme di compiti che devono essere portati a termini una volta che l'evento è riconosciuto

15 Knowledge-base Event Recognition

16 Derivazione bottom-up di un'ontologia Da questo tipo di annotazione emerge: una organizzazione gerarchica tra primitivi e attività composte: action primitives action terminals that combine hierarchically into a temporal sequences of actions of increasing complexity (Pastra & Aloimonos 2012) Cut the bread: extend hand1 - grasp with hand1 knife - cut with knife bread una rappresentazione in termini di intervalli temporali secondo la teoria di Allen che è potenzialmente utile per il textual entailment è possibile arricchire l annotazione con informazione relativa alla toolness degli oggetti (quale oggetto presente è più adatto nello svolgere un istruzione come taglia il pane o gira le zucchine?)

17 Conclusioni Primi esperimenti di word sense induction basato su features testuali e visuali combinate non producono risultati migliori non si raggiungerà mai un accuratezza del 100% necessità di validazione manuale Annotazione dei primitivi dell azione su un sottoinsieme di video per induzione bottom-up di un ontologia possibile usare tecniche crowdsourcing? Da risorsa linguistica ModelAct può diventare base di conoscenza linguisticamente derivata per action modeling e action recognition

18 Pubblicazioni De Felice, I. (in stampa). Objects parts afford action: evidence from an action description task. In V. Torrens (ed.), Language Processing and Disorders. Newcastle: Cambridge Scholars Publishing. Irene De Felice, Roberto Bartolini, Irene Russo, Valeria Quochi and Monica Monachini Evaluating ImagAct-WordNet mapping for English and Italian through videos. CLiC-it Pisa, 9-10 dicembre 2014 De Felice, I., Bartolini, R., Russo, I., Quochi, V., Monachini, M. (in stampa). Evaluating ImagAct-WordNet mapping for English and Italian through videos. In: Proceedings of the First Italian Conference on Computational Linguistics CLiC-it (Pisa). De Felice, I. (2014). «Possibilities of action» in language: affordances and verbal polysemy. In: Italian Journal of Cognitive Sciences 1: [ISBN: ] Panunzi, A., De Felice, I., Gregori, L., Jacoviello, S., Monachini, M., Moneglia, M., Quochi, V., Russo, I. (2014). Translating action verbs using a dictionary of images: the IMAGACT ontology. In: A. Abel, C. Vettori, N. Ralli (eds.), Proceedings of the XVI EURALEX International Congress.

19 Pubblicazioni Bartolini, R., Quochi, V., De Felice, I., Russo, I., Monachini, M. (2014). From Synsets to Videos: Enriching ItalWordNet Multimodally. In: N. Calzolari, K. Choukri, T. Declerck, H. Loftsson, B. Maegaard, J. Mariani, A. Moreno, J. Odijk, S. Piperidis (eds.), Proceedings of the 9th International Conference on Language Resources and Evaluation - LREC 2014 (Reykjavik, Iceland, 26-31/05/2014), [ISBN: ] De Felice, I. (2013). Affordances: una chiave per il word sense disambiguation. In: A. Auricchio, M. Cruciani, A. Rega, M. Villani (eds.), Special issue: atti del X convegno annuale dell Associazione Italiana di Scienze Cognitive. Nea Science 1(2): [ISSN: ] Russo, I., Frontini, F., De Felice, I., Khan, F., Monachini, M. (2013). Disambiguation of Basic Action Types through Nouns Telic Qualia. In: Proceedings of the 6th International Conference on Generative Approaches to the Lexicon - GL2013 (Pisa, 24-25/09/2013).

20 Pubblicazioni Moneglia, M., Panunzi, A, Gagliardi, G., Monachini, M., Russo, I., De Felice, I., Khan, F., Frontini, F. (2013). IMAGACT E-learning Platform for Basic Action Types. In: Pixel (ed.), Proceedings of the 6th International Conference ICT for Language Learning - ICT4LL 2013 (Firenze, 14-15/11/2013), [ISBN: ] Russo, I., De Felice, I., Frontini, F., Khan, F., Monachini, M. (2013). (Fore) seeing actions in objects. Acquiring distinctive affordances from language. In: B. Sharp, M. Zock (eds.), Proceedings of The 10th International Workshop on Natural Language Processing and Cognitive Science - NLPCS 2013 (Marseille, France, 15-17/10/2013), settembre 2014 Bright Notte dei ricercatori, area della ricerca CNR Pisa, presentazione di ModelAct con test di disambiguazione dei tipi a partire da video e immagini di oggetti; presentazione degli esperimenti sulle affordances primarie

21 Dissemination 26 settembre 2014 Bright Notte dei ricercatori, area della ricerca CNR Pisa, presentazione di ModelAct con test di disambiguazione dei tipi a partire da video e immagini di oggetti; presentazione degli esperimenti sulle affordances primarie Second Örebro Winter School on "Artificial Intelligence and Robotics" (7-14 dicembre 2014): students will be exposed to technologies at the forefront of research in AI and in Robotics, and will apply some of these through exercises on real robots collaborazione con Katerina Pastra, direttrice del Cognitive Systems Research Institute, nell ambito del European Network on Integrating Vision and Language (iv&l Net) come Short Term Scientific Missions Partecipazione alla prima training school del network iv&l, Leuven, 2-5 giugno 2015