Virtual Humans La simulazione virtuale di ambienti non può prescindere dal rappresentare figure umane Virtual humans come: Attori virtuali per enterta

Transcript

1 Virtual Humans

2 Virtual Humans La simulazione virtuale di ambienti non può prescindere dal rappresentare figure umane Virtual humans come: Attori virtuali per entertainment Manichini per studi ergonomici Manichini per industria della moda Training per task fisici Simulazione medica Nuovi paradigmi per HCI Avatar in ambienti condivisi

3 Avatar Icona o rappresentazione interattiva di un utente in un ambiente condiviso La parola avatar viene dall Hindu e descrive la manifestazione del terrena dio Vishnu nel mondo Nel cyberspazio, un avatar è un istanza del corpo di un utente nel mondo sintetico. Ad esempio nella text-based VR (come i MUD) l avatar di un utente consiste in una breve descrizione che è mostrata agli altri utenti i cui avatar guardano l utente stesso Nella VR grafica, un avatar è una rappresentazione tridimensionale che rappresenta l essenza dell utente in relazione al resto del mondo virtuale

4 Agenti Un agente è un VH autonomo, le cui azioni non sono guidate da un essere umano ma direttamente dal computer Le azioni di un VH possono: essere guidate da un sistema sensoriale autonomo essere guidate da un vero e proprio comportamento (behaviour) essere guidate da semplici comandi predefiniti (script)

5 Virtual Humans: requisiti Requisiti comunemente richiesti: Simulazione grafica del corpo Rigido Deformazioni Simulazione fisica del corpo Modellazione basata sulla fisica Cinematica inversa e diretta Simulazione del comportamento

6 Rappresentazione grafica dei VHs Modellazione stratificata di un personaggio Caso più semplice: gerarchia di corpi rigidi (no deformazioni) Solitamente modellati da almeno due strati: scheletro e pelle. Approccio basato sull anatomia Animazione di VH Moto della struttura gerarchica scheletrica (skeleton) Deformazione (blending) dello strato della pelle (skinning)

7 Rappresentazione grafica dei VHs Skeleton + skinning

8 Skinning E un algoritmo di deformazione che permette ad una struttura scheletro di muoverne una mesh associata (skin)) in modo continuo Ogni vertice della skin è influenzato da uno o più segmenti (bones)) dello scheletro (skeleton)) in base ad un sistema di pesi Per collegare la mesh alle bones (rigging)) si usano involucri di determinata forma e dimensione, con un limite interno e uno esterno Ai vertici situati entro il limite interno viene dato peso = 1 Ai vertici al di fuori del limite esterno viene dato peso = 0 A quelli tra i due limiti viene dato un peso compreso tra 0 e 1 Se più involucri contengono un vertice, questo assumerà una posizione interme- dia data dalla media pesata (fusione) delle posizioni v blend = v 1 w v n-1 w n-1 + v n (1-Σ i w i ) Formula di blending

9 Rigid bodies vs. skinning Gerarchia di corpi rigidi: V: Semplice, poco onerosa S: Imprecisa: i vertici seguono rigidamente i movimenti dei corpi rigidi a cui sono attaccati Può essere considerato un caso limite di blending in cui ogni vertice è collegato ad una sola bone, con peso 1

10 Skinning Bind Pose Quando la skin viene associata allo skeleton, si salva la Bind pose, ovvero lo stato, in world-space, delle matrici di trasformazioni delle bones e della skin. Queste matrici verranno poi usate in fase di blending. Ogni vertice della skin: Viene trasformato dallo skin local-space in world-space Dal world-space viene trasformato nel local-space di ogni bone a cui è associato Subisce le animazioni di ognuna delle bones associate, e per ognuna di esse si calcola la nuova posizione. Tutte le nuove posizioni vengono portate in world-space e pesate

11 Skinning Vertex shader L operazione di blending, per skin complesse e legate a molte bones, può essere onerosa per la CPU Oggi la stessa operazione può essere affidata alla GPU programmando un opportuno vertex shader Importante: se si vuole un lighting corretto, è necessario effettuare il blending anche delle normali!

12 3D Stream L alternativa ai virtual humans in computer graphics è uno stream 3D (acquisito da depth-cameras tipo Kinect) che può essere riprodotto live (ad es. per avatar) o in playback (ad es. per agent) Il limite è la risoluzione, sebbene da una registrazione video emergano particolari non facilmente riproducibili con tecniche di animazione in CV

13 Tecniche di animazione

14 Tecniche di animazione dei VHs Shape Interpolation Keyframe Interpolation Basata sulla fisica Cinematica diretta Cinematica inversa Motion Capture

15 Cinematica diretta Il corpo umano è schematizzabile come insieme connesso di: Segmenti o link (avambraccio, braccio, etc.) Giunti (connettono i segmenti: gomito, spalla, polso etc.) Per animare un corpo umano è necessario alterare i valori degli angoli sui giunti. Nel caso di rappresentazione a strati, ad es. bones e skin, vengono animate solo le ossa, disposte frame per frame in una determinata postura, corrispondente ad una configurazione particolare del vettore degli angoli ai giunti. La mesh collegata alle ossa viene deformata in base alle informazioni di skinning e alla particolare postura dello scheletro Info necessarie: Limiti sui giunti Masse dei link (solo per PBM)

16 Motion Capture Gli angoli ai giunti possono essere passati mediante la FK (Forward Kinematics) esplicitamente specificati in un vettore Tale vettore può essere il risultato di calcoli (Motion Synthesis), o provenire da un sistema di sensori applicato ad un essere umano (Motion Capture) I benefici del motion capture sono: Animazioni realistiche Poco lavoro per i modellatori (rifinitura e collegamento) Può catturare dettagli di animazione indistinguibili a occhio o difficili da sintetizzare (es. movimenti a catena su più segmenti) Svantaggi Meccanismi abbastanza costosi I dati sono campioni, dunque difficili da trattare e manipolare.

17 Cinematica Inversa La cinematica di una struttura connessa è il processo di calcolo della posizione nello spazio del punto terminale (end-effector) di tale struttura, dati gli angoli ai giunti. La cinematica inversa (IK) è esattamente il processo opposto: data la posizione (goal o target) dell end-effector, si ricava la configurazione degli angoli ai giunti. E un processo molto usato in robotica. Vantaggi: È possibile ricavare gli angoli a partire solo da alcune posizioni di interesse (tipicamente: mani, piedi, bacino), specificate direttamente o da un parziale motion capture Svantaggi: Esistono punti di singolarità, in cui sono possibili più soluzioni. Non sempre è possibile trovare quella giusta (i limiti della fisiologia umana possono aiutare a scegliere)

18 Shape Interpolation Viene effettuato il morphing tra due o più mesh 3D di riferimento che rappresentano il corpo in varie posture I passi da effettuare, in generale, sono: 1 - Morphing dello scheletro e della pelle (skin) 2 - Morphing delle texture coordinates 3 - Morphing delle texture maps Se le mesh sono relative alla stessa figura, i passi 1 e 2 sono semplici interpolazioni lineari. Il passo 3 è inutile, se non per particolari effetti visuali Se non ci sono tecniche di gestione addizionale, può bastare il morphing dei vertici dell involucro (skin), ma i risultati possono essere scarsamente appaganti se non si hanno numerose mesh di riferimento

19 Keyframe Interpolation A volte in letteratura è sinonimo di Shape Interpolation La nostra definizione è riferita alla Skeletal Animation I valori di riferimento non sono mesh, ma posture dello scheletro, intese come configurazioni di angoli ai giunti, relative ad alcuni fotogrammi chiave (keyframes) L interpolazione avviene tra tali valori, determinando nuove posture dello scheletro La mesh poligonale associata allo scheletro viene generata di volta in volta con gli algoritmi di skinning, in base alle nuove posture dello scheletro calcolate con l interpolazione

20 Modellazione basata sulla fisica Le animazioni basate sulla cinematica non tengono in considerazione effetti fisici fondamentali, come la gravità o l inerzia Possiamo impostare un problema di dinamica, tenendo in considerazione le masse e l azione di forze E possibile anche un problema di dinamica inversa, ovvero: trovare per ogni giunto le forze e le coppie che generano un movimento desiderato La modellazione dinamica è necessaria per la corretta interazione tra il VH e l ambiente virtuale (es. rilevamento di collisioni, gestione della collisione, urti, etc.)

21 Modellazione del comportamento Un VH, in particolare un agente, deve avere la possibilità di agire nell ambiente virtuale, non solo reagendo agli stimoli ma anche entrando nel flusso di informazioni che vanno e provengono da esso. Ad esempio un VH deve poter conoscere la posizione degli oggetti nel VE. Questo può avvenire: Direttamente (funziona solo per piccoli mondi e non è realistico) Mediante sensori virtuali: si dà la possibilità ad un VH di percepire gli oggetti e gli altri attori del VE mediante canali (virtuali) ottici, auditivi ed eventualmente aptici

22 Modellazione del comportamento - II Le informazioni che il VH riceve influenzeranno le sue azioni (behavioural modeling) locomozione guidata dalla vista manipolazione di oggetti risposta a stimoli sonori etc. E possibile codificare alcuni comportamenti in maniera predefinita (script) o fornire un insieme di procedure che, a partire da alcuni parametri, generino le azioni corrispondenti Altri problemi relativi al comportamento: Interazione tra VH Interazione tra VH e uomini reali

23 Modellazione del comportamento - III Proprietà desiderabili in un VH (agente): Intelligenza: capacità di imparare da situazioni nuove Percezione: consapevolezza dell ambiente esterno di oggetti di azioni di eventi Memoria: capacità di riprodurre o richiamare ciò che è stato acquisito Autonomia: possibilità di autogoverno

24 Animazioni facciali Espressioni (ad es. emozioni) Lip-sync (visemi) Bones Animation Morph Targets (vertex animation)

25 Standard ed esempi notevoli

26 H-Anim Humanoid Animation: Specifica di uno standard per la rappresentazione di esseri umani in ambienti virtuali online Creazione di una libreria di umanoidi intercambiabili e di tool di authoring per la creazione di nuovi umanoidi e di nuove animazioni Animazione con keyframe, IK, FK etc. Scopi: Compatibilità con VRML 97 Flessibilità, nessun assunzione sul tipo di applicazione Semplicità delle specifiche (solo umanoidi e non qualsiasi figura articolata)

27 H-Anim File format Un file H-Anim è composto da una gerarchia di nodi Joint Ogni nodo Joint può contenere altri nodi Joint o un nodo Segment, che descrive la parte del corpo associata al giunto Ogni segmento può contenere più nodi Sites, che definiscono locazioni relative a segmenti (utile per vestiti, oggetti, ma anche per definire gli endeffector della IK) Ogni segmento può contenere più nodi Displacer, che specificano la geometria collegata al segmento

28 H-Anim File format esempio... DEF hanim_l_shoulder Joint { name "l_shoulder" center children [ DEF hanim_l_elbow Joint { name "l_elbow" center children [ DEF hanim_l_wrist Joint { name "l_wrist" center children [ DEF hanim_l_hand Segment { name "l_hand... } ] } DEF hanim_l_forearm Segment { name l_forearm"... } ] } DEF hanim_l_upperarm Segment { name "l_upperarm"... } ] }...

29 H-Anim - Gerarchia

30 MPEG-4 Standard per la codifica efficiente di scene multimediali Gestione di oggetti: Video (dotati di forma) Faccia (per teleconferenze) Mesh (poligonali) Texture Corpo

31 MPEG-4 e VRML La gestione degli oggetti 3D in Mpeg-4 è molto simile al VRML, con alcune differenze: Supporto (Mpeg-4 ha più profili, VRML deve funzionare su ogni piattaforma) Presenza di alcuni nodi: VRML: anchor, fog, background MPEG-4: timing, audio3d, facial animation Requisiti di performance (assenti in VRML) Altre differenze: mpeg4/differences.html

32 MPEG-4: body animation Animazione corporale (FBA: Facial Body Animation) in Mpeg-4 Un corpo Mpeg-4 è una collezione di nodi La root, BodyNode, contiene 3 nodi: - BAP (Body Animation Parameter): 296 parametri che descrivono la topologia dello scheletro e la sua postura - Rendered Body: contiene lo scene-subgraph subgraph contenente i dati geometrico - descrittivi di DEFAULT del corpo da visualizzare - Se si vuole renderizzare un corpo specifico, si aggiunge il BDP (Body Definition Parameters), che rimpiazza il modello di default del Rendered Body. Si possono specificare anche tabelle di deformazione per visualizzare correttamente le intersezioni Il gruppo H-Anim, formato all interno del consorzio VRML, coordinato con il gruppo FBA di Mpeg-4 ha standardizzato le specifiche dei VH per produrre risultati consistenti in entrambi gli ambienti

33 BVH File format ASCII sviluppato da Biovision (BVH: BioVision Hierarchy), per distribuire dati di motion capture Fornisce informazioni sulla struttura della gerarchia (skeleton)) e sui motion data Largamente usato come formato di interscambio per dati di motion capture da molti SW di modellazione e di rendering real-time Svantaggi: non c è una chiara definizione della posa base samplebvh.txt Viewer

34 FBX Nato come file format per Kaydara Filmbox, un SW dedicato all animazione real-time 3D, con supporto di numerosi device di motion-capture Dopo l acquisizione di Autodesk, è diventato il formato di interscambio dei prodotti Autodesk e ottimo candidato a diventare standard de-facto Disponibile come binario Disponibile documentazione e SDK su:

35 BIPED E un plugin di 3dStudio MAX, fornisce una struttura per la creazione e la messa in posa di un VH Il Biped è una sorta di scheletro, anch esso fornito di giunti e segmenti, e dotato di default di un algoritmo di IK L orientazione e la posizione del Biped sono stabilite dai rispettivi valori del centro di massa, situato nell area del bacino Esiste un meccanismo di calcolo degli effetti fisici: Gravità (stacco e atterraggio sul suolo) Equilibrio (in determinate posizioni, lo spostamento di una parte del corpo è seguito da una catena di spostamenti per mantenere l equilibrio)

36 Biped + Phisique (Skinning)

37 POSER Software di Smith Micrographics specializzato per la modellazione e il rendering di figure umane e in generale animate Vastissima libreria di personaggi, pose, espressioni, accessori etc.

38 Virtual Humans e XVR

39 XVR Scene Graph: Mesh Scene Obj Mesh CVmMesh/NewMesh Polygonal meshes loaded from VRML/AAM files. Bounding box Material list Subset list Vertex animation Subset Subset Subset Material Texture Shader Material Material Texture

40 Exporting animated meshes

41 Sample code Drawing Multiframe Meshes function OnInit() { my_mesh = CVmNewMesh( animmesh.aam"); n_frames = my_mesh.getframes(); current_frame = 0; my_obj = CVmObj(my_mesh); } function OnFrame() { SceneBegin(); my_obj.draw (VR_ANIMATION_FRAME,current_frame); current_frame = (current_frame+1)%n_frames; SceneEnd(); }

42 XVR Scene Graph: Character Scene CVmCharacter (Compound object) Obj Obj Character Obj Complessa gerarchia di oggetti (Root- components) Geometria caricata da VRML/AAM Skeletal animation (keyframes/full frames) Metodi anche per singoli components Mesh Material

43 Exporting animated characters

44 Sample code Drawing animated characters function OnInit() { my_char = CVmCharacter( charfile.aam ); nframes = my_char.getframes(); } function OnFrame() { static var frame_number = 0; } SceneBegin(); my_char.drawabs(frame_number); SceneEnd(); frame_number = (frame_number + 1) % nframes;

45 XVR Scene Graph: Avatar Scene Character Avatar Support to IK, FK Skeletal animation Skinning deformation CVmAvatar (beta) Personaggi animati, di solito umani (avatar/agenti) Formati da uno skeleton di bones unite da joints e da una mesh (skin skin) ) collegata allo skeleton. RT deformation weight-based Skeletal animation Supporto alla IK

46 Exporting avatars Al momento (in ci sarà un opzione esplicita) se ci sono informazioni di skinning, esportando come character il file è caricabile anche dalla classe CVmAvatar

47 Sample code Avatar joint manipulation function OnInit() { my_avatar = CVmAvatar("avatar.aam"); my_avatar.setscale (0.016); my_avatar.setposition (0, -15, 5); } function OnFrame() { my_avatar.jointrotate (palm_joint_id, -1, 1, 0, 0); my_avatar.jointrotate (fingers_joint_id, -1, 1, 0, 0); SceneBegin(); my_avatar.draw (0, VR_NO_DISPLAYLISTS); SceneEnd(); } NOTE: <n_anim_frame, flag> NOTE: Non necessario con XVR Engine # 0005

48 Sample code Avatar joint manipulation function OnInit() { my_avatar = CVmAvatar("avatar.aam"); my_avatar.setscale (0.016); my_avatar.setposition (0, -15, 5); } function OnFrame() { my_avatar.jointrotate (palm_joint_id, -1, 1, 0, 0); my_avatar.jointrotate (fingers_joint_id, -1, 1, 0, 0); SceneBegin(); my_avatar.draw (0, VR_NO_DISPLAYLISTS); SceneEnd(); } NOTE: <n_anim_frame, flag> NOTE: Non necessario con XVR Engine # 0005

49 HALCA Avatars Developed at EVENT Lab, Barcelona Available XVR Wrapper DLL Interface to Cal3D, extended with: GLSL shaders HW accelerated skinning Morph animation HW accelerated morph targets Exporters for 3DSMax 5/31/

50 Virtual Crowds

51 Virtual Crowds I VH servono per popolare ambienti virtuali Alcuni ambienti (città etc.) necessitano di un elevato numero di VH per una rappresentazione realistica La simulazione di folle (crowds)) per la sua complessità non può essere trattata semplicemente come gestione della somma di VH Applicazioni: intrattenimento, studio di situazioni di panico, dislocazione di uscite di emergenza, studio dei flussi etc. Come per i singoli VH i requisiti sono: Modellazione grafica e fisica dei VH Modellazione del comportamento della folla

52 Virtual Crowds

53 Virtual Crowds 3dsMax Aggiunge comportamenti a gruppi di entità Max (bipedi, o altro) Strumenti forniti: Dispersione (clonazione + posizionamento pseudorandom) Collision avoidance Path following Locazione respingente/attrattiva Comportamento user defined Ricerca locazione Variazione di velocità per miglior realismo

54 Virtual Crowds UCL/Percro Orientato al real-time Possibile visualizzare centinaia di migliaia di entità differenti in tempo reale VH visualizzati come impostori precalcolati Più tipi di VH, modulabili nel colore e texture Shading in tempo reale con uso di shadow maps

55 Virtual Crowds UCL/Percro Algoritmi di comportamento: Collision avoidance Height check (riconoscimento di gradini etc.) Interest attractor Panico, ricerca delle uscite, visibilità, inerzia etc. Crowd Simulation