VR e Kinect. Prof. Raffaella Folgieri

Transcript

1 VR e Kinect Prof. Raffaella Folgieri Dipartimento DEMM Dipartimento di Economia, Management e Metodi quantitativi, Università Statale di Milano Italy Riferimenti: ufficio: stanza 22, secondo piano DEMM via Conservatorio 7 [email protected]

2 Kinect e SDK Con l SDK messo a disposizione (gratuitamente) da Microsoft, sviluppare applicazioni che utilizzino la kinect è diventato estremamente semplice. La versione dell SDK a disposizione è quella per Windows 7. Non è garantito che funzioni anche su W8. Un modo semplice per iniziare è quello indicato da Doug Bergmans ( beginners guide to kinect programming/)

3 REQUISITI PC (Win 7) Visual Studio Express 2010 C# (free): XNA 4.0 (free): 4 Kinect SDK Beta 2 (free): Kinect

4 INSTALLAZIONE 1.Download Visual Studio C# Express 2.Click Install NOW 3.Selezionate il link Install Visual Studio 2010 Express C# (non fate click su TRIAL). Installerete, così, il Visual Studio installer sul vostro pc. Source: Visual Studio Doppio click per avviare il processo di installazione. 5.Togliete il check SQL server. Vedrete la schermata che segue:

5 Image Description: Beginning of installing Visual Studio Express Ci vorrà un po per completare l installazione (sono 100 MB circa)

6 Downloading & Installing XNA 4.0: Installiamo il game environment per Xbox (XNA 4.0). Con questo tool potrete creare giochi per Windows, Windows Phone o Xbox. XNA 4.0: Downloading & Installing Kinect SDK Beta 2: Ora, installiamo la Kinect SDK Beta 2, per far sì che l hw e il sw del vostro pc possa interagire con la Kinect camera e con i dati che invia o riceve. Determinate, innanzitutto, se il vostro sistema è 32-bit o 64-bit. (tasto ds del mouse su My Computer, selezionando properties ). Download la Kinect SDK Beta 2 dal link: Trovate il download appropriato per il vostro sistema operativo.

7 Source: Kinect for Windows A questo punto siamo pronti per dare uno sguardo più approfondito alla Kinect!

8 INTRODUZIONE ALLA PROGRAMMAZIONE DELLA KINECT Qui vedremo una breve introduzione alla programmazione della kinect (da Doug Berman). Chi desidera approfondire, può trovare ulteriore materiale a questo link: Development.aspx?EulaRedir=1&c1=en-us&c2=0 Aprite un nuovo progetto in visual studio: Nella finestra che compare, scegliete Windows Game

9 Avremo così a disposizione un framework generico da personalizzare (contiene le stesse library utilizzate per i giochi Xbox). Sulla destra, fate click su reference con il tasto destro del mouse e selezionate add reference per ottenere la reference e Morgan scroll da dotnet Nel tab.net, scegliete Microsoft. research.kinect e fate click su ok per averle a disposizione. Un altro sito da cui scaricare took utili è coding4fun (molti code source, free):

10 Attraverso i tool di coding4fun è possibile interpretare facilmente molti dati provenienti dalla kinect camera, quindi fatene il download, poi ancora tasto destro su reference e add reference. Stavolta dovrete andare sul tab BROWSE, cercare coding4fun.kinect e fare click su ok. Aggiungiamo queste due reference al codice (click e ve li ritroverete sulla sinistra). Avremo accesso a molte funzionalità che ci torneranno utili. Il programma che vogliamo realizzare mostra semplicemente uno scheletro del vostro corpo. Nel codice, dopo runtime_kincect, vedete il codice che permette la visualizzazione dello scheletro. Nel costruttore (graphics) avete le specifiche di quello che potrete replicare sullo schermo.

11 Il kinect_initialize ci permetterà di realizzare un semplice track del nostro corpo. Kinect_camera.skeletonFrameReady è quello che ci permette di monitorare continuamente quello che succede (ogni nostro movimento). Lo scheletro viene tracciato così:

12 Qui trovate tutte le API per programmare la kinect (ed anche altre informazioni utili) us/kinectforwindowsdev/downloads.aspx In RESOURCES è possibile seguire molti video tutorial che introducono alla programmazione attraverso semplici esempi: us/kinectforwindowsdev/resources.aspx

13 Vedremo le basi di come gestire le API della kinect: Come gestire lo stato della kinect: Connessa Abilitazione dei sensori di colore, profondità, rilevazione dello scheletro Come avviare la kinect Come acquisire i dati: eventi AllFrameReady polling OpenNextFrame Molti video anche qui: vediamo insieme il secondo (come impostare l ambiente), per 5 minuti. Ora proviamo a ripetere le operazioni passo per passo

14 Innanzitutto avviamo Visual Studio e facciamo CLICK su NEW PROJECT: Scegliete WPF Application

15

16 Compare quello che vedete in figura:

17 Sulla destra, fate click su reference con il tasto destro del mouse e selezionate add reference per ottenere la reference

18

19 Scegliere existing

20

21

22 A questo punto:

23 Scegliete Dependencies

24 Kinect viewer

25

26

27

28

29

30

31 Add reference di nuovo

32

33

34

35 Ora il setup è completo

36 Ora guardiamo la seconda parte del video per capire come programmare un evento

37 Ricapitoliamo proviamo a programmare un evento

38 Click on loaded

39

40

41

42 Doppio click

43 Aggiungo la ms kinect library

44 Poi dichiaro il sensore

45

46 Proviamo a scrivere

47

48

49

50

51

52

53

54

55 cioè quando la finestra si chiude, lo fa anche la kinect

56 metto un breakpoint

57

58

59

60

61 Con la levetta sulla sinistra lo aggiusto

62

63

64

65

66

67 tolgo kinect

68

69

70

71

72

73

74

75

76

77

78

79

80 selezioniamo try

81

82

83

84

85

86

87

88