1. Visualizzazione e Navigazione

1. Visualizzazione e Navigazione Il modulo Navigazione espone le funzionalità necessarie alla creazione di uno o più percorsi per l endonavigazione virtuale all interno delle strutture anatomiche e le funzionalità necessarie alla navigazione lungo tali percorsi L ambiente di Navigazione è accessibile tramite la quarta scheda di Figura 1 e si presenta come in Figura 2. Figura 1 Modulo Home

Figura 2 Modulo di Navigazione Esso è composto da quattro aree principali: l Area di Visualizzazione (riquadro 1, Figura 2), la Barra degli Strumenti (riquadro 2, Figura 2), il Pannello Attività (riquadro 3, Figura 2) e la Barra di Stato (riquadro 4, Figura 2). L Area di Visualizzazione mostra la scena tridimensionale, unitamente ai controlli utili per costruzione del percorso di navigazione e il movimento dell endoscopio, e le proiezioni assiali, coronali, sagittali del volume DICOM relative all esame correntemente selezionato. La Barra degli strumenti espone le funzionalità principali del modulo corrente, come ad esempio l aggiunta o la rimozione di un percorso o le funzionalità per la gestione dell endoscopio. Il Pannello Attività può essere suddiviso ulteriormente in due aree principali: la parte in alto contenente la lista dei percorsi di navigazione costruiti per l esame correntemente selezionato, la parte in basso contenente le schede Visualizzazione e Pannello di controllo, con le funzionalità per modificare le proprietà di visualizzazione degli oggetti della scena tridimensionale e i controlli per la navigazione interattiva. La Barra di Stato, infine, mostra informazioni circa lo stato corrente dell applicazione e contiene i controlli per modificare opportunamente il layout dell Area di Visualizzazione. I prossimi paragrafi approfondiranno le funzionalità di ciascuna delle quattro aree appena citate. 1.1 Area di Visualizzazione L Area di Visualizzazione occupa gran parte dell ambiente di Navigazione. Essa comprende tre aree principali: la Vista 3D (riquadro 1, Figura 3), la Vista Controlli 3D (riquadro 2, Figura 3) e le Viste 2D (riquadro 3, Figura 3).

Figura 3 Area di Visualizzazione per il modulo di Navigazione. VISTA 3D La Vista 3D (riquadro 1, Figura 3) contiene la scena tridimensionale. Essa può essere suddivisa in due parti principali: Vista Mondo. Posizionata a sinistra della Vista 3D, essa comprende gli elementi anatomici costruiti, la rappresentazione tridimensionale dell endoscopio virtuale, l outline relativa al volume DICOM dell esame correntemente selezionato, le rappresentazioni tridimensionali del percorso e dei punti che lo compongono. Questa vista è attiva : tutta la scena 3D visualizzata può essere spostata con il mouse, anche in combinazione con i tasti SHIFT e CONTROL. I movimenti possibili sono: o Spostamento (Pan): occorre muovere il mouse mantenendone premuto il tasto centrale oppure mantenendo contemporaneamente premuti il tasto ALT della tastiera ed il tasto sinistro del mouse o Spin: occorre muovere il mouse mantenendo contemporaneamente premuti il tasto CTRL ed il tasto sinistro del mouse; o Rotazione: occorre muovere il mouse mantenendone premuto il tasto sinistro; o Zoom: occorre muovere il mouse mantenendone premuto il tasto destro oppure muovere la rotella del mouse. Inoltre, è possibile muovere anche l endoscopio virtuale selezionandolo opportunamente con il mouse. Vista Endoscopica. Posizionata a destra della Vista 3D, essa mostra ciò che vedrebbe un endoscopio virtuale posto nel punto in cui è la sua rappresentazione 3D nella Vista Mondo. Anche questa vista è attiva e consente all utente di modificare direttamente la camera endoscopica virtuale. Per orientarsi durante il movimento in semitrasparenza sulla Vista Endoscopica è mostrata una bussola 3D. Tale bussola è interattiva: compare solo quando l endoscopio è in movimento. Essa è costituita da cinque lettere (quattro sempre visibili ai lati della vista endoscopica e una

quinta interattiva mostrata al centro della vista) e una terna di assi che danno indicazione circa l orientazione dell endoscopio virtuale rispetto al sistema mondo. E presente anche un mirino il cui raggio è funzione dell angolo di vista dell endoscopio virtuale. VISTA CONTROLLI 3D La Vista Controlli 3D (riquadro 2, Figura 3) contiene i controlli necessari a muovere l endoscopio e alla gestione del percorso. Tale area è disegnata in sovrapposizione alla Vista 3D ed è completamente visibile solo se l utente posiziona il mouse sopra di essa. Anch essa è una vista è attiva. I controlli visualizzati non sono sempre gli stessi, ma variano al variare dello stato dell attività di Navigazione (Figura 4). Più precisamente, all avvio dell attività di Navigazione la vista si presenta come indicato in (4a). Per la parte di percorso, sono presenti le funzionalità di aggiunta punto panoramico, bookmark e punto di interesse; per la parte relativa all endoscopio, sono presenti i controlli per muovere l endoscopio in modalità relativa, vale a dire lungo i propri assi di riferimento. La parte in verde indicata in (4 a) rappresenta un area opzionale, vale a dire l area in cui compaiono dei controlli legati all azione temporanea dell utente (ad esempio, il pulsante Add POI visibile più a destra compare solo quando l utente attiva la modalità di inserimento punto d interesse). Tali controlli sono visibili anche nel caso b di Figura 4quando necessario. Infine, quando l utente avvia la navigazione lungo il percorso, il sistema mostra i controlli per modificare il punto osservato dall endoscopio senza però modificarne la posizione (Figura 4). L utente può variare il punto osservato muovendolo sulla sfera che ha per centro il punto di osservazione e per raggio la distanza corrente fra centro di proiezione e punto focale.. Figura 4 Vista Controlli 3D. In 4a) è riportata la Vista Controlli 3D del modulo di Navigazione che viene visualizzata all atto della costruzione di un percorso di endonavigazione virtuale; in 4b) è riportata la Vista Controlli 3D visualizzata durante la navigazione nel percorso virtuale. VISTA 2D La Vista 2D (riquadro 3, Figura 3) contiene le proiezioni assiale, coronale e sagittale del volume DICOM associato all esame correntemente selezionato. In tutte le immagini bidimensionali in basso a destra viene visualizzato il numero di slice corrente. Le sei lettere posizionate ai lati delle immagini bidimensionali (A, P, S, I, L, R) identificano la posizione anteriore, posteriore, superiore, inferiore, sinistra e destra. L utente può interagire con le immagini bidimensionali in diversi modi: la rotella del mouse sopra l immagine 2D serve per scorrere la slice visualizzata per default, su ciascuna vista 2D è visualizzata la proiezione delle altre due viste correntemente visualizzate. Si può selezionare con un click con il tasto sinistro del mouse un asse e trascinarlo per scorrere il piano corrispondente. Anche sulle viste 2D è riportata la posizione/orientazione dell endoscopio virtuale. E possibile selezionare e muovere l'endoscopio virtuale selezionando con il mouse la sua rappresentazione sulle viste 2D.

1.1.1 L endoscopio virtuale L endoscopio virtuale è rappresentato nella Vista Mondo come un cubetto color fucsia con al centro una terna di assi. Tale terna di assi mostra il sistema di riferimento lungo il quale l endoscopio virtuale può essere mosso. Quando si varia la posizione dell endoscopio virtuale la Vista Mondo, la Vista Endoscopica e le Viste 2D si aggiornano in tempo reale. L utente può muovere l endoscopio virtuale in diversi modi: interagendo con i controlli 3D, selezionando opportunamente gli assi dell endoscopio virtuale dalla Vista Mondo, interagendo con la Vista Endoscopica, interagendo con la rappresentazione dell endoscopio mostrata sulle Viste 2D. Qui di seguito sono analizzate le diverse modalità. CONTROLLI 3D In trasparenza sulla Vista 3D, all interno della Vista Controlli 3D, sono mostrati i controlli interattivi per il movimento dell endoscopio (Figura 5). Indipendentemente dal tipo di controllo, quando un controllo 3D è attivo il suo colore cambia in arancione. Inoltre nella Vista Mondo, in risposta alla selezione dei controlli, il sistema mostra l asse coinvolto nel movimento. Figura 5 Controlli 3D per il movimento dell endoscopio virtuale. Il controllo relativo alla rotazione (5a) è costituito da un anello di colore verde al quale è vincolato a muoversi un freccia di colore bianco ed da un pulsante di forma tonda con quattro frecce (due di colore rosso e due di colore giallo). Cliccando con il tasto sinistro del mouse sulla freccia bianca e muovendolo lungo l anello esterno viene ottenuto il roll dell endoscopio (la rotazione attorno all asse di vista). Cliccando con il tasto sinistro del mouse su una delle due frecce rosse si ottiene il pitch (rotazione attorno all asse destra-sinistra dell endoscopio). In particolare, per ogni click del tasto sinistro del mouse, viene effettuata una rotazione (pitch) di uno step predefinito, mentre tenendo premuto il tasto sinistro del mouse si ottiene una rotazione continua e di velocità costante (se contemporaneamente si muove il mouse nella direzione indicata dalle frecce si ottiene una rotazione di velocità variabile a seconda della velocità con la quale viene mosso il mouse). Se, durante il movimento, si posiziona il mouse al centro del controllo in corrispondenza dell icona, l endoscopio si ferma. Cliccando su una delle due frecce gialle si ottiene la rotazione yaw (rotazione attorno all asse sopra-sotto dell endoscopio). Anche su queste valgono le interazioni descritte per il pitch. Il controllo zoom (5 5b) modifica l angolo di vista dell endoscopio; per far questo l utente deve semplicemente muovere lo slider con il tasto sinistro del mouse. Il controllo 5c) è relativo al movimento di traslazione. In questo caso cliccando su una delle due frecce rosse viene traslato di un passo predefinito l endoscopio verso l alto o verso il basso; altrimenti tenendo premuto il tasto sinistro del mouse sulla freccia si ottiene un effetto di traslazione continuo e di velocità costante (se contemporaneamente si muove il mouse nella direzione indicata dalle frecce si ottiene una traslazione di velocità variabile in funzione della velocità del movimento stesso). Se, durante il movimento, si posiziona il mouse al centro del controllo in corrispondenza dell icona, l endoscopio si ferma. Le frecce gialle comandano la traslazione verso destra/sinistra dell endoscopio e i pulsanti +/- identificano l avanzamento/allontanamento dell endoscopio lungo l asse parallelo alla direzione di vista (avanti/indietro). Le interazioni con il mouse sono le stesse sopra descritte.

In figura 5d) è riportato il controllo che compare durante la navigazione e che modifica il punto osservato dall endoscopio mentre naviga senza però modificarne la posizione (guarda verso l alto, il basso, la destra e la sinistra). Inoltre, lo slider 5e) permette all utente di modificare la velocità con la quale l endoscopio naviga lungo il percorso virtuale. Le interazioni con questi controlli sono analoghe a quelle sopra descritte per la rotazione e la traslazione. VISTA MONDO La rappresentazione tridimensionale dell endoscopio, mostrata nella Vista Mondo, è munita di una terna di assi che identifica il sistema di riferimento lungo il quale l endoscopio può essere mosso. E possibile muovere l endoscopio selezionando ciascuno dei tre assi che lo compongono. Per traslare l endoscopio, è necessario selezionare l asse lungo il quale si vuole effettuare la traslazione mediante il tasto sinistro del mouse e, mantenendo il tasto sinistro premuto, muovere il mouse trascinando l endoscopio. Per ruotare l endoscopio, è necessario selezionare l asse attorno al quale si vuole effettuare la rotazione mediante il tasto destro del mouse e muovere il mouse, mantenendo il tasto destro premuto. Se selezionato, l asse si allunga in modo tale da evidenziare la direzione attiva del movimento. VISTA ENDOSCOPICA Nella Vista Endoscopica, l'endoscopio virtuale può essere mosso interagendo con la finestra endoscopica in maniere analoga alla Vista Mondo. I possibili movimenti sono: mantenendo il tasto sinistro del mouse premuto e muovendo il mouse, la rappresentazione tridimensionale dell endoscopio viene ruotata simulando una trackball. mantenendo il tasto destro del mouse premuto e muovendo il mouse, si avvicina/allontana il punto focale. mantenendo il tasto centrale del mouse premuto e muovendo il mouse, la rappresentazione tridimensionale dell endoscopio viene traslata nelle direzioni sopra/sotto e destra/sinistra. muovendo la Rotella del mouse, si muove l endoscopio in avanti/indietro. VISTE 2D E possibile selezionare e muovere l'endoscopio virtuale selezionando con il mouse la sua rappresentazione sulle viste 2D. La forma della rappresentazione dell endoscopio indica quale funzione è attiva (4 frecce: traslazione, frecce circolari: rotazione). La posizione dell endoscopio virtuale può essere modificata cliccando con il tasto sinistro del mouse la sua rappresentazione 2D e trascinandola muovendo il mouse. Cliccando sulla rappresentazione 2D dell endoscopio con il tasto destro del mouse, viene cambiata la modalità di movimento dell endoscopio (traslazione/rotazione). In questo modo è possibile controllare la direzione di vista ruotando opportunamente la freccia di colore fucsia nel verso desiderato. 1.2 Barra degli Strumenti La Barra degli Strumenti, posizionata nella parte alta dell ambiente di Navigazione, comprende una serie di comandi (Figura 6) che consentono, ad esempio, la creazione di nuovi percorsi virtuali o la gestione dell endoscopio e delle luci nella scena tridimensionale. Ciascuna di queste aree sarà illustrata nel dettaglio nei paragrafi seguenti. Figura 6 Barra degli Strumenti per il modulo di Navigazione

1.2.1 Definizione di percorsi virtuali Il Gruppo Percorso contiene il controllo per l aggiunta di un percorso virtuale all interno dell esame correntemente selezionato (Figura 7). La presenza di un percorso virtuale è la condizione necessaria affinché l utente possa avviare una navigazione. Figura 7 Gruppo Percorso 1.2.1.1 Pulsante Aggiungi Percorso Il pulsante Aggiungi Percorso permette di aggiungere un nuovo percorso di endonavigazione virtuale all esame correntemente selezionato. Un percorso virtuale può essere considerato come una sequenza ordinata di punti panoramici che indicano sostanzialmente posizioni dell endoscopio virtuale. Dopo averlo aggiunto all esame correntemente selezionato, è necessario, dunque, specificare i punti panoramici del percorso. PUNTI PANORAMICI I punti panoramici vanno aggiunti al percorso dopo aver posizionato l endoscopio in modo tale da visualizzare un punto di interesse. Definire un punto panoramico non vuol dire definire esclusivamente la posizione dell endoscopio virtuale, ma vuol dire più in generale fissare tutti i parametri che caratterizzano l endoscopio in un certo punto. Ogni punto panoramico è, dunque, caratterizzato, oltre che da un nome ed un eventuale descrizione, anche da posizione, punto focale, angolo di vista, view up, luce dell endoscopio. Quando la vista è quella desiderata, il corrispondente punto panoramico può essere inserito nel percorso mediante il pulsante a video Punto panoramico, nell Area di Visualizzazione (Figura 8). Per default, un nuovo punto panoramico è sempre aggiunto in coda ai precedenti con un nome predefinito. I valori relativi a posizione, punto focale, luci, angolo di vista e view up vengono interpolati durante la navigazione virtuale. I punti panoramici sono visualizzati nella scena 3D con una terna di assi. Tali terne sono nella stessa posizione/orientazione dell endoscopio virtuale al momento dell aggiunta del punto panoramico. Ciascun punto panoramico, una volta creato, può essere rimosso dal percorso, modificato, spostato rispetto alla posizione corrente.. Il percorso virtuale viene visualizzato nella Vista Mondo mano a mano che si inseriscono i punti panoramici (Figura 8). Il prototipo durante la costruzione di un percorso virtuale è in grado di riconoscere eventuali collisioni tra il percorso virtuale e gli elementi anatomici riconosciuti. Per ogni nuovo punto panoramico aggiunto al percorso, il sistema controlla le eventuali collisioni. Se tale controllo dà esito positivo il sistema prova ad aggirare l ostacolo inserendo dei punti panoramici tra il penultimo punto panoramico del percorso e l ultimo punto panoramico appena inserito.

Figura 8 Costruzione percorso per l endonavigazione virtuale. BOOKMARK Ad ogni percorso è possibile aggiungere non solo punti panoramici, ma anche bookmark. Un bookmark può essere considerato come un istantanea della scena 3D. Esso contiene tutte le informazioni relative all endoscopio virtuale (posizione, punto focale, angolo di vista, luce endoscopica) e tutte le informazioni relative alla scena 3D (camera, luci etc ). Ogni bookmark ha un proprio nome. Quando la vista è quella desiderata, il corrispondente bookmark può essere inserito nel percorso mediante il pulsante a video Bookmark, nell Area di Visualizzazione. Ciascun bookmark può essere rimosso dal percorso cui appartiene.. I bookmark sono oggetti interattivi: quando l endoscopio è vicino ad un bookmark viene mostrato, in basso a destra dell Area di Visualizzazione, un pulsante che, se cliccato con il tasto sinistro del mouse, consente di spostare l endoscopio nel bookmark corrente. PUNTI DI INTERESSE (POI) I punti di interesse (POI) sono del tutto analoghi ai bookmark, fatta eccezione del fatto che per essi è possibile specificare una zona in corrispondenza di una struttura anatomica, che sarà indicata con un pallino rosso e un etichetta nella scena tridimensionale (sia nella Vista Mondo che nella Vista Endoscopica). Per poter aggiungere un punto di interesse, è necessario cliccare sul pulsante a video Punto di interesse nell Area di Visualizzazione (Figura 3). In risposta a tale azione, il sistema mostra sulla Vista Endoscopica un mirino e in basso nella Vista Controlli 3D il pulsante ADD POI. Per indicare che è attiva la modalità di inserimento punto di interesse, il controllo video Punto di interesse appare di colore arancione. Muovendo la Vista Endoscopica, l utente deve inquadrare col mirino la zona d interesse su una delle strutture anatomiche presenti. Fatto ciò, premendo il pulsante ADD POI, il sistema aggiungerà il nuovo punto d interesse al percorso.

1.2.2 Gruppo Azioni Il Gruppo Azioni contiene i controlli per annullare/ripristinare un azione compiuta dall utente. Nel modulo di Navigazione, tali controlli non sono attivi in quanto non esistono azioni che possono 1.2.3 Gestione delle funzionalità dell Endoscopio Il Gruppo Endoscopio (Figura 9) contiene i controlli utili per la gestione di alcune funzionalità dell endoscopio virtuale, legate sia al posizionamento che all apparenza della sua rappresentazione tridimensionale. 1.2.3.1 Pulsante Reset Figura 9 Gruppo Endoscopio Il pulsante Reset permette di posizionare e orientare l endoscopio secondo delle scelte predefinite lungo l outline del volume DICOM caricato. Tale comando mostra all utente la finestra di tipo menù mostrata in figura 10. Figura 10 Finestra di tipo menù per il pulsante Reset. Se si seleziona l opzione Muovi l endoscopio in, il sistema mostra i comandi per spostare l endoscopio sull outline del volume in direzione superiore, inferiore, posteriore, anteriore, sinistra o destra. Se si seleziona l opzione Guarda con l endoscopio in, il sistema mostra i comandi per modificare l orientazione dell endoscopio virtuale in modo tale che guardi in direzione superiore, inferiore, posteriore, anteriore, sinistra o destra. 1.2.3.2 Pulsante Scala Il pulsante Scala permette di modificare la scala della rappresentazione tridimensionale dell endoscopio visualizzato nella scena 3D secondo valori predefiniti. Tale comando mostra all utente la finestra di tipo menù mostrata in figura 11. Le opzioni possibili sono: Figura 11 Finestra di tipo menu per il pulsante Scala. 50% : la scale dell endoscopio è ridotta al 50% del valore massimo. Default: la scala dell endoscopio è ripristinata al valore di default (metà del valore massimo) 75%: la scala dell endoscopio è ridotta al 75% del valore massimo. 1.2.3.3 Pulsante Opacità Il pulsante Opacità permette di modificare l opacità della rappresentazione tridimensionale dell endoscopio visualizzato nella scena 3D secondo valori predefiniti. Tale comando mostra all utente la finestra di tipo menù mostrata in Figura 12. Le opzioni possibili sono: Figura 12 Finestra di tipo menu per il pulsante Opacità. 25%: l opacità dell endoscopio è ridotta al 50% del valore di default. 50%: l opacità dell endoscopio è ridotta al 50% del valore di default.

75%: l opacità dell endoscopio è ridotta al 75% del valore di default Default: il valore di opacità dell endoscopio è ripristinato al valore di default (endoscopio completamente opaco) 1.2.3.4 Pulsante Piano di taglio Il sistema consente di tagliare le mesh lungo la direzione di vista. Nella Vista Mondo è mostrata la slice relativa al piano di taglio corrente, in corrispondenza della posizione dell endoscopio virtuale. Il pulsante Piano di taglio permette di nascondere/visualizzare il piano di taglio. All avvio, il sistema mostra il piano di taglio. Per questo motivo, il pulsante appare selezionato. E sufficiente premere il pulsante per nascondere il piano. 1.2.4 Gestione delle Luci Il Gruppo Luci (Figura 13) espone le funzionalità utili per la modifica delle luci associate alla scena tridimensionale mostrata nell Area di Visualizzazione. Allo stato attuale, il prototipo prevede la presenza di tre luci associate alla scena tridimensionale. Figura 13 Gruppo Luci Due luci (l una diffusa, l altra legata alla posizione dell endoscopio) sono associate alla Vista Mondo e non sono modificabili dall utente. Queste luci sono luci fisse, vale a dire luci che non sono interpolate durante l animazione. La terza, invece, associata all endoscopio virtuale, è visibile nella Vista Endoscopica e la sua posizione è interpolata durante l animazione virtuale. 1.2.4.1 Pulsante Reset Il pulsante Reset permette all utente di modificare la posizione della luce associata alla Vista Endoscopica. Tale comando mostra all utente la finestra di tipo menù riportata in Figura 14. Le opzioni possibili sono: Default Setup: il sistema ripristina il setup di default Luce proveniente dall alto Luce proveniente dal basso Luce proveniente da sinistra Luce proveniente da destra Figura 14 Finestra di tipo menù per il pulsante Reset.