SOFTWARE MULTIMODALE DFB

Transcript

1 SOFTWARE MULTIMODALE DFB versione 1.0 Il pacchetto di programmi e tutti i contenuti sono stati realizzati all'interno del progetto "Software multimodale DFB" della Scuola Sec. Paritaria per Sordi "Smaldone" - Salerno (SA) Il progetto è stato promosso e finanziato da: Ministero della Pubblica Istruzione - Direzione Generale dello Studente Progetto "Nuove Tecnologie e disabilità" - Azione 6 Il Pacchetto è composto da una serie di software destinati all'utilizzo della Dattilologia Fonologica Bimanuale (DFB), strumento che consente di trasformare la lingua verbale italiana in elementi visibili: i 28 fonemi della lingua parlata sono convertiti in 24 cheremi (ovvero gli elementi visibili corrispondenti ai fonemi della lingua verbale) sufficienti a rendere comprensibile la lingua verbale anche a chi non sente, a chi non conosce le regole ortografiche della scrittura italiana e a chi non conosce le ambiguità delle 21 lettere dell'alfabeto (i grafemi). I moduli facenti parte del pacchetto sono DFB_Filmato: modulo per la visualizzazione di testo attraverso animazioni del movimento delle mani di una figura umana (avatar) DFB_Tastiera: tastiera a video finalizzata all'inserimento di testo mediante cheremi DFB DFB_Traduzione memoria: modulo per la conversione di un testo in cheremi DFB, utilizzabile in abbinamento a software non compresi nel pacchetto: traduce e sostituisce il testo selezionato con cheremi (il software deve accettare l'input del testo) DFB per OpenOffice: modulo per la conversione del testo da grafemi in cheremi e viceversa utilizzando OpenOffice Writer (disponibile gratuitamente all'indirizzo it.openoffice.org). Il testo originale verrà mantenuto e verrà aggiunto il testo tradotto DFB per Microsoft Office Word: strumento per la conversione del testo da grafemi in cheremi e viceversa utilizzando Microsoft Office Word (software commerciale). Il testo originale verrà mantenuto e verrà aggiunto il testo tradotto. Font DFB_Simboli: font che riproduce graficamente i cheremi Come realizzare attività didattiche multimediali interattive: serie di documenti in formato PDF finalizzati ad indicare come realizzare attività multimediali interattive integrando cheremi DFB utilizzando Jclic (disponibile gratuitamente all'indirizzo I programmi possono essere installati individualmente (non è quindi necessario installarli tutti) funzionano sotto Microsoft Windows XP e successivi. Pagina 1 di 19

2 necessitano dell'istallazione del Framework 2 o successivi. Il framework fa parte degli aggiornamenti di Microsoft Windows: non va quindi disinstallato, anche se non si intendesse più utilizzare i programmi per la DFB. Nel sistema operativo Win7 il framework è già presente. L'installazione del pacchetto comporta la realizzazione di una Cartella contenente tutti i programmi del pacchetto (di default la Cartella \programmi\dfb). Pagina 2 di 19

3 DFB Filmato Questo modulo è finalizzato a trasformare il testo scritto copiato in memoria in cheremi attraverso animazioni del movimento delle mani di una figura umana (avatar). Può essere utilizzato in associazione a programmi non inclusi nel Pacchetto. Nell'esempio viene mostrato l'avatar che riproduce il testo presente in una pagina reperita in rete. Selezionare il testo da tradurre/riprodurre e copiarlo con i tasti (Ctrl C) o cliccando sull'icona Copia del Programma in uso. Utilizzare poi il pulsante Avvia/Interrompi per gestire la riproduzione del testo. Tramite la barra di scorrimento è possibile impostare una velocità maggiore (spostamento a destra) o minore (spostamento a sinistra) di riproduzione dell'animazione. Pagina 3 di 19

4 Durante l'animazione viene modificata l'immagine del pulsante Avvia/Interrompi: premendo questo pulsante la riproduzione viene interrotta; una successiva pressione riprenderà la riproduzione dal punto di interruzione. La pressione del pulsante Termina Filmato (a destra) terminerà invece la riproduzione ed un eventuale riavvio farà ripartire dall'inizio la riproduzione. È possibile scegliere di accompagnare la riproduzione dell'animazione con il testo scritto al di sotto della figura umana (avatar). Nota: la scritta sarà sincronizzata parola per parola rispetto all'animazione. Tramite il menù Impostazioni è possibile scegliere se il testo dovrà essere visualizzato mediante cheremi o grafemi. La stessa scelta può essere effettuata mediante le scorciatoie da tastiera (Ctrl D) e (Ctrl G). Sempre mediante il menù Impostazioni è possibile intervenire sul colore di sfondo e sul colore e la dimensione del carattere. La dimensione del carattere può essere modificata anche utilizzando le scorciatoie da tastiera (Ctrl +) e (Ctrl -). Si può optare per la riproduzione del testo mediante sintesi vocale; la riproduzione sarà sincronizzata parola per parola rispetto alla riproduzione dell'animazione. Tramite il pulsante Imposta si può scegliere la voce da utilizzare durante la riproduzione. Pagina 4 di 19

5 La voce di menù Imposta apre una nuova finestra. All'interno della tendina a discesa è possibile scegliere una voce tra quelle installate sul computer N.B. il programma utilizza le voci installate sul computer, ma non ne installa nessuna: voci gratuite Sapi4 possono essere scaricate all'indirizzo ). L'elenco mostra sia le voci Sapi4 che le voci Sapi5; le impostazioni di velocità e volume verranno applicate solo alle voci Sapi5 (non disponibili gratuitamente). Utilizzando i sistemi operativi Windows Vista e Windows7 di default verranno visualizzate solo le voci Sapi5; è possibile utilizzare le voci Sapi4 avviando da amministratore. La funzione Allinea figure può essere necessaria su alcuni sistemi, qualora si determinasse un disallineamento tra la parte destra e la parte sinistra della figura umana: va utilizzata solo se viene visualizzato un taglio tra le due metà. La funzione Attiva riconoscimento continuo richiede che sul computer sia installato anche OpenOffice (it.openoffice.org). Se abilitata, l'avatar riprodurrà il testo che viene inserito nel foglio aperto. La funzione può essere utilizzata in abbinamento ad un programma di dettatura: dopo aver aperto OpenOffice Writer, iniziare la dettatura indirizzando il testo nel documento. Quanto dettato verrà immediatamente tradotto in cheremi e riprodotto dall'animazione dell'avatar. Pagina 5 di 19

6 È possibile anche scrivere direttamente in un documento Writer (quindi senza utilizzare il programma di dettatura) ed ottenere l'animazione riproducente il testo scritto. N.B.: il riconoscimento del testo nel documento funziona con un metodo sequenziale; intervenire quindi durante il riconoscimento con modifiche nel testo già scritto può portare a risultati inattesi. Il menù Filmato contiene le stesse funzioni presenti sulla pulsantiera: avviare, interrompere, terminare il filmato e modificarne la velocità. Le stesse azioni possono essere richiamate con scorciatoie di tastiera avvia/interrompi (Ctrl A) Termina (Ctrl T) Aumenta velocità (Ctrl ) Riduci velocità (Ctrl ) La dimensione e la posizione della finestra possono essere modificati agendo sulla stessa. I parametri di configurazione impostati vengono salvati automaticamente a livello di utente di Windows. Pagina 6 di 19

7 DFB Tastiera Questo modulo è destinato a chi conosce le regole di conversione della lingua verbale italiana in Dattilologia Fonologica Bimanuale (DFB) e consente di riprodurre il linguaggio parlato su qualsiasi documento di testo in forma visibile attraverso i cheremi. Tramite la tastiera è possibile inviare testo a programmi non contenuti nel Pacchetto. All'avvio il programma mostra una tastiera a video mobile contenente i cheremi, le cifre e i tasti di punto, virgola, invio, cancellazione e spazio. E' visibile anche un pulsante per definire le impostazioni della tastiera stessa. La tastiera funziona in abbinamento a qualsiasi programma destinato a raccogliere testo. La tastiera è in grado di inviare il carattere, ma non di impostarne il font. Per visualizzare correttamente in DFB ciò che si scrive, sarà quindi necessario impostare manualmente il font DFB_Simboli. Al passaggio del cursore su di un pulsante, questo assume un colore diverso. È possibile cliccare sui pulsanti contenenti vocali o cifre. Al passaggio su di un pulsante contenente una consonante verrà invece visualizzato il Pannello Sillabe (una barra verticale di colore diverso contenente la Pagina 7 di 19

8 consonante stessa e le sillabe da essa composte). Il Pannello Sillabe rimarrà visibile fino a quando il cursore non si sposterà al di fuori di esso. La posizione e la dimensione della tastiera vengono salvate automaticamente come impostazioni utente. Per le altre proprietà è necessario utilizzare il pulsante Impostazioni per accedere al relativo menù. Cliccando sul pulsante Impostazioni viene visualizzata una nuova finestra all'interno della quale è possibile configurare le varie proprietà: Sfondo: il colore dello sfondo dell'intero pannello tastiera Sfondo pulsanti: il colore dello sfondo dei pulsanti Colore caratteri: il colore dei caratteri Over: il colore che assume il pulsante al passaggio del cursore Pannello sillabe: il colore di sfondo del Pannello Sillabe Sfondo sillabe: il colore dei pulsanti presenti sul Pannello Sillabe Caratteri sillabe: il colore dei caratteri dei pulsanti presenti sul Pannello Sillabe Over sillabe: il colore che il pulsante presente sul Pannello Sillabe assume al passaggio del cursore Reset: riporta tutte le proprietà alle impostazioni iniziali (comprese la posizione e la dimensione della tastiera) Trasparenza: rende più o meno trasparente la tastiera in modo che sia possibile vedere anche ciò che sta al di sotto di essa Pagina 8 di 19

9 DFB Traduzione in memoria Questo modulo è finalizzato a convertire un testo scritto in lingua verbale visibile mediante i cheremi (ad esempio durante la realizzazione di attività personalizzate con Jclic). Nell'esempio il software viene utilizzato per tradurre il testo durante la realizzazione di un'attività con Jclic. Il testo tradotto sostituisce il testo originale. All'avvio viene mostrata una finestra destinata semplicemente a ricordare le azioni da eseguire. N.B. La chiusura della finestra chiuderà il programma. Il pulsante Impostazioni apre una nuova finestra che permette di optare per la traduzione o meno dei numeri in lettere e, in caso positivo, di inserire spazi tra i periodi (ad esempio diventerà tredicimilioni trecentomila). Per la traduzione del testo selezionarlo e premere la combinazione di tasti (Ctrl C). Il testo verrà tradotto automaticamente; il programma non è in grado però di impostare automaticamente il font da utilizzare Sarà quindi necessario impostare manualmente il font DFB_Simboli per visualizzare correttamente i cheremi e leggere il testo trasformato in lingua verbale visibile Pagina 9 di 19

10 DFB per OpenOffice.org Writer Questo modulo è finalizzato alla gestione del testo all'interno di OpenOffice.org Writer. E' possibile tradurre il testo da grafemi in cheremi e viceversa. Il programma apre una barra volante sulla quale sono presenti quattro pulsanti. Il primo pulsante trasforma il testo scritto, a partire dalla posizione del cursore, nel documento in lingua verbale italiana visibile avvalendosi dei cheremi. Il secondo pulsante esegue l'operazione inversa: interpreta e traduce i cheremi della lingua verbale italiana visibile nei corrispondenti grafemi della lingua scritta. Il terzo pulsante traduce e invia al documento di Writer (che deve essere preventivamente aperto) il testo in memoria. Il quarto pulsante apre il Pannello di Configurazione del programma. Pagina 10 di 19

11 Nella prima scheda del Pannello di Configurazione (Traduci a DFB) è possibile impostare le proprietà da applicare durante la traduzione in cheremi specificare se la traduzione deve partire dalla posizione del cursore oppure se deve essere tradotto l'intero documento (non verranno comunque ritradotte parti che appaiono già in cheremi) impostare se la traduzione deve essere inserita nel documento aperto o se deve essere creato un nuovo documento definire se i numeri scritti in cifra devono essere tradotti in cheremi, ed in caso positivo, se va inserito uno spazio tra i periodi (ad esempio duemilionitrecentomila verrà tradotto come duemilioni trecentomila) settare la dimensione dei cheremi Nella seconda scheda del Pannello di Configurazione (Traduci da DFB) è possibile impostare le proprietà per la traduzione da cheremi in grafemi. In questo caso si può scegliere solo se tradurre o meno l'intero documento e se la traduzione deve essere inserita nel documento aperto o ne va creato uno nuovo. Pagina 11 di 19

12 DFB per Microsoft Office Word Questo modulo è finalizzato alla gestione del testo all'interno di Microsoft Word (versione 2000 e successive). E' possibile tradurre il testo da grafemi in cheremi e viceversa. Il programma realizza una barra degli strumenti presente all'interno di Microsoft Word stesso. Qualora dopo l'installazione la barra non fosse visibile, utilizzare il menù Visualizza barre degli strumenti DFB_Strumenti. Nella versioni 2007 e 2010 di Microsoft Word la barra viene visualizzata nella scheda DFB. Oltre alla barra degli strumenti è presente anche un menù che richiama le stesse funzionalità. Pagina 12 di 19

13 Il primo pulsante trasforma il testo scritto a partire dalla posizione del cursore nel documento in lingua verbale italiana visibile avvalendosi dei cheremi. Il secondo pulsante esegue l'operazione inversa: interpreta e traduce i cheremi della lingua verbale italiana visibile nei corrispondenti grafemi della lingua scritta. Il terzo pulsante traduce ed invia al documento aperto il testo in memoria. Il quarto pulsante apre il Pannello di Configurazione del programma. Nella prima scheda del Pannello di Configurazione (Traduci a DFB) è possibile impostare le proprietà da applicare durante la traduzione in cheremi specificare se la traduzione deve partire dalla posizione del cursore oppure se deve essere tradotto l'intero documento (non verranno comunque ritradotte parti che appaiono già in cheremi) impostare se la traduzione deve essere inserita nel documento aperto o se deve essere creato un nuovo documento definire se i numeri scritti in cifra devono essere tradotti in cheremi, ed in caso positivo, se va inserito uno spazio tra i periodi (ad esempio duemilionitrecentomila verrà tradotto come duemilioni trecentomila) settare la dimensione dei cheremi Pagina 13 di 19

14 Nella seconda scheda del Pannello di Configurazione (Traduci da DFB) è possibile impostare le proprietà per la traduzione da cheremi in grafemi. In questo caso si può scegliere solo se tradurre o meno l'intero documento e se la traduzione deve essere inserita nel documento aperto o ne va creato uno nuovo. Pagina 14 di 19

15 Utilizzo del font DFB_Simboli L'installazione anche di uno solo dei programmi sopra citati comporta anche l'installazione del font DFB_Simboli nel sistema in uso. Questo font sarà quindi presente in qualsiasi software utilizzato sul computer. Oltre che in abbinamento ai programmi del pacchetto, il font può essere quindi utilizzato direttamente da tastiera da chi conosca le regole di conversione della lingua verbale italiana in Dattilologia Fonologica Bimanuale (DFB). Di seguito viene presentata la Tabella di conversione dei 28 fonemi della lingua verbale italiana codificati con il codice SAMPA nei grafemi, digrammi e trigrammi della lingua scritta italiana, associati ai relativi tasti della tastiera QWERTY, che si possono digitare in minuscolo e maiuscolo per visualizzare i cheremi della lingua verbale visibile corrispondenti ai fonemi della lingua verbale parlata utilizzando il font DFB_Simboli. Tabella di conversione Fonema della lingua verbale italiana a b ts k d e/e f dz g i j l L Grafema, digrammi o trigrammi dell'italiano scritto a b c/ci c/ch d e f g/gi g/gh i i l gl/gl i Tasto della Tastiera QWERTY A B C K D E F J G I I L L tasto a b c k d e f j g i i l minuscolo TASTO MAIUSCOLO A B C K d E f G I I L Fonema della lingua verbale italiana m n/n J o/o p r s/z S t u w v ts/d z Grafema, digrammi o trigrammi dell'italiano scritto m n gn o p r s sc/s ci t u u v z Tasto della Tastiera QWERTY M N J O P R S S T U U V Z tasto m n o p r s t u u v z minuscolo TASTO MAIUSCOLO M N J O P R S T U U V Z Pagina 15 di 19

16 Legenda: le vocali (in azzurro nella Tabella) e le semiconsonanti (in giallo nella Tabella) scritte come carattere minuscolo corrispondono all'utilizzo con la mano sinistra (vocali nelle parole precedute da consonante), mentre scritte come carattere Maiuscolo corrispondono all'utilizzo con la mano destra (vocali nelle parole non precedute da consonante). Si riporta la Notazione SAMPA (acronimo di Speech Assessment Methods Phonetic Alphabet), che è un sistema di codifica di caratteri fonetici per la trascrizione dei 28 fonemi della lingua verbale italiana utilizzando una tastiera QWERTY Notazione SAMPA per l'italiano Notazione SAMPA Esempio Esempio in SAMPA p pane pane pp coppa koppa b banco banko bb gobba gobba t tana tana tt zitto tsitto d danno danno dd cadde kadde k cane kane kk nocca nokka g ago ago gg fugga fugga f fame fame v vano vano s sano sano z sbaglio zballo S scendo Sendo ts cena tsena dz gita dzita ts zitto tsitto dz zona dzona Pagina 16 di 19

17 m molla molla n nocca nokka J gnocco JOkko N ancora ankora l lama lama r rete rete L gli Li j ieri jeri w uomo womo a rata rata e rete rete E meta meta i mite mite o dove dove O moto moto u muto muto Pagina 17 di 19

18 Si illustrano di seguito le regole per eseguire la Dattilologia Fonologica Bimanuale e trasformare la lingua verbale italiana in una lingua verbale visibile usando al posto dei fonemi i cheremi dell'alfabeto Manuale Italiano integrato dal Sistema Fonologico: Come si esegue: Istituto Filippo Smaldone di Salerno Dr. Roberto Cuzzocrea La Dattilologia Fonologica Bimanuale 1. Si esegue usando l'alfabeto Manuale Italiano integrato dal Sistema Fonologico (vedi Tabella successiva) 2. Si esegue con due mani e si può sincronizzare con il parlato 3. Con la mano destra si producono tutte le consonanti e tutte le vocali non precedute da consonante 4. Con la mano sinistra si realizzano soltanto le vocali precedute da consonante 5. Le due mani sono posizionate sotto il mento in simultanea e ravvicinate tra di loro per far rientrare nel campo visivo dei bambini anche le labbra dell'operatore 6. Durante la produzione dei gruppi consonantici e delle vocali non precedute da consonante, la mano sinistra scompare dal campo visivo dei bambini 7. Le consonanti doppie sono prodotte con un duplice movimento ritmico della mano destra. Si riporta, infine, l'alfabeto Manuale Italiano integrato dal Sistema Fonologico con i cheremi (simboli eseguiti con la mano) corrispondenti ai fonemi della lingua verbale italiana (all'interno delle barre / /) e con la rappresentazione delle regole di conversione ortografica unitaria e multinaria nella scrittura italiana. In questa Tabella i fonemi sono codificati con i simboli del Codice IPA (Alfabeto Fonetico Internazionale). Pagina 18 di 19

19 Pagina 19 di 19