Lezione 8: Video (1) Informatica e Produzione Multimediale. Docente: Umberto Castellani

Transcript

1 Lezione 8: Video (1) Informatica e Produzione Multimediale Docente: Umberto Castellani

2 Sommario Introduzione al video Formati video Analogici digitali Il Moving picture Expert group (MPEG) Editing video

3 Dall immagine al segnale video Conversione di luce visibile in un segnale elettrico il segnale elettrico permette di raffigurare una immagine vogliamo dare l illusione di movimento e riprodurre il più fedelmente possibile l immagine

4 Cinema e illusione del movimento Il fenomeno della persistenza delle immagini sulla retina permette di vedere il movimento. Il cervello riesce ad acquisire una nuova immagine ogni circa 1/10 di sec. L illusione del movimento è data dalla visione di una sequenza di immagini statiche (gioco delle carte, il cilindro forato, disegni animati) La sequenza di immagini deve presentarsi agli occhi con sufficiente velocità. Si parla di fotogrammi al secondo (frame per second fps)

5 Percezione ottica (Persistence of vision) L occhio percepisce una sequenza veloce di fotogrammi* fissi come un movimento continuo grazie alla POV (Persistence of vision) *(termine derivato dal cinema) Quanto veloce? Teleconferenza: 10 fps movimento a scatti Film muto: 16 fps al limite del movimento a scatti Film sonoro: 24 fps Televisione: fps HDTV fps

6 L immagine in movimento Se le immagini in sequenza differiscono di poco allora viene percepito solo il cambiamento da una all altra immagine Si chiama frequenza di fusione la velocità di successione delle immagini oltre alla quale la sequenza viene percepita come un continuo (dipende dall illuminazione dell ambiente comunque non è mai oltre i 40fps) Se la successione di immagini è riprodotta ad una velocità inferiore alla frequenza di fusione si percepisce l effetto di flickering (il video si percepisce a scatti)

7 Generazione di immagini in movimento Ci sono due modo per generare immagini che riproducono scene in movimento: Catturare sequenze di immagini reali con una videocamera (video) Creare individualmente i singoli frame in modo da creare il movimento in maniera sintetica (animazione)

8 Video e calcolatore Il calcolatore viene usato per la gestione di dati video: Processare dati video Memorizzare dati video Trasmettere dati video

9 Segnali video: analogico vs digitale Ai fini della produzione multimediale siamo interessati a processare video digitali Nella maggior parte dei casi i video derivano da dispositivi analogici Occorre conoscere i dispositivi analogici (e gli standard video associati) per capire come convertirli correttamente in digitale

10 Videotecnologia: il video analogico Il segnale video non è semplicemente una sequenza di immagini 2D (bitmap), ma è un segnale che deve viaggiare nel tempo Argomenti: Modalità di scansione: interlacciata/progressiva Video composito Video per componenti S-video Formati di quadro video

11 Video interlacciate Le immagini sono generate sullo schermo con la modalità a scansione interlacciata: l immagine si genera alternando le righe di posto pari con righe di posto dispari

12 Interlacciamento Le due sequenze di scansione dello schermo generano ciascuna un field o semiquadro Il numero di linee che compongono ogni semiquadro (e quindi l intera schermata) dipendono dal tipo di standard televisivo (NTSC, PAL/Secam)

13 Interlacciamento l occhio umano, per effetto della persistenza dell immagine, non fa in tempo a cancellare dalla retina l immagine del campo precedente prima che arrivi il successivo PRO: possono essere raggiunte alte frequenze di scansione, come i 50 e i 60 Hz, utilizzando una minor quantità di dati CONTRO: L immagine ha una risoluzione reale pari alla metà di quella effettiva. Inoltre si introducono problemi di sincronizzazione

14 Video progressivo tutte le linee orizzontali che formano un singolo fotogramma vengono mostrate contemporaneamente Di solito i monitor sono a scansione progressiva Con la scansione progressiva si ottengono dei fermi immagine molto più nitidi e dettagliati Alcuni dispositivi convertono il video interlacciato in progressivo

15 Video composito L informazione necessaria a controllare il movimento del pennello di elettroni nella scansione dello schermo viene codificata in un unico segnale elettrico che contiene sia i valori che controllano l intensità di emissione del fascio di elettroni (luminosità e colori), sia i valori che permettono un accurata sincronizzazione Ogni linea di scansione è composta da 858 campioni dei quali i primi 65 costituiscono il segnale di sincronizzazione e i 720 successivi compongono l immagine Nella maggior parte dei casi usano il formato interlacciato

16 Esempio:

17 Tipi di video composito (standard televisivi) PAL NTSC SECAM Fondamentalmente questi standard differiscono dal numero di fotogrammi al secondo che compongono il video La risoluzione verticale dei fotogrammi N.B. è necessario che i dispositivi che ricevono il segnale video, quali monitor, televisori, schede di acquisizione per P.C., etc. utilizzino lo stesso formato dei dispositivi che lo generano (telecamere).

18 Standard PAL(Phase Alteration Line) E' il formato video più diffuso in Europa Si basa su una frequenza dell'alimentazione di 50Hz e per questo prevede un numero di fotogrammi al secondo pari a 25 (50 campi/sec.). Il numero di linee orizzontali componenti ogni fotogramma è stabilito in 625.

19 NTSC (National Television Systems Committee) E' il formato video utilizzato in America. Si basa su una frequenza dell'alimentazione di 60Hz e per questo prevede un numero di fotogrammi al secondo pari a 30 (60 campi al secondo). Il numero di linee orizzontali componenti ogni fotogramma è stabilito in 525.

20 SECAM (Systeme Electronique Couleur Avec Memoire ) E' un formato video utilizzato in Francia ed in numerosi paesi dell'est Europeo. Ha gli stessi parametri di fotogrammi al secondo e risoluzione del sistema PAL anche se differisce sia dal PAL che dal NTSC nella gestione del colore. In passato la risoluzione SECAM era di 819 linee orizzontali, oggi è la stessa del PAL ossia 625 linee.

21 Standard televisivi nel mondo

22 Riassunto standard video Formato video Fps Risoluzione verticale PAL NTSC SECAM 25 Fps (50 campi/sec.) 30 Fps (60 campi/sec.) 25 Fps (50 campi/sec.)

23 Component video (video per componenti) I segnali di luminanza e di differenza colore rimangono separati. Posso trasportare direttamente i 3 segnali R, G e B o una loro codifica (differenze colore) già pesata per l uso video. Mantengo piena banda su tutto il segnale. Non ho intermodulazioni ne artefatti Sfortunatamente per portare un segnale componenti devo "tirare" 3 cavi RG 59.

24 S-Video Si usano due cavi: Uno per la luminanza Uno per la crominanza (composita) Rappresenta un compromesso tra segnale composito e segnale per componenti Il segnale di luminanza viaggia da solo (per cui viene meglio preservato), proprio perché è il segnale più sensibile dal punto di vista percettivo

25 Video composito codificato I segnali compositi codificati PAL, NTSC ed S- Video incorporano la combinazione delle differenze colore U e V in un unico segnale di crominanza usando la tecnica della modulazione in quadratura: C=Ucos(t)+Vsin(t) dove t rappresenta la sottoportante colore (3.58 MHz per l NTSC e 4.43 MHz per il PAL)

26 Video composito codificato (II) In teoria la modulazione in quadratura è reversibile senza perdita di informazione se i segnali U e V sono limitati in banda. In pratica la modulazione in sè non introduce perdite significative, anche se la limitazione della banda delle differenze colore introduce perdita di dettaglio nei colori.

27 Formati di quadro video esiste una grande varietà di dimensioni video, ognuna predisposta ad una particolare funzione o legata ad un particolare sistema di trasmissione. Tutti questi quadri video sono legati da un valore, chiamato Aspect ratio, che lega altezza e larghezza del quadro stesso secondo la seguente regola: Aspect ratio: larghezza / altezza

28 Esempi Video 4/3 Widescreen o 16/9 1.78:1 Widescreen EUR 1.66:1 pixelletterbox 1.85:1 pixelpanavision 2.40:1 pixelcinemascope 2.35:1 1.33:1 (è il video TV) Formati per il cinema

29 Video anamorfico Per video anamorfico si intende un video distorto nelle proporzioni, in modo da sfruttare il più possibile i pixel disponibili in un quadro con proporzione 4:3 standard. La realizzazione di un video anamorfico, crea reali vantaggi soprattutto, quando la larghezza dell'immagine (inquadratura) è superiore alla larghezza del riquadro a disposizione.

30 Widescreen TV Il video anamorfico è utile solo per video di tipo widescreen e non 4:3. Widescreen TV è Il formato 16:9 pensato per poter essere visualizzato su TV 16:9 a pieno schermo e su TV 4:3 con due bande nere sopra e sotto.

31

32 Video digitale Come nel caso delle immagini statiche o del suono anche il video viene digitalizzato campionando un segnale analogico Si può ottenere del video digitale direttamente da una telecamera digitale oppure attraverso una scheda di acquisizione video (frame grabber)

33 Digitalizzazione: facciamo due conti Digitalizzare un video NTSC: Ogni frame produce una bitmap di Con 24-bit per pixel un frame occupa byte Un secondo è composto da 30 frames ovvero 26 Mb (1 minuto sono circa 1.6 Gb) Digitalizzare un video PAL o SECAM: Ogni frame produce una bitmap di Con 24-bit per pixel un frame occupa byte Un secondo è composto da 25 frames ovvero 31 Mb (1 minuto sono 1.85 Gb) E necessaria la compressione!!

34 Digitalizzazione: compressione Se il video non viene compresso non è possibile usufruirne ne attraverso il computer dopo averlo memorizzato su HD, CD o DVD ne tanto meno scaricandolo da web (ci sono problemi sia per la memorizzazine di interi filmati e sia per la riproduzione fluida del video) Solo in alcuni casi (rari) negli studi professionali si preferisce memorizzare la versione non compressa del video (quando si sceglie di lavorare con il digitale) I dispositivi capaci di comprimere o decomprimere il segnale video si chiamano codec (ne esistono versioni sia Hardware e sia Software)

35 Digitalizzazione: dispositivi Per catturare il video in real-time occorrono dispositivi hardware dedicati: Telecamere digitali Frame grabber Le telecamere digitali o i videoregistratori digitali producono un video digitale secondo i formati: DV format (o Mini-DV), DVCAM, DVCPRO Sono più robuste al rumore ma danno meno possibilità all utente di controllare il processo di digitalizzazione (es. per la compressione) Di solito si connettono al calcolatore tramite firewire

36 Frame grabber: il segnale analogico viene convertito in digitale È la scheda stessa che applica la compressione video È meno robusta al rumore in quanto ci possono essere delle perdite dovute alla trasmissione via cavo dal dispositivo analogico al frame grabber C è più versatilità nel controllare i parametri di digitalizzazione (es. parametri di compressione)

37 Formato digitale Lo standard ufficiale fa riferimento al Rec.ITU-R 601 (più conosciuto come CCIR 601) Essenzialmente vengono definiti i criteri di campionamento del segnale video Viene stabilito che il campionamento orizzontale sia di 720 campioni per codificare la componente di luminanza e due insiemi di 360 campioni per codificare il colore: lo spazio colore è Y C b C r

38 CCIR 601 La versione D1 stabilisce che: Luma (Y ) : 8 (10) bit Chroma (Cb, Cr) : 8 (10) bit Le componenti Cb e Cr vengono sottocampionate orizzontalmente per ottenere un data-rate di 2/3 rispetto all RGB Si parla di codifica 4:2:2 720 campioni di luminanza per scan-line attiva

39 4:2:2 vs. 4:4:4 Cosa vuol dire 4:2:2? Che la luminanza viene sovracampionata 4 volte, mentre le due componenti di crominanza 2 volte ciascuna. (Ovviamente 4:4:4 significa un campionamento omogeneo delle 3 componenti) Per ogni 4 campioni Y ci sono 2 campioni C b e 2 C r, sfasati su linee successive per evitare sfasamenti cromatici Un linea di scansione è quindi composta così: Y Cb Y Cr Y Cb Y Cr...

40 Perché 4:x:x? Analogamente si hanno codifiche del tipo 4:1:1 Esiste anche la codifica 4:2:0 per la quale la componente del colore viene sottocampionata di un fattore 2 e le due componenti cromatiche vegono interlacciate (per cui si riduce di un altro fattore 2) N.b. La notazione 4:2:0 non è coerente con le altre ovvero non significa che la componente C r non viene considerata

41 Video digitale e compressione Oltre alla procedura di campionamento che aiuta ad avere una riduzione della mole di dati video è necessario anche applicare opportune procedure di compressione video Lo standard per la compressione video è l MPEG (dall omonima organismo che lo definisce: Moving pictures expert group) MPEG 2: è lo standard più diffuso MPEG 4: è lo standard emergente che permette un ulteriore aumento della capacità di compressione, particolarmente adatto allo streaming video

42 Streamed Video E possibile visualizzare un video registrato precedentemente su un certo supporto (HD, CD- ROM, DVD) E possibile visualizzare un video proveniente da una rete (i.e., Internet) in modo da visualizzare i frame appena arrivano senza la necessità di avere l intero filmato Si parla di flusso video (stremed video)

43 Streamed video: client server Il flusso video (o data stream, o video stream) viene inviato (distribuito) da un server ad un client che lo visualizza nel momento stesso in cui lo riceve (frame per frame) Il video stream emula il comportamento della televisione (broadcast) adottando il paradigma clientserver: il server mette a disposizione il video, il client è in grado di scaricarlo e visualizzarlo

44 Streamed video e live video Lo streamed video permette la trasmissione digitale di video in diretta o live video Il vantaggio rispetto alla TV consiste nel fatto che non c è un numero ristretto di emettitori ma ogni sito web è un potenziale emettitore Lo streamed video è molto usato per le video conferenze

45 Tipi di streaming Progressive download (o HTTP streaming) ll video viene visualizzato nel momento in cui arriva al destinatario e contemporaneamente viene memorizzato sull HD del destinatario Non è adatto per il video live e non permette gli accessi casuali True streaming Il video viene visualizzato nel momento in cui arriva al destinatario. Una volta visualizzato il frame viene cancellato È adatto per il video live e permette gli accessi casuali

46 Streamed video e banda L ostacolo principale dello streamed video consiste nella capacità della rete (i.e. banda) Si richiede una banda di 1.86 Mbit per second Le linee T1 o ADSL possono essere adatte, le linee basate su modem (V90) invece non lo sono Se la rete non è sufficientemente potente e costante si manifesta il fenomeno dello jittering: quando si perde il sincronismo dovuto ad un rallentamento dei flussi di dati (sia video e sia audio)

47 Qualità del servizio (QoS) E importante che la capacità di trasmissione garantisca una certa costanza (i.e., la variazione della banda disponibile non deve essere eccessiva e comunque deve esserci una larghezza di banda minima garantita) problema del one-way packet delay Si parla in questi casi di Quality of Service (QoS) La QoS è fondamentale per il multimediali in real time: La video conferenza (descritta secondo lo standard H.263) La telefonia su internet (Voice over IP VoIP standard G.729) Lo streaming video (standard MPEG 4)