Informatica Multimediale. Duilio Tazzi

Transcript

1 Informatica Multimediale Elementi di Base di Duilio Tazzi

2 Quadro generale Panoramica su come sono fatti i diversi segnali video......e sulle apparecchiature che lo trattano

3 Dall immagine al segnale (video) Conversione di luce visibile in un segnale elettrico il segnale elettrico permette di raffigurare una immagine vogliamo dare l illusione di movimento e riprodurre il più fedelmente possibile l immagine

4 Cinema, l illusione del movimento Il fenomeno della persistenza delle immagini sulla retina permette di vedere il movimento. Il cervello riesce ad acquisire una nuova immagine ogni circa 1/10 di sec. L illusione del movimento è data dalla visione di una sequenza di immagini statiche (gioco delle carte, il cilindro forato, disegnii animati)

5 Percezione ottica, l immagine in movimento, Persistence of vision L occhio percepisce p una sequenza veloce di fotogrammi* fissi come un movimento continuo grazie alla POV (Persistence of vision) *(termine derivato dal cinema) Quanto veloce? Teleconferenza: 10 fps movimento a scatti Film muto: 16 fps al limite del movimento a scatti Film sonoro: 24 fps Televisione: fps HDTV fps

6 flickering Pellicola: l 2 or 3 blade shutter. Aumenta la frequenza apparente delle immagini a 48 o 72 al sec. Tubo catodico: Interlaced scanning aumento la frequenza apparente di refresh senza aumentare la banda (con effetti aggiuntivi sia negativi che positivi)

7 Che cosa é un segnale video? Un segnale elettrico che ha codificate in sè le informazioni per riprodurre una sequenza di immagini. Diversi tipi di segnale: Analogico o Digitale Codificato (o composito) o per Componenti Compresso o Non compresso

8 Il segnale composito

9 Banda vs. Qualità il dettaglio dell immagine (qualità) dipende da: la risoluzione orizzontale la risoluzione verticale le linee di scansione e i quadri (625 linee x 25 q/sec = Hz, frequenza di riga) La massima risoluzione verticale é di ~290 linee 625/2=312,5 - ~22 righe (tempo per il ritorno verticale del pennello) La massima risoluzione orizzontale é di ~380 punti 290 x 4/3 (aspect ratio) La massima frequenza video é ~ 7MHz 380 punti / 53,3 µs (durata utile di una riga) (i valori sopra indicati sono relativi allo standard europeo PAL)

10 Televisione B/N Definisco il numero di fotogrammi al secondo Definisco il numero di linee di scansione (da qui il termine "scan-lines ancora in uso per definire la risoluzione di un immagine) In ogni linea di scansione ho un segnale analogico (non campionato, non esistono i pixel, la dimensione minima è data dalla dimensione del fascetto di scansione) che rappresenta l intensità luminosa formato da chiari e scuri equivalenti a livelli alti o bassi di tensione. questo segnale applicato a un tubo a raggi catodici (CRT) controlla in modo proporzionale l intensità del fascio di elettroni, che bombardando il fosforo depositato sulla superfice dello schermo, il quale emetterà luminosità in modo proporzionale al livello di tensione del segnale video, ricomponendo l immagine ripresa.

11 Motivazioni Le motivazioni delle scelte sono la maggior parte delle volte dettate da limitazioni tecnologiche. Esempi: Aspect ratio 4:3: limitate dimensioni dei CRT Interlacing: bassa persistenza dei fosfori Frame rate: battimenti delle luci e pericoli di cattiva sincronizzazione dei ricevitori che avrebbe portato t a battimenti ti sull immagine i

12 La sincronizzazione La ricostruzione dell immagine richiede la conoscenza della temporizzazione della scansione usata in fase di ripresa Il segnale video non puo essere continuo per i tempi di "retrace" delle apparecchiature di ripresa e ricezione Quindi Inseriamo nel segnale video alcune informazioni aggiuntive per la sincronizzazione

13 La sincronizzazione (segue) Come? Ovvero come distinguo l informazione di sincronizzazione dal segnale in sè? La codifico come "più nero del nero ovvero inserisco i un segnale sotto al livello ll di cancellazione il segnale video analogico si basa fondamentalmente sui livelli di tensione. Nel PAL abbiamo 0 V dc(*) equivale al nero (livello di cancellazione, piedistallo) +0,7 Vdc equivale e al bianco -0,3 Vdc equivale al sync il secondo scopo della cancellazione è quello di spegnere il fascetto del CRT per non vedere la "ritraccia". (*) dc sta per corrente continua (direct current)

14 Il ssegnale video composito = Il ssegnale video composito = video + sync + cancellazione

15 Fine del B/N Alla fine degli anni 50 nasce la televisione a colori

16 La nascita della TV a colori: Un problema di difficile soluzione Devo rappresentare anche il colore......mantenendo la presenza nel segnale delle informazioni di luma (che è il segnale B/N - luminosità, correlata con la luminanza)......e le stesse temporizzazioni per mantenere la compatibilità... se non bastasse devo utilizzare la stessa banda sul canale di trasmissione Soluzioni senza queste limitazioni: Tre canali (R,G,B): costoso in termini di banda Modulo le tre componenti sulla stessa portante: butto via tutti i televisori esistenti e perdo moltissima qualità

17 La generazione del segnale Video B/N La generazione del segnale B/N si basa su dispositivi da ripresa sensibili alla sola luminanza dei vari colori esistenti in natura. La luminanza dei colori non primari si dimostra essere la somma delle luminanze dei singoli colori primari (R,G,B) che compongono il colore in esame.

18 La generazione del segnale Video a colori La maggior parte dei segnali video odierni viene originata come somma di componenti primarie lineari RGB, rappresentate nel range 0-0,7 V. Il problema è codificare dati di immagine dai primari additivi R,G e B in una forma più facilmente utilizzabile e che risponda ad alcuni requisiti indispensabili.

19 Requisiti indispensabili Devo trasmettere un segnale in B/N compatibile con i ricevitori esistenti Nello stesso canale devo trasmettere anche le informazioni di colore

20 Elementi a favore Sfrutto i limiti del sistema visivo... e dei CRT Siamo meno sensibili al rumore visivo alle alte frequenze Non riusciamo a percepire variazioni spaziali nette di crominanza. (I bordi si sfumano) e i fosfori non riescono a riprodurle

21 Copiamo dall occhio umano Y,B-Y,R-Y (Y è luma che corrisponde alla luminanza) Il sistema visivo umano ha recettori di due tipi: coni e bastoncelli coni: percepiscono la luminanza bastoncelli: percepiscono le informazioni cromatiche sensibili al blu sensibili al rosso I coni sono circa la metà rispetto ai bastoncelli quindi: Il sistema visivo umano ha molta più acuità per le variazioni spaziali di luminanza rispetto a quelle di crominanza. Ognuno dei canali differenza colore può avere considerevolmente meno informazioni di quello di luminanza (tipicamente 1/3).

22

23 Creo il segnale di luminanza Genero il segnale di luminanza da una somma pesata delle tre componenti R,G e B (e applico una gamma-correction) ) La correzione gamma serve allo scopo di precompensare le caratteristiche ti di non linearità dei CRT in modo che la percezione visiva sia di tipo lineare. La presenza della luminanza è indispensabile per mantenere la compatibilità con i TV B/N La componente Y è chiamata luma

24 Gamma I = C + V γ

25 ora devo aggiungere il colore Trasporto due canali aggiuntivi dove codifico l informazione colore a cui è stata sottratta la luminanza a Il contributo dato da queste componenti alla luminanza è già stato considerato nella somma pesata. Il 59% del segnale di luminanza è composto dal verde quindi baseremo i segnali differenza colore sugli altri due primari. Calcolo quindi B-Y edr-y.una volta ottenuti i due segnali differenza colore, possiamo sottocampionarli (filtrarli) per ridurre la banda necessaria. In un sistema analogico questo significa ifi minor banda e in uno digitale una minore quantità di dati.

26 Mettiamo insieme il tutto Posso introdurre le differenze colore alle alte frequenze nella mia codifica della luminanza. Questo introduce del rumore che ignoro grazie alla minore sensibilità accennata prima. Trasmetto il segnale di luminanza a banda piena Modulo le differenze-colore su una sottoportante colore ad alta frequenza (4,4343 Mhz) in quadratura di fase nel sistema PAL: C=Ucos(t)+Vsin(t) nel sistema NTSC: C=Icos(t)+Qsin(t)

27 Quanto filtrare? Tutti i particolari colorati di scena corrispondenti a frequenze televisive comprese tra 1,5 e 5 Mhz non sono visibili come colori dall occhio umano che li vede invece come particolari in B/N, per cui detti particolari vengono trasmessi nel contenuto di luminanza. L occhio umano vede tutti i colori esistenti in natura fino a che questi occupano particolari di scena che corrispondono a frequenze televisive comprese tre 0 e 0,5 Mhz. (per questo motivo devo trasmetterli tutti)

28 e cosa trasmettere? Quando i colori costituiscono particolari di scena che corrispondono a frequenze TV comprese tra 0,5 e 1,5 Mhz, l occhio li vede come colori arancio o ciano al loro posto posso trasmettere allora solo questi due colori sull asse I nel sistema NTSC L asse Q non si trasmette per evitare intermodulazioni nella banda 0,5 a 1,5 Mhz Nella codifica Pal poichè non interviene l intermodulazione di trasmissione negli assi U e V (segnali indipendenti), si codificano le due componenti colore con banda passante fino a 1,5 Mhz per entrambi le componenti colore.

29

30

31 Segnale composito codificato Voglio trasportare in un unico cavo coassiale tutta tt l informazione i che mi serve per ricreare le immagini a colori di partenza. Codifico insieme luminanza e crominanza (~compressione analogica) Restringo la banda dei segnali differenza colore Creo artefatti durante la decodifica (cross-color)

32 Segnale composito codificato I segnali compositi codificati PAL, NTSC ed S-Video incorporano la combinazione delle differenze colore U e V in un unico segnale di crominanza usando la tecnica della modulazione in quadratura: C=Ucos(t)+Vsin(t) dove t rappresenta la sottoportante colore (3.58 MHz per l NTSC e MHz per il PAL)

33 Segnale composito codificato In teoria la modulazione in quadratura è reversibile senza perdita di informazione se i segnali U e V sono limitati in banda. In pratica la modulazione in sè non introduce perdite significative, anche se la limitazione della banda delle differenze colore introduce perdita di dettaglio nei colori.

34 Come si valuta la qualità? Le barre È una configurazione di riferimento che serve per identificare errori di codifica Scala lineare sulla luminanza Tutte le combinazioni delle componenti di crominanza

35 Barre I grafici sulla destra sono quelli che appaiono analizzando il segnali con uno strumento

36 Rappresentazione vettoriale Su un vettorscopio si osservano i punti che rappresentano i colori puri codificati in quadratura

37 Standard PAL Phase Alternating Line 25 fps 50 field/s 625 linee Migliore del NTSC deriva da lì ma invertendo la fase dell asse R-Y ad ogni linea compensa eventuali errori di fase differenziale in trasmissione. Banda Luma: 5,5 MHz Chroma: 13MH U(Cb)+13MH V(C) 1,3 MHz U (Cb) + 1,3 MHz V (Cr) YCbCr

38 Vettori di crominanza PAL

39 Standard NTSC National Television Systems Comitee Comitato t USA che negli anni 40 definì lo standard d televisivo i in B/N e negli anni 50 quello colore field/s 525 linee Banda Luma: 4,2 MHz Chroma: 1,3 MHz I (InPhase) 0,4 MHz Q (Quadrature) YIQ

40 Vettore di crominanza NTSC

41 Gli standard televisivi nel mondo

42 Active Area In realtà non tutte le linee che definiamo vengono utilizzate per il segnale video. In PAL su 625 linee solo 576 portano informazioni e di queste non tutta la durata é sfruttata: il segnale è presente per 53,3 µs su 64. Le aree all esterno sono usate per il blanking di linea e di campo (line and field blanking) ovvero per spegnere il pennello durante i ritorni di riga e di quadro.

43 Timecode hh:mm:ss:ff (ore:minuti:secondi:fotogrammi*(field)) Si usa il ";" per il formato a 30 fps VITC: Vertical Interval TimeCode TimeCode digitale aggiunto nel vertical blanking del segnale televisivo. Può essere letto dalle testine in qualsiasi momento esclusa la fase di spooling LTC: Longitudinal TimeCode Registrato su una traccia lineare sul nastro e letto da una testina statica. Può essere letto col nastro in movimento, ma non quando é fermo. Serve come riferimento a qualsiasi operazione sul nastro

44 Time Code Generalmente prima di utilizzare un nastro lo si "basa" ovvero si registra un segnale nero (super- nero) con un TimeCode continuo. Le successive registrazioni incideranno il video, ma lasceranno inalterato il TC. Questo per migliorare la precisione.

45 Altre informazioni codificate Nell area del Vertical blanking o nelle linee fuori dall Active Area si trovano in registrazione i ed in trasmissione altre informazioni: Teletext Stereo information Closed Caption Broadcasting Data Line (BDL) Programme Delivery Control (PDC) VPS Video Programming System WSS Wide Screen Signaling

46 Trasmissione in radio frequenza (RF) Per la trasmissione radio generalmente viene utilizzata t una ulteriore modulazione di ampiezza del segnale composito codificato su una portante ad alta frequenza. Si può utilizzare (purtroppo capita non solo in ambito consumer) anche come modo di connessione via cavo.

47 Il segnale per componenti

48 Component Video I segnali di luminanza e di differenza colore rimangono separati. Posso trasportare direttamente i 3 segnali R, G e B o una loro codifica (differenze colore) già pesata per l uso video. Mantengo piena banda su tutto il segnale. Non ho intermodulazioni ne artefatti Sfortunatamente per portare un segnale suddiviso in componenti devo "tirare" 3 cavi RG 59.

49 Conversione tra standard Come si passa tra PAL, NTSC e pellicola? Diversi formati, diversi frame rate... Come si passa da Composito a componenti e viceversa? E da analogico a digitale?

50 Drop Frame/Non Drop Frame: Quando lo standard NTSC è stato rivisto per integrare il colore, è stato notato che il colore poteva funzionare soltanto a fps, al posto dei 30 fps del NTSC. Questo voleva dire che un ora di video a colori avrebbe avuto 108 fotogrammi di troppo. Per ovviare a questo inconveniente si ricorre al dropframe, dove 2 fotogrammi vengono droppati (lasciati cadere) ogni minuto tranne che a intervalli di: 00, 10, 20, 30, 40 e 50 minuti. Questo risparmia 108 fotogrammi all ora (anche se può causare incompatibilità tra i timecode).

51 Il segnale digitale

52 Il video Digitale Con l avvento di nuove e più veloci tecnologie, possiamo elaborare il grosso flusso di informazioni che compone un segnale video (~ 21 MB/s sustained) in tempo reale in forma digitale. Posso campionare sia il segnale composito (composite digital) che le componenti separate (component digital).

53 CCIR 601 (Component Digital) D-1 Luma (Y) : 8 (10) bit Chroma (Cb, Cr) : 8 (10) bit ognuno complemento a 2, centrato su 128 (256 livelli) Le componenti Cb e Cr vengono sottocampionate orizzontalmente per ottenere un data-rate di 2/3 rispetto all RGB (4:2:2). 2) 720 campioni di luminanza per scan-line attiva 144 campionamenti nel BLK di riga

54 4:2:2 vs. 4:4:4 Cosa vuol dire 4:2:2? Che la luminanza viene campionata 4 volte, mentre le due componenti di crominanza 2 volte ciascuna. Ovviamente 4:4:4... Per ogni 4 campioni Y ci sono 2 campioni Cb e 2 Cr, sfasati su linee successive per evitare sfasamenti cromatici Abbiamo una frequenza di campionamento di 27 Mhz, ovvero 27 Milioni di parole parallele al secondo, ognuna di 10 bit. rigeneriamo una forma d onda Un linea di scansione è quindi composta così: YCbYC Y Cr YCbYC Y Cr... Ogni componente è descritta con 8 o 10 bit.

55

56 CCIR601 Nuovo nome ITU-R 601 Può portare sia RGB che YCbCr Standard comune tra 625/50 e 525/60 8 o 10 bit 5,75 5 MHz Banda passante Luma 2,75 MHz Banda passante per ogni canale Cb e Cr

57 SDI (Serial Digital Interface) Fino a 270 Mbits/s (360 per il 16:9) Parole di 10 bit Video Codificato o Componenti Fino a 4 Gruppi di 2 canali a 48 Khz embedded equivalenti a 16 canali audio mono. 1 cavo RG 59 (fino a 200 m)

58 Frequenza di campionamento di SDI Frequenza di campionamento Luma: 13,5 MHz Frequenza di campionamento Chroma: 6,75 MHz Frequenza di campionamento totale: 27 MHz ,5 6,75 + 6,75 = 27Mh Mhz Ma perché proprio 13,5?

59 Perché 13,5? Freqeunza di Nyquist: per garantire la ricostruzione di un segnale limitato in banda occorre campionarlo al doppio della frequenza massima: ,5 > 2 x 55MH 5,5 MHz (banda Luma) 1 riga = 53 µs composta da ~720 elementi singoli

60 Il TimeCode nel video digitale Nel caso di video digitale, il TimeCode fa ovviamente parte dei dati digitali.

61 Ancillary data Il segnale digitale ha bisogno di molti meno segnali ausiliari di controllo, trattandosi di parole digitali, non c é bisogno di avere il blanking nè tutti i riferimenti di linea Sono descritti come dati Ho molto spazio per dati aggiuntivi: 4 gruppi di 2 canali audio a 48 khz Informazioni da sistemi di trattamento TimeCode Informazioni sul percorso del segnale stesso

62 Dall immagine al segnale Composito NTSC PAL SECAM D2, D3 [143 o 177 Mbit/s] Analogico Digitale RGB VGA YCrCb Y/C D1, D5 [4:2:2, 270 Mbit/s] 4:2:2:4[YCrCbK] D5H [360 Mbit/s] per componenti

63 I formati dei supporti analogici 1/2" Componenti YCbCr Betacam (SP) 1/2" Componenti Y/C S-VHS 1/2 Componenti YCbCr Betamax 1/2" Composito Codificato VHS 3/4" Composito Codificato U-Matic (SP) 1" Composito Codificaito Pollice

64 I formati dei supporti digitali 19 mm Componenti D-1 19 mm Codificato D-2 1/2" Codificato D-3 1/2" Componenti D-5 1/2" Componenti DigiBeta 19 mm Codificato DCT 1/4 Compresso 4:2:0 DV 1/4 Compresso 4:1:1 DVC Pro 1/4 Compresso 4:2:0 DVCam 1/2 Compresso 4:1:1 Betacam SX 1/2 Compresso 4:2:2 Digital-S

65 I nuovi formati Lettura su Formato Camp. Comp. Lettura Time code cass. DV macchine consumer DV Tipo di nastro Video Data Rate Canali Audio 48 Khz 16-bit DV 4:2:0 5:1 Yes Metal Evap mbps 2 canali 48 Khz 16-bit 2 canali DVCPRO 4:1:1 5:1 LTC+VITC Yes Playback No Metal Particle mbps 1 cue track 48 Khz 16-bit 2 PCM Digital S 4:2:2 3.3:1 LTC+VITC No No Metal Particle 50 mbps 2 cue tracks 48 Khz 16-bit 4 canali 2*32 Khz DVCAM 4:2:0 5:1 LTC+VITC Si Si Metal Evap mbps 12-bit

66 Segnale compresso

67 Compresso vs. Non compresso E soprattutto compresso come? Compressione Lossy vs. Lossless

68 Consumer vs. Broadcast vs. Studio Consumer: Fruizione Composito bassa qualità Broadcast: Trasmissione RF-digitale-compresso it qualità medio alta Studio: Trattamento Digitale-Componenti qualità altissima

69 Fin qui la storia e l uso luso professionale Ora vediamo il presente, il futuro e p soprattutto dal punto di vista dell utente

70 Nuove fruizioni Aspect ratio 16:9 Nonostante esista anche in versioni analogiche (PAL Plus, WSS, ) con la piattaforma digitale vede uno sviluppo sempre maggiore, soprattutto perché la produzione 16:9 diventa semplice.

71 Aspect Ratio

72 MPEG2 utilizzato t soprattutto per la trasmissione. i Basato su Motion-prediction, quindi non frame-accurate. Incorpora HDTV Di recente: studio profile, compressione MPEG-2 con campionamento 4:2:2 (422P@ML)

73 La catena di produzione Ripresa televisiva (telecamera). Registratore Post produzione Editing Trasmissione del lavoro finito.

74 Da dove passa un segnale video? su un cavo su una fibra ottica. nell etere (trasmissione) per mezzo di ponti (trasmissione punto punto) per mezzo di trasmettitori terresti (diffusione) per mezzo di satelliti (tx punto punto, e diffusione) Su matrici, distributori, TBC, convertitori, riduttori di rumore, Pre-processors, VTR, DDR, computer, telecinema, up-stream converters, format converters...

75 Editing La composizione i di sequenze diverse

76 Field-Frame accuracy Storicamente il segnale codificato non poteva venire utilizzato per l editing perché la sottoportante colore ritorna in fase ogni 4 frame. I segnali MPEG-2 non possono venire utilizzati per l editing perche basano la loro compressione su dei GOP (Group Of Pictures). Tipicamente sono 12 frame, non interrompibili se non a costo di perdere qualità

77 Time Base Correction Le testine dei VTR vengono fatte ruotare per aumentare la velocità relativa ed aumentare così la banda disponibile. Tale rotazione esalta i disallineamenti o le imprecisioni del nastro La scansione meccanica introduce errori istantanei di temporizzazione che devono essere corretti Tale correzione viene fatta da un TBC (corregge anche imperfezioni di fase sulla crominanza)

78 Il futuro: HDTV 16:9 HDTV SMPTE240M: 1125/60 e 1250/50, 2:1 interlacing, Aspect ratio 16:9 Trasmissione video compressa digitale MPEG-2 Trasmissione Audio compressa digitale Dolby Digital (AC-3)

79 Quanti formati? Attenzione alle definizioni Nell HDTV possono nascere confusioni dovute alla mancanza di una denominazione comune. 1125/ / i (interallacciato) 1080p (progressivo) 720p (progressivo)

80 Quale è il migliore formato? Impossibile dirlo Non è solo una questione di definizione Sembra più importante la differenza tra Interlacciato e progressivo La scelta ormai è tra 1080i e 720p Si stanno studiando anche le problematiche relative al campionamento 444 4:4:4 per il cinema digitale

81 E di quanta banda ha bisogno? Facciamo l esempio del 1125/60i: 30 frames per secondo 1125 lines per frame 2200 pixels per line ( horizontal blanking interval) 2 words per pixel l(422 (4:2:2 sampling) 10 bits per word 30 * 1125 * 2200 * 2 * 10 = gigabit/sec In realtà aggiustando le aree di blanking orizzontale e verticale si può utilizzare lo stesso datarate per tutti i formati HDTV: 1920x1080@60i, 1920x1080@30p, 1920x1080@24p, 1920x1080@24sf, 1280x720@60p.

82

83

84

85