Consente la visione 3D con display autostereoscopici, generando un elevatissimo numero di immagini intermedie tra quelle originali, così da pilotare la direzione di ciascun pixel verso il corrispettivo occhio, per tutte le posizioni di visione possibili.
I dispositivi di ultima generazione e le nuove tecniche per la visione
stereoscopica recentemente proposte sul mercato, stanno riscuotendo un
crescente successo anche se la penetrazione di nuove tecnologie
nell’ecosistema televisivo si è mostrata lenta nel breve termine. La
disponibilità di contenuto stereoscopico è un elemento essenziale per
accelerare questa evoluzione al fine di soddisfare una domanda di
servizi video 3D sempre più diversificata e una condivisione di
contenuti video su vasta scala. In particolare gli eventi sportivi
suscitano facilmente un elevato interesse ed è così che la trasmissione
dal vivo di gare agonistiche fornisce una concreta possibilità di
catalizzare l’attenzione degli utenti sulla superiorità delle tecnologie
3D.
L’evento
A tale scopo Sisvel Technology e
Triaxes, appartenente al Gruppo Elecard, hanno realizzato la prima
trasmissione live del Russian Championship di Surfing e Kitesurfing su
rete IP, utilizzando il formato 3DZ Tile Format. Per la prima volta
nella storia, il Russian Surf Cup 2012 si è tenuto presso la spiaggia di
Vung Tau, in Vietnam dal 23 al 25 novembre del 2012 ed è stato ripreso e
trasmesso in 3D.
Il campionato russo di surfing e kitesurfing ha avuto il principale
obiettivo di promuovere gli sport acquatici (surfing, windsurfing,
kitesurfing) presso i giovani e catturare anche l’attenzione del
pubblico vietnamita, attratto molto da questi avvenimenti. La
partecipazione del pubblico è stata numerosa: più di 2 mila persone, con
oltre il 70% di pubblico proveniente dal Vietnam e almeno il 20% di
visitatori russi, senza contare i numerosi fan di tutto il mondo.
L’evento è stato distribuito anche in diretta streaming su internet.
La tecnica
Sfruttando
l’importanza di questo evento si è progettata un’infrastruttura di
trasmissione su rete IP composta come si vede in Figura 1. Le telecamere
stereoscopiche sono collegate via HD-SDI al Triaxes NetJet Server, dove
ha luogo la principale operazione della catena: i due flussi HD vengono
impacchettati nel formato di Sisvel Technology, chiamato 3DZ Tile
Format. Questo formato è composto dal multiplexing delle due viste in
formato frame compatible 3D Tile e dalla mappa di profondità, inserita
poi nello spazio rimanente. In questo modo, le televisioni 3D
attualmente in commercio possono fornire un’elevata risoluzione
(1280×720 pixel per vista) mentre le televisioni autostereoscopiche
ricevono una mappa di profondità inclusa nel medesimo flusso video,
senza bisogno di banda o metadati aggiuntivi, come è mostrato in Figura
2.
Inoltre, codificando questo formato in H264/AVC specificando in modo
opportuno il parametro cropping rectangle, i televisori 2D sono in
grado di decodificare un video HD 720p e di visualizzare automaticamente
la trasmissione in versione 2D. Il flusso codificato viene trasmesso al
Telebreeze Streaming Server che gestisce lo streaming su rete Internet
con protocollo HTTP. Una CDN (Content Delivery Network) garantisce la
distribuzione su scala geografica degli stream che con alcuni cache
server in posizioni chiave della rete rende possibile su normali reti IP
la diretta dell’evento. Tramite questa catena di trasmissione, i
contenuti sono fruibili con qualsiasi dispositivo di visualizzazione, in
quanto da un singolo flusso è possibile riprodurre un video:
– in 2D, su Tablet connessi a Internet;
– in 3D anaglifico, su display 2D HD;
– in Stereo 3D, su Connected 3DTV;
– in Autosteroscopia, su TV autostereoscopici.
Il formato
3DZ Tile Format è nato dalla collaborazione con Triaxes, un’azienda russa specializzata in display autostereoscopici e algoritmi per la conversione 2D-3D, nonché parte attiva del gruppo multinazionale Elecard per la produzione di software e rendering per il 3D. Tramite 3DZ Tile Format è possibile sfruttare appieno le potenzialità del 3D Tile Format anche sui televisori 3D ‘senza occhialini’. Per tale tecnologia, è necessario fornire al pannello autostereoscopico un elevatissimo numero di immagini intermedie tra quelle originali catturate per l’occhio destro e per l’occhio sinistro, in modo da pilotare la direzione di ciascun pixel verso il corrispettivo occhio, per tutte le posizioni possibili. Dunque, per poter generare il necessario numero di immagini si ricorre solitamente all’uso della depth map, ossia una rappresentazione in scala di grigi della profondità dei pixel presenti nell’immagine. Solitamente si procede alla ‘sintesi’ della mappa tramite delle elaborazioni complesse a partire dalle due viste per poi inviare al televisore soltanto una vista e la mappa così generata in modo tale da fornire sufficienti informazioni sul punto di vista e sulla profondità del video; in generale quanto più alta è la risoluzione delle immagini destra e sinistra tanto più accurato sarà il risultato della mappa di profondità. Il Tile Format inoltre si presta perfettamente ad ospitare la mappa della profondità, in quanto è possibile utilizzare la zona vuota in basso a destra del frame composito. In questo modo il frame composito finale (Figura 3) conterrà le informazioni necessarie per consentire la visualizzazione dei contenuti 3D sia su TV stereoscopici con occhialini che su TV autosteroscopici, oltre che alla già citata retro compatibilità quando trasmesso in H264/AVC e le dovute informazioni. Nelle immagini di Figura 4 è schematizzato il passaggio dalle due viste alla creazione della corrispondente mappa di profondità: tale passaggio viene effettuato in tempo reale lato broadcaster da un particolare software sviluppato da Triaxes, chiamato “Depth Gate”. Pertanto il televisore autostereoscopico non ha più bisogno di creare la mappa di profondità a partire dalle due viste, perché può disporre di una mappa di profondità calcolata da un apparato situato presso il broadcaster, che può avere potenzialità di calcolo molto superiori a quelle che è possibile utilizzare in un televisore e che quindi produce risultati molto più accurati.
La sfida
Per trasmettere in modalità
live, su rete IP, il Russian Surf Cup 2012 le sfide tecniche affrontate
sono state molteplici. Le riprese stereoscopiche aggiungono un grado di
difficoltà rispetto a quelle in 2D: la grammatica di produzione deve
essere modificata per tenere conto dei due nuovi punti di ripresa e
gestire con attenzione l’effetto stereoscopico. È necessario infatti
introdurre una nuova figura, lo stereografo, che avrà cura di impostare
la configurazione delle telecamere e di garantire un depth budget per
ciascuna scena, ossia che la profondità di campo risulti in un effetto
3D piacevole durante tutta la ripresa. Difatti una configurazione delle
telecamere errata risulta in un effetto 3D nullo e, talvolta, è
addirittura causa di fastidio e dolore agli occhi per lo spettatore
(come nel caso della ‘violazione di parallasse’).
Anche la trasmissione del video stereoscopico pone alcuni problemi
tecnici, poiché bisogna convogliare due flussi video su
un’infrastruttura disegnata per il 2D: la soluzione più rapida e
cost-effective è quella di ridurre la risoluzione dei video della coppia
stereoscopica e multiplexarli in un singolo frame (generando così uno
stream frame compatible). Se negli altri sistemi, quali il side by side e
il top and bottom, la perdita di risoluzione è pari al 50%
(orizzontalmente o verticalmente), utilizzando il Tile Format la perdita
di risoluzione è solo del 33%. Inoltre, la codifica progressiva del
Tile Format garantisce un ulteriore aumento della qualità percepita
dall’utente (a parità di bitrate di compressione). Nell’operazione di
composizione del Tile Format rimane un’area vuota in basso a destra; nel
3DZ Tile questo spazio viene riempito con la mappa di profondità
ricavata dalla coppia stereoscopica. Le dimensioni di tale mappa, anche
se piccole, non impattano negativamente sulle successive operazioni di
rendering auto stereoscopico. In figura 3 si può apprezzare come si
possa passare facilmente tra i due formati grazie al software DepthGate
di Triaxes. Non bisogna dimenticare che l’obiettivo di questo evento è
una trasmissione live, per cui ogni operazione deve essere svolta in
real time. La composizione del Tile Format, la sintesi della mappa di
profondità, la codifica in H264/AVC, il multiplexing e la trasmissione
stessa vengono effettuate in tempo reale dalla combinazione del Triaxes
NetJet Server e dal TeleBreeze Streaming Server: la scelta dello
streaming adattativo HTTP è dovuta alle intrinseche caratteristiche del
protocollo stesso, ovvero la capacità di auto configurare i propri
parametri per adattarsi alle differenti condizioni della rete durante lo
streaming.
Come funziona il Tile Format
Il 3D Tile Format si pone l’obiettivo di risolvere gli inconvenienti causati dalle tecniche di trasmissione 3D di 1ª generazione, offrendo un formato in grado di allocare due frame con risoluzione 720p in un singolo frame di 1080p (Full HD). Quando le immagini destra/ sinistra vengono originate in formato 720p, non è necessario un sottocampionamento e quindi l’immagine ricostruita preserva la sua originale risoluzione, sia verticalmente che orizzontalmente. Inoltre, poiché una delle due immagini rimane inalterata, il 3D Tile Format è retrocompatibile, rendendo accessibile il contenuto 3D anche ai televisori 2D. Come illustrato in Figura A, il primo frame a 720p (in questo caso il sinistro) è inserito inalterato all’interno del frame a 1080p. Il secondo frame (destro) viene suddiviso in settori (tiles) come illustrato in Figura B, in modo da occupare la parte del frame “contenitore” ancora disponibile; inoltre, rimane libera una zona (rettangolo in basso a destra) che può essere utilizzata per veicolare dati di qualsiasi tipo. Sperimentalmente è stato dimostrato che, scegliendo opportunamente il modo in cui si suddivide il secondo frame, la successiva fase di compressione non causerà artefatti apprezzabili. La retrocompatibilità del 3D Tile Format con i dispositivi che trasmettono esclusivamente in due dimensioni è garantita dall’opportuno utilizzo della codifica H.264/AVC, standard di codifica utilizzato per le immagini in alta definizione che permette, attraverso informazioni ausiliarie, di identificare e comunicare in fase di decodifica, quale area del frame deve essere visualizzata dallo schermo. Assegnando così opportunamente tali informazioni, il decodificatore 2D visualizzerà sullo schermo del televisore esclusivamente il rettangolo evidenziato in Figura B, contenente l’immagine sinistra inalterata. In questo modo, tutti i decoder compatibili con lo standard H.264/AVC esistenti, eventualmente con un semplice aggiornamento software disponibile tramite download, sono già in grado di rendere accessibile il contenuto 3D ai dispositivi 2D HD. Questo nuovo formato, quindi, garantisce una qualità dell’immagine superiore perché evita uno sbilanciamento tra risoluzione orizzontale e verticale, mantiene la risoluzione inalterata della coppia di immagini destra/sinistra a 720p e assicura anche la piena compatibilità con la visualizzazione a due dimensioni, in modo automatico e trasparente per l’utente finale, eventualmente con un semplice aggiornamento software dei decoder che supportano l’alta definizione.
