Consente la visione 3D con display autostereoscopici, generando un elevatissimo numero di immagini intermedie tra quelle originali, così da pilotare la direzione di ciascun pixel verso il corrispettivo occhio, per tutte le posizioni di visione possibili.

Volume: SITV_03_12 – Pagine: da 22 a 25

I dispositivi di ultima generazione e le nuove tecniche per la visione stereoscopica recentemente proposte sul mercato, stanno riscuotendo un crescente successo anche se la penetrazione di nuove tecnologie nell’ecosistema televisivo si è mostrata lenta nel breve termine. La disponibilità di contenuto stereoscopico è un elemento essenziale per accelerare questa evoluzione al fine di soddisfare una domanda di servizi video 3D sempre più diversificata e una condivisione di contenuti video su vasta scala. In particolare gli eventi sportivi suscitano facilmente un elevato interesse ed è così che la trasmissione dal vivo di gare agonistiche fornisce una concreta possibilità di catalizzare l’attenzione degli utenti sulla superiorità delle tecnologie 3D.


L’evento

A tale scopo Sisvel Technology e Triaxes, appartenente al Gruppo Elecard, hanno realizzato la prima trasmissione live del Russian Championship di Surfing e Kitesurfing su rete IP, utilizzando il formato 3DZ Tile Format. Per la prima volta nella storia, il Russian Surf Cup 2012 si è tenuto presso la spiaggia di Vung Tau, in Vietnam dal 23 al 25 novembre del 2012 ed è stato ripreso e trasmesso in 3D.
Il campionato russo di surfing e kitesurfing ha avuto il principale obiettivo di promuovere gli sport acquatici (surfing, windsurfing, kitesurfing) presso i giovani e catturare anche l’attenzione del pubblico vietnamita, attratto molto da questi avvenimenti. La partecipazione del pubblico è stata numerosa: più di 2 mila persone, con oltre il 70% di pubblico proveniente dal Vietnam e almeno il 20% di visitatori russi, senza contare i numerosi fan di tutto il mondo. L’evento è stato distribuito anche in diretta streaming su internet.


La tecnica

Figura 1. Le telecamere stereoscopiche sono collegate via HD-SDI al Triaxes NetJet Server, dove ha luogo la principale operazione della catena: i due flussi HD vengono impacchettati nel formato di Sisvel Technology e Triaxes, chiamato 3DZ Tile Format
Figura 2. 3DZ Tile Format è composto dal multiplexing delle due viste in formato frame compatible 3D Tile e dalla mappa di profondità, inserita poi nello spazio rimanente. In questo modo, le televisioni 3D attualmente in commercio possono fornire un’elevata risoluzione (1280×720 pixel per vista) mentre le televisioni autostereoscopiche ricevono una mappa di profondità inclusa nel medesimo flusso video, senza bisogno di banda o metadati aggiuntivi

Sfruttando l’importanza di questo evento si è progettata un’infrastruttura di trasmissione su rete IP composta come si vede in Figura 1. Le telecamere stereoscopiche sono collegate via HD-SDI al Triaxes NetJet Server, dove ha luogo la principale operazione della catena: i due flussi HD vengono impacchettati nel formato di Sisvel Technology, chiamato 3DZ Tile Format. Questo formato è composto dal multiplexing delle due viste in formato frame compatible 3D Tile e dalla mappa di profondità, inserita poi nello spazio rimanente. In questo modo, le televisioni 3D attualmente in commercio possono fornire un’elevata risoluzione (1280×720 pixel per vista) mentre le televisioni autostereoscopiche ricevono una mappa di profondità inclusa nel medesimo flusso video, senza bisogno di banda o metadati aggiuntivi, come è mostrato in Figura 2.
Inoltre, codificando questo formato in H264/AVC specificando in modo opportuno il parametro cropping rectangle, i televisori 2D sono in grado di decodificare un video HD 720p e di visualizzare automaticamente la trasmissione in versione 2D. Il flusso codificato viene trasmesso al Telebreeze Streaming Server che gestisce lo streaming su rete Internet con protocollo HTTP. Una CDN (Content Delivery Network) garantisce la distribuzione su scala geografica degli stream che con alcuni cache server in posizioni chiave della rete rende possibile su normali reti IP la diretta dell’evento. Tramite questa catena di trasmissione, i contenuti sono fruibili con qualsiasi dispositivo di visualizzazione, in quanto da un singolo flusso è possibile riprodurre un video:
– in 2D, su Tablet connessi a Internet;
– in 3D anaglifico, su display 2D HD;
– in Stereo 3D, su Connected 3DTV;
– in Autosteroscopia, su TV autostereoscopici.


Il formato

Figura 3. Grazie al software DepthGate di Triaxes si può passare facilmente tra i due formati 3D Tile Format e 3DZ Tile Format
Figura 4. La suddivisione delle finestre in una trasmissione 3D Tile Format. L’area nera viene utilizzata dal 3DZ Tile Format per trasmettere la depht map

3DZ Tile Format è nato dalla collaborazione con Triaxes, un’azienda russa specializzata in display autostereoscopici e algoritmi per la conversione 2D-3D, nonché parte attiva del gruppo multinazionale Elecard per la produzione di software e rendering per il 3D. Tramite 3DZ Tile Format è possibile sfruttare appieno le potenzialità del 3D Tile Format anche sui televisori 3D ‘senza occhialini’. Per tale tecnologia, è necessario fornire al pannello autostereoscopico un elevatissimo numero di immagini intermedie tra quelle originali catturate per l’occhio destro e per l’occhio sinistro, in modo da pilotare la direzione di ciascun pixel verso il corrispettivo occhio, per tutte le posizioni possibili. Dunque, per poter generare il necessario numero di immagini si ricorre solitamente all’uso della depth map, ossia una rappresentazione in scala di grigi della profondità dei pixel presenti nell’immagine. Solitamente si procede alla ‘sintesi’ della mappa tramite delle elaborazioni complesse a partire dalle due viste per poi inviare al televisore soltanto una vista e la mappa così generata in modo tale da fornire sufficienti informazioni sul punto di vista e sulla profondità del video; in generale quanto più alta è la risoluzione delle immagini destra e sinistra tanto più accurato sarà il risultato della mappa di profondità. Il Tile Format inoltre si presta perfettamente ad ospitare la mappa della profondità, in quanto è possibile utilizzare la zona vuota in basso a destra del frame composito. In questo modo il frame composito finale (Figura 3) conterrà le informazioni necessarie per consentire la visualizzazione dei contenuti 3D sia su TV stereoscopici con occhialini che su TV autosteroscopici, oltre che alla già citata retro compatibilità quando trasmesso in H264/AVC e le dovute informazioni. Nelle immagini di Figura 4 è schematizzato il passaggio dalle due viste alla creazione della corrispondente mappa di profondità: tale passaggio viene effettuato in tempo reale lato broadcaster da un particolare software sviluppato da Triaxes, chiamato “Depth Gate”. Pertanto il televisore autostereoscopico non ha più bisogno di creare la mappa di profondità a partire dalle due viste, perché può disporre di una mappa di profondità calcolata da un apparato situato presso il broadcaster, che può avere potenzialità di calcolo molto superiori a quelle che è possibile utilizzare in un televisore e che quindi produce risultati molto più accurati.


La sfida

Per trasmettere in modalità live, su rete IP, il Russian Surf Cup 2012 le sfide tecniche affrontate sono state molteplici. Le riprese stereoscopiche aggiungono un grado di difficoltà rispetto a quelle in 2D: la grammatica di produzione deve essere modificata per tenere conto dei due nuovi punti di ripresa e gestire con attenzione l’effetto stereoscopico. È necessario infatti introdurre una nuova figura, lo stereografo, che avrà cura di impostare la configurazione delle telecamere e di garantire un depth budget per ciascuna scena, ossia che la profondità di campo risulti in un effetto 3D piacevole durante tutta la ripresa. Difatti una configurazione delle telecamere errata risulta in un effetto 3D nullo e, talvolta, è addirittura causa di fastidio e dolore agli occhi per lo spettatore (come nel caso della ‘violazione di parallasse’).
Anche la trasmissione del video stereoscopico pone alcuni problemi tecnici, poiché bisogna convogliare due flussi video su un’infrastruttura disegnata per il 2D: la soluzione più rapida e cost-effective è quella di ridurre la risoluzione dei video della coppia stereoscopica e multiplexarli in un singolo frame (generando così uno stream frame compatible). Se negli altri sistemi, quali il side by side e il top and bottom, la perdita di risoluzione è pari al 50% (orizzontalmente o verticalmente), utilizzando il Tile Format la perdita di risoluzione è solo del 33%. Inoltre, la codifica progressiva del Tile Format garantisce un ulteriore aumento della qualità percepita dall’utente (a parità di bitrate di compressione). Nell’operazione di composizione del Tile Format rimane un’area vuota in basso a destra; nel 3DZ Tile questo spazio viene riempito con la mappa di profondità ricavata dalla coppia stereoscopica. Le dimensioni di tale mappa, anche se piccole, non impattano negativamente sulle successive operazioni di rendering auto stereoscopico. In figura 3 si può apprezzare come si possa passare facilmente tra i due formati grazie al software DepthGate di Triaxes. Non bisogna dimenticare che l’obiettivo di questo evento è una trasmissione live, per cui ogni operazione deve essere svolta in real time. La composizione del Tile Format, la sintesi della mappa di profondità, la codifica in H264/AVC, il multiplexing e la trasmissione stessa vengono effettuate in tempo reale dalla combinazione del Triaxes NetJet Server e dal TeleBreeze Streaming Server: la scelta dello streaming adattativo HTTP è dovuta alle intrinseche caratteristiche del protocollo stesso, ovvero la capacità di auto configurare i propri parametri per adattarsi alle differenti condizioni della rete durante lo streaming.


Come funziona il Tile Format

Figura A. Collocazione del frame sinistro a 720p nel frame a 1080p
Figura B. Ecco come lavora il 3D Tile Format: suddivide in sezioni (R1, R2 e R3) il frame destro e visualizza il frame sinistro (L) intero. Un televisore 3D dovrà ricostruire il tutto per la visualizzazione della stereoscopia, mentre un televisore 2D HD riprodurrà solo il frame L. Il box in basso a destra rimane libero e può essere utilizzato per veicolare, ad esempio, metadati

Il 3D Tile Format si pone l’obiettivo di risolvere gli inconvenienti causati dalle tecniche di trasmissione 3D di 1ª generazione, offrendo un formato in grado di allocare due frame con risoluzione 720p in un singolo frame di 1080p (Full HD). Quando le immagini destra/ sinistra vengono originate in formato 720p, non è necessario un sottocampionamento e quindi l’immagine ricostruita preserva la sua originale risoluzione, sia verticalmente che orizzontalmente. Inoltre, poiché una delle due immagini rimane inalterata, il 3D Tile Format è retrocompatibile, rendendo accessibile il contenuto 3D anche ai televisori 2D. Come illustrato in Figura A, il primo frame a 720p (in questo caso il sinistro) è inserito inalterato all’interno del frame a 1080p. Il secondo frame (destro) viene suddiviso in settori (tiles) come illustrato in Figura B, in modo da occupare la parte del frame “contenitore” ancora disponibile; inoltre, rimane libera una zona (rettangolo in basso a destra) che può essere utilizzata per veicolare dati di qualsiasi tipo. Sperimentalmente è stato dimostrato che, scegliendo opportunamente il modo in cui si suddivide il secondo frame, la successiva fase di compressione non causerà artefatti apprezzabili. La retrocompatibilità del 3D Tile Format con i dispositivi che trasmettono esclusivamente in due dimensioni è garantita dall’opportuno utilizzo della codifica H.264/AVC, standard di codifica utilizzato per le immagini in alta definizione che permette, attraverso informazioni ausiliarie, di identificare e comunicare in fase di decodifica, quale area del frame deve essere visualizzata dallo schermo. Assegnando così opportunamente tali informazioni, il decodificatore 2D visualizzerà sullo schermo del televisore esclusivamente il rettangolo evidenziato in Figura B, contenente l’immagine sinistra inalterata. In questo modo, tutti i decoder compatibili con lo standard H.264/AVC esistenti, eventualmente con un semplice aggiornamento software disponibile tramite download, sono già in grado di rendere accessibile il contenuto 3D ai dispositivi 2D HD. Questo nuovo formato, quindi, garantisce una qualità dell’immagine superiore perché evita uno sbilanciamento tra risoluzione orizzontale e verticale, mantiene la risoluzione inalterata della coppia di immagini destra/sinistra a 720p e assicura anche la piena compatibilità con la visualizzazione a due dimensioni, in modo automatico e trasparente per l’utente finale, eventualmente con un semplice aggiornamento software dei decoder che supportano l’alta definizione.