Da sapere, non solo da vedere

Seguendo un link consigliato da Enrico Ciccu san sono capitato su una pagina del sito CDM (che va immediatamente nelle letture quotidiane) con un articolo su una performance meravigliosa fatta da alcuni studi grafici giapponesi in collaborazione con una compagnia teatrale, lavorando in video mapping, cioè proiettando delle immagini su delle superfici reali, in questo caso i volti di alcune ballerine: un programma di riconoscimento digitale individua e segue automaticamente i visi, adattando la proiezione alla distanza, al movimento, alla posizione e così via.

Sorprendentemente, però, la cosa che mi ha colpito di più non è tanto l’aspetto visuale (peraltro davvero notevole) ma il racconto del percorso tecnologico e tecnico-artistico e le anticipazioni che tutto questo offre sul futuro dell’arte e non solo, ed è per questo che ho deciso di tradurre l’articolo e non anto semplicemente di segnalare questo o quell’altro dei video esemplificativi.

L’articolo originale è stato pubblicato originariamente il 3 aprile: ho mantenuto i video originali che mostrava, mentre ho aggiunto qualche link per spiegare qualche termine tecnologico intraducibile o difficilmente traducibile. Un’ultima nota: la sigla fps indica frame per second, cioè fotogrammi al secondo.

Osservate le sbalorditive immagini ad altissima definizione proiettate sui visi delle ballerine con una mappatura computerizzata

di Peter Kim

Sulla cresta dell’onda del più avanzato video mapping, nuovi strumenti stanno allineando sempre più il mondo virtuale con quello reale. E mentre la tecnologia della realtà virtuale è tutta centrata sul tentare di mettere la vostra testa dentro un mondo virtuale, il video mapping permette al mondo attorno a voi di diventare mutevole come la tela di un  pittore.

Se siete in contatto su Facebook con chiunque che si occupa di arte basata sulle nuove tecnologie, probabilmente avrete già visto questo video che negli ultimi giorni sta girando ovunque. Non è solo esteticamente impressionante, ma rivela anche parte delle mete verso le quali si stanno dirigendo che gli artisti che lavorano con effetti visivi programmati su misura usando il video mapping.

INORI (“preghiera”) è una collaborazione estesa, che riunisce il coreografo Aya Soto, lo studio di design visivo WOW Inc. e il suo direttore artistico e tecnico Nobumichi Asai e un gruppo di produttori cinematografici per TOKYO.

Rappresenta anche la fusione di due importanti corpus di ricerca sugli effetti visivi. Il Laboratorio Ishikawa Watanabe dell’Università di Tokyo hanno sviluppato la tecnologia di video mapping dinamico, incluso un sistema di proiezione a 1000 fps chiamato DynaFlash (il sistema di proiezione in sé è disponibile commercialmente dalla Tokyo Electorn Device Limited, sebbene qui sia solo uno degli ingredienti). E poi c’è la tecnologia di mappatura dei volti, che richiede un software sviluppato internamente da WOW.

Ci sono in realtà addirittura due sistemi di tracciamento – per le mani di Watanabe e per i visi di WOW.

E questa è in realtà sempre stata la sfida nella tecnologia impiegata per la danza. Il balletto è piacevole come mezzo di espressione esattamente perché le nostre percezioni e le nostre emozioni sono strettamente legate a ogni sfumatura del movimento nel tempo. Piazzarci sopra degli effetti scenici a 30 fps è problematico.

Naturalmente, è altrettanto importante che il balletto e i ballerini siano così espressivi (la narrazione, nel video col retroscena della realizzazione, è pronta a far notare che questa non è solo una dimostrazione – e io penso che tu abbia ragione, presuntuosa voce fuori campo, io sono d’accordo).

Questo è veramente uno sforzo epico, non solo dal punto di vista della dimostrazione delle potenzialità della tecnologia, ma una impressionante dimostrazione di artisti e sviluppatori e di differenti progetti di ricerca al lavoro in stretta armonia. E quindi anche se non si dovesse avere a disposizione questo tipo di tecnologia, il modello di collaborazione potrebbe essere altrettanto significativo.

Gli studi coinvolti sono:
(una nota: ci si può confondere perché ci sono tre cose diverse che si chiamano Tokyo, qui. C’è TOKYO, il gruppo creativo – il link è sotto. C’è TOKYO ELECTRON DEVICE LIMITED, i tizi che vendono il proiettore ad alta frequenza. E poi c’è l’Univesità di Tolyo. Se questo non fosse già abbastanza confuso, il Laboratorio dell’Università di Tokyo ha progettato il proiettore che è venduto da Tokyo Electron Device Limited che poi ha lavorato con TOKYO. Tokyo Tokyo Tokyo Tokyo? Okay, la smetto).

WOW: wow.co.jp
TOKYO: http://lab.tokyo.jp/
http://www.w0w.co.jp/news/118

In dettaglio [credits]:

INORI (preghiera)
Mappatura di visi ultraveloce (1000fps)
Dietro le quinte
vimeo.com/210565827
Il progetto è stato realizzato con un lavoro collaborativo fra AYABAMBI, Ishikawa Watanabe Lab, Università di Tokyo, TOKYO, in risposta a una richiesta di collaborazione di Nobumichi Asai (WOW).
Staff
Nobumichi Asai [Direttore creativo | Direttore tecnico – WOW]
Shingo Abe [Direttore CG – WOW]
Atsushi Yoshimura [Programmatore – WOW]
Ayaka Motoyoshi [Assistente di produzione – WOW]
Eiji Tanigawa [Direttore | Curatore – TOKYO]
Senzo Ueno [Direttore della fotografia – TOKYO]
Toshiyuki Takei / Shinya Masuda [Produttore – TOKYO]
Minami Chiwaki / Yuma Yoshimura / Kohei Takayama [Direttore di produzione – TOKYO]
Suzuko Ohgaki [Redattore – TOKYO]
Aya Sato [Coreografo]
AyaBambi [Casting]
Oi-chan[Curatela]
Riprese
Tomorio Takahashi [Capo elettricista]
Hisashi Morikawa / Mie Inaba / Akihiko Imai [Assistente alle luci]
Takashi Ideguchi [Primo assistente di ripresa]
Shibuya Hiromi / Fujii Ryosuke [Secondo assistente di ripresa]
Setsu Fukushima / Ryosuke Taniguchi [Musica – Ongakushitsu Inc.]
Yosuke Nagao [Compositore musicale]
Yasuo Fukuda [Colorazione]
Ryota Abe [Online Editor]
Mizuki Kawano [Mixer – TAIYO KIKAKU co., ltd]
Ringraziamenti
Yoshihiro Watanabe [Ishikawa Watanabe Laboratory, Università di Tokyo]
Masatoshi Ishikawa [Ishikawa Watanabe Laboratory, Università di Tokyo]
Tomoaki Teshima [Exvision]
TOKYO ELECTRON DEVICE LIMITED
Takeshi Yuasa / Kiwamu Sumino / Hiroshi Watase /Toru Yamashita
Atsuko Kushima / Tomoaki Kiguchi
nobumichiasai.com
– – – – – –
Per prima cosa è sta composta la musica sulla base del tema “Vita”. Nobumichi Asai e Shingo Abe si sono ispirati alla musica e hanno realizzato il lavoro di mappatura dei visi. Aya Sato ha progettato le coreografie. TOKYO ha completato il progetto realizzando il video. La musica ha suggerito a Asai l’immagine del “radioattivo”. La forza distruttrice de radioattivo può causare “morte”, “sofferenza” e “dolore”. E le “preghiere” possono vincerli. Questi concetti pervadono la potente esibizione di AYABAMBI. La loro esibizione schiaccia e sconfigge le nere lacrime, i teschi e la Sutra del Cuore. Abbiamo costruito l’idea durante la produzione e Abe ha progettato le animazioni per il video mapping dei visi. Abbiamo affrontato una sfida importante riguardo agli aspetti tecnici. Abbiamo realizzato il nuovo sistema di mappatura che ci permette di seguire esibizioni molto intense usando il più recente proiettore a 1000 fps, DyanaFlash[1], e un sensore ultraveloce. È tutto molto nuovo e on era mai stato fatto prima. Le immagini proiettate divengono parte della pelle e trasformano i volti. All’inizio dello sviluppo abbiamo avuto un problema e AYABAMBI avrebbe perso in libertà di espressione se noi avessimo accelerato la velocità di tracciamento. Asai, Yoshimura (WOW), il professor Watanabe e Teshima (Exvision) hanno esplorato tutte le possibilità di come si potesse mantenere la velocità di tracciamento assicurando la libertà dello spettacolo, impiegando tre mesi di prove ed errori per ottenere una riduzione di pochi millisecondi. E infine abbiamo sviluppato il sistema[2].
1. DynaFlash è sviluppato congiuntamente dal Laboratorio Ishikawa Watanabe, dell’Università di Tokyo ed è commercializzato da Tokyo Electron Device Limited.
2. Per tracciare le mani impieghiamo la tecnologia di video mapping dinamico sviluppata dal Laboratorio Ishikawa Watanabe, dell’Università di Tokyo. Per tracciare i volti, usiamo la tecnologia di mappatura dei visi sviluppata dallo studio di design visuale WOW inc.

Potete farvi un’idea della tecnologia sottostante attraverso alcuni altri esempi. Qui sotto c’è un recnete lavoro di WOW, che dimostra non solo quanto può essere veloce la mappatura, ma anche esattamente quanto dettagliata:

E potete avere visto questo bel lavoro che hanno realizzato con Lady Gaga per i Grammy Awards:

Se volete guardare all’altro versante di tutto questo, qui c’è una recente dimostrazione di come il Laboratorio Ishikawa Watanabe stia sviluppando la mappatura, con il seducente titolo Video mapping dinamico su superfici non rigide soggette a deformazione (ehi, dopotutto sono accademici):

Naturalmente, per essere onesti, tutto questo mi fa desiderare di smettere di fare video mapping e di giocherellare organicamente con proiezioni su superfici – perché se non puoi batterli, fai il contrario (e sì, io l’ho fatto in un’altra vita, quando usavamo, tipo, videocamere digital video!).

Ma considerando la cosa da un altro punto di vista, sarà interessante osservare se questo tipo di tecniche avanzate resteranno un procedimento per specialisti o se si faranno strada in un utilizzo più comune. Il messaggio per il movimento e la danza, tuttavia, è chiaro: la velocità è tanto la frontiera quanto la risoluzione (in pixel).

Ugualmente dal Giappone – uno sforzo di qualche anno fa (tuttavia notate che qui, ciò che ra carente eta la velocità):