Creato un nuovo sistema che trasforma schizzi 2D in forme 3D realistiche in modo semplice ed automatico.

In questi giorni alcuni ricercatori informatici dell'Università di Hong Kong, (in collaborazione con Microsoft Research Asia e con l'Università della Columbia Britannica), tramite uno studio pubblicato sul sito dell'Association for Computing Machinery e che sarà presentato nei prossimi giorni durante la SIGGRAPH Asia 2018, (una conferenza annuale che presenta i membri tecnici e creativi più rispettati nel campo della computer grafica e delle tecniche interattive e mette in mostra la ricerca di punta nella scienza, nell'arte, nei giochi e nell'animazione, tra gli altri settori), hanno annunciato di aver messo a punto un nuovo sistema computazionale, costruito sulle cosiddette tecniche "data-driven", che consente di trasformare un semplice schizzo 2D in una forma 3D più o meno realistica, con un input da parte dell'utente minimo o quasi nullo; il tutto in modo semplice ed automatico. In pratica gli scienziati sono riusciti a sviluppare un nuovo framework, combinando le tecniche di rete neurale convoluzionale, (detta anche CNN), con i metodi di inferenza geometrica per calcolare gli schizzi e le corrispondenti forme 3D, più velocemente e più intuitivamente rispetto ai sistemi già esistenti. Al riguardo, infatti, Hao Pan, ricercatore presso la divisione asiatica di Microsoft Research, nonché uno dei principali autori del lavoro, ha spiegato: "Il nostro strumento può essere utilizzato dagli artisti per creare rapidamente e facilmente forme a mano libera che possono servire come forme base ed essere ulteriormente perfezionate con un software di modellazione avanzato. Gli utenti inesperti possono anche usarlo come strumento accessibile per creare contenuti eleganti per le loro creazioni 3D e mondi virtuali". In sostanza questo nuovo metodo si basa sul precedente lavoro di modellazione 3D basato a sua volta su un precedente lavoro di modellazione 3D dello stesso team di ricerca, chiamato "BendSketch: Modeling Freeform Surfaces through 2D Sketching": un metodo puramente geometrico che richiede input di schizzo già annotati. In merito a ciò lo stesso Hao Pan ha proseguito aggiungendo: "Vogliamo sviluppare un metodo che sia intelligente, (nel senso che richieda il minor numero possibile di input da parte dell'utente e che esegua automaticamente tutte le inferenze necessarie), ed allo stesso tempo generico, in modo da non dover formare un nuovo modello di machine learning per ogni specifica categoria di oggetto". Insomma, come noto ai più esperti, trasformare uno schizzo 2D raro ed imperfetto in una robusta forma 3D in modo facile ed automatico è una bella impresa: la sfida principale che gli studiosi hanno dovuto affrontato nel loro lavoro è stata, infatti, la disparità significativa di informazioni presentata tra le fasi di "schizzo" e "modello 3D". Ed è proprio qui che interviene l'utente aggiungendo elementi come dossi, curve, pieghe, vallate, creste sui disegni di superficie per creare un disegno 3D più realistico. Inoltre per ogni schizzo dimostrato nello studio in questione il metodo utilizza una CNN per prevedere la patch di superficie 3D: entrando un po' più nei dettagli la rete neurale convoluzionale dei ricercatori è stata addestrata su un set di dati di grandi dimensioni generato dal rendering di schizzi di varie forme 3D utilizzando il cosiddetto non-photorealistic line rendering, (noto anche con la sigla NPR), il quale imita automaticamente lo schizzo realizzato dall'uomo di forme a mano libera, (come, ad esempio, quella di un orsacchiotto, un uccello o un pesce). Ad ogni modo gli scienziati hanno convalidato il loro nuovo sistema, confrontando i metodi esistenti e valutando le sue prestazioni: i risultati hanno dimostrato che questo metodo fornisce un nuovo modo di produrre modelli 3D a partire da schizzi 2D in un modo semplice e più affidabile. Non a caso un esempio incluso nella ricerca riguarda utenti inesperti a cui è stato fatto provare il suddetto nuovo sistema: questi utenti, (che avevano poche conoscenze o formazione sugli schizzi o sulla modellazione 3D), sono stati sottoposti ad un addestramento di 20 minuti e successivamente è stato chiesto loro di creare tre forme specifiche, (un uccello, un orsacchiotto ed un delfino), di varia complessità. Tra l'altro, come spiegato nella ricerca, i partecipanti alle prime armi di tale test sono riusciti a completare le varie attività, (che richiedevano da soli 5 a 20 minuti totali), trovando gli schizzi più facili da riprodurre usando lo strumento degli studiosi, e alcuni di loro hanno espresso addirittura la volontà di saperne di più sul nuovo sistema. Comunque sia i ricercatori hanno fatto sapere che in futuro intendono esplorare diverse possibilità ed estensioni del loro algoritmo: per esempio, attualmente il loro sistema modella una patch di superficie ogni volta che si disegna, ma sarebbe utile essere in grado di modellare una forma completa disegnando sia le patch frontali che quelle posteriori in una singola vista. Per di più la speranza degli scienziati è anche quella di migliorare il loro strumento in modo che possa gestire la modellazione in scala multipla, cosicché le forme di grandi proporzioni ed i dettagli di una certa precisione possano essere, infine, disegnati abbastanza facilmente.

Di seguito alcuni esempi: