Trasformare una foto in un modello 3D

Buongiorno cari lettori di Tecnogalaxy, oggi andremo a vedere come poter trasformare una foto in un modello 3D.

Come se scattare una foto non fosse un’abilità tecnologica abbastanza impegnativa, ora stiamo facendo l’opposto: modellare il mondo dalle immagini. Un compito impegnativo consiste nell’acquisizione di alcune immagini nel mondo dell’immagine bidimensionale per creare l’aspetto dell’oggetto o della persona nel mondo reale. Puoi facilmente vedere quanto sia utile questa tecnologia per molti settori come videogiochi, film di animazione o pubblicità. Scatta alcune foto e ottieni immediatamente un modello realistico da inserire nel tuo prodotto. I risultati sono notevolmente migliorati rispetto al primo modello che ho trattato nel 2020, chiamato NeRF.

Non solo la qualità è paragonabile, se non migliore, ma è oltre 1’000 volte più veloce con meno di due anni di ricerca. Questo è il ritmo della ricerca sull’IA: guadagni esponenziali in termini di qualità ed efficienza. Un grande fattore che rende questo campo così incredibile.

Rendering inverso

Instant NeRF affronta il compito del rendering inverso, che consiste nel rendere una rappresentazione 3D da una immagine 2d, e il risultato dovrebbe avvicinarsi il più possibile alla forma reale dell’oggetto e al modo in cui la luce si comporta su di esso in modo che appaia il più realistico possibile.

Il NeRF in poche parole sono un tipo di rete neurale. Prende le immagini e impostazioni della fotocamera come input e impara come produrre una rappresentazione 3D iniziale degli oggetti o delle scene nelle immagini, inoltre vengono utilizzati dei parametri già appresi da casi passati. Ciò significa che abbiamo bisogno di un oggetto 3D e di alcune sue immagini da diverse angolazioni conosciute per far si che si addestri e la rete imparerà a ricreare l’oggetto.

Quindi, dopo un tale processo di addestramento, inserisci le immagini con gli angoli della telecamera solo al momento dell’interferenza e produce il modello finale in pochi secondi.

Il funzionamento di Instant NeRF

Questa nuova versione di NVIDIA chiamata Instant NeRF è infatti 1’000 volte più veloce del suo predecessore NeRF di un anno fa. IL motivo di questo miglioramento dovuto alla codifica della griglia hash multi-risoluzione;

In parole povere, hanno cambiato il modo in cui la rete NeRF vede gli input, e quindi la previsione iniziale del modello 3D rende più facile ed efficiente in termini di informazioni l’utilizzo di una rete neurale più piccola mantenendo la stessa qualità degli output. Mantenere una qualità così elevata utilizzando una rete più piccola è possibile perché non sta solo imparando nuovi dati durante l’allenamento, ma anche il modo in cui li sta trasformando tali input in anticipo è molto importante.

Quindi l’input viene trasformato utilizzando versioni già addestrate, per concentrarsi su informazioni preziose in modo estremamente rapido e quindi inviato il tutto a una rete molto più piccola poiché gli input sono, allo stesso modo, molto più piccoli e leggeri, considerando che un immagine può pesare da pochi kilobytes a qualche megabytes. Inoltre stanno memorizzando i valori di qualsiasi tipo in una tabella con chiavi che indicano dove sono archiviati per operare delle modifiche parallele super efficienti e rimuovendo il tempo di ricerca per i grandi array durante l’addestramento evitando così delle possibili interferenze. Questa trasformazione in una rete molto più piccola è il motivo per cui Instant NeRF è molto più veloce e perché è così importante parlarne.

E voilà! È così che NVIDIA è ora in grado di generare un modello 3D da una semplice foto e una demo 3D!

Se questo non fosse abbastanza interessante, può memorizzare valori di qualsiasi tipo, il che significa che questa tecnica può essere utilizzata non solo con i NeRF ma anche con altre applicazioni molto interessanti come le immagini gigapixel che diventano incredibilmente efficienti.

Leggi anche:

• Come Navigare Sicuri
• I vantaggi in termini di sicurezza derivanti dall’utilizzo delle VDR nelle transazioni immobiliari
• Cos’è il cashback: caratteristiche, utilità, settori
• Wire ha appena ricevuto un finanziamento di 30 milioni
• Woolsocks: Regali di Natale GRATIS