Unity Barracuda - La libreria per eseguire qualsiasi rete neurale in locale
Keijiro Takahashi (github, twitter), che lavora per Unity Technologies Japan, ha appena pubblicato un fantastico esempio di utilizzo di unity per fare upscaling di immagini con l'ausilio del machine learning. Si tratta di Waifu 2x, che era già disponibile online. Ma ora, grazie alla sua implementazione per unity, può essere eseguito in locale sul proprio computer. Basta un minimo di dimestichezza. Si inserisce una immagine intorno ai 300x300 pixel nella directory degli asset (/Assets/Test/), si modifica il riferimento "Source" del Tester in scena e si lancia unity. La CPU sale immediatamente di giri per eseguire il calcolo dell'upscaling e l'originale e la nuova immagine compaiono entro pochissimi secondi a video.
Viene usato Barracuda, la libreria di unity per il supporto di reti neurali. Ora grazie a questo esempio diventa molto più facile riuscire ad eseguire qualsiasi rete neurale sul proprio PC !
Si esporta la rete neurale originale dal suo framework Pytorch, TensorFlow o Keras nel formato standard ONNX.
Si aggiunge il file .onnx al progetto: questo si comporta come una normale risorsa.
Si carica il modello dall'asset.
Si crea il motore di inferenza (il worker).
Si esegue il modello e si recuperano i risultati.
The Tour Episode 7 | Unity Barracuda Tools | Unity Student Ambassador
