Nvidia, mağazalarda bulamayacağınız grafik kartlarıyla tanınıyor olabilir, ancak şirket aynı zamanda bazı ilginç yazılım araçları da üretiyor. Buna bir örnek, bu yılın başlarında tüm GeForce kartlarıyla çalışacak şekilde yükseltilen ve arka plan gürültüsünü temizleme konusunda mükemmel bir iş çıkaran RTX sesi olarak bilinen gürültü giderme özelliğidir.

Şimdi Nvidia (Teşekkürler, 80.lv) bu yıl beta sürümünde ses içeren yeni bir araç gösteriyor. Audio2Face, Nvidia'nın açık gerçek zamanlı simülasyon platformu Omniverse'de çalışan etkileyici görünümlü bir otomatik arma işlemidir. Bir ses dosyası alma ve dahil edilen Digital Mark 3D karakter modeline şaşırtıcı derecede iyi eşleşen animasyonlar uygulama yeteneğine sahiptir.

Bunu otomatik olarak yapar, çoğu dilde iyi çalışır ve daha fazla ayrıntı için kaydırıcılar kullanılarak ayarlanabilir.

Bunu yapmak için Nvidia, yüz animasyonlarını gerçek zamanlı olarak sesle eşleştiren derin bir sinir ağı uyguladı. Programı ilk başlattığınızda, sinir ağını donanımınız için optimize eden Tensor RT Motorunu oluşturmak biraz zaman alabilir. Oradan, donanımınız hackleyebildiği sürece değişiklikleri gerçek zamanlı olarak görebilmeli veya bunları pişirebilmelisiniz.
Ek bir bonus olarak, Nvidia on Demand, şirketin eğitim web sitesidir ve Omniverse ve Audio2Face'te çok sayıda video içerir. Audio2Face'teki ilk video, Mart 2020'de oldukça geriye gitti, ancak daha yeni öğreticiler, sürecin Unreal Engine 4 gibi diğer araçlara nasıl aktarılacağını bile ayrıntılı olarak anlatıyor.

Birkaç video izledikten sonra, biraz kullanılan sesin kalitesine bağlı gibi görünüyor. Charlie Chaplin'in filmdeki alışılmadık derecede ünlü konuşması The Great Dictator bir videoda gösteriliyor ve hareketler daha canlı, modern kayıtlarda olduğu kadar net görünmüyor. Bununla birlikte, bazı ses kalitesinin aksine, bu aracın yalnızca zamanla daha iyi hale gelmesi muhtemeldir.