NVIDIA AR SDK Debut di Plugin OBS Populer StreamFX Memungkinkan Deteksi Wajah Melalui Webcam Standar

NVIDIA telah secara resmi meluncurkan Augmented Reality (AR) Software Development Kit (SDK) yang ditunggu-tunggu yang dioptimalkan untuk Live Streaming, Gaming, serta platform Video Conferencing. Teknologi ini telah memulai debutnya di StreamFX, Plugin OBS yang sangat populer. Teknologi ini menjanjikan beberapa kemampuan luar biasa termasuk mendeteksi dan mengunci wajah, dan membuat mesh 3D pada wajah, semuanya menggunakan kamera web standar.

NVIDIA kini telah memperkenalkan AR SDK for Live Streaming, yang menghadirkan kemampuan Artificial Intelligence (AI) ke alat konferensi web, komunikasi, dan kolaborasi jarak jauh yang semakin populer dan banyak digunakan. Teknologi ini diklaim dapat membantu para gamer juga. Anehnya, pengguna bisa mendapatkan keuntungan dari penambahan AI dengan webcam standar, klaim NVIDIA.

Bagaimana NVIDIA AI AR SDK Untuk Live Streaming Bekerja?

Seperti yang diharapkan, NVIDIA AR SDK, juga dikenal sebagai NVIDIA RTX Broadcast Engine, menggunakan Tensor Cores yang kuat dan serbaguna pada GPU NVIDIA RTX. SDK dapat mengaktifkan pelacakan cepat, dan dilaporkan berkualitas tinggi melalui backend eksklusif, jaringan AI berbasis cloud yang diluncurkan tahun lalu. NVIDIA mengklaim teknologi dan jaringan dapat memberikan pelacakan wajah yang akurat; pelacakan landmark wajah bentuk wajah, bibir, mata, alis dan hidung dengan 3 derajat kebebasan; dan face mesh tingkat lanjut (rekonstruksi 3D dari wajah dan pose kepala manusia) dengan 6 derajat kebebasan.

NVIDIA AI AR SDK untuk Live Streaming telah memulai debutnya melalui StreamFX, plugin populer untuk OBS (Open Broadcaster Software). AR SDK sekarang tersedia di GitHub. Pengembang yang tertarik dapat menggunakan hal yang sama dengan mengunduhnya dari situs web NVIDIA juga.

Versi baru StreamFX menggunakan SDK untuk membuat kamera pintar yang secara otomatis memotong dan memperbesar pengguna, membuatnya tetap di tengah bingkai setiap kali mereka bergerak. Berbicara tentang perkembangan baru yang menarik, Michael Fabian 'Xaymar' Dirks, StreamFX Author berkata,

“Filter Pelacakan Wajah baru di StreamFX membutuhkan pembelajaran matematika dan mesin yang kompleks yang akan memakan waktu berbulan-bulan jika tidak bertahun-tahun untuk disetel agar dapat berjalan di banyak mesin. Namun, berkat AR SDK NVIDIA, hal itu dilakukan dalam waktu singkat, dan berjalan pada perangkat keras NVIDIA RTX apa pun yang menjadi semakin umum berkat encoder NVENC H.264 di dalamnya. Ini secara drastis mengurangi waktu pengembangan yang diperlukan dari tahun menjadi hanya dua minggu, dan tanpa biaya tambahan juga.”

Apa yang secara jelas disiratkan Fabian adalah bahwa pengembang sekarang memiliki SDK yang kuat yang telah diperkenalkan NVIDIA untuk secara substansial meningkatkan kemampuan dan fitur berbagai platform dengan AR berbasis AI. Tak perlu ditambahkan, pengembang game, konferensi langsung, serta platform streaming langsung akan mendapatkan keuntungan besar dari platform NVIDIA. Ringkasnya, NVIDIA AR SDK, yang menghadirkan kekuatan AI ke Live Streaming, memperluas fitur berikut melalui webcam standar:

Melacak wajah pada kamera untuk mengidentifikasi satu atau beberapa subjek pada gambar,
Melapisi aset pada seseorang untuk mengenakan kostum atau efek pada orang,
Mengontrol karakter animasi atau game dengan gerakan wajah dan kepala Anda.

Penting untuk dicatat bahwa NVIDIA telah menawarkan AR SDK sebagai platform beta terbuka. Ini jelas berarti pengembang harus mengharapkan beberapa bug, dan didorong untuk melaporkan hal yang sama ke NVIDIA untuk menyempurnakan platform lebih lanjut.