मेटा (पूर्व में फेसबुक) ने मिश्रित और आभासी वास्तविकता के अनुभवों में साउंड को अधिक रियलिस्टिक बनाने के लिए डिजाइन किए गए तीन नए आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल बनाए हैं। कंपनी ने एक बयान में कहा कि तीन एएल मॉडल (विजुअल-अकॉस्टिक मैचिंग, विजुअली-इनफॉर्मेड डेरेवरबेशन और विजुअलवॉयस) वीडियो में मानव भाषण और साउंड्स पर ध्यान केंद्रित करते हैं और 'हमें फास्टर रेट पर अधिक इमर्सिव रियलिटी की ओर धकेलने' के लिए डिजाइन किए गए हैं।
मेटा के एआई शोधकर्ताओं और इसकी रियलिटी लैब्स टीम के ऑडियो विशेषज्ञों ने कहा, "साउंड एक भूमिका निभाते हैं कि मेटावर्स में ध्वनि का अनुभव कैसे किया जाएगा और हमें विश्वास है कि एआई रियलिस्टिक साउंड गुणवत्ता प्रदान करने के लिए मुख्य होगा।"उन्होंने ऑस्टिन में टेक्सास विश्वविद्यालय के शोधकर्ताओं के सहयोग से एआई मॉडल का निर्माण किया और इन मॉडलों को ऑडियो-विजुअल समझ के लिए डेवलपर्स के लिए खुला बना रहे हैं।
सेल्फ-सुपरवाइज्ड विजुयल-एकॉस्टिक मैचिंग मॉडल, जिसे अवीतार कहा जाता है, टार्गेट इमेज के स्थान से मिलान करने के लिए ऑडियो को समायोजित करता है। विजुअल वॉयस इस तरह से सीखता है कि कैसे लोग नए कौशल में महारत हासिल करते हैं, बिना लेबल वाले वीडियो से विजुअल और ऑडिटरी संकेतों को सीखकर ऑडियो-विजुअल स्पीड सेपरेशन प्राप्त करते हैं।