NVIDIA’nın 30 Eylül tarihli teknik yazısı, Nemotron 3.5 otomatik konuşma tanıma modelinin Suudi Arabistan’da kullanılan Najdi ve Hijazi lehçelerine uyarlanmasını anlatıyor. Ekip, Saudi Audio Dataset for Arabic (SADA) içinden 133,7 saatlik hedef lehçe konuşması kullandı. Blog, bu seçimin 125.490 başlangıç kaydından 103.559 cümleyi koruduğunu ve 82,5’lik oranı temsil ettiğini belirtiyor. Bu, şirketin kendi eğitim ve değerlendirme deneyidir; ulusal ölçekte bağımsız bir doğruluk incelemesi değildir.

NVIDIA, hedef Najdi-Hijazi test bölümünde kelime hata oranının (WER) yüzde 55,05’ten yüzde 29,96’ya indiğini bildiriyor. Tüm SADA test setinde WER yüzde 58,84’ten yüzde 35,61’e geriledi. WER, tanınan metindeki ikame, silme ve ekleme hatalarını kelime sayısına göre ölçer; ‘model yüzde 25 daha doğru oldu’ demekle aynı şey değildir. Aynı deneyde FLEURS İngilizce WER yüzde 11,04’ten 10,42’ye, Arapça WER yüzde 12,67’den 11,41’e değişti. Bu karşılaştırmalar farklı test kümelerine aittir ve birbirine karıştırılmamalıdır.

Teknik yazıdaki eğitim tarifi hedef lehçe verilerini FLEURS İngilizce ve Arapça örnekleriyle ağırlıklı biçimde karıştırıyor; ayrıca benzer uzunluktaki konuşma parçalarını aynı gruplara alarak eğitim hesaplamasını düzenliyor. En iyi raporlanan SADA sonucu, 12.000 adım ve iki GPU üzerinde yaklaşık 4,5 saatlik çalışmanın ardından elde edildi. Bu süre ve donanım, NVIDIA’nın deney koşullarıdır; farklı veri, model sürümü veya altyapıda aynı maliyeti ya da sonucu garanti etmez.

Yazı, değerlendirme setine göre sonuçların değiştiğini ve bir testteki kazanımın başka lehçeler veya gerçek kullanım ortamları için genellenemeyeceğini özellikle vurguluyor. Veri temizleme tercihleri, gürültü, mikrofon, konuşma hızı ve transkript standardı WER’i etkileyebilir. Araştırmacılar ayrıca çevrimdışı çözümleme seçenekleriyle daha düşük WER elde ederken gecikmenin arttığını gösteriyor; geniş bakış bağlamı yaklaşık 800 milisaniye ek gecikme getirebiliyor. Bu nedenle canlı altyazı, çağrı arşivi ve toplantı dökümü gibi kullanım senaryoları aynı ölçütle değerlendirilemez.

Suudi lehçelerine uyarlanmış konuşma tanıma, müşteri hizmetleri, medya arşivleri veya sesli arayüzlerde kullanılabilecek bir teknik bileşendir; fakat bu kaynak modelin Suudi işletmelerinde devreye alındığını ya da ticari sözleşme kazandığını bildirmiyor. Ölçüm, yayımlanan teknik tarife ve test setlerine göre model çıktısının değişimini gösteriyor. Gerçek dağıtım için yerel kullanıcılarla hata değerlendirmesi, gizlilik ve rıza kontrolleri, erişilebilirlik, bakım maliyeti ve uygun insan incelemesi ayrıca gerekir.

Tablodaki oranlar yüzde WER’dir ve test setleri ayrı tutulmuştur. Başlangıç ve son değerler teknik yazıda verilen ölçümlerdir; her ikisi de eğitim çalışmasının parçası olarak raporlanmıştır. Veriler ülke çapındaki tüm lehçeleri veya tüm konuşmacıları temsil ettiğini iddia etmez. Haberin çıkarımı, hedef lehçe verisiyle uyarlamanın bu deneyde ölçülen test performansını iyileştirdiği; etkinin gerçek kullanımda ayrıca doğrulanması gerektiğidir.