आधुनिक voice cloning दो दृष्टिकोणों का उपयोग करता है: TTS fine-tuning (target voice के audio पर text-to-speech मॉडल को adapt करना) और zero-shot cloning (एक सामान्य मॉडल को voice sample reference के रूप में देना जो voice characteristics निकालता और लागू करता है)। Zero-shot अधिक सुविधाजनक है (कोई training आवश्यक नहीं) लेकिन थोड़ा कम सटीक। Fine-tuning उच्च fidelity उत्पन्न करता है लेकिन अधिक audio और compute की आवश्यकता होती है। ElevenLabs और अधिकांश consumer सेवाएँ zero-shot दृष्टिकोण का उपयोग करती हैं।
Clone गुणवत्ता इन पर निर्भर करती है: reference sample की audio गुणवत्ता (साफ, noise-free audio बहुत बेहतर clones उत्पन्न करता है), reference audio की मात्रा (अधिक बेहतर है, लेकिन ~1 मिनट के बाद diminishing returns), speech की विविधता (विविध intonation और emotion वाले samples monotone reading से बेहतर clone करते हैं), और cloning मॉडल की क्षमता। वर्तमान सर्वश्रेष्ठ सिस्टम reference speaker की typical बोलने की शैली के लिए वास्तविक भाषण से लगभग अप्रभेद्य हैं, लेकिन reference में प्रतिनिधित्व न की गई भावनाओं या शैलियों पर लड़खड़ा सकते हैं।
अधिकांश प्रतिष्ठित सेवाओं को voice cloning के लिए सहमति सत्यापन की आवश्यकता होती है: आपको यह साबित करना होगा कि आपके पास आवाज़ clone करने की अनुमति है। कुछ voice verification का उपयोग करते हैं (आपको अपनी आवाज़ में एक विशिष्ट वाक्यांश कहना होगा)। अन्य लिखित सहमति दस्तावेज़ की आवश्यकता रखते हैं। detection सक्षम करने के लिए cloned audio की watermarking मानक बन रही है। लेकिन open-source voice cloning tools (जैसे so-vits-svc, RVC) सहमति लागू नहीं करते, दुरुपयोग के बारे में चल रही चिंताएँ बढ़ाते हैं।