Autoencoder
यह क्यों मायने रखता है
अगर आपने Stable Diffusion, FLUX या ज़्यादातर video generators इस्तेमाल किए हैं, तो आपने VAE इस्तेमाल किया है। ये models सीधे pixels generate नहीं करते, क्योंकि वह बहुत महंगा पड़ता। वे VAE के compressed latent space में generate करते हैं (आमतौर पर हर दिशा में 8 गुना छोटा, यानी 64 गुना कम positions), और अंत में VAE का decoder नतीजे को पूरी image में बदल देता है। Consumer GPU कुछ ही seconds में 1024×1024 की image इसी वजह से बना पाता है। कुछ आम खामियाँ भी यहीं से आती हैं: छोटा text धुंधला होना, दूर के चेहरे बिगड़ना या रंगों का खिसकना अक्सर VAE की समस्या होती है, diffusion model की नहीं।
Autoencoders का इस्तेमाल anomaly detection (जिस चीज़ को model ठीक से दोबारा नहीं बना पाता, वह अक्सर असामान्य होती है), denoising और हाल के वर्षों में sparse autoencoders के ज़रिए interpretability research में भी होता है।
गहन अध्ययन
Autoencoder के दो हिस्से होते हैं। Encoder एक input लेता है (जैसे कोई image) और उसे संख्याओं के एक बहुत छोटे set में compress कर देता है। Decoder उस compressed code को लेकर मूल input को दोबारा बनाने की कोशिश करता है। Network का training लक्ष्य सीधा है: output को input के जितना हो सके उतना करीब लाना। बीच का code छोटा होता है, इसलिए network input को ज्यों का त्यों copy नहीं कर सकता। उसे सीखना पड़ता है कि data में असल में क्या मायने रखता है।
Variational autoencoder (VAE) में एक बात और जुड़ती है: encoder हर input को एक बिंदु पर नहीं, बल्कि एक छोटी probability distribution पर map करता है, और training इन distributions को एक smooth, व्यवस्थित space की ओर धकेलती है। ऐसे space से आप sample ले सकते हैं और उसमें घूम सकते हैं, और generative models को ठीक यही चाहिए।
Bottleneck ही असली बात है
साधारण autoencoder बिना किसी label के compressed representation सीख लेता है, इसलिए यह self-supervised learning का classic उदाहरण है। Bottleneck जितना तंग होगा, network को उतना ही noise छोड़कर structure बचाना पड़ेगा। बहुत तंग हो तो reconstruction धुंधला हो जाता है। बहुत चौड़ा हो तो network बस copy करना सीखता है। सही आकार इस्तेमाल पर निर्भर करता है: image generation वाले VAE लगभग perfect reconstruction चाहते हैं, जबकि search के लिए बना compression model ज़्यादा loss सह सकता है।
"Variational" से क्या मिलता है
साधारण autoencoder के latent space में जगह-जगह खाली गड्ढे हो सकते हैं: कोई भी बिंदु उठाइए, decoder कचरा देगा, क्योंकि training में वहाँ कभी कोई data पड़ा ही नहीं। VAE loss function में एक दूसरा term (KL divergence) जोड़ता है, जो हर code distribution को एक सरल standard आकार की ओर खींचता है। नतीजा एक continuous space है: पास-पास के बिंदु मिलते-जुलते outputs देते हैं और random samples से भी ठीक-ठाक नतीजे निकलते हैं। कीमत यह है कि classic VAE अकेले इस्तेमाल होने पर थोड़ी धुंधली images बनाते हैं। इसलिए आज वे ज़्यादातर diffusion models के compression stage के रूप में काम करते हैं, खुद generator के रूप में नहीं।
Image और video models में VAE
Latent diffusion में प्रक्रिया यह है: VAE से training images को encode करो, diffusion model को इसी latent space में denoise करना सिखाओ, और अंत में latents को वापस pixels में decode करो। सिर्फ़ VAE को upgrade करने से ही नतीजे साफ़ तौर पर ज़्यादा sharp हो सकते हैं। नए models 4 latent channels (Stable Diffusion 1.x और SDXL) से 16 channels (Stable Diffusion 3, FLUX) पर आ गए हैं, जिससे text और हाथों जैसे बारीक details बचे रहते हैं। Video models 3D VAE इस्तेमाल करते हैं, जो समय में भी compress करते हैं, ताकि कुछ seconds का video memory में समा सके।
Sparse autoencoders
एक मिलता-जुलता रूप sparse autoencoder है, जिसे images पर नहीं बल्कि language model की internal activations पर train किया जाता है। Code के ज़्यादातर मानों को शून्य रहने पर मजबूर करने से हर unit किसी पहचानने लायक concept को दर्शाने लगती है। इसी वजह से यह models के अंदर झाँकने का एक अहम tool बन गया है।