U-Net
यह क्यों मायने रखता है
U-Net के दो career रहे। पहले, यह image segmentation का standard architecture बना, खासकर medical imaging में, जहाँ यह आज भी हर जगह है।
दूसरे, यह generative AI के image boom का engine बना। Stable Diffusion 1.5, SDXL, DALL-E 2 और Imagen के भीतर का denoising network एक U-Net था। Diffusion model को noisy image लेकर उसी size की ज़्यादा साफ़ image predict करनी होती है, और यह ठीक वही image-in, image-out काम है जिसके लिए U-Net बना था। अगर आपने ComfyUI इस्तेमाल किया है या Stable Diffusion checkpoints download किए हैं, तो वह बड़ी "UNet" file यही है।
गहन अध्ययन
U-Net को 2015 में University of Freiburg के Olaf Ronneberger, Philipp Fischer और Thomas Brox ने एक खास काम के लिए पेश किया था: बहुत कम training data के साथ microscope images में cells की रूपरेखा निकालना। इसका नाम इसके आकार से आया है। नीचे जाते समय convolution layers image को बार-बार छोटा करती हैं और ज़्यादा abstract features निकालती जाती हैं। ऊपर आते समय network उन features को वापस पूरे resolution तक बड़ा करता है। दोनों तरफ़ के बराबर levels के बीच skip connections चलते हैं, जो बारीक detail को सीधे उस पार copy कर देते हैं।
नतीजा एक ऐसा network है जिसका output उसके input जितने ही size की image होती है, और जिसमें पूरी तस्वीर की समझ भी होती है और pixel-level detail भी।
Skip connections क्यों ज़रूरी हैं
Image को छोटा करके ही network समझता है कि उसमें क्या है, लेकिन इससे यह जानकारी खो जाती है कि चीज़ें ठीक कहाँ हैं। Skip connections नीचे वाले रास्ते की सटीक spatial detail ऊपर वाले रास्ते को सौंप देते हैं, ताकि output अर्थ के हिसाब से सही भी हो और sharp भी। इनके बिना outputs धुँधले आते हैं।
Diffusion वाला U-Net
Diffusion models के U-Nets ने 2015 के design में कई चीज़ें जोड़ीं:
- Residual blocks, सादे convolutions की जगह, ताकि training stable रहे।
- Timestep conditioning: network को बताया जाता है कि उसका input कितना noisy है, ताकि उसे पता रहे कि कितना noise हटाना है।
- Self-attention layers, कम resolutions पर, जिनसे image के दूर-दूर के हिस्से आपस में तालमेल बिठा पाते हैं।
- Cross-attention layers, जो text prompt की embeddings पढ़ती हैं। यहीं शब्द तस्वीर को दिशा देते हैं।
Latent diffusion में U-Net pixels पर नहीं बल्कि VAE के compressed latent पर काम करता है, और इसी ने इसे consumer GPUs के लिए काफ़ी तेज़ बनाया। ControlNet और LoRA जैसे add-ons इसी ढाँचे को ध्यान में रखकर design किए गए।
Transformers की ओर बदलाव
करीब 2023 से top image और video models ने U-Net की जगह diffusion transformer (DiT) लेना शुरू किया, जो latent को patches में काटता है और उन्हें tokens की तरह process करता है। Stable Diffusion 3, FLUX, Sora और ज़्यादातर नए video models DiTs इस्तेमाल करते हैं, क्योंकि transformers data और compute के साथ ज़्यादा अनुमानित ढंग से scale करते हैं और text conditioning को ज़्यादा लचीलेपन से संभालते हैं।
अब भी मौजूद
Segmentation, denoising, super resolution और दूसरे dense prediction tasks के लिए U-Nets अब भी default हैं, और छोटे scale पर ये efficient हैं। SD 1.5 और SDXL, जो दोनों U-Net models हैं, की communities भी अब तक बहुत बड़ी हैं, क्योंकि ये मामूली hardware पर चलते हैं और इनके पीछे बरसों के fine-tunes हैं।