मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › ResNet
मॉडल

ResNet

इसे भी कहा जाता है: Residual Network
2015 का वह image model जिसने skip connections से 100 से ज़्यादा layers गहरे networks train किए, एक ऐसा विचार जो आज लगभग हर modern model के अंदर है।

यह क्यों मायने रखता है

ResNet से पहले networks को गहरा करने से वे अक्सर बदतर हो जाते थे। वजह overfitting नहीं थी, बल्कि यह थी कि बहुत गहरे networks को train करना ही कठिन था। कई layers से गुज़रते हुए signals और gradients फीके पड़ जाते थे। Residual connections ने जानकारी को network के आर-पार एक सीधा रास्ता देकर इसे ठीक किया। गहराई दीवार नहीं रही।

यह एक विचार model से ज़्यादा जिया। हर transformer, हर modern LLM समेत, अपने हर attention और feedforward block को residual connection में लपेटता है। ResNet paper किसी भी क्षेत्र के अब तक के सबसे ज़्यादा cite किए गए वैज्ञानिक papers में से एक है।

खुद ResNet models, खासकर ResNet-50, बरसों तक computer vision के standard backbone भी रहे। वे classification, object detection और segmentation में इस्तेमाल हुए और अनगिनत papers में reference point बने।

गहन अध्ययन

ResNet को 2015 में Microsoft Research के Kaiming He, Xiangyu Zhang, Shaoqing Ren और Jian Sun ने पेश किया। इसने उस साल ImageNet image classification प्रतियोगिता 152 layers के network से जीती, जो पिछले साल के विजेताओं से करीब आठ गुना गहरा था, और इसकी top-5 error rate करीब 3.6% थी, जो उस काम पर इंसानी प्रदर्शन के अनुमानों के लगभग बराबर या उनसे बेहतर थी।

इसका मुख्य विचार residual connection (या skip connection) था: layers का हर block अपने input को पूरी तरह बदलने के बजाय सिर्फ़ एक बदलाव सीखता है, जिसे input में जोड़ा जाता है। मूल input block को पार करके आगे निकल जाता है और अंत में वापस जोड़ दिया जाता है।

Residual block

साधारण block output = F(x) निकालता है। Residual block output = F(x) + x निकालता है। अगर किसी block के लिए सबसे अच्छा यही है कि वह कुछ न करे, तो उसे बस F(x) = 0 सीखना है, जो आसान है। सादे network में उसी block को अपने input की perfect copy बनाना सीखना पड़ता, जो कठिन निकलता है। इससे अतिरिक्त layers जोड़ना "मुफ़्त" हो जाता है: बुरी से बुरी स्थिति में वे रास्ते से हटे रहना सीख लेती हैं।

Backpropagation के दौरान + x वाला रास्ता gradients को सीधे शुरुआती layers तक बहने भी देता है, जिससे vanishing gradient की समस्या नहीं आती।

परिवार

ResNets standard गहराइयों में आते हैं: ResNet-18, -34, -50, -101 और -152। गहरे versions कुशल बने रहने के लिए bottleneck blocks इस्तेमाल करते हैं (channels घटाने के लिए 1×1 convolution, फिर 3×3 convolution, फिर वापस बढ़ाने के लिए 1×1)। उनमें हर जगह batch normalization भी था, जो training को stable रखने के लिए अहम था।

असर और उत्तराधिकारी

  • Transformers (2017) ने हर sub-layer के आसपास residual connections अपनाए।
  • ResNeXt, DenseNet और EfficientNet ने vision में इसी विचार को आगे बढ़ाया।
  • Vision Transformers (2020) ने आखिरकार image के कामों में convolutional networks को चुनौती दी, लेकिन जहाँ speed और सरलता मायने रखती है, खासकर edge devices पर, ResNet जैसे CNNs अब भी खूब इस्तेमाल होते हैं।
  • Diffusion models के U-Nets residual blocks से बने होते हैं।

यह अब भी जानने लायक क्यों है

अगर आप किसी व्यावहारिक काम के लिए image classifier fine-tune करते हैं, तो pre-trained ResNet-50 अब भी एक तेज़, भरोसेमंद baseline है। और जब आप LLM interpretability research में "residual stream" के बारे में पढ़ते हैं, तो आप ResNet की विरासत देख रहे होते हैं: वह चलता हुआ जोड़ जिसमें हर layer कुछ जोड़ती है।

← सभी शब्द
ESC