मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › T5
मॉडल

T5

इसे भी कहा जाता है: Text-to-Text Transfer Transformer, Flan-T5
Google का encoder-decoder model, जो हर language task को एक text से दूसरा text बनाने का काम मानता है और आज भी image तथा video generators में text encoder के रूप में खूब इस्तेमाल होता है।

यह क्यों मायने रखता है

T5 दो वजहों से मायने रखता है। ऐतिहासिक रूप से इसने दिखाया कि एक ही training objective वाला एक ही model लगभग कोई भी NLP task सँभाल सकता है, और इसका व्यवस्थित paper इस बात का reference बन गया कि transfer learning कैसे की जाए। इसका instruction-tuned उत्तराधिकारी Flan-T5 कुछ समय तक instructions मानने के लिए सबसे अच्छा छोटा open model था।

व्यावहारिक रूप से T5 आज भी बहुत बड़ी संख्या में systems में चल रहा है, और वह भी ऐसी भूमिका में जिसकी योजना इसके लेखकों ने नहीं बनाई थी: image और video generators के अंदर text encoder के रूप में। अगर आपने FLUX.1, Stable Diffusion 3 या कई open video models इस्तेमाल किए हैं, तो आपका prompt किसी T5 encoder ने पढ़ा था।

गहन अध्ययन

T5, यानी Text-to-Text Transfer Transformer, को Google के researchers ने 2019 में पेश किया। इसका केंद्रीय विचार यह था कि हर task के लिए अलग output layer बनाना बंद किया जाए। Translation, summarization, classification और question answering, सबको एक ही रूप में ढाला गया: text अंदर जाता है, text बाहर आता है। Model को यह बताने के लिए कि क्या करना है, आप input के आगे एक छोटा prefix लगाते हैं, जैसे translate English to German: या summarize:।

आज यह बात ज़ाहिर-सी लगती है, क्योंकि सभी लोग LLMs को इसी तरह इस्तेमाल करते हैं। 2019 में यह एक असली बदलाव था, और T5 उन models में से था जिन्होंने इसे स्थापित किया।

Architecture और training

T5 मूल Transformer वाला ढाँचा इस्तेमाल करता है, जिसमें encoder भी है, जो bidirectional attention से input पढ़ता है, और decoder भी, जो output को token-दर-token generate करता है। यही इसे BERT (सिर्फ़ encoder) और GPT (सिर्फ़ decoder) से अलग करता है।

इसे C4 नाम के बड़े web-text corpus पर span corruption से pre-train किया गया: text के random spans को placeholder tokens से बदल दिया जाता है, और model गायब spans generate करना सीखता है। यह BERT के masked language modeling का रिश्तेदार है, जिसे text output करने वाले model के हिसाब से ढाला गया है। मूल release पाँच sizes में आया, T5-Small (6 करोड़ parameters) से T5-11B (11 अरब parameters) तक।

परिवार

  • mT5: एक multilingual version जो करीब 100 भाषाएँ cover करता है।
  • ByT5: tokens की जगह सीधे bytes पर काम करता है, जिससे यह spelling की गलतियों और असामान्य scripts के सामने मज़बूत रहता है।
  • Flan-T5 (2022): instructions के रूप में लिखे गए एक हज़ार से ज़्यादा tasks पर fine-tune किया गया T5। यह task-specific training के बिना नए instructions मान सकता था और सस्ते classification तथा extraction के लिए आज भी लोकप्रिय है।
  • T5Gemma (2025): encoder-decoder design की ओर Google की वापसी, जिसे Gemma models को ढालकर बनाया गया।

T5 को भाषा से बहुत आगे भी नए कामों में लगाया गया है। Amazon के Chronos time-series forecasting models मूल रूप से T5 architecture पर बने थे, और T5-based models search results की reranking और embeddings बनाने के लिए भी इस्तेमाल हुए हैं।

Image generation में T5

Google के Imagen paper (2022) ने एक चौंकाने वाली बात पाई: सिर्फ़ text पर train किया गया एक बड़ा frozen language model, T5-XXL, image generation के लिए CLIP से बेहतर text encoder था, और text encoder को बड़ा करने से image model को बड़ा करने की तुलना में ज़्यादा फ़ायदा हुआ। T5 embeddings शब्दों का क्रम, संबंध और लंबे विवरण उस तरह पकड़ते हैं जैसा CLIP के embeddings नहीं पकड़ पाते, जिससे prompt following और images में text की rendering बेहतर हुई।

यह तरीका फैल गया। Stable Diffusion 3 और FLUX.1, CLIP के साथ T5-XXL इस्तेमाल करते हैं, और कई video models T5 के variants इस्तेमाल करते हैं। यही वह कई gigabytes की t5xxl file है जो आप ComfyUI में load करते हैं। चूँकि अकेले encoder में करीब 4.7 अरब parameters हैं, इसलिए quantized versions आम हैं। नए image models में T5 की जगह text encoder के तौर पर आधुनिक LLMs तेज़ी से ले रहे हैं।

Chat में decoder-only क्यों जीता

अगर encoder-decoders इतना अच्छा काम करते हैं, तो आज के LLMs decoder-only क्यों हैं? मुख्य वजह सादगी और scale है। Decoder-only model हर चीज़ को, prompt और response दोनों को, एक ही sequence मानता है, जिससे इसे raw text पर train करना, multi-turn conversation सँभालना और पिछला computation cache करना सीधा हो जाता है। बड़े scale पर इसका प्रदर्शन कम से कम उतना ही अच्छा रहा। Encoder-decoders की बढ़त वहाँ बनी रहती है जहाँ input पहले से पूरा पता हो और उसे गहराई से समझना ज़रूरी हो: translation, summarization, speech recognition (Whisper एक encoder-decoder है) और दूसरे models के लिए conditioning signals।

← सभी शब्द
ESC