TPU
यह क्यों मायने रखता है
गहन अध्ययन
TPU एक observation से शुरू होता है: deep learning मुख्यतः matrix multiplication है, इसलिए उसके लिए fastest chip वह है जो matrix multiplication और जितना कम संभव हो उतना बाकी करे। जहाँ GPU thousands of flexible cores plus caches, schedulers तथा instruction decoders रखता है, TPU उनमें अधिकतर हटाकर silicon को high-bandwidth memory से सीधे fed enormous multiply-accumulate arrays के लिए dedicate करता है। Google ने inference चलाने के लिए 2015 में पहला TPU internally deploy किया और तब से roughly हर two years iterate किया: v2 से v4 ने training के लिए design को multi-thousand-chip pods में scale किया, v5p तथा v6 (Trillium) ने pod scale आगे बढ़ाया और v7 (Ironwood, announced 2025) मुख्यतः inference के लिए बनी first generation है। Result frontier training के लिए NVIDIA hardware का सबसे पुराना large-scale alternative है — Gemini की हर generation TPUs पर train हुई, और वर्षों तक NVIDIA से बाहर कुछ और उस level पर models train नहीं कर पाया, जब तक Amazon का Trainium तुलनीय scale तक नहीं पहुँचा: Anthropic के अनुसार वह Claude को train और serve करने के लिए दस लाख से अधिक Trainium2 chips उपयोग करता है।
Systolic Array कैसे काम करता है
TPU का heart Matrix Multiply Unit (MXU), systolic array है — tens of thousands simple multiply-accumulate elements का grid जो सीधे neighbors से wired है। Weights grid में advance में load होते हैं; activations फिर एक edge से stream होकर regular rhythm में array में flow करती हैं, हर element multiply, add तथा result आगे pass करता है। Data cache hierarchy के बजाय neighbor-to-neighbor move होने के कारण लगभग कोई silicon caches, branch predictors या instruction decode पर spend नहीं होता, इसलिए chip लगभग पूरा area तथा energy arithmetic पर खर्च करता है। Tradeoff rigidity है: array तभी efficient है जब compiler workload को large, dense Matrix Multiplication में tile कर सके — ठीक वही चीज़ जिससे transformer training तथा inference बने हैं। MXU के आसपास elementwise math की vector unit, control flow की scalar unit और high-bandwidth memory stacks होते हैं, तथा second generation से chips bfloat16 में compute करते हैं, reduced-precision format जिसे Google ने TPU के साथ introduce किया और modern मिश्रित सटीकता प्रशिक्षण (Mixed Precision) era शुरू हुआ।
v1 से Ironwood तक
हर TPU generation ने same trajectory follow की: per chip अधिक compute, अधिक memory bandwidth और बड़ा pod। 2015 v1 inference-only 8-bit accelerator था जिसने quietly production Google workloads serve किए — Google ने बाद में बताया कि AlphaGo के 2016 matches TPUs पर चले। TPU v2 (2017) ने floating-point training जोड़ी और pod introduce किया: custom interconnect से जुड़े 256 chips जो one machine की तरह behave करते हैं, scale पर वितरित प्रशिक्षण (Distributed Training) का early blueprint। V3 (2018) ने 1,024-chip pods तथा liquid cooling से आगे बढ़ाया और v4 (2021) उनके बीच reconfigurable optical links वाले 4,096 chips per pod तक पहुँचा। 2023 v5 generation two parts — cost-optimized v5e और high-end v5p — में split हुई, उसके बाद 2024 में v6 (Trillium) और 2025 में v7 (Ironwood), जो single pod में 9,216 chips रखता, 42.5 exaFLOPS rated है और training के बजाय मुख्यतः इन्फ़ेरेंस के लिए बना first TPU है।
Software Stack
Hardware केवल half story है; दूसरी half Google का compiler XLA है, जो model graph लेकर systolic arrays पर map करता है। First-generation stack ने TensorFlow assume किया और TensorFlow first-class रहता है, लेकिन ecosystem तब से JAX पर center हुआ है, जिसकी functional style XLA से अच्छी match करती है, और PyTorch को PyTorch/XLA bridge से support मिलता है। यहीं TPUs genuinely GPUs से differ करते हैं: NVIDIA के CUDA के पीछे decade की libraries, kernels तथा institutional knowledge है, जबकि TPU पर हर चीज़ whole-graph compiler से flow होती है। जब compiler model cleanly handle करता है — standard Transformer architectures आम तौर पर qualify करती हैं — utilization excellent और अक्सर GPUs से better होता है। Model में exotic ops या dynamic shapes हों तो developers XLA को मनाने में days spend कर सकते हैं, इसीलिए TPUs चुनना hardware जितना software decision है और किसी serious AI इन्फ्रास्ट्रक्चर plan में शामिल है।
आप एक खरीद नहीं सकते
लगातार बनी गलतफ़हमी है कि TPU उसी अर्थ में GPU का Google answer है — ऐसा card जिसे order करके अपने servers में rack कर सकते हैं। ऐसा नहीं है। Google ने TPUs discrete hardware के रूप में कभी नहीं बेचे, embedded devices के small Edge TPU coprocessor को छोड़कर, इसलिए full TPU इस्तेमाल करने का single तरीका Google Cloud पर pod का slice rent करना है। इससे adoption की हर चीज़ shape होती है: on-prem TPU cluster, used market या private lab में GPU के विरुद्ध benchmark का तरीका नहीं। इसका अर्थ Google silicon से data center तक full stack control करता है, जो economics के काम करने के कारण का हिस्सा है। Industry ने TPU से broader lesson लिया कि custom silicon viable है: Groq को TPU project शुरू करने वाले engineer ने found किया और Amazon, Microsoft, Meta तथा OpenAI सभी ने तब से अपने custom AI chip efforts launch किए।
TPUs वास्तव में कौन इस्तेमाल करता है
Anchor tenant Google स्वयं है: Google DeepMind हर Gemini generation को TPU pods पर train तथा serve करता है, बाकी Google production models के साथ, और TPUs historically AlphaGo तथा AlphaFold जैसे systems के आधार रहे हैं। अधिक interesting signal है कि और कौन दिखाई देता है। Anthropic बहुत large scale पर Claude को TPUs पर चलाता है और 2025 में up to a million के use की commitment announce की; Apple ने Apple Intelligence के पीछे foundation models v4 तथा v5p clusters पर train किए और अपने technical reports में ऐसा कहा। Pitch सीधी है — ASIC general-purpose machinery skip करता है, इसलिए workload fit होने पर TPUs आम तौर पर GPUs से अधिक compute per dollar तथा per watt देते हैं, ऐसा gap जो AI energy consumption के binding constraint बनने पर अधिक मायने रखता है। Catch software section का mirror image है: CUDA में deeply invested stack वाली teams rarely move करती हैं, जबकि JAX पर पहले से या compiler-driven workflow standardize करने को willing teams अक्सर TPUs को big चीज़ train करने का cheapest तरीका पाती हैं।