Safetensors
यह क्यों मायने रखता है
Safetensors अब model weights share करने का standard format है। यह Hugging Face की Transformers और Diffusers libraries में default है, और ज़्यादातर model बनाने वाले इसी में publish करते हैं। Internet से models download करने वाले हर व्यक्ति के लिए यह एक असली security खतरा हटाता है: researchers को public hubs पर upload किए गए pickle-आधारित दुर्भावनापूर्ण models मिल चुके हैं।
यह तेज़ भी है। Safetensors files को memory-map किया जा सकता है, यानी operating system सिर्फ़ वही हिस्से load करता है जो चाहिए, जब चाहिए, बिना अतिरिक्त copies के। बड़े models साफ़ तौर पर तेज़ load होते हैं, और आप बाकी सब load किए बिना किसी विशाल file से बस कुछ tensors पढ़ सकते हैं।
गहन अध्ययन
जब आप Hugging Face से कोई open model download करते हैं, तो weights आमतौर पर एक या ज़्यादा .safetensors files के रूप में आते हैं। यह format Hugging Face ने 2022 में बनाया था, PyTorch के पुराने default की जगह लेने के लिए, जो weights को Python के pickle format में .bin या .pt files में save करता था।
Pickle की समस्या यह है कि pickle file load करने से मनमाना code चल सकता है। कोई दुर्भावनापूर्ण model file load होते ही malware install कर सकती है। Safetensors सिर्फ़ data रखता है, यानी raw संख्याएँ और उनके shapes का एक छोटा विवरण, इसलिए उसे load करने से code कभी नहीं चल सकता।
File के अंदर क्या है
Format जान-बूझकर सरल रखा गया है:
- 8 bytes की एक संख्या जो बताती है कि header कितना लंबा है।
- एक JSON header जिसमें हर tensor की सूची है: उसका नाम, data type (जैसे F16, BF16 या F32), shape और file में उसके bytes कहाँ हैं। इसमें free-form metadata भी रखा जा सकता है।
- Raw tensor data, एक के बाद एक block।
बस इतना ही। इसमें न code है, न जटिल structure, इसलिए format को किसी भी भाषा में implement करना आसान है, और 2023 में कराए गए एक स्वतंत्र security audit को कोई गंभीर समस्या नहीं मिली।
Sharded models
बड़े models कई files में बँटे होते हैं, जैसे model-00001-of-00004.safetensors, और साथ में एक index file (model.safetensors.index.json) होती है जो हर tensor के नाम को उसकी file से जोड़ती है। Tools index पढ़कर टुकड़े अपने आप load कर लेते हैं।
Safetensors बनाम दूसरे formats
- Pickle (
.bin,.pt,.ckpt): flexible, लेकिन अविश्वसनीय स्रोतों से load करना असुरक्षित। इसे सिर्फ़ उन files के लिए इस्तेमाल कीजिए जिन पर आपको भरोसा है, और ऐसे loading options चुनिए जो सीमित करें कि क्या चल सकता है। - GGUF: llama.cpp, Ollama और LM Studio का single-file format। यह weights, tokenizer और settings को एक साथ pack करता है और quantized local inference के लिए बना है। कई GGUF files मूल safetensors files से convert होती हैं।
- ONNX: weights और computation graph दोनों रखता है, ताकि model अपने मूल code के बिना अलग-अलग runtimes और hardware पर चल सके।
व्यावहारिक बातें
Safetensors में weights होते हैं, model की पूरी recipe नहीं। आपको अब भी config file (config.json), tokenizer files और architecture define करने वाला code चाहिए। जब किसी repository में .bin और .safetensors दोनों versions हों, तो safetensors चुनिए। Fine-tune किए गए LoRA adapters भी आमतौर पर छोटी safetensors files के रूप में आते हैं (adapter_model.safetensors)।