Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Safetensors
Infraestructura

Safetensors

También conocido como: .safetensors
Un formato de archivo simple y seguro para guardar los pesos de un modelo, que no puede ejecutar código oculto y se carga muy rápido.

Por qué importa

Safetensors es hoy el formato estándar para compartir pesos de modelos. Es el formato por defecto en las bibliotecas Transformers y Diffusers de Hugging Face, y es lo que publican la mayoría de los creadores de modelos. Para cualquiera que descargue modelos de internet, elimina un riesgo de seguridad real: los investigadores han encontrado modelos maliciosos basados en pickle subidos a repositorios públicos.

También es rápido. Los archivos safetensors se pueden mapear en memoria, es decir, el sistema operativo carga solo las partes que necesitas, cuando las necesitas, sin copias adicionales. Los modelos grandes cargan notablemente más rápido, y puedes leer unos pocos tensores de un archivo enorme sin cargar el resto.

En profundidad

Cuando descargas un modelo abierto de Hugging Face, los pesos suelen venir en uno o varios archivos .safetensors. El formato lo creó Hugging Face en 2022 para reemplazar el antiguo formato por defecto de PyTorch, que guardaba los pesos con el formato pickle de Python en archivos .bin o .pt.

El problema de pickle es que cargar un archivo pickle puede ejecutar código arbitrario. Un archivo de modelo malicioso podría instalar malware en el momento en que lo cargas. Safetensors guarda solo datos, números en bruto más una pequeña descripción de sus formas, así que cargarlo nunca puede ejecutar código.

Qué hay dentro del archivo

El formato es deliberadamente simple:

  1. Un número de 8 bytes que indica cuánto mide la cabecera.
  2. Una cabecera JSON que lista cada tensor: su nombre, su tipo de dato (como F16, BF16 o F32), su forma y dónde están sus bytes dentro del archivo. También puede guardar metadatos libres.
  3. Los datos en bruto de los tensores, un bloque tras otro.

Eso es todo. Como no hay código ni una estructura compleja, el formato es fácil de implementar en cualquier lenguaje, y una auditoría de seguridad independiente encargada en 2023 no encontró problemas críticos.

Modelos divididos en partes

Los modelos grandes se reparten en varios archivos, como model-00001-of-00004.safetensors, más un archivo de índice (model.safetensors.index.json) que asocia cada nombre de tensor con el archivo en el que está. Las herramientas leen el índice y cargan las piezas automáticamente.

Safetensors frente a otros formatos

  • Pickle (.bin, .pt, .ckpt): flexible, pero inseguro de cargar desde fuentes no confiables. Úsalo solo con archivos en los que confíes, y prefiere las opciones de carga que restringen lo que se puede ejecutar.
  • GGUF: el formato de un solo archivo que usan llama.cpp, Ollama y LM Studio. Empaqueta juntos los pesos, el tokenizador y los ajustes, y está diseñado para la inferencia local cuantizada. Muchos archivos GGUF se convierten a partir de originales en safetensors.
  • ONNX: guarda tanto los pesos como el grafo de cómputo, de modo que un modelo puede ejecutarse en distintos runtimes y hardware sin su código original.

Notas prácticas

Safetensors guarda los pesos, no la receta completa del modelo. Sigues necesitando el archivo de configuración (config.json), los archivos del tokenizador y el código que define la arquitectura. Cuando un repositorio ofrece versiones .bin y .safetensors, elige safetensors. Los adaptadores LoRA resultantes de un fine-tuning también suelen distribuirse como pequeños archivos safetensors (adapter_model.safetensors).

← Todos los términos
ESC