Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Safetensors
Infrastructure

Safetensors

Aussi appelé : .safetensors
Un format de fichier simple et sûr pour stocker les poids d'un modèle, qui ne peut pas exécuter de code caché et se charge très vite.

Pourquoi c'est important

Safetensors est aujourd'hui le format standard pour partager des poids de modèles. C'est le format par défaut des bibliothèques Transformers et Diffusers de Hugging Face, et celui que publient la plupart des créateurs de modèles. Pour quiconque télécharge des modèles sur Internet, il supprime un vrai risque de sécurité : des chercheurs ont trouvé des modèles malveillants au format pickle déposés sur des plateformes publiques.

Il est aussi rapide. Les fichiers safetensors peuvent être mappés en mémoire : le système d'exploitation ne charge que les parties nécessaires, au moment où elles le sont, sans copie supplémentaire. Les grands modèles se chargent nettement plus vite, et l'on peut lire quelques tenseurs dans un énorme fichier sans charger le reste.

En profondeur

Quand vous téléchargez un modèle ouvert sur Hugging Face, les poids arrivent généralement sous la forme d'un ou plusieurs fichiers .safetensors. Le format a été créé par Hugging Face en 2022 pour remplacer l'ancien format par défaut de PyTorch, qui sauvegardait les poids avec le format pickle de Python dans des fichiers .bin ou .pt.

Le problème de pickle, c'est que charger un fichier pickle peut exécuter du code arbitraire. Un fichier de modèle malveillant pourrait installer un logiciel malveillant à l'instant où vous le chargez. Safetensors ne stocke que des données, des nombres bruts accompagnés d'une courte description de leurs formes, donc son chargement ne peut jamais exécuter de code.

Ce que contient le fichier

Le format est volontairement simple :

  1. Un nombre sur 8 octets qui indique la longueur de l'en-tête.
  2. Un en-tête JSON qui liste chaque tenseur : son nom, son type de données (comme F16, BF16 ou F32), sa forme et l'emplacement de ses octets dans le fichier. Il peut aussi contenir des métadonnées libres.
  3. Les données brutes des tenseurs, un bloc après l'autre.

C'est tout. Sans code ni structure complexe, le format est facile à implémenter dans n'importe quel langage, et un audit de sécurité indépendant commandé en 2023 n'a relevé aucun problème critique.

Modèles fragmentés

Les gros modèles sont répartis en plusieurs fichiers, comme model-00001-of-00004.safetensors, avec un fichier d'index (model.safetensors.index.json) qui associe chaque nom de tenseur au fichier où il se trouve. Les outils lisent l'index et chargent les morceaux automatiquement.

Safetensors face aux autres formats

  • Pickle (.bin, .pt, .ckpt) : souple, mais dangereux à charger depuis des sources non fiables. Ne l'utilisez que pour des fichiers en qui vous avez confiance, et préférez les options de chargement qui restreignent ce qui peut s'exécuter.
  • GGUF : le format à fichier unique utilisé par llama.cpp, Ollama et LM Studio. Il réunit poids, tokenizer et réglages, et il est conçu pour l'inférence locale quantifiée. Beaucoup de fichiers GGUF sont convertis à partir d'originaux safetensors.
  • ONNX : stocke à la fois les poids et le graphe de calcul, pour qu'un modèle puisse tourner sur différents moteurs d'exécution et matériels sans son code d'origine.

Notes pratiques

Safetensors contient les poids, pas toute la recette du modèle. Il vous faut encore le fichier de configuration (config.json), les fichiers du tokenizer et le code qui définit l'architecture. Quand un dépôt propose à la fois des versions .bin et .safetensors, choisissez safetensors. Les adaptateurs LoRA issus d'un fine-tuning sont eux aussi généralement livrés sous forme de petits fichiers safetensors (adapter_model.safetensors).

← Tous les termes
ESC