跳到主要内容
Zubnet AI › 学习 › Wiki › Safetensors
基础设施

Safetensors

别名:.safetensors
一种简单、安全的模型权重存储文件格式,无法运行隐藏代码,加载速度也很快。

为什么重要

Safetensors 如今是分享模型权重的标准格式。它是 Hugging Face 的 Transformers 和 Diffusers 库的默认格式,也是大多数模型作者发布时用的格式。对任何从互联网下载模型的人来说,它消除了一个真实存在的安全风险:研究者已经在公共模型库里发现过被上传的、基于 pickle 的恶意模型。

它也很快。Safetensors 文件可以做内存映射,也就是操作系统只在需要时加载需要的部分,不做多余的拷贝。大模型的加载明显更快,你还可以只从一个巨大的文件里读取几个张量,而不必加载其余部分。

深度解析

从 Hugging Face 下载开放模型时,权重通常是一个或多个 .safetensors 文件。这种格式由 Hugging Face 在 2022 年创建,用来取代 PyTorch 较早的默认做法,也就是用 Python 的 pickle 格式把权重保存在 .bin 或 .pt 文件里。

pickle 的问题在于,加载 pickle 文件可能执行任意代码。一个恶意的模型文件可以在你加载它的那一刻就装上恶意软件。Safetensors 只存数据,也就是原始数字加上一小段对其形状的描述,所以加载它永远不会运行代码。

文件里有什么

这种格式有意设计得很简单:

  1. 一个 8 字节的数字,说明头部有多长。
  2. 一个 JSON 头部,列出每个张量:名称、数据类型(如 F16、BF16 或 F32)、形状,以及它的字节在文件中的位置。里面还可以存放自由格式的元数据。
  3. 原始张量数据,一块接着一块。

仅此而已。因为没有代码,也没有复杂结构,这种格式很容易用任何语言实现,2023 年委托进行的一次独立安全审计也没有发现严重问题。

分片模型

大模型会被拆成多个文件,比如 model-00001-of-00004.safetensors,再加一个索引文件(model.safetensors.index.json),把每个张量名映射到它所在的文件。工具会读取索引并自动加载各个分片。

Safetensors 与其他格式的比较

  • Pickle(.bin、.pt、.ckpt):灵活,但从不可信的来源加载并不安全。只对你信任的文件使用它,并优先使用限制可执行内容的加载选项。
  • GGUF:llama.cpp、Ollama 和 LM Studio 使用的单文件格式。它把权重、分词器和设置打包在一起,为量化后的本地推理而设计。许多 GGUF 文件是从 safetensors 原始文件转换来的。
  • ONNX:同时保存权重和计算图,所以模型不需要原始代码就能在不同的运行时和硬件上运行。

实用说明

Safetensors 保存的是权重,不是模型的全部配方。你仍然需要配置文件(config.json)、分词器文件,以及定义架构的代码。如果一个仓库同时提供 .bin 和 .safetensors 版本,选 safetensors。微调得到的 LoRA 适配器通常也以小的 safetensors 文件发布(adapter_model.safetensors)。

← 所有术语
ESC