跳到主要內容
Zubnet AI › 學習 › Wiki › Safetensors
基礎設施

Safetensors

別名:.safetensors
一種簡單、安全的模型權重儲存檔案格式,無法執行隱藏程式碼,載入速度也很快。

為什麼重要

Safetensors 如今是分享模型權重的標準格式。它是 Hugging Face 的 Transformers 和 Diffusers 函式庫的預設格式,也是大多數模型作者發布時用的格式。對任何從網際網路下載模型的人來說,它消除了一個真實存在的安全風險:研究者已經在公共模型庫裡發現過被上傳的、基於 pickle 的惡意模型。

它也很快。Safetensors 檔案可以做記憶體對映,也就是作業系統只在需要時載入需要的部分,不做多餘的複製。大模型的載入明顯更快,你還可以只從一個巨大的檔案裡讀取幾個張量,而不必載入其餘部分。

深度解析

從 Hugging Face 下載開放模型時,權重通常是一個或多個 .safetensors 檔案。這種格式由 Hugging Face 在 2022 年建立,用來取代 PyTorch 較早的預設做法,也就是用 Python 的 pickle 格式把權重儲存在 .bin 或 .pt 檔案裡。

pickle 的問題在於,載入 pickle 檔案可能執行任意程式碼。一個惡意的模型檔案可以在你載入它的那一刻就裝上惡意軟體。Safetensors 只存資料,也就是原始數字加上一小段對其形狀的描述,所以載入它永遠不會執行程式碼。

檔案裡有什麼

這種格式有意設計得很簡單:

  1. 一個 8 位元組的數字,說明標頭有多長。
  2. 一個 JSON 標頭,列出每個張量:名稱、資料型別(如 F16、BF16 或 F32)、形狀,以及它的位元組在檔案中的位置。裡面還可以存放自由格式的中繼資料。
  3. 原始張量資料,一塊接著一塊。

僅此而已。因為沒有程式碼,也沒有複雜結構,這種格式很容易用任何語言實作,2023 年委託進行的一次獨立安全稽核也沒有發現嚴重問題。

分片模型

大模型會被拆成多個檔案,比如 model-00001-of-00004.safetensors,再加一個索引檔案(model.safetensors.index.json),把每個張量名對應到它所在的檔案。工具會讀取索引並自動載入各個分片。

Safetensors 與其他格式的比較

  • Pickle(.bin、.pt、.ckpt):靈活,但從不可信的來源載入並不安全。只對你信任的檔案使用它,並優先使用限制可執行內容的載入選項。
  • GGUF:llama.cpp、Ollama 和 LM Studio 使用的單檔案格式。它把權重、分詞器和設定打包在一起,為量化後的本地推論而設計。許多 GGUF 檔案是從 safetensors 原始檔案轉換來的。
  • ONNX:同時儲存權重和計算圖,所以模型不需要原始程式碼就能在不同的執行環境和硬體上執行。

實用說明

Safetensors 儲存的是權重,不是模型的全部配方。你仍然需要設定檔(config.json)、分詞器檔案,以及定義架構的程式碼。如果一個儲存庫同時提供 .bin 和 .safetensors 版本,選 safetensors。微調得到的 LoRA 適配器通常也以小的 safetensors 檔案發布(adapter_model.safetensors)。

← 所有術語
ESC