跳到主要內容
Zubnet AI › 學習 › Wiki › LM Studio
工具

LM Studio

別名:LMStudio
一款桌面應用程式,用來尋找、下載並在本地執行開放語言模型,帶聊天介面和內建的本地 API 伺服器。

為什麼重要

LM Studio 和 Ollama 是進入本地 AI 最常見的兩個入口。Ollama 以命令列為主,深受開發者歡迎;LM Studio 則是圖形化應用程式,面向那些想看清楚發生了什麼的人:哪些模型放得進記憶體,跑得多快,用的是什麼設定。

它也是一個實用的開發工具。它的本地伺服器提供相容 OpenAI 的 API,所以你可以讓現有的應用程式、程式設計工具或腳本指向在自己機器上執行的模型,而不是雲端服務商。這對隱私、離線工作、成本控制和測試都很有用。

深度解析

LM Studio 是一款面向 macOS、Windows 和 Linux 的免費桌面應用程式,它讓本地 AI 用起來就像一個普通的應用程式。你搜尋一個模型,挑一個適合自己機器的大小,點擊下載,然後開始聊天,全程不用碰終端機。在底層,它用 llama.cpp 在幾乎任何硬體上執行 GGUF 模型,在 Apple Silicon 的 Mac 上還會用 Apple 的 MLX。

它由 Element Labs 開發。應用程式本身是閉源的,但它的開發者 SDK 和命令列工具是開源的。自 2025 年年中起,它在工作中使用也免費了,不再僅限個人用途。

你能得到什麼

  • 模型發現:在應用程式內直接搜尋 Hugging Face,並提示哪些量化版本放得進你的 RAM 或 VRAM。
  • 聊天介面:對話、系統提示、用於簡單 RAG 的文件附件,以及並排顯示的設定。
  • 本地伺服器:一個相容 OpenAI 的端點(預設在 localhost:1234),其他軟體可以呼叫。
  • lms 命令列工具:載入和卸載模型、啟動伺服器,並把這一切寫成腳本。
  • SDK:Python 和 TypeScript 函式庫,用來在本地模型之上開發應用程式。
  • 工具使用和 MCP:支援函式呼叫和連接 MCP 伺服器,讓本地模型也能使用工具。

選擇模型

最常見的問題是該下載哪個檔案。模型頁面會提供同一個模型的多種量化版本:Q4 版本大約只佔原始記憶體的四分之一,通常是最佳平衡點;Q8 更接近完整品質,但體積大一倍;Q2 和 Q3 更省記憶體,但品質有明顯損失。粗略來說,4 位元模型每十億參數需要略多於 0.5 GB,上下文還要另外佔一些。

值得關注的設定

  • GPU offload:有多少層在 GPU 上執行。放得下就全部放到 GPU 上;部分卸載也能用,但更慢。
  • 上下文長度:更長的上下文需要更多記憶體來存 KV 快取。不要設得比實際需要高太多。
  • 引擎:在 Mac 上,同一個模型的 MLX 版本和 llama.cpp(GGUF)版本都試一試。MLX 常常更快。

LM Studio 與 Ollama 的比較

兩者執行的是同一類模型,也都提供本地 API。如果你想要視覺化的應用程式、方便的模型瀏覽和可以親手調的設定,LM Studio 更合適。如果你想要輕量的背景服務、腳本化和開源程式碼,Ollama 更合適。很多人兩個都用。

← 所有術語
ESC