按照使用场景、硬件载体、用户群体分为 5 大类别：

• 桌面 GUI 可视化工具（新手 / 个人本地，如 LM Studio）
• 轻量命令行本地推理工具（开发者快速原型：Ollama、llama.cpp）
• 单机高性能推理服务框架（企业 API、高并发：vLLM、TGI、SGLang、LMDeploy、TensorRT-LLM）
• 云原生 / 分布式编排平台（K8s 集群、多机扩缩容：Ray Serve、KServe、Triton Inference Server）
• 移动端 / 嵌入式边缘部署引擎（手机、板卡、NPU：llama.cpp、MNN、NCNN、MLX、ExecuTorch）

一、桌面 GUI 可视化工具（零代码，普通用户首选）

1. LM Studio（你提到的标杆工具）

• 定位：跨平台桌面可视化本地大模型实验室，Mac/Windows/Linux，闭源免费
• 底层引擎：基于 llama.cpp，原生支持 GGUF、MLX（Apple Silicon 专属加速）

• 核心能力

  • 内置模型市场，一键下载 Llama3、Qwen、GLM、DeepSeek 等量化模型
  • 可视化参数调节：温度、上下文长度、量化精度、GPU/Metal 显存分配
  • 内置对话窗口、批量推理、本地 OpenAI 兼容 API 服务
  • 支持多模型管理、模型文件夹本地导入、Prompt 模板库
• 优势：开箱即用，无需 Python / 命令行，M 系列 Mac 统一内存优化极强
• 短板：单进程单次仅加载 1 个模型，并发弱；不支持集群 / 分布式；无企业权限管控
• 适用人群：新手、设计师、研究员、Mac 用户、本地离线聊天 / RAG 原型调试

2. GPT4All

• 定位：低配电脑轻量化桌面客户端，极致低资源占用
• 底层：llama.cpp 封装，纯 CPU 友好，支持 INT2/INT4 极致量化
• 特点：安装包极小，老旧笔记本无独显也能跑 7B 模型；全离线无联网采集
• 短板：界面简陋，高级推理参数少，API 能力薄弱

3. Jan

• 定位：开源免费跨平台桌面 AI 客户端，无广告
• 底层兼容：Ollama、llama.cpp、LocalAI 多后端切换
• 特色：支持本地模型 + 云端 API 混合调用，文件知识库内置 RAG
• 短板：内存开销大，大模型加载速度慢

4. Open WebUI（配套 Ollama 的 Web 可视化，非独立引擎）

网页端 GUI，浏览器访问，搭配 Ollama 服务使用，多人共享本地模型，社区生态最丰富，插件、RAG、角色对话齐全。

二、轻量命令行本地推理工具（开发者原型、个人服务器离线）

1. Ollama（当前最流行本地 CLI 工具）

• 定位：跨平台一键部署工具，封装 llama.cpp，Docker 式模型管理

• 核心特性

  • 一行命令安装：Windows/macOS/Linux/WSL 全平台
  • ollama pull/run/create 极简指令，Modelfile 自定义模型微调模板
  • 内置 OpenAI 兼容 HTTP API，无缝对接 LangChain、LlamaIndex
  • 自动显存 / 内存分片、模型层自动卸载，消费级显卡友好
• 底层：GGUF 量化格式，支持 NVIDIA CUDA、AMD ROCm、Apple Metal
• 优势：上手成本最低，社区模型库极多，国产 Qwen/GLM 深度适配
• 短板：并发吞吐量远低于 vLLM，不支持张量并行多卡超大模型（70B + 吃力）
• 适用：本地开发、个人知识库、小型私有化脚本服务

2. llama.cpp（所有本地工具底层基石，C++ 原生推理引擎）

• 定位：纯 C/C++ 零依赖底层推理库，行业 GGUF 量化标准制定者

• 核心能力

  • 全硬件适配：CPU、CUDA、Metal、Vulkan、高通 QNN NPU、AMD ROCm
  • 最全量化方案：Q2\_K \~ Q8\_K，FP16，混合量化，KV 缓存量化
  • 内置 llama-server 提供 OpenAI 标准 API，无第三方依赖
• 优势：极致轻量化、可嵌入任何程序、无框架绑定、跨端通用
• 短板：纯命令行，无封装，需要手动转换模型、配置硬件参数，学习成本高
• 生态地位：LM Studio、Ollama、GPT4All 底层全部基于 llama.cpp

3. LocalAI（Docker 容器化本地 OpenAI 替代）

• 定位：容器化一站式本地 API 网关，兼容 OpenAI 所有接口
• 特点：支持 llama.cpp、vLLM 双后端，多模型同时加载、权限鉴权、分布式节点
• 适合：小型团队私有化服务，不想搭建复杂 Python 环境，Docker 运维栈用户

三、单机高性能推理服务框架（企业 API、高并发生产，吞吐量优先）

1. vLLM（工业级高并发推理事实标准，2026 首选）

• 开发方：伯克利 LMSYS 实验室
• 核心黑科技：PagedAttention 分页 KV 缓存，显存利用率从 40% 提升至 95%，吞吐量是 llama.cpp/Ollama 3\~10 倍，支持上千并发

• 核心能力

  • Continuous Batching 连续批处理，大幅降低首字延迟 TTFT
  • 原生支持张量并行 TP / 流水线并行 PP，单机多卡、跨机分布式推理
  • 量化全覆盖：GPTQ/AWQ/FP8/GGUF，支持 MoE 大模型（DeepSeek-V3、Mixtral）
  • 标准 OpenAI 兼容 API，流式输出、函数调用、长上下文 8k/32k/128k
  • 支持 AMD ROCm、NVIDIA CUDA、华为昇腾、摩尔线程国产显卡
• 优势：吞吐量天花板，生产环境通用，云厂商默认推理底座
• 短板：需要 Python 环境，内存占用高于 llama.cpp，低配 CPU 无显卡不友好
• 适用：企业对外 API 服务、内部 AI 中台、高并发 Agent 服务、RAG 线上服务

2. Hugging Face TGI（Text Generation Inference）

• 定位：Hugging Face 官方生产推理服务器
• 优势：开箱即用 Docker 镜像，完善监控、日志、多租户、动态批处理，HF 模型原生适配
• 短板：性能弱于 vLLM，社区迭代放缓，官方推荐新项目优先 vLLM/SGLang

3. SGLang（结构化生成、Agent 专用高性能框架）

• 定位：面向复杂 Agent、工具调用、多轮结构化输出优化
• 核心优化：RadixAttention、并行推测解码，大幅提升 Tool Calling、JSON 格式生成速度
• 适用：AI Agent 平台、智能体工作流、代码生成、复杂结构化输出场景

4. LMDeploy（国产全栈推理框架，商汤开源）

• 定位：国产硬件友好推理引擎，NVIDIA/AMD/ 昇腾 / 寒武纪全覆盖
• 特色：一站式量化 + 推理 + 服务，支持 W4A16、KV Cache 复用，低显存适配国产大模型 Qwen/GLM/DeepSeek
• 优势：国产芯片适配深度优化，国内企业私有化部署首选

5. TensorRT-LLM（NVIDIA 官方极致性能推理）

• 定位：NVIDIA 显卡专属底层推理加速库，单卡性能上限
• 特点：模型离线编译优化，FP8 量化极致加速，搭配 Triton Server 部署
• 短板：仅支持 NVIDIA GPU，需要模型编译步骤，灵活性差，迭代成本高
• 适用：纯 NVIDIA 算力集群、追求极致单卡吞吐的大型云厂商

四、云原生分布式编排平台（K8s 集群、多机弹性扩缩容）

1. Ray Serve + KubeRay（分布式推理编排主流组合）

• Ray Serve：通用分布式服务框架，可挂载 vLLM/TGI/LMDeploy 推理后端
• KubeRay：K8s Ray 集群控制器，实现 GPU 资源分片、弹性扩缩容、多节点分布式大模型推理
• 场景：70B/400B 超大模型跨多机部署、混合 AI 任务调度、多模型集群管理

2. KServe（CNCF 云原生标准推理平台）

• 定位：K8s 原生 CRD 控制器，统一管理 LLM / 传统 CV 模型推理服务
• 能力：自动扩缩容、金丝雀发布、流量路由、模型缓存、兼容 vLLM/Triton/TGI
• 优势：标准化云原生 AI 基础设施，大型企业私有云标配

3. Triton Inference Server（NVIDIA 全模型统一服务）

• 定位：多框架统一推理网关，支持 TensorRT-LLM、PyTorch、ONNX、TensorFlow
• 特点：多模型同时部署、动态加载、多硬件混合调度
• 短板：LLM 场景上手复杂，单独使用性能不如 vLLM 直出

五、移动端 / 嵌入式边缘部署引擎（手机、树莓派、终端设备）

1. llama.cpp（跨端通用底层，手机嵌入式首选）

GGUF 格式全平台通用，Android/iOS/ 树莓派纯 CPU 推理，支持 Vulkan GPU 加速，几乎所有手机端离线 APP 底层引擎。

2. MLX（Apple 官方，Mac/iOS 专属）

苹果硅芯片专用推理框架，统一内存零拷贝，M1/M2/M3/M4 Mac、iPhone 离线模型速度碾压通用引擎，LM Studio 原生集成。

3. MNN（阿里开源，国产端侧标杆）

• 适配 Android/iOS，骁龙 / 天玑 / 苹果 NPU 深度优化，原生支持 Qwen 系列端侧大模型
• 混合内存 DRAM-Flash 加载，手机低内存设备可跑 7B 量化模型

4. NCNN（腾讯优图，轻量嵌入式）

纯 C++ 无依赖，ARM CPU 汇编级优化，体积极小，适合低端安卓、单片机、树莓派

5. ExecuTorch（Meta 官方移动端框架）

极小运行时（50KB），适配高通 Hexagon NPU、苹果 CoreML，用于 Meta 手机端内置大模型

6. QNN（高通官方 NPU 推理）

骁龙手机专用硬件加速，端侧大模型 NPU 硬件推理，功耗极低

六大工具横向对比（核心选型依据）

分层选型指南（快速匹配你的需求）

1. 纯个人电脑本地玩、不想敲代码 → LM Studio（Mac）/ Ollama + Open WebUI（Windows）
2. 开发者写 LangChain/RAG 本地原型、需要 API → Ollama
3. 给公司做线上 AI 接口、多用户并发访问 → vLLM
4. 国产服务器、昇腾 / 摩尔线程显卡 → LMDeploy
5. 手机 / 平板离线跑模型、嵌入式设备 → llama.cpp/ MNN（安卓）/ MLX（iPhone/Mac）
6. 企业私有云 K8s 集群、70B + 超大模型分布式 → vLLM + KubeRay / KServe
7. 追求 NVIDIA 显卡极致单卡性能 → TensorRT-LLM + Triton
8. AI Agent、大量工具调用结构化输出 → SGLang