跑 AI 工具 VPS 怎么选?
AI 工具不一定需要 GPU,大多数人的"AI 需求"一台 4GB 的普通 VPS 就能搞定。分清你的场景,别花冤枉钱。
先搞清楚你的"AI 需求"是哪一种
很多人在找"跑 AI 的 VPS",但其实大多数人只需要跑调用 AI 的工具,而不是运行 AI 模型本身。这是两个完全不同的需求:
轻量级(最常见)
使用 n8n、Dify、LangChain、Flowise 等工具,调用 OpenAI / Claude / Gemini 等云端 API。
- 1-2 vCPU
- 2-4 GB 内存
- 20-40 GB SSD
- 不需要 GPU
- 示例:n8n 自动写周报、Dify 知识库问答
中量级(本地模型)
用 Ollama / llama.cpp 跑小型开源模型(1B-7B 参数),CPU 推理。
- 4-8 vCPU
- 8-16 GB 内存
- 60-100 GB SSD
- 不需要 GPU(可选加速)
- 示例:Ollama 跑 Qwen 2.5 7B、Llama 3 8B
重量级(训练/大模型)
本地训练模型、跑大参数模型(13B+)、或需要低延迟实时推理。
- 8+ vCPU
- 32+ GB 内存
- 200+ GB SSD
- 必须 GPU(A100/H100 等)
- 示例:微调 Llama 3、Stable Diffusion 出图
请对号入座:如果你只是想让 n8n 调 OpenAI 写文案、Dify 做客服机器人、Flowise 搭个对话流程 —— 你就是轻量级。2-4 GB 内存的普通 VPS 足够,不需要 GPU。
轻量级:调用云 API 就够了
这是 90% 以上"跑 AI 工具"用户的真实场景。VPS 上跑的是工具本身(n8n、Dify、LangFlow 等),AI 的计算在云端完成。VPS 只需要:
- 运行工具的后端服务(通常是 Node.js 或 Python)
- 维持数据库(PostgreSQL 或 SQLite)
- 处理 HTTP 请求和 API 调用
这些对资源需求很低。n8n + PostgreSQL 约 1-1.5 GB 内存,Dify 社区版约 2-3 GB(含多个容器)。2-4 GB 内存完全够用。
中量级:Ollama 本地跑小模型
如果你想把数据留在本地、或者不想付 API 费用,用 Ollama 在 VPS 上跑开源模型是不错的选择。但要注意:
各参数模型的资源需求
| 模型大小 | 示例模型 | 最低内存 | 推荐内存 | 推理速度(CPU) | 适用场景 |
|---|---|---|---|---|---|
| 1-3B | Qwen 2.5 1.5B、Phi-3 mini | 2 GB | 4 GB | 20-40 t/s | 简单分类、摘要、关键词提取 |
| 7-8B | Llama 3 8B、Qwen 2.5 7B、Mistral 7B | 6 GB | 8-12 GB | 5-15 t/s | 通用对话、翻译、写作辅助 |
| 13-14B | Qwen 2.5 14B、Llama 3 13B | 10 GB | 16 GB | 3-8 t/s | 复杂推理、代码生成、长文本处理 |
| 30B+ | Qwen 2.5 32B、Llama 3 70B | 24 GB | 32 GB+ | 1-3 t/s | 普通 VPS 不建议,上 GPU 服务器 |
t/s = tokens per second(每秒生成 token 数)。CPU 推理速度受 CPU 核心数和内存带宽影响较大。
Ollama 安装和基本使用
在 VPS 上安装 Ollama 非常简单:
curl -fsSL https://ollama.com/install.sh | sh 安装完成后拉取并运行模型:
ollama pull qwen2.5:7b && ollama run qwen2.5:7b Ollama 还提供了兼容 OpenAI 格式的 API(http://localhost:11434/v1),可以直接对接 n8n、Dify、Open WebUI 等工具。这样你就有了一套完全本地化的 AI 工具链。
重量级:什么时候必须上 GPU VPS?
以下场景普通 VPS 无法胜任,需要 GPU VPS 或专用 GPU 服务器:
- 模型训练/微调:LoRA 微调至少需要 16 GB 显存(GPU 内存)
- Stable Diffusion 出图:至少 6 GB 显存,推荐 8 GB+
- 实时对话(低延迟):需要 GPU 保证首 token 延迟 < 1 秒
- 大模型推理(13B+):CPU 推理太慢,GPU 加速 5-20 倍
GPU VPS 的价格跨度很大:便宜的(如 Vultr GPU、Lambda Labs)约 $0.50-1.50/小时,贵的(如 AWS p4d)$30+/小时。如果不是生产环境,建议先用 CPU 测试,确认需要 GPU 再升级。
推荐的自托管 AI 工具栈
以下是一套常见的自托管 AI 工具组合(全部可 Docker 部署):
- n8n:自动化工作流,连接 400+ SaaS 工具 + AI API
- Dify:AI 应用开发平台,知识库、对话机器人、工作流编排
- Open WebUI:类 ChatGPT 界面,连接 Ollama 或 OpenAI API
- Flowise:低代码 LLM 流程构建器,拖拽式编排
- Ollama:本地运行开源模型,提供 OpenAI 兼容 API
- LangFlow:LangChain 的可视化界面
建议选 2-3 个工具组合使用。全装在一个 VPS 上需要 4-8 GB 内存。
推荐套餐
VPS 自托管 AI 工具的优缺点
✅ 优点
- 数据隐私 —— 数据完全留在你的 VPS 上,不经过第三方
- 成本可控 —— 用本地模型(Ollama)无 API 费用,长期省钱
- 灵活性高 —— 自由组合工具和模型,不受平台限制
- 没有调用频率限制 —— 不像 OpenAI API 有 rate limit
- 离线可用 —— 本地模型不需要网络连接
⚠️ 注意
- CPU 推理速度有限 —— 大模型用 CPU 跑很慢,需要耐心
- 内存需求高 —— 跑 7B+ 模型需要 8GB+ 内存
- 模型管理繁琐 —— 需要自己下载、更新、管理模型文件
- 没有 GPU —— 普通 VPS 没有 GPU,重度 AI 任务无法胜任
- 需要运维能力 —— 工具更新、安全、备份都要自己管