结论先行:Ollama 是本地跑开源模型最快的方式——一条命令拉模型、默认量化省显存、自带 OpenAI 兼容接口,十分钟就能在笔记本上跑起 7B 模型。适合开发调试、隐私敏感数据不出域、离线环境三类场景;但它不做高并发优化,生产大流量服务请用 vLLM 这类专业推理框架。
安装与基本用法
从 ollama.com 下载安装包(macOS / Linux / Windows 都有),装完就是一个命令行工具 + 常驻服务:
# 验证安装
ollama --version
# 拉取并运行一个 7B 级别模型(首次自动下载,几个 GB)
ollama run qwen2.5:7b
# 查看本地已有模型
ollama list
# 服务默认监听 11434 端口,也可以直接 curl
curl http://localhost:11434/api/chat -d '{
"model": "qwen2.5:7b",
"messages": [{"role": "user", "content": "用一句话解释 tokenizer"}],
"stream": false
}'
run 命令是"没有就下载,下载完直接进入对话",退出对话后模型会在内存里驻留几分钟再卸载,下次调用秒起。驻留时间可通过环境变量调整;反过来,显存紧张的机器上"模型赖着不走"也是负担,不需要时记得 ollama stop <模型名> 主动卸载。
两个高频小问题顺带解决:模型存在哪里——默认在用户目录的 .ollama/models 下,磁盘紧张时用环境变量把目录挪到大盘;怎么彻底删除——ollama rm <模型名>,ollama list 里消失才算删干净。这些在装好后的第一周几乎都会遇到。
硬件怎么估
社区模型默认提供 Q4 量化版本,粗略估算公式:参数量(B) × 0.6 ≈ 量化后权重的 GB 数,再留 1~2 GB 运行开销。常见档位对着下表估:
| 模型规格 | 量化后权重 | 内存/显存建议 | 预期体验 |
|---|---|---|---|
| 7B | 约 5~6 GB | 16 GB 内存笔记本可跑 | CPU 能出字但慢,有独显流畅 |
| 14B | 约 10 GB | 建议 16 GB 以上显存 | 有独显才够用 |
| 32B | 约 20 GB | 专业显卡起步 | 消费级整机勉强 |
| 70B | 约 45 GB | 多卡或工作站 | 个人机基本无缘 |
显存不够时 Ollama 会自动把部分层放到内存(CPU offload),能跑但速度明显下降。用 ollama ps 可以看模型当前装在哪、占多少。判断"还能不能更快"的粗口径:看 ollama ps 的处理器分布,模型层同时出现在 GPU 和 CPU 上,速度就会被内存带宽拖住——要么换更小的模型,要么换更低的量化档。
量化档位的选择也有讲究:Q4 系列是"质量/体积"的默认甜点位,Q8 接近无损但体积接近翻倍,更低的 Q2 档在多数任务上质量下降明显,除非显存极度紧张否则不建议。同一参数量的不同量化档占用差异不小,选型时按"显存上限 − 权重体积 ≥ KV Cache 与运行开销"来卡档位。
内存带宽是比参数量更隐性的变量:Apple Silicon 的统一内存跑量化模型体验好,就是因为带宽高;同一颗 CPU 配不同代次的内存条,出 token 速度都会有可见差异。对纯 CPU 推理有性能预期的,先测带宽再选机器。
与现有代码集成:OpenAI 兼容接口
Ollama 提供 OpenAI 兼容端点,现有基于 OpenAI SDK 的代码只需改 base_url 和 api_key(本地随便填非空值):
from openai import OpenAI
# 错误写法:api_key 传空字符串,OpenAI SDK 在构造时就直接抛错
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="")
# 正确写法:本地服务不校验内容,但 SDK 要求非空,习惯填 "ollama"
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama",
)
resp = client.chat.completions.create(
model="qwen2.5:7b",
messages=[{"role": "user", "content": "写一个 Python 快排"}],
)
print(resp.choices[0].message.content)
注意 model 名要和 ollama list 里的名字完全一致(含 tag),写错不会得到"模型不存在"的友好提示,而是 404。这意味着本地和线上可以用同一套调用代码:开发用本地 Ollama 调 prompt、验证解析逻辑,上线只换 base_url 和模型名——对省开发期 token 费很有用。
流式输出也走同一套接口:把 stream 参数打开,SDK 侧按增量块接收,交互场景的体感首字时间能明显提前。调试对接问题时的顺序:先 curl 一把裸接口确认服务正常,再查 SDK 侧配置——问题多半出在 model 名、端口或代理设置上。
Modelfile:固化一个专属助手
把常用的 system prompt 和参数写进 Modelfile,就能像镜像一样打包出自己的模型名:
# 文件名:Modelfile
# FROM qwen2.5:7b
# SYSTEM "你是内部运维助手,只回答与公司系统运维相关的问题,其他一律拒绝。"
# PARAMETER temperature 0.3
ollama create ops-assistant -f Modelfile
ollama run ops-assistant
之后团队里谁 run ops-assistant 都是同一套人设与参数,比口头约定"记得贴这段 system prompt"可靠得多。Modelfile 还有更多可用指令:ADAPTER 挂 LoRA 增量、MESSAGE 预置对话样本、以及 num_ctx(上下文长度)、top_p 等更多 PARAMETER。把它当成"模型的 Dockerfile"理解,团队内用 git 管理 Modelfile,助手人设的变更就走代码评审。拉模型时还可以用标签控制版本,例如 qwen2.5:7b-instruct-q4_K_M 指定量化格式——团队共享环境里锁定同一个 tag,避免各人跑的模型版本不一致导致效果对不上。
什么时候别用 Ollama
它最适合的位置和它不能干的事,一张表说清:
| 运行时 | 定位 | 吞吐优化 | 适用场景 |
|---|---|---|---|
| Ollama | 个人/开发机,开箱即用 | 无 continuous batching | demo、内网小工具、本地调试 |
| llama.cpp | 单机推理库,量化生态源头 | 有限 | 边缘设备、极客自托管 |
| vLLM | 生产级推理服务 | PagedAttention + continuous batching | 高并发线上服务 |
| SGLang | 生产级推理服务 | RadixAttention 等前缀复用 | 高并发 + 多轮复用场景 |
- 高并发生产:Ollama 面向单机个人使用,缺少 continuous batching 等吞吐优化,并发一上来延迟和吞吐都不行。生产服务选 vLLM、SGLang 这类推理框架,配合量化模型部署;
- 精细控制需求:自定义并行策略、量化方案、调度策略,它暴露的旋钮有限。
运维视角再补两句:Ollama 升级节奏很快,团队内统一版本能省掉"为什么我这台慢"类的讨论;服务本身没有内建鉴权,监听默认端口时不要暴露公网,内网共享给同事用要加反代和访问控制。
反过来,做 demo、内网小工具、个人知识库助手、给不能出域的数据跑本地推理,Ollama 都是最短路径。还有一个介于两者之间的中间形态值得考虑:开发期用 Ollama、联调与生产切 vLLM 的双环境策略——因为接口兼容,切换只是换 base_url,开发笔记本上 Ollama 的便利和预发环境 vLLM 的吞吐可以都要。一句话总结:Ollama 之于开源模型,就像 Docker 之于应用——不是最强的运行时,但是上手门槛最低的那个。先跑起来,再谈优化。
实战场景
一个内网数据标注辅助工具的落地过程:标注团队要给客服对话打标签,数据涉密不能调外部 API,预算也买不起服务器 GPU。方案最终落在一台 32 GB 内存的 Mac mini 上:Ollama 跑 7B 级别 Q4 模型,标注工具通过 OpenAI 兼容接口调用,system prompt 用 Modelfile 固化成团队统一版本,标签枚举收在 schema 里由程序校验,不合格自动重试。并发就三五个人,单机完全扛得住。同一条调用代码后来复用到了另一个场景:开发同学调 RAG 链路时用本地 Ollama 当替身模型,验证解析与 prompt 拼接逻辑,token 费用为零,联调通过后再切到线上模型。这个案例的组合拳——小模型 + 量化 + Modelfile 固化 + OpenAI 兼容接口——差不多就是 Ollama 的标准用法,把"跑一个本地模型"的成本压到了一个下午。半年后标注量上来、并发翻了十倍,团队把同一套调用代码切到内网一台装 vLLM 的工作站,业务代码零改动——这正是当初坚持 OpenAI 兼容接口的回报。
检查清单
- 按内存/显存对表选尺寸:7B Q4 约 5~6 GB 起步
- 团队统一锁定模型 tag(含量化格式),避免版本不一致
- 调用走 OpenAI 兼容接口,api_key 非空即可,model 名与 ollama list 一致
- 常用助手用 Modelfile 固化 system prompt 与参数
- 用 ollama ps 观察模型驻留与 CPU offload,速度异常先查分层分布
- 不需要时主动 stop 模型,给显存减负
- 高并发生产换 vLLM/SGLang,Ollama 留给开发与内网小流量
- 敏感数据本地推理前确认许可证允许商用