结论先行:2025 年开源模型已形成清晰的第一梯队——Meta 的 Llama、阿里的 Qwen、智谱的 GLM、DeepSeek,外加 Mistral 等。在分类、抽取、常规问答这类业务任务上,开源中小模型(7B~32B)已经够用;与闭源旗舰的差距集中在复杂推理和最难的长尾场景。选型看三件事:许可证允许你做什么、模型尺寸匹配你的硬件、中文/垂直能力是否达标。本文是 2025 年中的格局快照,具体选型前务必查最新版本与许可证。
第一梯队速览
Llama(Meta):生态最大的开源系。工具链、量化版本、微调框架支持最全,招人找资料都容易。注意许可证是自定义的 community license,带品牌署名要求和超大规模使用的附加条款,商用前要通读一遍。
Qwen(阿里通义):尺寸覆盖最全的一系,从 0.5B 端侧小模型到旗舰 MoE 都有开源版本,中文能力属第一梯队,衍生微调模型生态庞大。多数尺寸 Apache 2.0,个别最大尺寸有额外条款,用前确认对应仓库的 LICENSE。
GLM(智谱):中文对话与代码能力见长,有 9B 级别的开源尺寸适合私有化部署,国内工具链和云服务生态对接顺畅,是"国产化/信创"要求下常见的候选。
DeepSeek:以开源 MoE 大模型(V3 系)和推理模型(R1 系)出圈,权重许可证宽松(MIT),API 定价激进,“自部署或直接调 API"两条路都走得通。推理能力在开源阵营里属第一梯队。
Mistral(法国):欧洲代表,中小尺寸模型效率高,多数采用 Apache 2.0,在多语种场景有特色。
名单之外再留意两类玩家:一是其他中文系开源模型(如 InternLM 系等),同样值得进候选池;二是各云厂商基于上述开源模型提供的托管端点——模型是开源的,运维是云的,“自部署的效果、托管的运维"是一种折中形态。快照类名单永远不完整,选型以当期主流评测和自己评估集为准。
五个家族横向对比
定性对比一张表(写作时口径,许可证与尺寸以各官方仓库为准):
| 家族 | 代表开源尺寸 | 许可证口径 | 中文能力 | 生态特点 |
|---|---|---|---|---|
| Llama | 8B / 70B 级 | 自定义 community license | 一般 | 生态最大,工具链最全 |
| Qwen | 0.5B 至旗舰 MoE | 多数 Apache 2.0 | 第一梯队 | 尺寸最全,衍生模型多 |
| GLM | 含 9B 级开源尺寸 | 以仓库 LICENSE 为准 | 第一梯队 | 国内云与工具链对接顺畅 |
| DeepSeek | V3 系 / R1 系(MoE) | MIT 宽松 | 第一梯队 | 推理强,API 价格激进 |
| Mistral | 中小尺寸为主 | 多数 Apache 2.0 | 一般 | 多语种,欧洲代表 |
读这张表的姿势:没有"全面最优"的家族,只有"对你的约束条件最优"的组合。许可证是硬约束一票否决,中文能力决定是否进入候选,尺寸与硬件决定部署形态。
衍生模型生态是表中没列但重要的维度:Qwen 和 Llama 的衍生微调模型(垂直领域、长上下文特化)在开源社区数量庞大,直接用衍生模型有时比自己在基座上微调更快。注意衍生模型继承的许可证可能与基座不同,用前同样要查。
怎么选:三个过滤器
- 许可证:商用合规是硬门槛。Apache 2.0 / MIT 最省心;自定义 license 逐条读,特别注意"月活超过 X 需要授权"和"必须署名来源"类条款。
- 硬件与尺寸:7B 级别 Q4 量化后约 5~6 GB 内存即可跑,适合验证与轻量业务;32B 往上需要专业显卡;MoE 旗舰虽单 token 计算量小,但全部权重得装进显存,门槛高。没有 GPU 团队就先从调 API 或 7B 级别起步。
- 能力匹配:中文业务优先在 Qwen / GLM / DeepSeek 里选;需要庞大英文生态和第三方工具兼容就上 Llama。同尺寸候选跑自己的评估集,别只看公开榜单。
尺寸档位与任务还有一组粗匹配关系可参考:8B 上下适合分类、抽取、格式转换、简单问答;14B~32B 适合复杂指令跟随、结构化生成、领域问答;复杂推理(数学、竞赛级代码、多步规划)才需要 70B 或推理系模型。多数业务需求在第一档就解决了——用最大模型干简单任务,是最常见的浪费。
关于"跑自己的评估集"多说一句:公开榜单的题目你的业务大概率一道都不考。准备 100~200 条带标准答案的真实业务样本,固定采样参数跑候选模型,人工或用强模型辅助打分,半天就能得到比榜单可信一个量级的结论。
代码:五分钟跑起一个开源模型
首次运行会自动下载权重(7B 模型 FP16 约 15 GB,下载前确认磁盘)。只是本地体验的话,下一篇文章的 Ollama 路线更省事。
显存吃紧时的"错误加载 vs 正确加载"对比——默认精度加载 OOM 是新手最常见的第一个坑:
# pip install transformers torch accelerate bitsandbytes
from transformers import pipeline, BitsAndBytesConfig
# 错误写法:默认 FP16 加载 7B,显存不足的机器直接 OOM
# pipe = pipeline("text-generation", model="Qwen/Qwen2.5-7B-Instruct")
# messages = [{"role": "user", "content": "用一句话解释什么是 KV Cache"}]
# result = pipe(messages, max_new_tokens=100)
# print(result[0]["generated_text"][-1]["content"])
# 正确写法:NF4 量化加载,7B 级别显存需求压到个位数 GB
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")
pipe = pipeline(
"text-generation",
model="Qwen/Qwen2.5-7B-Instruct", # Hugging Face 上的开源仓库
model_kwargs={"quantization_config": bnb, "device_map": "auto"},
)
messages = [{"role": "user", "content": "用一句话解释什么是 KV Cache"}]
result = pipe(messages, max_new_tokens=100)
print(result[0]["generated_text"][-1]["content"])
两条务实建议
API 与自部署不是二选一:验证期调 API(DeepSeek、各家云上的开源模型端点),跑通业务、确认价值后再评估私有化——自部署省下的 token 费,很容易被 GPU 采购、推理框架调优和运维成本吃回去。
决定自部署后,生产形态不是 Ollama(它面向单机个人使用),而是 vLLM 这类推理框架,起一个 OpenAI 兼容服务:
# pip install vllm 后一条命令起服务
vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192 --port 8000
from openai import OpenAI
# vLLM 暴露 OpenAI 兼容接口,现有代码改 base_url 即可切换
client = OpenAI(base_url="http://localhost:8000/v1", api_key="empty")
resp = client.chat.completions.create(
model="Qwen/Qwen2.5-7B-Instruct",
messages=[{"role": "user", "content": "用一句话解释 GQA"}],
)
print(resp.choices[0].message.content)
盯版本节奏:开源模型迭代以月为单位,今天的最优解半年后大概率换人。架构上把"模型名、采样参数、prompt"收敛到配置中心,换模型只改配置不动代码,才是对抗快速迭代的正确姿势。
自部署前把隐性清单过一遍:模型文件的存储与分发(几十 GB 权重怎么进内网)、推理服务监控(token 吞吐、显存水位、请求排队)、版本升级流程、许可证合规留档。这四项在验证期都不存在,上线后才逐个变成工作项。
实战场景
一个制造业质检报告摘要项目的选型过程:数据涉密不能出域,第一轮就排除了纯 API 方案。团队按过滤器筛:许可证要求宽松商用,Qwen、DeepSeek 进入候选;硬件只有两张消费级 24 GB 卡,排除 MoE 旗舰与 32B 以上,锁定 7B~14B 档;中文工业术语多,Qwen 系加分。然后用 150 条历史报告摘要做评估集,候选模型对照跑分,质量达标后用 vLLM 起服务、业务系统经 OpenAI 兼容接口接入,模型名收在配置中心。三个月后新一代同尺寸模型发布,评估集重跑分数更高,只改配置里的模型名加一次灰度发布就完成升级。整个案例里选型方法论的贡献是:把"选哪个模型"从站队讨论变成三个过滤器加一次评估集对比,每次升级都有数据背书。
检查清单
- 许可证逐条读过再商用,注意月活门槛与署名条款
- 按硬件定尺寸:7B Q4 起步、32B 上专业卡、MoE 旗舰全权重进显存
- 中文业务优先评估 Qwen / GLM / DeepSeek,同尺寸跑自建评估集
- 显存不足用 NF4 等量化加载,验证精度损失可接受
- 验证期调 API,价值确认后再评估 vLLM 自部署
- 模型名、采样参数、prompt 收敛到配置中心,换模型不改代码
- 把本文的格局快照当历史资料用,选型前查最新版本与许可