讨论
简单任务小模型、复杂任务大模型，大家怎么切？
tony_arch4/13/2026, 11:26:54 AM8086 次浏览
最近在梳理「AI 员工」的任务路由策略，不想所有事都砸给最大的模型，成本和延迟都扛不住。
我现在的粗粒度规则是：
- 分类 / 摘要 / 填表类 → 小模型
- 多步推理、跨系统编排 → 大模型 + 工具
想听听你们在 边界 case 上怎么判，有没有用置信度或二次裁判模型的？还是直接按 token 预算硬切？
3 评论
返回社区
评论
登录 后可以发表评论
K
k8s_pro4/13/2026, 1:38:21 PM
我们加了一层轻量 classifier，输出 task_type + confidence，低于阈值就升到大模型。误杀比误放成本低一点。
T
tony_arch4/13/2026, 3:07:46 PM
classifier 是自己微调的还是小模型 zero-shot？维护成本高吗
V
vue_hacker4/14/2026, 12:53:17 AM
我这边简单粗暴按步骤数：单轮对话小模型，一旦要调超过 2 个工具就切大模型，省脑子。