为智能体选择大模型,主要考量指标。

性能与能力

不同模型擅长不同的任务,可以参考公开基准测试排行榜来评估模型的综合能力或者自行测试。

成本

权衡预算与闭源模型api费用、开源模型部署所需硬件成本。

速度

对于实时交互的agent,需要考虑模型的响应速度。

上下文窗口

模型能一次性处理的Token数量上限。

部署方式

API方式调用部署简单,但数据需要发给第三方公司,并且受限于服务商的条款。

本地部署对技术和硬件要求较高。

生态与工具链

主流模型拥有更丰富的社区支持、教程、开发框架等,能极大的提高开发效率。

可增强

对于特定任务领域的智能体,模型的微调能力至关重要。

安全性

选择模型要考虑其在安全合规方面的表现。