为智能体选择大模型,主要考量指标。
性能与能力
不同模型擅长不同的任务,可以参考公开基准测试排行榜来评估模型的综合能力或者自行测试。
成本
权衡预算与闭源模型api费用、开源模型部署所需硬件成本。
速度
对于实时交互的agent,需要考虑模型的响应速度。
上下文窗口
模型能一次性处理的Token数量上限。
部署方式
API方式调用部署简单,但数据需要发给第三方公司,并且受限于服务商的条款。
本地部署对技术和硬件要求较高。
生态与工具链
主流模型拥有更丰富的社区支持、教程、开发框架等,能极大的提高开发效率。
可增强
对于特定任务领域的智能体,模型的微调能力至关重要。
安全性
选择模型要考虑其在安全合规方面的表现。