Mistral AI·· 2024-11-07AI 评分42
Mistral AI 推出 Batch API,批量推理成本降低 50%
Mistral Batch API
AI 导读
Mistral AI 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。该 API 面向优先考虑数据量而非同步响应的场景,用户上传批处理文件后下载输出结果,适用于情感分析、文档批量摘要翻译、向量嵌入和数据标注等任务。目前覆盖 La Plateforme 上全部模型,每个工作区限制 100 万个进行中请求,后续将登陆其云服务合作伙伴平台。
来源:Mistral AI · mistral.ai