Mistral 如何用 LLM As A Judge 评估 RAG 系统
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统,从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema,让评判 LLM 输出机器可读的分数,从而构建更可靠的自动化评估流程。
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统,从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema,让评判 LLM 输出机器可读的分数,从而构建更可靠的自动化评估流程。
Hugging Face 发布教程,介绍如何用 Sentence Transformers 库微调 reranker(Cross Encoder)模型,涵盖数据集、损失函数、训练参数、评估器与 Trainer 等组件。
Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错提取文本与图像,并作为 Le Chat 文档理解的默认模型。
推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,读者可据此判断它在文档解析与 RAG 流程中的位置。
Hugging Face 博客给出大规模分类与嵌入推理的成本测算框架,用 Inference Endpoints、Infinity 和 k6 在 nvidia-L4($0.8/hr)上实测三类任务。
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系,用于评估其 RAG 管线的回答质量。
Hugging Face 在 HuggingChat 上线 Community Tools,用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具,并借此扩展 HuggingChat 的多模态能力,用于理解图像、生成视频或文本转语音。
推荐理由:官方给出把任意 Space 变成 HuggingChat 工具的具体步骤,读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作,为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案,首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通,目标支持 10,000 个公立学校设施改造、5 年内节能 40%,项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 部署企业级 RAG 应用的方案,LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG,在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,可直接配合 OpenAI 客户端库、LangChain 或 LlamaIndex 使用。
推荐理由:TGI 新增 OpenAI 兼容的 Messages API,读者可据此判断现有 OpenAI 脚本迁移到开源模型的改造成本。
Hugging Face 发布教程,介绍如何通过 Text Embeddings Inference(TEI)将开源嵌入模型部署到 Hugging Face Inference Endpoints,并支持大规模批量请求。
Hugging Face 发布 Embeddings 入门教程,演示用开源库 Sentence Transformers 的 all-MiniLM-L6-v2 模型和 Inference API 构建 FAQ 语义搜索。
OpenAI 在 API 中推出 embeddings 端点,用于自然语言和代码任务。该端点支持语义搜索、聚类、主题建模和分类等场景。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可据此了解语义搜索与代码任务的新接入方式。
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索,每次检索调用相比 torch.distributed 提速 2 倍,并改善了 RAG 分布式微调的可扩展性。