Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错提取文本与图像,并作为 Le Chat 文档理解的默认模型。
推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,读者可据此判断它在文档解析与 RAG 流程中的位置。
Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错提取文本与图像,并作为 Le Chat 文档理解的默认模型。
推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,读者可据此判断它在文档解析与 RAG 流程中的位置。
Hugging Face 博客给出大规模分类与嵌入推理的成本测算框架,用 Inference Endpoints、Infinity 和 k6 在 nvidia-L4($0.8/hr)上实测三类任务。
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系,用于评估其 RAG 管线的回答质量。
Hugging Face 在 HuggingChat 上线 Community Tools,用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具,并借此扩展 HuggingChat 的多模态能力,用于理解图像、生成视频或文本转语音。
推荐理由:官方给出把任意 Space 变成 HuggingChat 工具的具体步骤,读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作,为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案,首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通,目标支持 10,000 个公立学校设施改造、5 年内节能 40%,项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 部署企业级 RAG 应用的方案,LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG,在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,可直接配合 OpenAI 客户端库、LangChain 或 LlamaIndex 使用。
推荐理由:TGI 新增 OpenAI 兼容的 Messages API,读者可据此判断现有 OpenAI 脚本迁移到开源模型的改造成本。
Hugging Face 发布教程,介绍如何通过 Text Embeddings Inference(TEI)将开源嵌入模型部署到 Hugging Face Inference Endpoints,并支持大规模批量请求。
Hugging Face 发布 Embeddings 入门教程,演示用开源库 Sentence Transformers 的 all-MiniLM-L6-v2 模型和 Inference API 构建 FAQ 语义搜索。
OpenAI 在 API 中推出 embeddings 端点,用于自然语言和代码任务。该端点支持语义搜索、聚类、主题建模和分类等场景。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可据此了解语义搜索与代码任务的新接入方式。
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索,每次检索调用相比 torch.distributed 提速 2 倍,并改善了 RAG 分布式微调的可扩展性。