Hugging Face 在 TRL 中推出 RLOO Trainer
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外的在线 RLHF 训练算法。
#Hugging Face
#Hugging Face
今日 4 条Hugging Face BlogAI 评分5858
Hugging Face BlogAI 评分2626 Hugging Face 为 Amazon SageMaker 推出 Embedding Container
Hugging Face Embedding Container for Amazon SageMaker 正式 GA，AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，以解决内容割裂、难导航、过时的问题。新版文档将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并用更灵活的结构取代此前对 Diátaxis 框架的僵化套用，让内容自然生长、彼此整合而非层层叠加。
Hugging Face BlogAI 评分4747 Artificial Analysis 推出文生图排行榜与竞技场
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face BlogAI 评分4040 Hugging Face 推出 NPC-Playground：在 3D 游乐场中与 LLM 驱动的 NPC 互动
Hugging Face 发布由 Cubzh 和 Gigax 打造的 3D 演示 NPC-Playground，用户可在浏览器中与 LLM 驱动的 NPC 互动，并用几行 Lua 脚本教它们新技能。
Hugging Face BlogAI 评分2424 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana，可加速文本生成。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face Blog精选AI 评分6060 Hugging Face 披露 Spaces 密钥遭未授权访问并公布安全更新
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分密钥可能被未经授权读取，已撤销相关 HF token 并邮件通知受影响用户。
推荐理由：官方披露 Spaces 密钥遭未授权访问及处置措施，可了解平台安全策略的调整方向。
Mistral AI精选AI 评分7575 Mistral AI 发布首款代码模型 Codestral
Mistral AI 发布首款代码模型 Codestral，这是一个 22B 开放权重生成式模型，支持 80 多种编程语言，上下文窗口为 32k。模型采用新的 Mistral AI Non-Production License，可在 Hugging Face 下载用于研究和测试，商用需联系获取许可。
推荐理由：Mistral 首款代码模型给出 22B 开放权重、32k 上下文和免费 API 端点，可据此判断其与既有代码模型的差异。
Hugging Face BlogAI 评分3636 Hugging Face 如何对 Text Generation Inference 进行基准测试
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
Hugging Face BlogAI 评分3636 用 Sentence Transformers 训练与微调嵌入向量模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型，以提升其在检索增强生成、语义搜索、语义文本相似度等任务上的表现，也可用于从零训练新模型。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B：11B 参数预训练语言模型与 VLM，训练数据超 5000B token、覆盖 11 种语言
TII 发布第二代 Falcon 模型 Falcon 2，首发 11B 参数的基础语言模型和 11B 视觉语言模型（VLM），后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器，可对图像内容进行文本问答。
推荐理由：原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比，可据此判断小尺寸开源模型的能力位置。
Hugging Face BlogAI 评分4242 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 将 AWS Inferentia2 部署能力扩展至 Hub 上超 10 万个公开模型，新增 albert、bert、roberta、vit 等 14 种模型架构和 text-classification、text-generation 等 6 类任务，可通过 Amazon SageMaker 部署。
Hugging Face BlogAI 评分3535 Hugging Face 与微软深化合作：Azure 模型库新增 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型库的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台实现一等公民级集成，transformers 与 text-generation-inference 无需改代码即可在 MI300 上运行。
Hugging Face BlogAI 评分3131 Hugging Face Spaces 推出 Dev Mode，可一键连接 VS Code 或 SSH
Hugging Face Spaces 上线 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试，满意后再 commit 和 merge 保存改动。
Hugging Face BlogAI 评分3838 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合推出 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分5757 Hugging Face 在 Transformers 中推出 KV Cache 量化功能
Hugging Face 在 Transformers 中新增 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，int4 精度下质量接近 fp16。
Hugging Face BlogAI 评分2222 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和对比阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：梳理了 PaliGemma 的三种权重类型、分辨率与精度选择，并给出 transformers 推理与微调的可复用代码。
Hugging Face BlogAI 评分4242 Hugging Face 与 LangChain 联合推出 langchain-huggingface 合作包
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，这是一个由双方共同维护的 Python 包，可通过 pip install langchain-huggingface 安装。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增两类可基于历史观察迭代的智能体，并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体，排名第 4，成为开源类别领先者。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用边界。
Hugging Face BlogAI 评分2222 Hugging Face 支持用 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，用户可在 AWS Marketplace 完成订阅并关联 Hugging Face 组织账户。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 部署企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语大语言模型设计的开放排行榜，填补低资源语言评测空白。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评测。模型通过 HuggingFace Inference Endpoints 自动部署，由 lighteval 库管理 API 请求完成评估。
Hugging Face BlogAI 评分3737 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 将其覆盖 100 多个无服务器 LLM API 端点的 LLM Performance Leaderboard 上线 Hugging Face，综合对比模型的质量、上下文窗口、价格、吞吐与延迟。
Hugging Face BlogAI 评分5050 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler 在 Inference Endpoints 上部署 Whisper，实现 ASR、说话人分离与推测解码的组合流水线。
Hugging Face BlogAI 评分5252 Hugging Face 与 Dottxt 实验：结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现，结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上，使用 Outlines 约束输出结构后，Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低，模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval，读者可据此判断自生成数据能否替代 GPT-4 蒸馏。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 和 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分3838 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
Hugging Face BlogAI 评分4040 Hugging Face 发布 Open Medical-LLM Leaderboard，评测医疗大模型
Hugging Face 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等医疗问答数据集，以准确率为主要指标评测大语言模型。
Hugging Face Blog精选AI 评分8787 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，上下文长度 8K tokens，并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式，读者可据此了解新模型规格与上手路径。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的前提下拉取源码最新改动。
Hugging Face BlogAI 评分1818 Ryght 借助 Hugging Face Expert Support 打造医疗生命科学生成式 AI 平台
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，并向生命科学知识工作者免费开放。
Hugging Face BlogAI 评分3434 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署，全程无需解密数据。以 concrete-ml-encrypted-decisiontree 为例，691 个样本上准确率约 0.896，单次推理约 4.12 秒，目前仅支持 CPU。
Hugging Face BlogAI 评分4242 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过"随时间滚动"评估检测并防止数据污染。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布多模态模型 Idefics2，参数量 8B，采用 Apache 2.0 开源许可，可接收任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断社区多模态微调的门槛变化。
Hugging Face Blog精选AI 评分6262 视觉语言模型解析：架构、选型与 TRL 微调实践
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。
推荐理由：系统梳理视觉语言模型的架构、选型与微调流程，并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 合作，将数千个开源 LLM 引入 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud，可将数千个开源模型一键部署到 Google Cloud 的 Vertex AI 或 GKE，作为自有账号内的 API Endpoint。
Hugging Face Blog精选AI 评分6262 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由：Google 与 Hugging Face 联合发布代码专用 Gemma 系列，给出三种规格与基准对比，便于判断开源代码模型的选型。