跳到正文

Hugging Face

Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。

最新精选

第 201–220 条 · 共 303 条
7月11日周四
  1. Hugging Face Blog60

    NuminaMath 如何赢得首届 AIMO 进步奖

    Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。

    推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。

7月1日周一
  1. Hugging Face Blog62

    Hugging Face 的 Transformers Code Agent 在 GAIA 基准上登顶

    Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。

    推荐理由:Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节,包括工具设计、安全解释器与规划策略,可迁移到自建智能体系统。

6月27日周四
6月12日周三
5月31日周五
5月24日周五
  1. Hugging Face Blog62

    TII 发布 Falcon 2 11B:11B 参数预训练语言模型与 VLM,训练数据超 5000B token、覆盖 11 种语言

    TII 发布第二代 Falcon 模型 Falcon 2,首发 11B 参数的基础语言模型和 11B 视觉语言模型(VLM),后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器,可对图像内容进行文本问答。

    推荐理由:原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比,可据此判断小尺寸开源模型的能力位置。

5月13日周一
  1. Hugging Face Blog71

    Hugging Face 发布 Transformers Agents 2.0

    Hugging Face 发布 Transformers Agents 2.0,在原有智能体类型之外新增两类可基于历史观察迭代的智能体,并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体,排名第 4,成为开源类别领先者。

    推荐理由:官方给出新智能体框架的模块划分与 GAIA 榜单成绩,可据此判断开源智能体方案的可用边界。

4月29日周一
  1. Hugging Face Blog62

    StarCoder2-15B-Instruct 发布:全透明自对齐代码模型

    Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。

    推荐理由:StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval,读者可据此判断自生成数据能否替代 GPT-4 蒸馏。

4月18日周四
4月15日周一
  1. Hugging Face Blog65

    Hugging Face 发布 8B 多模态模型 Idefics2

    Hugging Face 发布多模态模型 Idefics2,参数量 8B,采用 Apache 2.0 开源许可,可接收任意文本与图像序列并生成文本回复,支持图像问答、文档信息抽取和基础算术。

    推荐理由:8B 参数、Apache 2.0 许可并同步开源指令微调数据集,读者可据此判断社区多模态微调的门槛变化。

4月11日周四
  1. Hugging Face Blog62

    视觉语言模型解析:架构、选型与 TRL 微调实践

    Hugging Face 发布视觉语言模型入门文章,介绍其图像编码器、嵌入投影层与文本解码器的典型结构,并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码,并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持,附基于 llava-instruct 数据集的微调示例。

    推荐理由:系统梳理视觉语言模型的架构、选型与微调流程,并给出可直接运行的 transformers 与 TRL 代码示例。

4月9日周二
3月22日周五
  1. Hugging Face Blog62

    Hugging Face 详解嵌入二值与标量量化:检索更快更省

    Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。

    推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。

3月20日周三
  1. Hugging Face Blog60

    Cosmopedia:如何为 LLM 预训练构建大规模合成数据

    Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,包含超 3000 万个文件、250 亿 token,用于复现 Phi-1.5 的预训练数据。

    推荐理由:Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码,读者可据此了解大规模合成数据的提示词设计与工程细节。

  2. Hugging Face Blog62

    GaLore:在消费级硬件上训练大模型

    Hugging Face 博客介绍 GaLore 优化器,可将优化器状态内存占用降低超过 82.5%,使 70 亿参数模型(如 Llama 架构)能在 NVIDIA RTX 4090 等消费级 GPU 上训练。

    推荐理由:原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例,读者可据此在消费级硬件上复现训练流程。

2月28日周三
  1. Hugging Face Blog78

    BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集

    BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。

    推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。

2月21日周三
  1. Hugging Face Blog78

    Google 发布开源大模型 Gemma,Hugging Face 全面集成

    Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能与 Mistral 7B 相当。

    推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。

2月16日周五
2月8日周四
  1. Hugging Face Blog62

    Hugging Face 为 TGI 推出兼容 OpenAI 的 Messages API

    Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,可直接配合 OpenAI 客户端库、LangChain 或 LlamaIndex 使用。

    推荐理由:TGI 新增 OpenAI 兼容的 Messages API,读者可据此判断现有 OpenAI 脚本迁移到开源模型的改造成本。

2月3日周六
  1. Hugging Face Blog62

    SegMind 发布 SegMoE:从零构建混合专家扩散模型框架

    SegMind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型(Apache 2.0 许可)以及配套 GitHub 仓库,用户通过 config.yaml 即可组合任意数量的模型,几分钟内完成构建。

    推荐理由:原文给出从零构建扩散模型 MoE 的完整流程与显存代价,读者可据此判断本地部署门槛。