跳到正文

全部动态

今日 11 条
8月20日周二
8月19日周一
8月15日周四
8月14日周三
  1. Hugging Face Blog34

    Infini-Attention 复现失败实验:压缩次数越多性能越差,长上下文仍靠 Ring Attention 与 YaRN

    Hugging Face 复现 Google 的 Infini-Attention 后发现,随着记忆压缩次数增加,模型性能持续下降,且 90% 时间耗在调试收敛问题上。团队认为,将预训练模型扩展到更长上下文,Ring Attention、YaRN 和 rope scaling 仍是目前最佳方案。相关训练 checkpoint 已开源,代码按原样提供。

8月13日周二
8月12日周一
  1. Hugging Face Blog62

    TII 发布 Falcon Mamba:首个强性能无注意力 7B 模型

    阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。

    推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。

  2. Hugging Face Blog62

    Hugging Face 推出统一工具调用 API,覆盖 Mistral、Cohere、NousResearch 与 Llama 模型

    Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,无需或只需极少模型专属改动。

    推荐理由:Hugging Face 把工具调用统一进 chat template,读者可据此判断跨模型复用同一套代码的可行边界。

8月8日周四
  1. Hugging Face Blog62

    Hugging Face 收购 XetHub,将用其技术替换 Hub 的 Git LFS 存储后端

    Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术,HF 计划借此替换现有 Git LFS 存储后端,实现分块存储与去重,例如 10GB Parquet 文件新增一行只需重传少量分块。

    推荐理由:Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端,读者可了解大文件版本管理将如何变化。

8月7日周三
8月6日周二
  1. Hugging Face Blog28

    Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强

    Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程,可同时修改文档图像及其文本标注,用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强,并配合图像修复生成语义相近、视觉失真的样本,还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。

7月31日周三
  1. Hugging Face Blog62

    Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope

    Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。

    推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。

7月30日周二
7月29日周一
7月25日周四
  1. OpenAI News62

    OpenAI 测试搜索原型 SearchGPT

    OpenAI 正在测试 SearchGPT,这是新搜索功能的临时原型,可提供快速及时的答案并附上清晰相关的来源。

    推荐理由:OpenAI 官方公布搜索原型 SearchGPT,读者可了解其定位与当前仅处于测试阶段的状态。

7月24日周三
7月23日周二
7月22日周一
7月18日周四
  1. Mistral AI75

    Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo

    Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。

    推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。

7月17日周三
7月16日周二
  1. Mistral AI71

    Mistral 发布 Codestral Mamba 代码模型

    Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。

    推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。

7月11日周四
  1. Hugging Face Blog60

    NuminaMath 如何赢得首届 AIMO 进步奖

    Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。

    推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。

7月10日周三