Hugging Face 修复 Transformers 梯度累积损失计算问题
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题，该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失，并新增 loss_function 属性与 LOSS_MAPPING，允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
#Hugging Face
#Hugging Face
今日 3 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分4242 AMD 发布第五代 EPYC CPU（Turin）：最高 192 核 384 线程，Llama 3.1 8B 推理吞吐约为 Genoa 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分4848 Gradio 5 安全审计：Trail of Bits 发现的漏洞已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio 5 稳定版
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 的稳定版发布，列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
Hugging Face BlogAI 评分5252 Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
Hugging Face BlogAI 评分2222 Hugging Face 如何提升 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 1 万行可去重 99.1%，仅多占 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路，并希望与 Apache Arrow 社区合作落地。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard 金融大模型评测榜
Hugging Face 发布 Open FinLLM Leaderboard，为金融领域大语言模型提供专门评测框架。该榜单覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评测，指标包括 Accuracy、F1、ROUGE 和 MCC。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，包含 50 个任务、9 个类别，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face BlogAI 评分3434 如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程，介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库，一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件，并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理，再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2 系列共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。
推荐理由：Hugging Face 与 Meta 同步放出 10 个开放权重模型，并给出端侧运行与单卡微调的具体路径。
Hugging Face BlogAI 评分2222 Hugging Face Daily Papers 页面功能全解析
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k，作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话，并通过 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译，并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 FineVideo：43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Hugging Face BlogAI 评分2222 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6060 如何把 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face BlogAI 评分4848 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 在 Hub 的每个数据集上新增 SQL Console，点击即可在浏览器内用 DuckDB WASM 直接查询数据集，无需后端依赖。支持完整 DuckDB 语法、结果导出为 parquet，并可通过链接分享公开数据集的查询结果；内存上限约 3GB，暂不支持 hf:// 协议。
Hugging Face Blog精选AI 评分6060 HuggingChat 推出 Community Tools，可将任意 Space 变成模型工具
Hugging Face 在 HuggingChat 上线 Community Tools，用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具，并借此扩展 HuggingChat 的多模态能力，用于理解图像、生成视频或文本转语音。
推荐理由：官方给出把任意 Space 变成 HuggingChat 工具的具体步骤，读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 发布 Accelerate 1.0.0 首个候选版本，可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由：Accelerate 1.0 候选版发布，梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动，便于评估升级成本。
Hugging Face BlogAI 评分3434 Hugging Face 用视频编码扩展机器人数据集：LeRobotDataset 格式发布
Hugging Face 提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积仅为原始版本的 14%，最佳情况可低至 0.2%，同时保持完整训练能力。解码单帧耗时与加载压缩图片相当，连续多帧解码仅需其 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分3434 Hugging Face 上 5 个最被低估的工具
Hugging Face 博客盘点了 Hub 上 5 个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分4040 Hugging Face 用 Flash Attention 2 与打包训练将吞吐提升至 2 倍
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无填充的打包指令微调与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且不损失收敛质量。
Hugging Face BlogAI 评分2222 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，介绍如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B。该模型于 2024 年 7 月发布，提供 8B、70B、405B 三种规模，支持 128K tokens 上下文、多语言和工具调用。
Hugging Face BlogAI 评分2828 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：TII 发布首个纯 Mamba 架构 7B 模型，给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出统一工具调用 API，覆盖 Mistral、Cohere、NousResearch 与 Llama 模型
Hugging Face 在 Transformers 中推出统一的工具调用 API，同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用，无需或只需极少模型专属改动。
推荐理由：Hugging Face 把工具调用统一进 chat template，读者可据此判断跨模型复用同一套代码的可行边界。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术，HF 计划借此替换现有 Git LFS 存储后端，实现分块存储与去重，例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点：从细粒度 Token 到企业级 SSO
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像修复生成语义相近、视觉失真的样本，还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
Hugging Face BlogAI 评分3636 用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化为 FP8 后，SD3 推理显存从 16.403 GB 降至 8.204 GB，质量几乎无损但延迟略有上升。
Hugging Face BlogAI 评分4040 Hugging Face 与 NVIDIA 推出 NVIDIA NIM API 无服务器推理服务
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），基于 NVIDIA DGX Cloud 加速计算，可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数、128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口，可在单节点上实现大吞吐推理。
推荐理由：官方给出 123B 参数、128k 上下文与多项基准对比，可据此判断单节点部署的成本与性能取舍。
Hugging Face Blog精选AI 评分8888 Llama 3.1 发布：405B、70B 与 8B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列，含 8B、70B、405B 三个尺寸的 base 与 instruct 版本，共 6 个开放权重模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置，可据此估算部署成本。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Mistral AI精选AI 评分7575 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最长 128k tokens 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源，可替换现有 Mistral 7B 系统。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型，给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据，便于判断其替换 Mistral 7B 的可行性。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的 DocVQA 数据集，规模是此前数据集的 240 倍。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务：一次部署服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Mistral AIAI 评分4040 Mistral AI 发布数学推理模型 Mathstral 7B
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B，在 MATH 上得分 56.6%、MMLU 上得分 63.47%，在同尺寸模型中达到 SOTA。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了三个尺寸小模型的训练数据配比与评测对比，可据此判断端侧小模型的取舍。