Hugging Face 开放 LLM 排行榜揭示 CO₂ 排放与模型性能关系
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算，发现模型越大排放越高但排行榜得分增长递减，MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳，Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
#数据/训练
#数据/训练
今日 5 条Hugging Face BlogAI 评分3434
Hugging Face Blog精选AI 评分6262 如何可视化并理解 PyTorch 训练中的 GPU 显存占用
Hugging Face 发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由：文章用 PyTorch 内存快照拆解训练各阶段显存占用，并给出可复用的显存估算公式。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon3 开源模型家族，含 1B 至 10B 五款基础模型
阿布扎比技术创新研究院（TII）发布 Falcon3 开源模型家族，包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型，参数规模均在 100 亿以下。
推荐理由：Falcon3 系列覆盖 1B 到 10B 五款开源模型，给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
OpenAI News精选AI 评分7878 OpenAI 发布 o1 模型及多项开发者工具更新
OpenAI 发布 o1 模型，并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者，涵盖模型与工具两方面。
推荐理由：OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新，可据此了解其开发者侧能力布局。
Hugging Face BlogAI 评分2222 Hugging Face 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Xeon，Emerald Rapids，支持 AMX）与 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）两款 96 vCPU 实例上，对文本嵌入和文本生成两类智能体 AI 负载做了对比。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出合成数据生成器，用自然语言构建数据集
Hugging Face 发布 Synthetic Data Generator，一个无代码应用，用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集，分别约每分钟生成 50 和 20 个样本，底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由：原文给出从提示词到数据集再到模型的完整无代码流程，读者可据此判断合成数据工具的实际可用边界。
Hugging Face BlogAI 评分3636 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial，推出 670 万条数据集的 LeMat-Bulk
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial，并推出首个数据集 LeMat-Bulk，整合 Materials Project、Alexandria 和 OQMD 三大材料数据库，形成 670 万条条目、7 种材料属性的统一数据格式，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与排行榜 AraGen，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。
Hugging Face BlogAI 评分2222 CFM 如何用 LLM 辅助标注微调小模型，将金融 NER 成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融 NER 任务上准确率最高提升 6.4%，推理成本较大模型降低最多 80 倍。
Hugging Face BlogAI 评分2222 Hugging Face Hub 如何分享与托管开放 ML 数据集
Hugging Face Hub 支持托管 TB 级数据集，并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Polars、DuckDB 等第三方库的一行代码加载能力。
Hugging Face BlogAI 评分3838 Argilla 2.4 发布：无需代码即可在 Hugging Face Hub 上构建微调与评测数据集
Argilla 2.4 推出无代码数据集构建功能，用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入，默认启用 Hugging Face OAuth，方便社区或团队协作标注，用于微调与模型评测。Argilla 是 Hugging Face 旗下免费开源的数据中心工具，仍保留 Python SDK 供进一步定制。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Expanse 多语言模型，公开完整后训练流程
Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数版本，均以开放权重形式发布。在成对比较中，Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B；Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由：Cohere For AI 公开了 Aya Expanse 的完整后训练流程，读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
Hugging Face BlogAI 评分2222 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼（adversarial dataset refinement）方法改进数据质量。
Hugging Face BlogAI 评分4242 Hugging Face 修复 Transformers 梯度累积损失计算问题
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题，该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失，并新增 loss_function 属性与 LOSS_MAPPING，允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
Hugging Face BlogAI 评分4242 AMD 发布第五代 EPYC CPU（Turin）：最高 192 核 384 线程，Llama 3.1 8B 推理吞吐约为 Genoa 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face BlogAI 评分2222 Hugging Face 如何提升 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 1 万行可去重 99.1%，仅多占 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路，并希望与 Apache Arrow 社区合作落地。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard 金融大模型评测榜
Hugging Face 发布 Open FinLLM Leaderboard，为金融领域大语言模型提供专门评测框架。该榜单覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评测，指标包括 Accuracy、F1、ROUGE 和 MCC。
OpenAI News精选AI 评分6262 OpenAI 为微调 API 引入视觉能力
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升视觉能力。
推荐理由：OpenAI 在微调 API 中加入图像输入，开发者可据此判断视觉微调是否适用于自己的场景。
OpenAI NewsAI 评分4040 OpenAI API 中的模型蒸馏
OpenAI 在 API 中推出模型蒸馏功能，可用大型前沿模型的输出微调出高性价比的小模型，全程在 OpenAI 平台上完成。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 FineVideo：43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Hugging Face Blog精选AI 评分6060 如何把 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face BlogAI 评分4848 Hugging Face 在 Datasets 上推出 SQL Console
Hugging Face 在 Hub 的每个数据集上新增 SQL Console，点击即可在浏览器内用 DuckDB WASM 直接查询数据集，无需后端依赖。支持完整 DuckDB 语法、结果导出为 parquet，并可通过链接分享公开数据集的查询结果；内存上限约 3GB，暂不支持 hf:// 协议。
Hugging Face BlogAI 评分3434 Hugging Face 用视频编码扩展机器人数据集：LeRobotDataset 格式发布
Hugging Face 提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积仅为原始版本的 14%，最佳情况可低至 0.2%，同时保持完整训练能力。解码单帧耗时与加载压缩图片相当，连续多帧解码仅需其 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分4040 Hugging Face 用 Flash Attention 2 与打包训练将吞吐提升至 2 倍
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无填充的打包指令微调与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且不损失收敛质量。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：TII 发布首个纯 Mamba 架构 7B 模型，给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术，HF 计划借此替换现有 Git LFS 存储后端，实现分块存储与去重，例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像修复生成语义相近、视觉失真的样本，还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。
Mistral AI精选AI 评分7575 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最长 128k tokens 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源，可替换现有 Mistral 7B 系统。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型，给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据，便于判断其替换 Mistral 7B 的可行性。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的 DocVQA 数据集，规模是此前数据集的 240 倍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了三个尺寸小模型的训练数据配比与评测对比，可据此判断端侧小模型的取舍。
Hugging Face BlogAI 评分2222 如何用 distilabel 打造 Argilla 2.0 聊天机器人
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档生成合成数据集，微调领域专用嵌入模型，再搭建向量数据库，并将 Gradio 应用部署到 Hugging Face Space，交互记录存入 Argilla 用于持续评估改进。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先用数十万条 CoT 数据训练，再用约 6 万条工具集成推理数据训练，推理时采用 SC-TIR 解码，生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由：获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节，可迁移到其他推理任务。
Hugging Face BlogAI 评分3636 Hugging Face 在 Dataset Hub 上用 Presidio 实验自动 PII 检测
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能，可为数据集生成 PII 存在情况报告，帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII，在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
Hugging Face BlogAI 评分2222 Hugging Face Dataset Hub 新增四项数据集搜索功能
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能，可按文本、图像、音频等模态及最小/最大行数过滤数据集。行数信息覆盖所有支持格式的数据集，超大数据集则基于前 5GB 内容估算总行数。新筛选器可与语言、任务、许可证等已有条件组合使用。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face Blog精选AI 评分7878 Google 发布开源模型 Gemma 2，含 9B 与 27B 两个版本
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个规模，各有预训练基础版和指令微调版，上下文长度 8K tokens，沿用可商用、可微调、可再分发的宽松许可。
推荐理由：梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
Hugging Face BlogAI 评分2020 XLSCOUT 推出专利领域嵌入模型 ParaEmbed 2.0，获 Hugging Face 专家支持
XLSCOUT 发布专为专利与知识产权场景打造的嵌入模型 ParaEmbed 2.0，基于专家标注的多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯 #6：构建更好的 AI，数据质量为何至关重要
Hugging Face 发布《伦理与社会通讯 #6》，聚焦高质量数据对 AI 开发的重要性。文章指出好数据并非只是准确或量大，而是契合特定用途，需具备相关性、全面性、时效性并减少偏见，同时强调数据质量能提升模型表现、泛化能力与效率，并推动公平与可问责。
Hugging Face BlogAI 评分3838 微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 规模的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但官方模型不含 VQA 能力。