Hugging Face 开放 LLM 排行榜揭示 CO₂ 排放与模型性能关系
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算，发现模型越大排放越高但排行榜得分增长递减，MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳，Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
#论文/研究
#论文/研究
今日 0 条Hugging Face BlogAI 评分3434
OpenAI NewsAI 评分5757 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
Hugging Face BlogAI 评分3838 Hugging Face 社区发布文本生成图像开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集，覆盖多种图像生成类别，混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像，并附带可直接使用的偏好数据集与 flux-dev-lora-finetune。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程，可了解其安全评估框架。
Hugging Face Blog精选AI 评分6262 Universal Assisted Generation：用任意辅助模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型与任意模型族的辅助模型配对，无需共享 tokenizer。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解无需同族小模型即可加速推理的思路与实测数据。
OpenAI NewsAI 评分4040 OpenAI 简化并稳定连续时间一致性模型，两步采样媲美扩散模型
OpenAI 简化、稳定并扩展了连续时间一致性模型，仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分2222 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼（adversarial dataset refinement）方法改进数据质量。
OpenAI NewsAI 评分2222 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦于模型输出中的公平性问题。
OpenAI NewsAI 评分4141 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分5252 Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
Hugging Face BlogAI 评分2222 Hugging Face Daily Papers 页面功能全解析
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k，作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话，并通过 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译，并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 FineVideo：43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的 DocVQA 数据集，规模是此前数据集的 240 倍。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，从而对人和机器都更可信。
OpenAI News精选AI 评分6262 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回复错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回复撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
推荐理由：OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误，可用于理解 RLHF 环节的质量控制思路。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角打造可用于实际部署的审核系统。
OpenAI NewsAI 评分2727 OpenAI 提出训练一致性模型的改进技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分3838 OpenAI 提出 Consistency Models 一致性模型
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下生成图像、音频和视频，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展，但其迭代采样过程导致生成缓慢。
Hugging Face BlogAI 评分3838 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，一个面向 LLM 代码生成的新基准，包含 1,140 个函数级任务，要求模型调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
OpenAI News精选AI 评分6262 OpenAI 从 GPT-4 中提取概念
OpenAI 使用新的稀疏自编码器扩展技术，从 GPT-4 的计算中自动识别出 1600 万个模式。
推荐理由：OpenAI 用可扩展的稀疏自编码器从 GPT-4 计算中自动识别出 1600 万个模式，读者可了解可解释性研究的新方法。
Hugging Face BlogAI 评分5252 Hugging Face 与 Dottxt 实验：结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现，结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上，使用 Outlines 约束输出结构后，Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低，模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
Hugging Face BlogAI 评分3838 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
OpenAI NewsAI 评分4242 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在解决这一问题。
Hugging Face Blog精选AI 评分6060 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于复现 Phi-1.5 的预训练数据。
推荐理由：Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码，读者可据此了解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对，改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML，并还原其中的图像。
Hugging Face BlogAI 评分3131 Hugging Face 发布 ConTextual：多模态模型在图文场景中的联合推理能力评测基准
加州大学洛杉矶分校研究者推出 ConTextual，一个面向 LMM 的上下文敏感文本丰富视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
OpenAI News精选AI 评分8888 OpenAI 发布视频生成模型 Sora，可生成一分钟高清视频
OpenAI 公开视频生成模型 Sora，在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型，采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由：OpenAI 首次公开视频生成模型 Sora 的技术路线，读者可了解其时空 patch 训练思路与生成能力边界。
OpenAI NewsAI 评分5252 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
Hugging Face BlogAI 评分3737 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，用一系列幻觉相关基准评测大语言模型的幻觉问题，并已发布 arXiv 论文。
Hugging Face BlogAI 评分3636 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。
OpenAI News精选AI 评分6262 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出面向超级对齐的新研究方向“弱到强泛化”，并给出初步结果，探讨能否利用深度学习的泛化特性，用较弱的监督者控制更强的模型。
推荐理由：OpenAI 提出用弱监督者控制强模型的研究方向，并给出初步结果，可供了解超级对齐的一种思路。
Hugging Face Blog精选AI 评分6262 RLHF with PPO 的 N 个实现细节：复现 OpenAI 原始代码库
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作，在情感和描述性任务上匹配了原代码库的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。
Hugging Face BlogAI 评分4242 Hugging Face 研究：基础模型能否像人类一样标注数据？
Hugging Face 用 327 条提示词对比了 Koala 13b、Vicuna 13b、OpenAssistant 12b 和 Dolly 12b 四个开源指令模型，让 Scale AI 人类标注员按 1-8 分 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 分居首，Dolly-12B 以 802 分垫底。
OpenAI News精选AI 评分6767 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理（过程监督）而非仅奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解奖励每一步推理这一训练思路及其对齐收益。
OpenAI News精选AI 评分6262 OpenAI 研究用语言模型解释语言模型中的神经元
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集，并说明这些解释尚不完美。
推荐理由：OpenAI 用 GPT-4 自动解释并评分 GPT-2 神经元行为，并公开全部神经元的解释与评分数据集。
OpenAI News精选AI 评分6262 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，初步考察大语言模型对劳动力市场的潜在影响。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究：语言模型如何被用于虚假信息宣传及风险缓解
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖多达 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 2000 多条结果汇总成统一榜单，读者可据此理解文本嵌入模型的选型依据。