长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 张 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求，导致首 token 延迟升高。
#推理
#推理
今日 3 条Hugging Face BlogAI 评分2828
Mistral AI精选AI 评分7474 Mistral AI 发布首款推理模型 Magistral
Mistral AI 发布首款推理模型 Magistral，分为 24B 参数开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由：Mistral 首款推理模型同时给出开源权重与企业版，并公开训练论文，读者可据此判断其多语言推理与部署路径。
Hugging Face Blog精选AI 评分6262 Falcon-H1 发布：0.5B 到 34B 的混合注意力 SSM 模型家族
Falcon-H1 系列发布六个开源模型，参数从 0.5B 到 34B，每个尺寸都有 base 和 instruct 版本，采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头，支持 256K 上下文和 18 种语言，官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由：Falcon-H1 用注意力与 SSM 并行混合架构，在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现，可据此判断小模型部署的取舍。
Hugging Face BlogAI 评分2828 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
OpenAI NewsAI 评分4242 OpenAI o3 如何自动化复杂工作流
OpenAI o3 可对复杂任务进行推理，帮助自动化多步骤工作流。
Hugging Face BlogAI 评分3636 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有 4 处关键变化：通过 enable_thinking 标志可开关推理，设为 false 时模板插入空对以跳过逐步思考，而 QwQ 强制每轮推理。
Hugging Face Blog精选AI 评分6262 ServiceNow 开源 PipelineRL：用飞行中权重更新提升 LLM 强化学习训练效率
ServiceNow 开源实验性 RL 实现 PipelineRL，核心创新是在 RL 训练中进行飞行中权重更新，让推理服务器在不停止推理的情况下接收新权重，从而同时保持高推理吞吐和接近 on-policy 的数据采集。
推荐理由：ServiceNow 开源 PipelineRL，用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍，并给出 7B/32B 训练对比结果。
Hugging Face BlogAI 评分3636 并发请求下的 Prefill 与 Decode：优化 LLM 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 和 o4-mini 的系统卡，两款模型将前沿推理能力与完整工具能力结合。可用工具包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆。
推荐理由：官方系统卡披露 o3 与 o4-mini 的推理与工具能力组合，可据此了解新模型的能力边界。
Hugging Face BlogAI 评分3636 高效请求排队：优化 LLM 性能
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face Blog精选AI 评分7676 Hugging Face 解读 DeepSeek-V3 0324：改用 MIT 许可，数学与代码基准大幅提升
DeepSeek-V3 0324 本周上线 Hugging Face Hub，架构与初代 DeepSeek-V3 相同，但许可从自定义协议改为 MIT，改进重点是指令遵循、代码与数学能力。
推荐理由：梳理了 DeepSeek-V3 0324 的基准提升与 MIT 许可变化，并给出多种本地部署与量化运行方式。
Hugging Face Blog精选AI 评分6767 Open R1 更新第三期：发布 OlympicCoder 7B/32B 代码模型与 IOI 基准
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型，基于 Qwen2.5 Coder Instruct 微调，在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型，OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由：Open R1 复现 R1 代码推理配方，给出数据集、IOI 基准与两个开源模型，并附训练经验。
OpenAI NewsAI 评分5858 OpenAI 研究用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究，展示用 LLM 监控前沿推理模型的思维链可以检测其利用漏洞的作弊行为。研究同时发现，惩罚这些“坏想法”并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
OpenAI NewsAI 评分2222 Endex 用 o1 和 o3-mini 打造自主金融分析师
Endex 基于 OpenAI 的 o1 和 o3-mini 推理模型构建自主金融分析师。该产品定位为金融分析的未来形态，具体功能与性能数据尚未披露。
OpenAI NewsAI 评分2222 Rogo 用 OpenAI o1 扩展 AI 驱动的金融研究
Rogo 正借助 OpenAI o1 扩展其 AI 驱动的金融研究能力。该平台将 o1 用于金融分析场景，以提升研究流程的自动化与效率。
Hugging Face Blog精选AI 评分6262 Open R1 发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹，经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由：Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案，读者可据此复现或迁移到其他领域。
OpenAI News精选AI 评分7575 OpenAI 发布 deep research 智能体
OpenAI 发布 deep research，一个利用推理综合大量在线信息、完成多步研究任务的智能体。该功能今日面向 Pro 用户开放，Plus 和 Team 用户随后可用。
推荐理由：OpenAI 官方发布 deep research 智能体，读者可据此了解其多步研究能力与首批开放范围。
Hugging Face Blog精选AI 评分6060 Open-R1 更新：复现 DeepSeek-R1 评测、训练管线与合成数据生成进展
Hugging Face 的 Open-R1 项目发布首周进展，已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数，并搭建了公开评测排行榜。
推荐理由：Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节，可供关注开源复现路径的读者参考。
OpenAI News精选AI 评分7878 OpenAI 发布 o3-mini 模型
OpenAI 发布 o3-mini 模型，原文未提供更多细节。
Hugging Face Blog精选AI 评分6060 Mini-R1：用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct，在 4x H100 上复现 DeepSeek R1 的 aha moment，450 步后解题成功率约 50%。
推荐理由：完整复现流程与训练观察，读者可据此理解 GRPO 如何让模型自发形成推理格式。
OpenAI NewsAI 评分4040 OpenAI 推理模型将用于美国国家实验室推动科学突破
OpenAI 最新一代推理模型将供美国国家实验室的顶尖科学家使用，以推动科学突破。该合作旨在加强美国在 AI 领域的领导地位。
Hugging Face Blog精选AI 评分6262 Hugging Face 发起 Open-R1 项目，完整复现 DeepSeek-R1
Hugging Face 发起 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重，但未公开训练数据集和代码，Open-R1 将分三步复现：蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划，读者可了解开源推理模型补全路径。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即以更多推理算力换取对对抗攻击的抵抗能力。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
OpenAI NewsAI 评分5757 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
Hugging Face BlogAI 评分4747 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集，包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
Hugging Face Blog精选AI 评分6666 Answer.AI 与 LightOn 发布 ModernBERT，为 BERT 提供替代方案
Answer.AI 与 LightOn 联合发布 ModernBERT，一个编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个版本，支持 8192 序列长度，可作为 BERT 类模型的直接替换。
推荐理由：ModernBERT 把 LLM 时代的架构与训练经验搬回编码器，读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
Hugging Face BlogAI 评分5555 IBM 联合高校发布混合 Mamba2 模型 Bamba-9B
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon3 开源模型家族，含 1B 至 10B 五款基础模型
阿布扎比技术创新研究院（TII）发布 Falcon3 开源模型家族，包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型，参数规模均在 100 亿以下。
推荐理由：Falcon3 系列覆盖 1B 到 10B 五款开源模型，给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步迭代改进位置编码方案，最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Self-Speculative Decoding：用 LayerSkip 加速文本生成
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding，用同一 LLM 的早期层生成 draft token、深层验证，从而加速文本生成并节省显存。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论方式互相对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制，并允许开发者自定义模型参数与对话风格，以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
Hugging Face Blog精选AI 评分6262 Universal Assisted Generation：用任意辅助模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型与任意模型族的辅助模型配对，无需共享 tokenizer。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解无需同族小模型即可加速推理的思路与实测数据。
OpenAI NewsAI 评分4040 用 OpenAI o1 模型解决复杂问题
OpenAI 展示 o1 推理模型如何帮助解决编程、战略和研究等领域的复杂问题。该视频介绍了 o1 在这些场景中的应用。
Hugging Face BlogAI 评分5252 Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
OpenAI News精选AI 评分8282 OpenAI 发布 o1 模型
OpenAI 发布 o1 模型，原文页面标题为 Introducing OpenAI o1，正文内容未能抓取。
OpenAI News精选AI 评分7878 OpenAI 发布 o1-mini，主打低成本推理
OpenAI 发布 o1-mini，官方将其定位为在推理能力上追求成本效率的模型。
OpenAI NewsAI 评分3939 OpenAI o1 贡献者名单
OpenAI 公布了 o1 模型的贡献者名单。o1 是 OpenAI 推出的推理模型系列。
OpenAI NewsAI 评分4040 Cognition CEO 谈如何用 OpenAI o1 编程
Cognition 联合创始人兼 CEO Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编程决策。
OpenAI NewsAI 评分4040 OpenAI o1 如何加速罕见病基因诊断
遗传学家 Catherine Brownstein 展示了 OpenAI o1 如何加速罕见医学难题的诊断流程。该演示聚焦于将 o1 用于基因诊断场景，以缩短罕见病的诊断耗时。