DeepSeek-V4 发布:面向智能体任务的百万 token 上下文
DeepSeek 发布 V4,在 Hub 上提供两个 MoE 检查点:DeepSeek-V4-Pro 总参数 1.6T、激活 49B,DeepSeek-V4-Flash 总参数 284B、激活 13B,均支持 1M token 上下文窗口。
推荐理由:原文给出 V4 在长上下文推理成本与智能体后训练上的具体设计,可据此判断开源模型跑长任务时的部署取舍。
DeepSeek 发布 V4,在 Hub 上提供两个 MoE 检查点:DeepSeek-V4-Pro 总参数 1.6T、激活 49B,DeepSeek-V4-Flash 总参数 284B、激活 13B,均支持 1M token 上下文窗口。
推荐理由:原文给出 V4 在长上下文推理成本与智能体后训练上的具体设计,可据此判断开源模型跑长任务时的部署取舍。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》,基于平台数据梳理过去一年开源 AI 生态变化。
推荐理由:Hugging Face 官方基于平台数据梳理开源 AI 一年变化,可看到中美下载份额、小模型与机器人子社区的走向。
Hugging Face 博客系列第三篇指出,开源已成为中国 AI 机构近期的主流路径,DeepSeek 是 Hugging Face 上关注度最高的组织,Qwen 位列第四。
中国开源模型近一年几乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均属此类,目标是在成本可控下实现可持续部署。开源活动从文本扩展到多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
DeepSeek 于 2025 年 1 月发布 R-1 模型,一年后 Hugging Face 发文回顾其对中国开源 AI 生态的催化作用。R1 以 MIT 许可开放推理路径与后训练方法,降低了技术、采用和心理三重门槛,并成为 Hugging Face 史上获赞最多的模型。
Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。
推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。
Hugging Face 发布 FutureBench,用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 数据,每周约摄入 8 个问题,采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face 发文回顾过去一年视觉语言模型(VLM)的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
DeepSeek-V3 0324 本周上线 Hugging Face Hub,架构与初代 DeepSeek-V3 相同,但许可从自定义协议改为 MIT,改进重点是指令遵循、代码与数学能力。
推荐理由:梳理了 DeepSeek-V3 0324 的基准提升与 MIT 许可变化,并给出多种本地部署与量化运行方式。
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。
Hugging Face 用 Math-Verify 替换旧评测器,重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案,替换后模型平均多解出 61 道题,MATH 子集平均提升 4.66 分,Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由:原文给出评测器替换前后的具体差异与榜单变化,读者可据此判断数学评测口径对模型排名的影响。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
Hugging Face 的 Open-R1 项目发布首周进展,已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数,并搭建了公开评测排行榜。
推荐理由:Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节,可供关注开源复现路径的读者参考。
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct,在 4x H100 上复现 DeepSeek R1 的 aha moment,450 步后解题成功率约 50%。
推荐理由:完整复现流程与训练观察,读者可据此理解 GRPO 如何让模型自发形成推理格式。
Hugging Face 发布指南,介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型,包括 DeepSeek-R1-Zero、DeepSeek-R1 及 6 个基于 Llama 和 Qwen 架构蒸馏的密集模型。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。