Leash Bio 的 Ian Quigley 谈 DEL 数据、Hermes 模型与智能体科学推理沙盒 Minos
Leash Bio 用 DNA 编码库(DEL)为每个分子打上数十个条形码,从海量蛋白-小分子结合数据中提取出干净可复现的数据,并训练出仅用自家数据的 Hermes,在公开基准上追平 Boltz。
Leash Bio 用 DNA 编码库(DEL)为每个分子打上数十个条形码,从海量蛋白-小分子结合数据中提取出干净可复现的数据,并训练出仅用自家数据的 Hermes,在公开基准上追平 Boltz。
Google Research 发布 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实且保护隐私的基准数据,源码与文档已在 GitHub 公开。
Import AI 470 期关注三项研究:METR 分析显示 AI 对网络安全漏洞发现加速最明显,对数学研究贡献较小,对 AI 研究本身尚无可测加速。SPADE 框架通过自博弈让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上使游戏环境套件均分达 58.3,较基线提升 8.1。另有 Hawkeye 用于构建更好的 GPU kernel。
Hugging Face 最新论文提出两项系统改动降低 LLM 知识蒸馏成本:离线缓存教师模型每位置的 top-100 logits,使教师无需与学生同时驻留显存;融合分块 KL 损失避免生成完整的词表×序列长度矩阵。
Hugging Face 发布 ScarfBench,一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准,覆盖 Spring、Jakarta EE、Quarkus 三大生态,含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
Import AI 457 聚焦三项研究:SentinelOne 拆解出约 20 年前的病毒 fast16.sys,它通过篡改 LS-DYNA 970、PKPM、MOHID 等高精度计算软件的内存结果来破坏工程与物理仿真。
Google Research 提出 MoGen(Neuronal Morphology Generation),用 PointInfinity 点云流匹配模型生成合成神经元形状,为 PATHFINDER 重建模型补充训练数据,使小鼠轴突重建误差降低 4.4%,主要来自合并错误的减少。
Hugging Face 将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含产品发现、替代品、购物车搭建、退货、订单追踪、政策问答、组合规划、多意图旅程 8 个可验证环境,每个环境配备程序化题目生成、12 轴难度课程和算法可验证奖励。
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线,其中 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 明显优于 ModernBERT。团队随后扩展到 25 个物种,用 55 GPU-hours 训练出 4 个生产模型,并搭建了目前其他开源项目未提供的物种条件化系统。
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析了 310 条 ITBench SRE 执行轨迹,覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
Intel AI Software Group 推出 DeepMath,一个基于 Qwen3-4B Thinking、用 GRPO 微调的数学推理 Agent,通过 smolagents 生成 Python 片段并在沙箱执行,将输出长度最多缩短 66%,同时提升准确率。
Kimina Prover 团队开源了 kimina-prover-rl 训练管线,基于 DeepSeek-R1 式"先推理后生成"范式,用于 Lean 4 形式化定理证明,并完全兼容 Verl 框架。
Hugging Face 开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Hugging Face 博客发布 Ettin Suite,这是首个用完全相同的数据(2T tokens)、架构形状和训练配方训练的 SoTA 配对编码器与解码器模型系列,参数规模覆盖 17M 到 1B。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台,目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Hugging Face 与 Entalpic 联合发布开源项目 LeMaterial,并推出首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
Hugging Face 发布 BenCzechMark,首个面向捷克语的大语言模型综合评测套件,包含 50 个任务、9 个类别,其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型,任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等,并采用 Acc、EM、AUROC、Ppl 等指标评估。
Hugging Face 发布 Docmatix,一个包含 240 万张图像、950 万问答对(源自 130 万份 PDF)的 DocVQA 数据集,规模是此前数据集的 240 倍。
Hugging Face 发布 BigCodeBench,一个面向 LLM 代码生成的新基准,包含 1,140 个函数级任务,要求模型调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face 发布通用智能体项目 Jack of All Trades(JAT),基于 GPT-Neo 的 Transformer 架构,用单一网络在 Atari 57。
Hugging Face 上线 LiveCodeBench 排行榜,基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准,从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题,通过"随时间滚动"评估检测并防止数据污染。
Hugging Face 推出 WebSight 数据集,用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对,改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML,并还原其中的图像。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。
Hugging Face 推出 NPHardEval 排行榜,基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准,通过计算复杂度类别评估 LLM 推理能力。
Hugging Face 与 Intel Labs、UKP Lab 合作发布 SetFit,一个无需提示词的 Sentence Transformers 少样本微调框架。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可据此判断少样本分类的可用性与成本。
微软提出 TAPEX,通过让 BART 学习充当神经 SQL 执行器,在合成 SQL 查询语料上完成表格预训练,无需真实数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA,其中 WikiSQL 准确率达 89.6%,WikiTableQuestions 达 57.5%。
OpenAI 发布 Safety Gym,一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习智能体评测,帮助测量其训练过程中的安全表现。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境,支持在持久、开放式任务中容纳大量且数量可变的智能体。该平台通过引入众多智能体与物种,带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI 发布训练环境 CoinRun,用于衡量智能体将经验迁移到新情境的泛化能力,并已帮助厘清强化学习领域一个长期存在的谜题。该环境复杂度介于简单任务与传统平台游戏之间,比《刺猬索尼克》更简单,但对当前最先进算法仍构成值得挑战的泛化测试。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,在简化架构的同时延续了可逆生成模型的思路。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源了模型代码并上线在线可视化工具。
OpenAI 发布八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均基于过去一年的研究开发。这些环境已用于训练可迁移至实体机器人的模型,同时 OpenAI 还发布了一系列机器人研究课题请求。