超越 LoRA:能否击败最流行的微调技术?
Hugging Face 在 PEFT 库中对比了 40 多种参数高效微调技术,探讨 LoRA 是否真是最佳选择。统计显示,Hugging Face Hub 上提及单一 PEFT 技术的 20,834 个模型卡中有 20,509 个(98.4%)使用 LoRA,图像生成领域 10,000 个 checkpoint 中 95.0% 为 LoRA。
Hugging Face 在 PEFT 库中对比了 40 多种参数高效微调技术,探讨 LoRA 是否真是最佳选择。统计显示,Hugging Face Hub 上提及单一 PEFT 技术的 20,834 个模型卡中有 20,509 个(98.4%)使用 LoRA,图像生成领域 10,000 个 checkpoint 中 95.0% 为 LoRA。
OpenAI 与 Molecule.one 展示了一个使用 GPT-5.4 的近自主 AI 化学家,改进了一项关键的药物合成反应,推进了药物化学研究。
推荐理由:OpenAI 与 Molecule.one 用 GPT-5.4 驱动的近自主 AI 化学家改进药物合成反应,可了解 AI 在化学研究中的落地方式。
OpenAI 发布 LifeSciBench,一个由专家撰写并评审的基准,用于评估 AI 系统处理真实生命科学研究任务与决策的能力。该基准聚焦现实科研场景中的任务与判断,而非通用问答。
Google Research 基于 Earth AI 的 RSF Vision-Transformer 骨干模型,发布英国高分辨率矢量数据集,将树篱、石墙、小树林等精细生态特征转为可操作清单。
Hugging Face 博客发布《Profiling in PyTorch》系列第二篇,用 nn.Linear 替换手写的 matmul-add,并堆叠三层加激活函数构成 MLP,在 NVIDIA A100-SXM4-80GB 上分析 profiler trace。
Google DeepMind 发布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年的常规学习进度。
推荐理由:原文给出塞拉利昂随机对照试验的量化结果与交互数据,可了解 AI 辅助教学在真实课堂中的效果边界。
Google Research 在 GitHub 上以 Apache 2.0 许可证开源其水文建模框架,供各国气象与水文机构将 AI 洪水预报整合进自身工作流。
推荐理由:Google 开源洪水预报水文框架,读者可了解其模型架构、训练流程与在 Delft-FEWS 中的集成方式。
DharmaOCR 团队将 Direct Preference Optimization(DPO)用于结构化 OCR 任务,把正确转录设为 chosen、重复退化循环设为 rejected,在 SFT 之后追加第二阶段训练,使所有测试模型家族的文本退化率平均下降 59.4%,最佳达 87.6%(Nanonets-OCR2–3B 从 1.61% 降至 0.20%)。
Hugging Face 博客指出,企业级 AI 规模化落地的关键不在 LLM 本身,而在智能体逻辑——即运行于智能体层、能引导 LLM 聚焦企业工作流的软件原语。
Hugging Face 发布 PyTorch 性能分析系列第一篇,讲解如何用 torch.profiler 分析矩阵乘法与加法。
Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测完整物理场,单次前向推理在单 GPU 上以秒级完成,而非传统求解器所需的数小时到数周。
推荐理由:Mistral 把物理仿真模型并入企业平台,读者可据此判断工程仿真工作流会被怎样改写。
Mistral 收购 Emmi AI,并加倍投入面向航空航天、汽车、半导体和能源等实体产业的 Physics AI 基础研究。其已发布成果包括 AB-UPT,可在单张 GPU 上处理 9M 表面和 140M 体积网格的原始几何数据而无需重新网格化,以及首个大规模多物理过程端到端深度学习代理模型 NeuralDEM。
Hugging Face 在 TRL 中落地 Delta Weight Sync:只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件,上传到 Hugging Face Bucket,再由 vLLM 拉取应用。
推荐理由:TRL 把稀疏增量权重同步落到可 pip 安装的实现,读者可据此判断跨机房异步 RL 的部署成本变化。
Mistral AI 本周签署最终协议,收购 Physics AI 先驱 Emmi AI,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,团队超过 30 名研究人员和工程师,其大型工程模型可把多日计算替换为实时仿真并构建数字孪生,团队将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。
推荐理由:Mistral 通过收购补齐 Physics AI 能力,读者可了解其工业 AI 布局与科学路线图的具体落点。
Hugging Face 发布 OlmoEarth v1.1,通过将 Sentinel-2 多分辨率 token 合并为单一 token 缩短序列长度,在保持 v1 性能的同时将计算成本最多降低 3 倍。该系列包含 Base、Tiny 和 Nano 三个尺寸,权重与训练代码已开放,微调与推理速度显著提升,但部分任务存在性能回退。
Google 发布基于 Gemini 的科研工具 Empirical Research Assistance(ERA),可搜索文献、编写代码、组合方法并评估结果,相关成果已发表于 Nature。
推荐理由:Google 把 ERA 从 Nature 论文推进到可申请使用的工具,读者可据此判断科研编码自动化的落地节奏。
Calico Life Sciences 的 Matt Onsum 与 Katherine Labbé 正使用 Google DeepMind 的 Co-Scientist 整合衰老生物学中零散的研究发现,并将其转化为可验证的假设。
爱丁堡大学团队用 Google DeepMind 的 Co-Scientist 研究 MASH 肝病,系统整合肝生物学与药理学证据,提出 NLRP3 炎症小体是连接炎症与代谢的关键分子桥梁,该假设随后经实验验证。这一发现有望推动针对 MASH 的靶向联合疗法,并解释了药物 resmetirom 为何仅对少数符合条件的患者有效。
MIT 机械工程师 Ritu Raman 与波士顿儿童医院化学生物学家 Ryan Flynn 借助 Google DeepMind 的 Co-Scientist,将各自不同的研究工具结合用于 ALS 研究。
斯坦福大学医学院遗传学家 Gary Peltz 利用 Google DeepMind 的 Co-Scientist 筛选抗肝纤维化药物,其提出的 3 个候选药物中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自行挑选的 2 个药物均无效。其中癌症药物 vorinostat 阻断了 91% 可驱动肝硬化的损伤反应。相关研究已发表于 Advanced Science。
Hugging Face 发布两款基于 ModernBERT 的 Apache 2.0 多语言嵌入模型:97M 参数的 granite-embedding-97m-multilingual-r2 在 MTEB Multilingual Retrieval 上得分 60.3。
AWS 发布系列文章,解析基础模型训练与推理在 AWS 上的分层架构,涵盖加速计算、高带宽网络、分布式存储、资源编排与可观测性。
Google Research 披露其开源工具与开放数据集已服务全球超 25 万名研究者和开发者。其中 DeepVariant、DeepConsensus、DeepPolisher 已支持处理 250 万人的外显子组和全基因组,MedGemma 等 HAI-DEF 模型下载量超 480 万次,Open Health Stack 已在 10 多个国家落地、覆盖超 6500 万受益者。
Google Research 介绍其 Empirical Research Assistance(ERA)在四个真实科研场景中的应用:公共卫生领域,团队每周向 CDC 的流感。
推荐理由:Google 用四个真实科研项目展示 ERA 在流行病预测、宇宙学、碳监测和神经科学中的落地方式,可了解 AI 辅助科研的具体边界。
IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。
推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。
Google DeepMind 宣布与韩国科学技术信息通信部(MSIT)建立合作,将在首尔办公室设立 AI Campus,向韩国学界开放 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext 等前沿模型。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。
推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。
Hugging Face 发布 QIMMA قِمّة,一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Google Research 发布论文《Reasoning-Driven Synthetic Data Generation and Evaluation》,提出合成数据生成框架 Simula,把数据生成重构为机制设计问题,用推理模型从第一性原理构建整个数据集,无需种子数据。
Google Research 提出 MoGen(Neuronal Morphology Generation),用 PointInfinity 点云流匹配模型生成合成神经元形状,为 PATHFINDER 重建模型补充训练数据,使小鼠轴突重建误差降低 4.4%,主要来自合并错误的减少。
Hugging Face 将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含产品发现、替代品、购物车搭建、退货、订单追踪、政策问答、组合规划、多意图旅程 8 个可验证环境,每个环境配备程序化题目生成、12 轴难度课程和算法可验证奖励。
OpenAI 介绍如何用 ChatGPT 探索数据集、生成洞察、创建可视化,并将发现转化为可执行的决策。
Google Research 推出 ConvApparel,一个包含 4000 多段人机多轮对话(近 15000 轮)的服饰购物领域数据集,用于量化 LLM 用户模拟器与真实人类行为的真实感差距。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的每条目 1-5 名标注者往往不足,反映人类意见分歧常需超过 10 名标注者。
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线,其中 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 明显优于 ModernBERT。团队随后扩展到 25 个物种,用 55 GPU-hours 训练出 4 个生产模型,并搭建了目前其他开源项目未提供的物种条件化系统。
Hugging Face 发布 TRL v1.0,将这一原本的研究代码库正式定位为带稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。
推荐理由:TRL v1.0 把稳定核心与实验层分开,并给出与同类后训练库的横向对比,便于判断选型。
Google Research 发布自监督框架 S2Vec,可将建筑、道路等地理要素栅格化为多层特征图像,再通过掩码自编码(MAE)学习通用嵌入向量,无需人工标注即可刻画街区特征。
NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。
推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项姊妹研究,评估 AI 乳腺癌检测系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查双读流程中的前瞻部署数据与人力节省估算。
Hugging Face 发布《State of Open Source on Hugging Face: Spring 2026》,基于平台数据梳理过去一年开源 AI 生态变化。
推荐理由:Hugging Face 官方基于平台数据梳理开源 AI 一年变化,可看到中美下载份额、小模型与机器人子社区的走向。