跳到正文

#数据/训练

今日 5 条
7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 与 Google DeepMind 提出 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料为五百万名知情同意参与者、超一万亿分钟的多模态传感器信号,覆盖 100 多个国家、50 个美国州和 20 多款 Fitbit 与 Pixel Watch 设备。

    推荐理由:Google 用五百万人的一万亿分钟传感器数据预训练通用可穿戴健康模型,读者可了解其自监督缺失感知设计与跨任务泛化表现。

7月7日周二
7月6日周一
  1. Hugging Face Blog30

    PRX Part 4:我们的数据策略

    Hugging Face 发布 PRX 系列第四篇,详解其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式语料。团队用 Lance 构建、MDS 流式训练,图像统一编码为 JPEG quality 92,并将文本编码器从 T5Gemma 换成 Qwen3-VL、改为训练中实时计算文本 latent,实测吞吐仅损失约 3–4%。

7月1日周三
6月30日周二
  1. Google Research76

    Google 发布表格数据零样本基础模型 TabFM

    Google Research 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测重构为上下文学习问题,无需手动训练、超参数调优和特征工程即可在单次前向传播中给出预测。

    推荐理由:Google 把零样本思路从时序预测搬到表格数据,读者可了解其架构设计与 TabArena 基准表现。

6月29日周一
6月25日周四
  1. Google Research26

    Google 用线性弹性缓存优化云成本,Spanner 内存用量降 15.5%

    Google Research 提出线性弹性缓存,将页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小。在 Spanner 生产环境测试中,内存用量减少 15.5%,缓存未命中仅增加 5.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。该方案用浅层决策树预测页面 TTL,已在 Spanner 生产服务器集成数月。

6月19日周五
  1. Hugging Face Blog46

    MosaicLeaks:你的深度研究智能体会泄密吗?

    Hugging Face 博客提出 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄漏,攻击者仅凭外部查询日志即可推断私有信息。测试中智能体频繁泄漏,且只优化任务表现会加剧泄漏;其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,同时把答案/全信息泄漏从 34.0% 降至 9.9%。

6月18日周四
6月17日周三
6月11日周四
6月8日周一
  1. Google DeepMind62

    Google DeepMind 公布塞拉利昂 AI 教学试验结果

    Google DeepMind 发布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年的常规学习进度。

    推荐理由:原文给出塞拉利昂随机对照试验的量化结果与交互数据,可了解 AI 辅助教学在真实课堂中的效果边界。

6月4日周四
6月3日周三
6月1日周一
  1. Import AI30

    Import AI 459:AI 监管为何困难、蛋白质折叠模型的缩放定律、AI 系统灭绝风险的定价

    Import AI 459 探讨了 AI 监管的困难、蛋白质折叠模型的缩放定律以及 AI 系统灭绝风险的定价。弗吉尼亚大学、Anthropic 和加拿大银行的经济学家估算,2025 年美国 AI 名义 GDP 约 2500 亿美元,质量调整后实际年增速约 2600%,但这一增长在常规 GDP 统计中几乎不可见。

5月29日周五
5月27日周三
  1. Mistral AI60

    Mistral 推出物理 AI,将 Emmi AI 并入企业工程栈

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测完整物理场,单次前向推理在单 GPU 上以秒级完成,而非传统求解器所需的数小时到数周。

    推荐理由:Mistral 把物理仿真模型并入企业平台,读者可据此判断工程仿真工作流会被怎样改写。

  2. Mistral AI38

    Mistral 收购 Emmi AI,加码航空航天、汽车、半导体与能源领域的 Physics AI 研究

    Mistral 收购 Emmi AI,并加倍投入面向航空航天、汽车、半导体和能源等实体产业的 Physics AI 基础研究。其已发布成果包括 AB-UPT,可在单张 GPU 上处理 9M 表面和 140M 体积网格的原始几何数据而无需重新网格化,以及首个大规模多物理过程端到端深度学习代理模型 NeuralDEM。

  3. Hugging Face Blog62

    Hugging Face 在 TRL 中实现 Delta Weight Sync,用 Hub Bucket 传输万亿参数增量

    Hugging Face 在 TRL 中落地 Delta Weight Sync:只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件,上传到 Hugging Face Bucket,再由 vLLM 拉取应用。

    推荐理由:TRL 把稀疏增量权重同步落到可 pip 安装的实现,读者可据此判断跨机房异步 RL 的部署成本变化。

5月23日周六
  1. Mistral AI62

    Mistral 收购 Physics AI 公司 Emmi AI

    Mistral AI 本周签署最终协议,收购 Physics AI 先驱 Emmi AI,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,团队超过 30 名研究人员和工程师,其大型工程模型可把多日计算替换为实时仿真并构建数字孪生,团队将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

    推荐理由:Mistral 通过收购补齐 Physics AI 能力,读者可了解其工业 AI 布局与科学路线图的具体落点。

5月20日周三
5月18日周一
5月16日周六
  1. Google DeepMind38

    Google DeepMind Co-Scientist 加速肝病机制发现

    爱丁堡大学团队用 Google DeepMind 的 Co-Scientist 研究 MASH 肝病,系统整合肝生物学与药理学证据,提出 NLRP3 炎症小体是连接炎症与代谢的关键分子桥梁,该假设随后经实验验证。这一发现有望推动针对 MASH 的靶向联合疗法,并解释了药物 resmetirom 为何仅对少数符合条件的患者有效。

  2. Google DeepMind38

    Google DeepMind Co-Scientist 助力发现抗肝纤维化药物

    斯坦福大学医学院遗传学家 Gary Peltz 利用 Google DeepMind 的 Co-Scientist 筛选抗肝纤维化药物,其提出的 3 个候选药物中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自行挑选的 2 个药物均无效。其中癌症药物 vorinostat 阻断了 91% 可驱动肝硬化的损伤反应。相关研究已发表于 Advanced Science。

5月15日周五
5月12日周二
5月4日周一
5月2日周六
4月30日周四
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月27日周一