跳到正文

#数据/训练

今日 2 条
12月4日周四
12月3日周三
  1. OpenAI News62

    OpenAI 收购 Neptune

    OpenAI 宣布收购 Neptune,以加深对模型行为的可见性,并强化研究人员用于追踪实验和监控训练的工具。

    推荐理由:OpenAI 收购 Neptune 以增强模型行为可见性与训练监控工具,读者可据此了解其在训练基础设施上的布局。

12月1日周一
11月26日周三
11月21日周五
11月17日周一
11月14日周五
11月12日周三
  1. Google Research38

    Google 发布 JAX-Privacy 1.0:面向大规模机器学习的差分隐私工具库

    Google 发布 JAX-Privacy 1.0,这是一个基于 JAX 构建的差分隐私工具库,可高效实现 DP-SGD、DP-FTRL 等算法,并支持数据与模型并行的大规模训练。新版本重新设计以提升模块化,集成 Google 最新的 DP 训练与审计研究成果,支持微调 LLM 等现代工作流。该库自 2022 年推出以来已用于 Google 内部生产集成,现向更广泛社区开放。

11月8日周六
11月7日周五
11月6日周四
11月5日周三
  1. Google Research40

    Google 发布 ForestCast:用深度学习预测森林砍伐风险

    Google 发布 ForestCast,一个基于纯卫星数据的深度学习模型,用于预测森林砍伐风险,并同步公开首个面向该任务的基准数据集。模型采用 vision transformers,仅用 Landsat 和 Sentinel 2 卫星数据及“变化历史”输入,精度可匹配或超过依赖道路等专用地图的传统方法,其中变化历史是最关键输入。

10月31日周五
10月30日周四
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月27日周一
10月17日周五
  1. Hugging Face Blog22

    Hugging Face 发起 AI for Food Allergies 项目,用 AI 推进食物过敏研究

    Hugging Face 发起 AI for Food Allergies 项目,计划建设首个社区驱动的研究实验室,探索 AI 如何推进食物过敏研究。全球约 2.2 亿人患有至少一种食物过敏,美国约占总人口 10%。项目将结合 AlphaFold、Boltz-1 等模型与 AllergenBERT、ESM-2 等深度学习工具,用于过敏原预测、药物靶点建模和诊断辅助。

10月14日周二
9月29日周一
9月26日周五
9月22日周一
9月16日周二
9月12日周五
9月11日周四
9月10日周三
  1. Hugging Face Blog60

    Hugging Face 用 Jupyter Notebook 数据训练小模型做数据分析智能体

    Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育质量打分、QA 与轨迹生成后得到 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B。

    推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与脚手架改动,可迁移到其他小模型智能体训练。

9月9日周二
9月3日周三
9月1日周一
  1. Berkeley AI Research24

    word2vec 究竟学到了什么?伯克利 AI 研究给出闭式理论解释

    伯克利 AI 研究证明,在小型初始化、四阶近似等温和条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,其梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。训练中模型按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。

8月22日周五
8月21日周四
8月14日周四
8月8日周五
8月1日周五
7月29日周二
7月25日周五
7月23日周三