Microsoft 研究:AI 评测如何暴露传统 benchmark 之外的“意外失败”
Microsoft 伙伴研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Microsoft 伙伴研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。
OpenAI 的 Chris Lehane 主张,AI 能力越强,越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开,各方应抓住时机采取行动。
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及其对齐难题,称其为"异类心智",并呼吁加强安全防护与国际协调。
OpenAI CFO Sarah Friar 阐述了芯片、算力、模型与产品各环节进步如何叠加,从而以更大规模和更低成本交付更有用的智能。
OpenAI CFO Sarah Friar 分享了打造 AI 原生财务团队的五条经验,涵盖自动化预测、更强的管控以及 AI 投资回报(ROI)。
OpenAI CFO Sarah Friar 提出一套实用的 AI 记分卡,通过有用工作量、每成功任务成本、可靠性和算力回报四项指标衡量 AI 的 ROI。该记分卡旨在帮助企业评估 AI 投入的实际产出,而非只看模型能力。
OpenAI 发布“Built to benefit everyone: our plan”,阐述其对 AI 未来的愿景,聚焦可及性、安全与共同繁荣,目标是确保 AGI 惠及所有人。
OpenAI 公布指导其工作的五项原则,由 Sam Altman 分享,服务于确保 AGI 惠及全人类的使命。
Chime CMO Vineet Mehra 分享了 AI 如何将营销重塑为智能体驱动的模式。他强调,优先推动 AI 素养建设并审慎采用 AI 的领导者将驱动增长。
OpenAI 撰文提出,AI 有望成为历史上为更多人解锁机会的技术,若方向正确,可让每个人都获得前所未有的能力。作者自述是务实的技术主义者,看重技术对人的直接生活影响,而非技术本身。
OpenAI 称 ChatGPT 的设计目标是实用、可信且可适配,让用户能将其打造成自己的工具。该表述以“设计即知识自由”为标题,强调产品在可定制性上的取向。
OpenAI 推出 AI stories,聚焦人们使用 AI 获得的日常收益,并借此展现更大的机会。Sam Altman 曾撰文称人类正进入 Intelligence Age,AI 将让人变得更有能力,科学、医学、教育、国防等当下最棘手的问题将不再无解。
LaunchDarkly 首席产品官 Claire Vo 分享了 AI 时代产品经理角色的变化,以及如何打造 AI 原生团队。她还介绍了自己的"反待办清单"方法。
OpenAI 发文呼吁现在就开始思考超级智能的治理问题,即未来能力远超 AGI 的 AI 系统。文章将超级智能定义为比 AGI 更强大的未来 AI 系统,并强调当下是着手探讨其治理的合适时机。
OpenAI 发布文章阐述其对 AGI 及更远未来的规划,称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的立场。
OpenAI 应用 AI 研究团队的 Lilian Weng 就持续学习这一主题进行了分享。
Hugging Face 发布《机器学习总监洞察》第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位 ML 总监分享机器学习对各自行业的影响。
Hugging Face 发布“Director of Machine Learning Insights”系列金融版,汇集来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组,关注数据策展、多语言性与模型训练数据的伦理问题。
Hugging Face 博客发布“机器学习总监洞察”系列第二期 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人,现于 Hugging Face 制定伦理 AI 研究协议。