OpenAI 的 Lilian Weng 谈持续学习的力量
OpenAI 应用 AI 研究团队的 Lilian Weng 就持续学习这一主题进行了分享。
OpenAI 应用 AI 研究团队的 Lilian Weng 就持续学习这一主题进行了分享。
Hugging Face 伦理与社会团队发布通讯第 2 期,讨论机器学习中的偏见问题,指出偏见普遍且复杂,单一技术手段难以有效解决。文章梳理了偏见在 ML 开发各环节的体现,并介绍了 Hugging Face 团队开发的用于识别和应对偏见的数据集与模型工具。
Hugging Face 发布《机器学习总监洞察》第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位 ML 总监分享机器学习对各自行业的影响。
OpenAI 正在提升 AI 系统从人类反馈中学习、以及辅助人类评估 AI 的能力,目标是构建一个足够对齐的 AI 系统,再由它帮助解决其余所有对齐问题。
Hugging Face 发布“Director of Machine Learning Insights”系列金融版,汇集来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策,明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用,并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态,属进行中的工作,更新将通过 GitHub 追踪。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组,关注数据策展、多语言性与模型训练数据的伦理问题。
Hugging Face 博客发布“机器学习总监洞察”系列第二期 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 发布系列文章,邀请多位机器学习总监分享 ML 行业洞察。首期受访者来自 BuzzFeed、Johnson & Johnson 等,分别谈到媒体领域的隐私优先个性化推荐、人机协作创作工具,以及制药领域 AI/ML 在研发、智能制造和质量保证中的应用。他们指出,媒体面临隐私、编辑独立性与公平覆盖的平衡难题,制药则需确保训练数据对各族群的充分代表性。
OpenAI 探讨古德哈特定律在 AI 优化中的影响:当一个度量指标变成目标时,它就不再是好的度量。该定律源自经济学,但在 OpenAI 优化难以或高成本度量的目标时同样适用。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人,现于 Hugging Face 制定伦理 AI 研究协议。
OpenAI 公开其在语言模型安全与滥用方面的最新思考,旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
微软和 NVIDIA 发布 Megatron-Turing NLG 530B,号称全球最大最强的生成式语言模型,但复现成本接近 1 亿美元,单台 DGX A100 服务器售价 19.9 万美元、功耗达 6.5 千瓦。
Hugging Face 发文指出,机器学习正像十年前的 DevOps 一样走向"机器学习即代码",软件工程的最佳实践应被数据科学与机器学习采纳。Kaggle 调查显示 75% 受访者使用云服务、超 45% 使用企业 ML 平台,前三为 Amazon SageMaker、Databricks 和 Azure ML Studio。
OpenAI 阐述其使命是构建安全的 AI,并确保 AI 带来的益处尽可能广泛且均衡地惠及所有人。