OpenAI 如何助力 Upwork 将 AI 投入实际工作
Upwork 正将 AI 用于整合团队成员、运营与产品开发。OpenAI 与 Upwork 合作,把 AI 引入其内部工作流程与产品开发环节。
Upwork 正将 AI 用于整合团队成员、运营与产品开发。OpenAI 与 Upwork 合作,把 AI 引入其内部工作流程与产品开发环节。
Hugging Face 发布教程,介绍如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B。该模型于 2024 年 7 月发布,提供 8B、70B、405B 三种规模,支持 128K tokens 上下文、多语言和工具调用。
Indeed 借助 OpenAI 为其全球最大求职网站提供情境化职位匹配,每月服务超 3.5 亿独立访客,连接超 350 万雇主与超 3200 万个职位。该平台每三秒就有一人成功入职。
OpenAI 与 The Met 服装学院合作推出"Sleeping Beauties: Reawakening Fashion"展览,借助 AI 展现艺术与创意潜力。该展览旨在通过 AI 丰富人们的生活,让美与创造力触手可及。
Hugging Face 复现 Google 的 Infini-Attention 后发现,随着记忆压缩次数增加,模型性能持续下降,且 90% 时间耗在调试收敛问题上。团队认为,将预训练模型扩展到更长上下文,Ring Attention、YaRN 和 rope scaling 仍是目前最佳方案。相关训练 checkpoint 已开源,代码按原样提供。
OpenAI 发布 SWE-bench Verified,这是 SWE-bench 中经过人工校验的子集,用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face 发布 ggml 入门指南,介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,无需或只需极少模型专属改动。
推荐理由:Hugging Face 把工具调用统一进 chat template,读者可据此判断跨模型复用同一套代码的可行边界。
Zico Kolter 加入 OpenAI 董事会,其在 AI 安全与对齐领域的专业能力将强化公司治理。他同时将加入安全与安保委员会。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入并整合 XetHub 技术到 Hub。XetHub 此前开发了让 Git 扩展到 TB 级仓库的技术,HF 计划借此替换现有 Git LFS 存储后端,实现分块存储与去重,例如 10GB Parquet 文件新增一行只需重传少量分块。
推荐理由:Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端,读者可了解大文件版本管理将如何变化。
OpenAI 发布视频,展示员工如何借助 ChatGPT Enterprise 高效分析数据并挖掘洞察。视频给出了多个实际应用示例。
OpenAI 发布 GPT-4o 系统卡,用于说明该模型在安全与对齐方面的评估情况。原文正文未能获取,具体内容暂不可知。
Rakuten 将数据与 AI 配对,以挖掘客户洞察并释放价值。该案例展示了通过 API 把数据接入 AI 能力,从而为业务带来客户价值。
Mistral AI 宣布在 La Plateforme 上支持对 Mistral Large 2 和 Codestral 等旗舰及专用模型进行定制,可通过基础提示词、few-shot 提示或微调实现,并支持自带数据集。
OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由:OpenAI 在 API 中加入结构化输出,开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能:面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制,以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程,可同时修改文档图像及其文本标注,用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强,并配合图像修复生成语义相近、视觉失真的样本,还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,质量几乎无损但延迟略有上升。
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API(无服务器),基于 NVIDIA DGX Cloud 加速计算,可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face 提出 LAVE(LLM-Assisted VQA Evaluation)指标,用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分,在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5,LAVE 得分为 0.58,而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
OpenAI 正在测试 SearchGPT,这是新搜索功能的临时原型,可提供快速及时的答案并附上清晰相关的来源。
推荐理由:OpenAI 官方公布搜索原型 SearchGPT,读者可了解其定位与当前仅处于测试阶段的状态。
Mistral AI 发布 Mistral Large 2,参数规模 123B,支持 128k 上下文窗口,可在单节点上实现大吞吐推理。
推荐理由:官方给出 123B 参数、128k 上下文与多项基准对比,可据此判断单节点部署的成本与性能取舍。
OpenAI 开发并应用了一种基于规则的奖励(RBRs)新方法,让模型在无需大量人工数据采集的情况下对齐安全行为。
Meta 发布 Llama 3.1 系列,含 8B、70B、405B 三个尺寸的 base 与 instruct 版本,共 6 个开放权重模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置,可据此估算部署成本。
Hugging Face 发布教程,介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B,并用不到 4GB 内存完成推理。
推荐理由:Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤,可据此复现端侧部署流程。
OpenAI 发布 GPT-4o mini,定位为更具成本效益的智能模型。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。
推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。
Hugging Face 发布 Docmatix,一个包含 240 万张图像、950 万问答对(源自 130 万份 PDF)的 DocVQA 数据集,规模是此前数据集的 240 倍。
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器,官方称可服务 30 个模型。
推荐理由:原文给出 TGI Multi-LoRA 的部署方式与成本对比,读者可据此判断多微调模型能否合并到一次部署。
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能,用于支持合规项目、数据安全和大规模用户访问管理。
OpenAI 提出用证明者-验证者博弈(Prover-Verifier Games)提升语言模型输出的可读性,让 AI 给出的解答更清晰、更易被验证,从而对人和机器都更可信。
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B,在 MATH 上得分 56.6%、MMLU 上得分 63.47%,在同尺寸模型中达到 SOTA。
Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。
推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。
Hugging Face 博客展示了如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集,微调领域专用嵌入模型,再搭建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作,共同开发安全评估方法,用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face Hub 与 KerasHub 实现共享模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,模型可无缝使用 TensorFlow、JAX 或 PyTorch 后端,需将 keras 升级至 3.3.3 以上。