Meta 发布 CyberSecEval 2:面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由:StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval,读者可据此判断自生成数据能否替代 GPT-4 蒸馏。
Mistral 发布开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅 39B 激活,以 Apache 2.0 许可开放。
推荐理由:官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现,可据此判断其成本效率定位。
Hugging Face 上线 LiveCodeBench 排行榜,基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准,从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题,通过"随时间滚动"评估检测并防止数据污染。
Google 发布代码专用开源模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint,额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由:Google 与 Hugging Face 联合发布代码专用 Gemma 系列,给出三种规格与基准对比,便于判断开源代码模型的选型。
Hugging Face 推出 WebSight 数据集,用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对,改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML,并还原其中的图像。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。
推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。
Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成,让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损,TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍;4bit 权重量化进一步压缩模型体积,相关 demo 已上线 Hugging Face Spaces。
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。
Hugging Face 发布企业级代码助手 SafeCoder,基于 155 亿参数的 StarCoder 开源模型,支持 80 多种编程语言和 8192 token 上下文窗口。
Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。
Hugging Face 发布 SafeCoder,一款面向企业的自托管代码助手商业解决方案,代码在训练和推理阶段都不离开客户 VPC。
Hugging Face 发布教程,演示如何用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 构建流式生成 HTML 的 Web 应用生成器。模型通过 textGenerationStream 边生成边渲染页面,并借助 TailwindCSS 工具类实时生成样式,同时给出提示词调优与防幻觉的实践建议。
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。
推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力位置。
Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助农场游戏设计,作者向 ChatGPT 询问让农场游戏有趣的核心要素,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式故事等建议,并因 5 天工期只先实现前两项。文章同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常言之凿凿却出错,宜作头脑风暴工具而非知识库。
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持,覆盖多种使用场景。
OpenAI 发布新版本 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解模型从续写扩展到改写已有文本的变化。
Hugging Face 发布教程,介绍如何从零训练 GPT-2 large(1.5B 参数)代码生成模型 CodeParrot,可自动补全 Python 代码。
OpenAI 发布改进版 Codex,这是其将自然语言转换为代码的 AI 系统。该版本从今天起通过 API 以私测形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并开放 API 私测,读者可了解自然语言转代码能力的接入方式。