跳到正文

#编码

今日 2 条
5月24日周五
  1. Hugging Face Blog50

    Meta 发布 CyberSecEval 2:面向大语言模型网络安全风险与能力的评估框架

    Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题,LLM 目前也难以可靠完成端到端漏洞利用挑战。

4月29日周一
  1. Hugging Face Blog62

    StarCoder2-15B-Instruct 发布:全透明自对齐代码模型

    Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。

    推荐理由:StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval,读者可据此判断自生成数据能否替代 GPT-4 蒸馏。

4月17日周三
  1. Mistral AI80

    Mistral 发布开源模型 Mixtral 8x22B

    Mistral 发布开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅 39B 激活,以 Apache 2.0 许可开放。

    推荐理由:官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现,可据此判断其成本效率定位。

4月16日周二
4月9日周二
3月15日周五
2月28日周三
  1. Hugging Face Blog78

    BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集

    BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。

    推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。

1月30日周二
10月27日周五
  1. Hugging Face Blog62

    Personal Copilot:用 Hugging Face 代码微调自己的编程助手

    Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码,微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder(15.5B),训练 12.5 小时、成本约 13.75 美元,而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。

    推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,以及本地部署路径,可迁移到自有代码库。

9月11日周一
8月25日周五
  1. Hugging Face Blog82

    Code Llama 发布:Llama 2 的代码专用版本接入 Hugging Face 生态

    Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。

    推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。

8月22日周二
7月3日周一
5月4日周四
  1. Hugging Face Blog78

    BigCode 发布 StarCoder:15B 参数开源代码大模型

    BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。

    推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力位置。

1月9日周一
  1. Hugging Face Blog22

    AI 游戏开发:用 ChatGPT 辅助游戏设计,5 天做出农场游戏(第二部分)

    Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助农场游戏设计,作者向 ChatGPT 询问让农场游戏有趣的核心要素,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式故事等建议,并因 5 天工期只先实现前两项。文章同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常言之凿凿却出错,宜作头脑风暴工具而非知识库。

5月24日周二
3月15日周二
12月8日周三
8月10日周二