跳到正文

全部动态

今日 6 条
12月14日周四
12月11日周一
12月5日周二
  1. Hugging Face Blog62

    Hugging Face 发布 Optimum-NVIDIA,一行代码加速 LLM 推理

    Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒,首 token 延迟最高降低 3.3 倍。

    推荐理由:原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据,读者可据此判断现有 LLaMA 推理流程的改造成本。

11月7日周二
11月6日周一
11月3日周五
  1. Hugging Face Blog26

    Hugging Face Hub 推出存储区域功能

    Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions,可指定组织模型和数据集的存储位置,目前支持 US 和 EU,亚太区即将上线。该功能用于满足监管与法律合规(如 GDPR)需求,并提升性能:欧洲用户将仓库存于 EU 区域时,上传和下载速度约为存于 US 的 4-5 倍。非默认位置的仓库会直接显示 Region 标签。

10月24日周二
10月19日周四
  1. OpenAI News75

    DALL·E 3 在 ChatGPT Plus 和 Enterprise 上线

    OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更广泛发布,OpenAI 开发了一套安全缓解措施,并同步分享了其来源溯源研究的最新进展。

    推荐理由:DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,读者可了解其安全缓解措施与来源溯源研究。

10月11日周三
10月4日周三
9月25日周一
9月22日周五
9月11日周一
8月31日周四
8月28日周一
  1. OpenAI News82

    OpenAI 推出 ChatGPT Enterprise

    OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保护,并称其为目前能力最强的 ChatGPT 版本。

    推荐理由:OpenAI 官方发布面向企业的 ChatGPT 版本,读者可据此了解其安全隐私定位与能力版本信息。

8月23日周三
  1. Hugging Face Blog62

    Hugging Face 将 AutoGPTQ 集成进 Transformers,支持 8/4/3/2-bit 量化

    Hugging Face 把 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型,4-bit 量化精度损失可忽略,小批量下推理速度与 fp16 基线相当。

    推荐理由:Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益,可据此判断本地部署大模型的成本变化。

8月22日周二
  1. OpenAI News62

    OpenAI 开放 GPT-3.5 Turbo 微调

    OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调,以适配自身用例。该更新与 API 调整一同发布。

    推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时最直接的定制入口变化。

8月15日周二
8月10日周四
8月8日周二
8月2日周三
7月24日周一
  1. Hugging Face Blog62

    Hugging Face 发布 Agents.js:用 JavaScript 为 LLM 提供工具调用能力

    Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。

    推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。

7月20日周四
7月7日周五
6月22日周四
6月15日周四
  1. Hugging Face Blog62

    用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion

    Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化,将权重从 16-bit 浮点压缩到每参数 6 bit,并在推理时逐层解压,从而减少存储和内存占用。

    推荐理由:文章给出 6-bit palettization 的量化原理与转换命令,读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。

6月13日周二
6月7日周三
6月6日周二
  1. Hugging Face Blog22

    Hugging Face Hub 正式托管 fastText 全部 157 种语言词向量与语言识别模型

    Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖全部 157 种语言的词向量和最新语言识别模型,用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget,并提供词向量最近邻查询和语言检测的示例代码。

5月31日周三
  1. Hugging Face Blog22

    Hugging Face Hub 集成 BERTopic

    Hugging Face Hub 现已集成 BERTopic,用户可直接在 Hub 上访问和共享主题模型。BERTopic 是一种基于 Transformer 嵌入向量和 c-TF-IDF 的主题建模技术,支持神经主题建模。此次集成让开发者能更便捷地加载、上传和复用主题模型。

5月18日周四
  1. OpenAI News78

    OpenAI 推出 ChatGPT iOS 应用

    OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。

    推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项能力,读者可据此了解移动端入口的初始形态。

4月26日周三
4月25日周二
  1. OpenAI News62

    ChatGPT 新增关闭聊天记录功能

    ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。

    推荐理由:ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否被用于训练的控制方式。

4月17日周一