Summer Health 借助 OpenAI 提升儿科就诊记录准确率
Summer Health 利用 OpenAI 技术重新构想儿科就诊流程,以提升儿科就诊记录的准确率。
Summer Health 利用 OpenAI 技术重新构想儿科就诊流程,以提升儿科就诊记录的准确率。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个对话端点和嵌入端点,各有不同性能价格取舍。
推荐理由:Mistral AI 开放首个平台服务测试,给出三个对话端点和嵌入端点的性能价格取舍,可据此判断其早期 API 能力边界。
Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒,首 token 延迟最高降低 3.3 倍。
推荐理由:原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据,读者可据此判断现有 LLaMA 推理流程的改造成本。
Explosion 发布 Prodigy-HF 插件,让 Prodigy 标注工具直接集成 Hugging Face 生态。
OpenAI 发布 GPTs,用户现在可以创建自定义版本的 ChatGPT,将指令、额外知识和任意技能组合在一起。
推荐理由:OpenAI 官方发布 GPTs,读者可据此了解 ChatGPT 从通用对话走向可自定义智能体的入口变化。
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions,可指定组织模型和数据集的存储位置,目前支持 US 和 EU,亚太区即将上线。该功能用于满足监管与法律合规(如 GDPR)需求,并提升性能:欧洲用户将仓库存于 EU 区域时,上传和下载速度约为存于 US 的 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face 发布教程,介绍如何通过 Text Embeddings Inference(TEI)将开源嵌入模型部署到 Hugging Face Inference Endpoints,并支持大规模批量请求。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更广泛发布,OpenAI 开发了一套安全缓解措施,并同步分享了其来源溯源研究的最新进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,读者可了解其安全缓解措施与来源溯源研究。
Hugging Face 发布 @gradio/lite,一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库,无需服务器端基础设施。
推荐理由:官方博客给出 Gradio-Lite 的完整用法与限制,读者可据此判断无服务器部署 Gradio 应用的可行边界。
Ironclad 利用 GPT-4 简化合同审查流程。
Typeform 借助 GPT-3.5 和 GPT-4,将在线表单升级为动态、对话式的数据收集体验。
Retool 利用 GPT-4 为企业提供快速、安全的 AI 应用构建方式。
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速,覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等 90 多种模型架构。以 whisper-tiny 为例,使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
Hugging Face 为 PRO 用户推出 Inference 服务,提供精选模型的专属 API 端点,由 text-generation-inference 驱动,并提升免费 Inference API 的速率限制。
Hugging Face 发布企业级代码助手 SafeCoder,基于 155 亿参数的 StarCoder 开源模型,支持 80 多种编程语言和 8192 token 上下文窗口。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南,包含推荐提示词、ChatGPT 工作原理与局限说明、AI 检测工具有效性以及偏见问题。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保护,并称其为目前能力最强的 ChatGPT 版本。
推荐理由:OpenAI 官方发布面向企业的 ChatGPT 版本,读者可据此了解其安全隐私定位与能力版本信息。
Hugging Face 把 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型,4-bit 量化精度损失可忽略,小批量下推理速度与 fp16 基线相当。
推荐理由:Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益,可据此判断本地部署大模型的成本变化。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调,以适配自身用例。该更新与 API 调整一同发布。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时最直接的定制入口变化。
Hugging Face 发布 SafeCoder,一款面向企业的自托管代码助手商业解决方案,代码在训练和推理阶段都不离开客户 VPC。
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策,可实现更一致的标注、更快的政策优化反馈循环,并减少人工审核员的参与。
Hugging Face Hub 已上线 AWS Marketplace,用户可通过 AWS 账户直接支付 Hugging Face 使用费用。订阅后,Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服务的组织用量费用将自动计入 AWS 账单,价格与 Hugging Face 公开定价一致。
Hugging Face 发布 swift-transformers Swift 包及配套工具,让开发者能在 Mac 和 iOS 设备上用 Core ML 运行 Llama 2、Falcon 等大语言模型。
推荐理由:Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链,读者可据此判断端侧大模型的落地路径。
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动检测语言,并借助 librarian-bots 提交 PR 补充元数据。目前 Hub 约 5 万个公开数据集中仅约 13% 标注了语言,约 87% 未标注。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。
推荐理由:OpenAI 为 ChatGPT 加入自定义指令,读者可了解用户偏好如何跨对话持续生效。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Viable 利用 GPT-4 以革命性规模分析定性数据,并实现前所未有的准确度。该方案面向大规模定性数据分析场景,由 OpenAI 的 GPT-4 提供模型能力支持。
Hugging Face 与 Panel 合作,在 Hugging Face Spaces 中集成了 Panel 模板,方便用户构建并部署 Panel 应用。Panel 是开源 Python 库,可构建工具、仪表盘和复杂应用,支持 Matplotlib、Plotly、Bokeh 等绘图库,并可通过 Pyodide 和 WebAssembly 在浏览器中运行。
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化,将权重从 16-bit 浮点压缩到每参数 6 bit,并在推理时逐层解压,从而减少存储和内存占用。
推荐理由:文章给出 6-bit palettization 的量化原理与转换命令,读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
OpenAI 宣布 API 更新,包括更易引导的模型、函数调用能力、更长的上下文窗口以及更低的价格。
推荐理由:OpenAI 公布 API 多项更新,读者可了解模型可控性、函数调用与价格调整的方向。
Hugging Face Hub 新增 DuckDB 集成,用户可用 SQL 查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,通过 /parquet 端点获取 URL 后,配合 DuckDB 的 httpfs 扩展即可直接查询远程文件,大型数据集被分片为 500MB 块。
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖全部 157 种语言的词向量和最新语言识别模型,用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget,并提供词向量最近邻查询和语言检测的示例代码。
Hugging Face Hub 现已集成 BERTopic,用户可直接在 Hub 上访问和共享主题模型。BERTopic 是一种基于 Transformer 嵌入向量和 c-TF-IDF 的主题建模技术,支持神经主题建模。此次集成让开发者能更便捷地加载、上传和复用主题模型。
Hugging Face 发布面向 Amazon SageMaker 的 LLM 推理容器(DLC),由 Text Generation Inference(TGI)驱动,可部署 BLOOM、StarCoder、Llama、T5 等开源大模型。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项能力,读者可据此了解移动端入口的初始形态。
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。
推荐理由:ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否被用于训练的控制方式。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速芯片进行优化,通过 optimum-neuron 只需一行代码即可编译模型。