- Hugging Face Blog精选AI 评分6262
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,可直接配合 OpenAI 客户端库、LangChain 或 LlamaIndex 使用。
推荐理由:TGI 新增 OpenAI 兼容的 Messages API,读者可据此判断现有 OpenAI 脚本迁移到开源模型的改造成本。
- Hugging Face Blog精选AI 评分6262
SegMind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型(Apache 2.0 许可)以及配套 GitHub 仓库,用户通过 config.yaml 即可组合任意数量的模型,几分钟内完成构建。
推荐理由:原文给出从零构建扩散模型 MoE 的完整流程与显存代价,读者可据此判断本地部署门槛。
- Hugging Face BlogAI 评分2626
Hugging Face 推出 NPHardEval 排行榜,基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准,通过计算复杂度类别评估 LLM 推理能力。
- Hugging Face BlogAI 评分2222
Hugging Face 博客给出 PatchTST 的上手示例,先在 Electricity 数据集上直接训练并评估其预测能力,再用已训练模型对 ETTh1 数据集做零样本预测,随后进行线性探测与微调。
- Hugging Face BlogAI 评分4242
Hugging Face Text Generation Inference(TGI)正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用,为生产级 LLM 部署提供 GPU 之外的替代方案。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布了一套用开源模型实现 Constitutional AI(CAI)的端到端配方,并开源了 llm-swarm 工具,用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由:Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可迁移到自定义对齐流程。
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项包含生物学专家和学生的评估中,OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论,但该发现是后续研究和社区讨论的起点。
- Hugging Face BlogAI 评分3636
Patronus 团队联合 Hugging Face 发布 Enterprise Scenarios Leaderboard,用于评估语言模型在真实企业场景中的表现。
- Hugging Face BlogAI 评分2727
Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成,让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损,TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍;4bit 权重量化进一步压缩模型体积,相关 demo 已上线 Hugging Face Spaces。
- Hugging Face BlogAI 评分3737
Hugging Face 推出 Hallucinations Leaderboard,用一系列幻觉相关基准评测大语言模型的幻觉问题,并已发布 arXiv 论文。
- Hugging Face BlogAI 评分3636
Hugging Face 发布 LLM Safety Leaderboard,基于 DecodingTrust 对 LLM 安全性进行评估,该平台曾获 NeurIPS 2023 杰出论文奖。
- Hugging Face BlogAI 评分4242
Hugging Face 宣布与 Google Cloud 建立战略合作,围绕开放科学、开源、云与硬件展开协作,帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
- Hugging Face Blog精选AI 评分6262
Hugging Face 在 LangChain 中集成 ChatHuggingFace,让开源模型可直接构建 ReAct 智能体,并发布智能体库 smolagents。
推荐理由:给出 ReAct 智能体的完整实现路径与开源模型对比数据,可据此判断哪些模型适合驱动智能体工作流。
- Hugging Face BlogAI 评分3434
Hugging Face 发布教程,演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
- Hugging Face BlogAI 评分2222
IBM Research 与 Hugging Face 团队合作,在 Transformers 库中发布了轻量级时间序列模型 PatchTSMixer,它基于 MLP-Mixer 架构,支持跨 patch、通道和隐藏特征的混合以及多种注意力机制。
- Hugging Face BlogAI 评分3838
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 对齐方法,扫描 β 等关键超参数并用 MT-Bench 评估。
OpenAI 公布了其"民主输入 AI"资助计划的结果,该计划资助了来自全球的 10 支团队,用于设计集体治理 AI 的想法和工具。OpenAI 总结了这些团队的创新成果与自身经验,并呼吁研究人员和工程师加入后续工作。
OpenAI 正从三方面应对 2024 年全球选举:防止滥用、为 AI 生成内容提供透明度,并改善选民获取准确投票信息的渠道。
- Hugging Face BlogAI 评分3838
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理,吞吐量最高较 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布教程,介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤,适合想低成本分享工作流的读者。
Digital Green 利用 OpenAI 技术为农民构建农业数据库,以提高农民收入。
- Hugging Face BlogAI 评分2727
Vectara 基于 Hugging Face 开源的 leaderboard 模板发布了新版 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。
OpenAI 发布 GPT Store。
OpenAI 推出面向各类规模团队的 ChatGPT 新套餐 ChatGPT Team,提供安全、可协作的工作空间,帮助团队在工作中充分利用 ChatGPT。
推荐理由:OpenAI 面向各类规模团队推出 ChatGPT 团队版,提供安全协作工作空间,可据此了解其企业协作定位。
- Hugging Face Blog精选AI 评分7272
Hugging Face 博客介绍社区开发的轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%,且相对标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 集成的实测加速与显存数据,读者可据此判断微调成本能降到什么程度。
OpenAI 就《纽约时报》提起的诉讼作出回应,称该诉讼缺乏依据,同时表示支持新闻业并与新闻机构保持合作。
WHOOP 借助 GPT-4 为用户提供个性化的健身与健康指导。该功能面向 LLM 驱动的健康解决方案场景,将 GPT-4 的能力接入 WHOOP 的健康教练服务中。
- Hugging Face BlogAI 评分5757
Hugging Face 发布 aMUSEd,这是对 Google MUSE 的开源复现,采用 Masked Image Model(MIM)方法而非常见的潜在扩散路线,以研究预览版和宽松许可证发布。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。
- Hugging Face Blog精选AI 评分6262
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍,同时数学上保证输出与单独使用主模型完全一致。
推荐理由:给出 Whisper 投机解码的完整实现与基准数据,读者可据此在现有管线中获得约 2 倍加速且输出不变。
- Hugging Face BlogAI 评分3636
Hugging Face 回顾 2023 年开源 LLM 进展,指出公众对开源与闭源模型的讨论已触及广泛受众。2022 年的开源模型仍延续规模竞赛,如 176B 参数的 BLOOM、175B 参数的 OPT 和 GLM-130B,而 2023 年转向对数据的重视。
Summer Health 利用 OpenAI 技术重新构想儿科就诊流程,以提升儿科就诊记录的准确率。
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants,资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
OpenAI 提出面向超级对齐的新研究方向“弱到强泛化”,并给出初步结果,探讨能否利用深度学习的泛化特性,用较弱的监督者控制更强的模型。
推荐理由:OpenAI 提出用弱监督者控制强模型的研究方向,并给出初步结果,可供了解超级对齐的一种思路。
OpenAI 与 Axel Springer 达成合作,后者成为全球首家与 OpenAI 深度整合新闻业与 AI 技术的出版机构。双方将推动 AI 在新闻领域的良性应用。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家(SMoE)模型,同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由:Mistral 放出 Apache 2.0 的稀疏 MoE 权重,并给出与 Llama 2 70B、GPT3.5 的对比,便于判断开源模型的成本性能取舍。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个对话端点和嵌入端点,各有不同性能价格取舍。
推荐理由:Mistral AI 开放首个平台服务测试,给出三个对话端点和嵌入端点的性能价格取舍,可据此判断其早期 API 能力边界。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布《Mixture of Experts Explained》,以 Mixtral 8x7B 发布为背景,系统讲解 MoE 的构成、训练与推理权衡。
推荐理由:系统梳理 MoE 的构成、训练与推理权衡,并给出并行与部署的实践取舍,适合理解稀疏模型工程细节。
- Hugging Face Blog精选AI 评分8282
Mistral 发布 Mixtral 8x7B,采用 Mixture of Experts 架构,在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5,以 Apache 2.0 许可开放。
推荐理由:Hugging Face 官方给出 Mixtral 在生态内的完整接入路径,读者可据此判断 MoE 模型的部署与微调成本。
- Hugging Face BlogAI 评分3434
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个面向领域特定方面级情感分析(ABSA)的少样本训练框架,在少样本场景下表现可媲美甚至超越 Llama2、T5 等生成式模型。
最多提供 50 页,更早的内容请使用搜索或主题页。