OpenAI 为微调 API 引入视觉能力
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升视觉能力。
推荐理由：OpenAI 在微调 API 中加入图像输入，开发者可据此判断视觉微调是否适用于自己的场景。
#多模态
#多模态
今日 2 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分4242 OpenAI 用新的多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2 系列共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。
推荐理由：Hugging Face 与 Meta 同步放出 10 个开放权重模型，并给出端侧运行与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 FineVideo：43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Mistral AI精选AI 评分7373 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价与新小模型，读者可据此判断其 API 成本与自部署选择。
Mistral AI精选AI 评分7070 Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，可在 128k token 上下文窗口中处理任意数量图像。
推荐理由：官方给出 Pixtral 12B 的架构、基准与部署方式，可据此判断开源多模态模型在文档与图表任务上的位置。
Hugging Face Blog精选AI 评分6060 HuggingChat 推出 Community Tools，可将任意 Space 变成模型工具
Hugging Face 在 HuggingChat 上线 Community Tools，用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具，并借此扩展 HuggingChat 的多模态能力，用于理解图像、生成视频或文本转语音。
推荐理由：官方给出把任意 Space 变成 HuggingChat 工具的具体步骤，读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像修复生成语义相近、视觉失真的样本，还可将任意文本渲染到图像上合成数据。初版中的同义词替换因耗时过高已被移除。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数、128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口，可在单节点上实现大吞吐推理。
推荐理由：官方给出 123B 参数、128k 上下文与多项基准对比，可据此判断单节点部署的成本与性能取舍。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的 DocVQA 数据集，规模是此前数据集的 240 倍。
Hugging Face BlogAI 评分3838 TRL 库新增对视觉语言模型（VLM）的 DPO 支持
Hugging Face 的 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face BlogAI 评分3838 微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 规模的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但官方模型不含 VQA 能力。
Hugging Face BlogAI 评分1212 Prezi 如何借助 Hugging Face Hub 与专家支持计划加速多模态 ML 路线图
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program，将更小、更高效的开放模型整合进其 ML 工作流。其旗舰产品 Prezi AI 通过提示词自动生成演示草稿，专家建议在检索流程中加入开源 re-ranker 模型，以更低成本、更快速度找到最佳图文素材。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B：11B 参数预训练语言模型与 VLM，训练数据超 5000B token、覆盖 11 种语言
TII 发布第二代 Falcon 模型 Falcon 2，首发 11B 参数的基础语言模型和 11B 视觉语言模型（VLM），后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器，可对图像内容进行文本问答。
推荐理由：原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比，可据此判断小尺寸开源模型的能力位置。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：梳理了 PaliGemma 的三种权重类型、分辨率与精度选择，并给出 transformers 推理与微调的可复用代码。
OpenAI News精选AI 评分8282 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可实时跨音频、视觉和文本进行推理。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理，读者可据此了解其多模态能力定位。
OpenAI News精选AI 评分8585 OpenAI 发布 GPT-4o，ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o，并在 ChatGPT 中把更多能力免费开放给用户。
推荐理由：OpenAI 发布 GPT-4o 并把更多能力免费开放给 ChatGPT 用户，可据此了解其模型与免费策略的同步变化。
OpenAI News精选AI 评分8888 OpenAI 发布 GPT-4o，并向 ChatGPT 免费用户开放更多工具
OpenAI 发布最新旗舰模型 GPT-4o，同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新模型与面向免费用户的功能扩展。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，并首次把更多能力开放给 ChatGPT 免费用户。
Hugging Face BlogAI 评分3838 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布多模态模型 Idefics2，参数量 8B，采用 Apache 2.0 开源许可，可接收任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断社区多模态微调的门槛变化。
Hugging Face Blog精选AI 评分6262 视觉语言模型解析：架构、选型与 TRL 微调实践
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。
推荐理由：系统梳理视觉语言模型的架构、选型与微调流程，并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face BlogAI 评分3838 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首个版本聚焦 3D 物体检测，输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对合成数据扩展至 v0.2 的 200 万对，改用真实截图和 Tailwind CSS。基于此微调的视觉语言模型 Sightseer 可将截图转为可用 HTML，并还原其中的图像。
Hugging Face BlogAI 评分3131 Hugging Face 发布 ConTextual：多模态模型在图文场景中的联合推理能力评测基准
加州大学洛杉矶分校研究者推出 ConTextual，一个面向 LMM 的上下文敏感文本丰富视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
Mistral AI精选AI 评分8282 Mistral 发布旗舰模型 Mistral Large 与 Mistral Small，并上线 Azure
Mistral 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 同时发布旗舰模型与低延迟小模型，并首次通过 Azure 分发，读者可据此判断其产品线分层与商业路径。
OpenAI News精选AI 评分8888 OpenAI 发布视频生成模型 Sora，可生成一分钟高清视频
OpenAI 公开视频生成模型 Sora，在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型，采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由：OpenAI 首次公开视频生成模型 Sora 的技术路线，读者可了解其时空 patch 训练思路与生成能力边界。
OpenAI News精选AI 评分9292 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文并下调价格，同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API，并开放 DALL·E 3 API。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其模型能力与 API 布局的变化。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。
OpenAI News精选AI 评分8080 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门解读，介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由：文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制，便于判断它离生产渲染管线还有多远。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo，仅使用公开数据和模型（LLaMA v1 与 OpenCLIP）构建，提供 9B 和 80B 两个参数规模，各有基础版和指令微调版。
推荐理由：Hugging Face 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face BlogAI 评分3434 在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。
OpenAI News精选AI 评分9595 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中能力仍不及人类。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现，可据此了解这一代模型的能力边界。
OpenAI NewsAI 评分2222 GPT-4 如何填补 Duolingo 的关键语言学习空白
OpenAI 的 GPT-4 被用于 Duolingo，以填补关键的语言学习空白。正文未披露具体功能、参数或可用性细节。
OpenAI NewsAI 评分4040 Be My Eyes 用 GPT-4 变革视觉无障碍体验
Be My Eyes 借助 GPT-4 变革视觉无障碍体验。该应用利用 GPT-4 为视障用户提供视觉辅助能力。
OpenAI NewsAI 评分2222 冰岛如何用 GPT-4 保护本国语言
冰岛正在使用 GPT-4 保护其语言。OpenAI 介绍了这一合作，旨在借助大语言模型应对冰岛语在数字时代面临的存续挑战。
Hugging Face Blog精选AI 评分6262 Kakao Brain 发布 ViT 与 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿对）以及基于该数据集训练的 ViT 和 ALIGN 模型，这是 ALIGN 模型首次免费开源公开。
推荐理由：Kakao Brain 首次公开 ALIGN 模型并附带训练数据，读者可据此了解可复现的视觉语言建模路径。
Hugging Face Blog精选AI 评分6262 用 BLIP-2 在 Hugging Face Transformers 中实现零样本图像到文本生成
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers，本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由：文章给出 BLIP-2 在 Transformers 中的完整调用示例，读者可据此复现图像描述与视觉问答流程。
Hugging Face BlogAI 评分3030 Hugging Face 博客：深入解析视觉-语言模型及其训练策略
Hugging Face 发布博客深入解析视觉-语言模型，聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略，并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来，结合视觉与语言模态的联合模型（如 OpenAI 的 CLIP）在图像描述、文本引导图像生成与视觉问答等任务上表现突出。