Google 发布 SigLIP 2 多语言视觉语言编码器
Google 发布 SigLIP 2 系列多语言视觉语言编码器，在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标，在零样本分类、图文检索和视觉表征迁移上均优于旧版 SigLIP。
推荐理由：梳理 SigLIP 2 相比前代新增的训练目标与 naflex 动态分辨率变体，便于判断视觉编码器的选型。
多模态
全部主题文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
最新精选
第 101–120 条 · 共 140 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 SmolVLM2 视频理解模型，含 2.2B、500M 和 256M 三个尺寸
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三个参数规模，并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由：Hugging Face 发布三档小尺寸视频理解模型，并给出 MLX 与 Transformers 的即用示例，可据此判断端侧视频理解的门槛变化。
Mistral AI精选AI 评分6262 Mistral 发布首个区域语言模型 Mistral Saba
Mistral AI 发布 Mistral Saba，这是其首个专门针对区域语言的模型，拥有 24B 参数，基于中东和南亚精心整理的数据集训练。该模型在阿拉伯语和泰米尔语等南印度语言上表现突出，响应速度超过 150 tokens/秒，可在单 GPU 系统上本地部署，并提供 API 访问。
推荐理由：Mistral 推出首个区域语言模型，24B 参数可在单 GPU 本地部署，为中东和南亚市场提供定制化选择。
Mistral AI精选AI 评分7171 Mistral AI 发布新版 le Chat 助手并上线 iOS 与 Android
Mistral AI 发布新版 le Chat，定位覆盖生活与工作的综合 AI 助手，同时上线 iOS、Android，并推出 Pro 和 Team 订阅以及处于私有预览的 Enterprise 版本。
推荐理由：官方一次性给出 le Chat 的移动端、Flash Answers 速度指标与 Pro 定价，可据此判断其与现有助手的差异。
Hugging Face Blog精选AI 评分6262 smolagents 新增视觉语言模型支持
Hugging Face 为 smolagents 加入视觉支持，可在智能体流程中原生使用视觉语言模型。图片既能在 run 方法中一次性传入并存入 TaskStep 的 task_images，也能通过 step_callbacks 在每步把截图写入 ActionStep 的 observation_images。
推荐理由：官方给出 smolagents 接入视觉语言模型的两条路径与回调写法，可据此改造现有智能体流程。
Hugging Face Blog精选AI 评分6262 SmolVLM 推出 256M 与 500M 两个更小尺寸模型
Hugging Face 发布 SmolVLM-256M 和 SmolVLM-500M 两款视觉语言模型，其中 256M 被称为全球最小的 VLM，共提供两个 base 和两个指令微调共四个 checkpoint。
推荐理由：SmolVLM 家族新增 256M 与 500M 两个小尺寸多模态模型，读者可据此了解小模型在视觉语言任务上的取舍与部署方式。
OpenAI News精选AI 评分8282 OpenAI 视频生成模型 Sora 上线 sora.com
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频，支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合，也可完全由文本生成新内容。
推荐理由：OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力，读者可据此判断可用范围。
Hugging Face Blog精选AI 评分6262 Google 发布视觉语言模型 PaliGemma 2，提供 3B、10B、28B 三种规格
Google 发布新一代视觉语言模型 PaliGemma 2，沿用 SigLIP 图像编码器，文本解码器升级为 Gemma 2，提供 3B、10B、28B 三种参数规格，均支持 224x224、448x448、896x896 三种输入分辨率，而上一代 PaliGemma 仅有 3B 版本。
推荐理由：Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率，可据此判断微调选型空间。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM：2B 视觉语言模型，主打低显存占用
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型，包含 Base、Synthetic 和 Instruct 三个版本，模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由：2B 视觉语言模型给出显存占用与吞吐对比，可据此判断端侧多模态部署的可行边界。
Mistral AI精选AI 评分6262 Mistral AI 为 le Chat 加入联网搜索、Canvas 与图像生成
Mistral AI 为免费生成式 AI 助手 le Chat 上线多项 beta 功能：带引用的联网搜索、用于构思与就地编辑和导出的 Canvas、由新多模态模型 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成，以及可复用提示词并分享给同事的 Agents。
推荐理由：官方列出 le Chat 新增的联网搜索、Canvas、文档图像理解与图像生成，并给出与主流助手的逐项对比。
Mistral AI精选AI 评分7878 Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型，含 1B 参数视觉编码器和 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：官方给出 Pixtral Large 在多项多模态基准上的对比数据与开放权重许可，读者可据此判断其与 GPT-4o、Gemini-1.5 Pro 的位置。
OpenAI News精选AI 评分6262 OpenAI 为微调 API 引入视觉能力
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升视觉能力。
推荐理由：OpenAI 在微调 API 中加入图像输入，开发者可据此判断视觉微调是否适用于自己的场景。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2 系列共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。
推荐理由：Hugging Face 与 Meta 同步放出 10 个开放权重模型，并给出端侧运行与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 FineVideo：43k 条视频、3.4k 小时的开源视频数据集
Hugging Face 发布 FineVideo，一个包含 43k 条视频、3.4k 小时的开源视频数据集，标注了丰富描述、叙事细节、场景切分和 QA 对。
推荐理由：原文完整披露了从 1.9M 视频筛选到 43k 条标注数据的过滤、分类与标注流程，可迁移到自建视频数据集。
Mistral AI精选AI 评分7373 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价与新小模型，读者可据此判断其 API 成本与自部署选择。
Mistral AI精选AI 评分7070 Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，可在 128k token 上下文窗口中处理任意数量图像。
推荐理由：官方给出 Pixtral 12B 的架构、基准与部署方式，可据此判断开源多模态模型在文档与图表任务上的位置。
Hugging Face Blog精选AI 评分6060 HuggingChat 推出 Community Tools，可将任意 Space 变成模型工具
Hugging Face 在 HuggingChat 上线 Community Tools，用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具，并借此扩展 HuggingChat 的多模态能力，用于理解图像、生成视频或文本转语音。
推荐理由：官方给出把任意 Space 变成 HuggingChat 工具的具体步骤，读者可据此把图像、视频、语音和 RAG 能力接入对话。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数、128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口，可在单节点上实现大吞吐推理。
推荐理由：官方给出 123B 参数、128k 上下文与多项基准对比，可据此判断单节点部署的成本与性能取舍。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B：11B 参数预训练语言模型与 VLM，训练数据超 5000B token、覆盖 11 种语言
TII 发布第二代 Falcon 模型 Falcon 2，首发 11B 参数的基础语言模型和 11B 视觉语言模型（VLM），后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器，可对图像内容进行文本问答。
推荐理由：原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比，可据此判断小尺寸开源模型的能力位置。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：梳理了 PaliGemma 的三种权重类型、分辨率与精度选择，并给出 transformers 推理与微调的可复用代码。