Hugging Face 计算机视觉生态现状：8 大任务、3000+ 模型与 100+ 数据集
Hugging Face 公布其计算机视觉生态现状：Hub 上已支持 8 项核心视觉任务、3000 多个模型和 100 多个数据集，涵盖图像分类、分割、目标检测、深度估计等，并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。Pipelines 已支持 7 项视觉任务，Trainer 可直接微调图像分类、分割、视频分类、目标检测和深度估计。
#多模态
#多模态
今日 2 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分4040 Hugging Face 发布 Document AI 开源模型选型指南
Hugging Face 发布 Document AI 指南，梳理 OCR、文档图像分类、版面分析、文档解析等六大用例及对应开源模型。文档图像分类中，LayoutLMv3 与 Donut 等多模态模型在 RVL-CDIP 上达 95% 准确率，高于 BERT-base 的 89% 和纯视觉 DiT 的 92%；LayoutLMv3 在 PubLayNet 上取得 0.951 mAP。
Hugging Face BlogAI 评分2222 Hugging Face 为 🤗 Datasets 新增音频与图像文档
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档，Quickstart 新增按模态加载与处理数据的端到端示例，并引入 to_tf_dataset 函数，可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 Perceiver IO 加入 Transformers，统一处理文本图像音频视频
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套统一处理文本、图像、音频、视频的架构如何实现。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述文本微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，使其能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强与 Marian MT 回译文本增强抑制过拟合。模型、项目页与 demo 均已公开，可用于以文本查询大规模卫星图像库。
OpenAI News精选AI 评分6262 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现一类神经元，无论概念以字面、符号还是概念形式呈现都会产生响应。这可能解释 CLIP 在分类出人意料的视觉概念变体时仍保持准确，也是理解 CLIP 及同类模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念跨字面、符号与概念形式响应的神经元，为理解其分类准确性与习得偏见提供线索。
OpenAI News精选AI 评分8585 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言描述生成图像，覆盖自然语言可表达的广泛概念。
推荐理由：OpenAI 官方公布 DALL·E 这一文本生成图像神经网络，可据此了解早期文生图模型的能力定位。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 发布 CLIP，用自然语言监督学习视觉概念，可零样本迁移到任意视觉分类基准。
OpenAI News精选AI 评分6262 OpenAI 发布 MuseNet 音乐生成神经网络
OpenAI 发布 MuseNet，一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络，并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识，而是通过学习预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 用与 GPT-2 同源的 Transformer 生成音乐，读者可了解通用序列建模向音频领域的早期延伸。