Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 Mixture-of-Experts 架构，141B 参数中仅 39B 激活，以 Apache 2.0 许可开放。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本效率定位。
全部AI 动态
全部动态
今日 4 条Mistral AI精选AI 评分8080
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布多模态模型 Idefics2，参数量 8B，采用 Apache 2.0 开源许可，可接收任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断社区多模态微调的门槛变化。
Hugging Face Blog精选AI 评分6262 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练。
推荐理由：Google 与 Hugging Face 联合发布代码专用 Gemma 系列，给出三种规格与基准对比，便于判断开源代码模型的选型。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练，并同步开放模型、数据集及训练代码。
推荐理由：BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码，读者可据此判断开源代码模型的能力边界与数据规模。
Mistral AI精选AI 评分8282 Mistral 发布旗舰模型 Mistral Large 与 Mistral Small，并上线 Azure
Mistral 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 同时发布旗舰模型与低延迟小模型，并首次通过 Azure 分发，读者可据此判断其产品线分层与商业路径。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能与 Mistral 7B 相当。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。
OpenAI News精选AI 评分8888 OpenAI 发布视频生成模型 Sora，可生成一分钟高清视频
OpenAI 公开视频生成模型 Sora，在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型，采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由：OpenAI 首次公开视频生成模型 Sora 的技术路线，读者可了解其时空 patch 训练思路与生成能力边界。
Hugging Face BlogAI 评分2222 IBM Research 与 Hugging Face 在 Transformers 库中发布 PatchTSMixer
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时间序列模型 PatchTSMixer，它基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的混合以及多种注意力机制。
Hugging Face BlogAI 评分5757 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，这是对 Google MUSE 的开源复现，采用 Masked Image Model（MIM）方法而非常见的潜在扩散路线，以研究预览版和宽松许可证发布。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家（SMoE）模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：Mistral 放出 Apache 2.0 的稀疏 MoE 权重，并给出与 Llama 2 70B、GPT3.5 的对比，便于判断开源模型的成本性能取舍。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。
OpenAI News精选AI 评分9292 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文并下调价格，同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API，并开放 DALL·E 3 API。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其模型能力与 API 布局的变化。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可，读者可据此判断小参数模型的性价比与部署方式。
Mistral AI精选AI 评分7878 Mistral AI 发布首个开源模型 Mistral 7B
Mistral AI 发布首个 7B 参数模型 Mistral 7B，采用 Apache 2.0 许可，称其在所有标准英文和代码基准上超过现有 13B 参数以内的开源模型。
推荐理由：Mistral AI 官方阐述开源模型路线，并给出首个 7B 模型在基准上超越更大开源模型的对比。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。
Hugging Face Blog精选AI 评分6262 Würstchen 发布：面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件部分在高度压缩的潜空间中工作，实现 42x 空间压缩，推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 SDXL 带来 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers，并给出与 ControlNet 的参数量对比。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face Hub，提供 base 与 chat 两个版本。该模型有 1800 亿参数，在 3.5 万亿 token 的 RefinedWeb 数据上训练，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：原文给出 Falcon 180B 的参数量、训练数据与评测对比，读者可据此判断开源大模型的规模与商用限制。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 的代码专用版本接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 训练、专注代码任务的开放模型家族，提供 7B、13B、34B 三种参数规模，并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由：梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径，便于判断能否直接用于代码补全。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo，仅使用公开数据和模型（LLaMA v1 与 OpenCLIP）构建，提供 9B 和 80B 两个参数规模，各有基础版和指令微调版。
推荐理由：Hugging Face 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face Blog精选AI 评分6262 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，图像保真度接近基础模型。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 同步上线全套集成
Meta 发布开源大语言模型系列 Llama 2，包含 7B、13B、70B 的预训练与微调版本，采用宽松社区许可并允许商用。相比 Llama 1，预训练 token 增加 40%，上下文长度扩展到 4k tokens，70B 模型使用 grouped-query attention。
推荐理由：Meta 发布可商用的 Llama 2 系列，Hugging Face 同步给出推理、部署与微调入口，便于判断开源模型的可落地程度。
Hugging Face Blog精选AI 评分7878 Falcon 模型登陆 Hugging Face 生态
阿布扎比技术创新研究院（TII）以 Apache 2.0 许可发布 Falcon 系列语言模型，包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解当时开源模型的能力位置。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库，该架构结合 RNN 与 Transformer 的优势，由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由：RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合，并已接入 transformers 库，读者可据此判断长上下文场景的选型空间。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder：15B 参数开源代码大模型
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型，基于 GitHub 上 80 多种编程语言的宽松许可数据训练，约 15B 参数、1 万亿 token，StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。
推荐理由：BigCode 公开了 StarCoder 的权重、训练数据与评测结果，读者可据此判断开源代码模型当时的能力位置。
OpenAI News精选AI 评分9595 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中能力仍不及人类。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现，可据此了解这一代模型的能力边界。
OpenAI News精选AI 评分8989 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，官方说明它可在创意与技术写作任务中与用户生成、编辑和迭代内容，例如创作歌曲、撰写剧本或学习用户的写作风格。
推荐理由：OpenAI 官方发布 GPT-4，并给出其在创意与技术写作上的生成、编辑与迭代能力。
Hugging Face Blog精选AI 评分6262 Kakao Brain 发布 ViT 与 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿对）以及基于该数据集训练的 ViT 和 ALIGN 模型，这是 ALIGN 模型首次免费开源公开。
推荐理由：Kakao Brain 首次公开 ALIGN 模型并附带训练数据，读者可据此了解可复现的视觉语言建模路径。
OpenAI News精选AI 评分6262 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可根据复杂提示词生成 3D 点云的系统。
OpenAI News精选AI 评分6262 OpenAI 发布新版嵌入模型
OpenAI 宣布推出新的嵌入模型，称其在能力上显著提升，同时成本更低、使用更简单。原文未披露模型名称、版本号或具体评测数据。
推荐理由：OpenAI 发布新版嵌入模型，原文只给出能力、成本与易用性三项变化，缺少具体参数。
Hugging Face BlogAI 评分4242 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion，可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
OpenAI News精选AI 评分7878 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英文语音识别上的鲁棒性与准确率定位。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布全球最大开放多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，是首个完全透明训练的多语言 LLM。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，读者可据此了解开放大模型在透明度上的具体做法。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
为向广泛受众开放 DALL·E 2，OpenAI 在预训练阶段采取缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-3 与 Codex 新版本，支持编辑和插入内容
OpenAI 发布新版本 GPT-3 和 Codex，可在已有文本中编辑或插入内容，而不再只是续写现有文本。
推荐理由：OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力，读者可了解模型从续写扩展到改写已有文本的变化。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出 InstructGPT 模型，在遵循用户意图方面明显优于 GPT-3，同时更真实、毒性更低，训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性上优于 GPT-3，并已成为 API 默认模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 Perceiver IO 加入 Transformers，统一处理文本图像音频视频
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套统一处理文本、图像、音频、视频的架构如何实现。
OpenAI News精选AI 评分8585 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言描述生成图像，覆盖自然语言可表达的广泛概念。
推荐理由：OpenAI 官方公布 DALL·E 这一文本生成图像神经网络，可据此了解早期文生图模型的能力定位。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 发布 CLIP，用自然语言监督学习视觉概念，可零样本迁移到任意视觉分类基准。