把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Mistral AI 发布 Le Chat Enterprise，一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手，包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能，全部功能将在未来两周内陆续上线。
推荐理由：官方给出 Le Chat Enterprise 的功能清单与部署选项，可据此判断企业级 AI 助手的落地方式。
Hugging Face 的 Xet 团队已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，2 月 20 日当天共迁移 4.5 TB，约 6% 的 Hub 下载流量转到 Xet 基础设施。
推荐理由：Hugging Face 官方复盘 Xet 存储首次迁移，给出分块去重带来的传输收益与两个生产环境问题的修复过程。
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错提取文本与图像，并作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，读者可据此判断它在文档解析与 RAG 流程中的位置。
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
Hugging Face 的 Xet 团队介绍其基于内容定义分块（CDC）的存储方案，通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射，把 CAS 条目减少约 1000 倍，部分场景上传下载提速 2-3 倍。
推荐理由：Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输，读者可了解大文件上传下载提速的实现思路。
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体条件，便于判断端侧选型。
Hugging Face 在 Hub 的模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova 和 Together AI 四家无服务器推理服务，并集成到 JS 与 Python 客户端 SDK。
推荐理由：Hugging Face 把四家无服务器推理商接入模型页与 SDK，读者可据此判断多供应商调用与计费方式的变化。
OpenAI 发布 Stargate Infrastructure 合作征集，面向数据中心建设相关企业寻求合作。征集范围覆盖电力、土地、施工、设备等数据中心基础设施环节，目标是推进其 AGI 基础设施愿景。
推荐理由：OpenAI 公开征集数据中心基础设施合作方，可了解其 AGI 算力建设覆盖的环节范围。
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，代码生成与补全速度约为原版 Codestral 的 2 倍，上下文长度 256k。
推荐理由：Codestral 25.01 在 FIM 与多语言基准上给出与同量级模型的对比数据，可据此判断代码补全场景的选型。
Hugging Face 发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由：文章用 PyTorch 内存快照拆解训练各阶段显存占用，并给出可复用的显存估算公式。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型与任意模型族的辅助模型配对，无需共享 tokenizer。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解无需同族小模型即可加速推理的思路与实测数据。
Hugging Face 发布 Hugging Face Generative AI Services（HUGS），一套零配置的优化推理微服务，用于在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的优化部署从数周压缩到分钟级，并给出兼容 OpenAI API 的迁移路径，适合关注自托管推理成本的团队参考。
dottxt 与 Hugging Face 合作发布 outlines-core，这是 outlines 结构化生成核心算法的 Rust 移植版，0.1.0 的 Python 绑定已上线。
推荐理由：Outlines 核心算法用 Rust 重写并发布 0.1.0，读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：Gradio 5 的稳定版发布，列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
OpenAI 在 API 中推出 Prompt Caching，对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景，具体折扣幅度与使用方式原文未给出。
推荐理由：OpenAI 在 API 中上线提示词缓存，对模型近期见过的输入自动打折，读者可据此评估调用成本变化。
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本，可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由：Accelerate 1.0 候选版发布，梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动，便于评估升级成本。
OpenAI 在 API 中推出 Structured Outputs，模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由：OpenAI 在 API 中加入结构化输出，开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
Hugging Face 发布教程，介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。