llm-echo 0.5 发布:调试插件更新 token 用量统计
Simon Willison 发布 llm-echo 0.5,该调试插件提供一个不涉及 LLM 的 "model",只回显输入的提示词。新版本更新了模拟 token 用量统计,将工具调用、系统提示词和 reasoning token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output token。
Simon Willison 发布 llm-echo 0.5,该调试插件提供一个不涉及 LLM 的 "model",只回显输入的提示词。新版本更新了模拟 token 用量统计,将工具调用、系统提示词和 reasoning token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output token。
Simon Willison 发布 llm-tools-datasette 0.1.1,这是为 LLM 工具生态提供 Datasette 集成的插件版本更新。该版本由 Teleport 赞助,后者同期推广面向 AI 智能体及其子智能体的隔离临时可信运行时,用于监控和约束智能体行为。
web-edit 0.1a2 为文本和图片数据新增了“复制到剪贴板”选项。作者在手机上用笔记本运行 pelican 提示词时,需要把生成的日志方便地复制到 Gist 中,因此加入该功能。
美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam,这是一个 501B 参数的 MoE 大语言模型,每 token 激活 23B,支持 1M token 上下文,采用 Apache 2.0 许可,聚焦编码与智能体场景。
推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与 vLLM/SGLang 部署配方,可据此判断自托管前沿模型的硬件门槛。
Black Forest Labs 发布 FLUX.3 Image Klein,并在发布首日接入 Diffusers。该模型用同一个模型完成文生图、多参考图生图和新增的布局控制,可在提示词中写入 bounding box 指定画面各部分的摆放位置,或指定参考图中哪些部分需要移动。
推荐理由:Hugging Face 官方给出 FLUX.3 在 Diffusers 中的完整用法,包括布局控制、量化权重与 LoRA 训练脚本,可直接上手复现。
Leash Bio 用 DNA 编码库(DEL)为每个分子打上数十个条形码,从海量蛋白-小分子结合数据中提取出干净可复现的数据,并训练出仅用自家数据的 Hermes,在公开基准上追平 Boltz。
Simon Willison 发布 web-edit 0.1a1,该工具可对 24 个项目进行 profiling。
Simon Willison 的 token 计数 CLI 工具 ttok 发布 0.4 版,修复了 Click 警告、更新了 CI,并新增 --list-models 命令用于列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,可通过 uvx 直接运行,例如 `cat file.txt | uvx ttok` 即可统计 token 数。
Simon Willison 发布 datasette-atom 0.11a0。该版本号由作者本人在 10 月 6 日的博客短讯中公布,原文未披露具体更新内容。
Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并构建了真实方言网页数据、MSA 文化语料与受术语表约束的合成数据三路管线。团队通过消融实验摸索方言数据注入量与训练阶段,以平衡真实与合成数据、避免过拟合。
开源命令行工具 RemoveMacAI 可一键关闭 Apple Intelligence 功能、删除其本地模型并阻止 macOS 重新下载,释放约 12GB 空间。
NASA 与 IBM Research 联合多家学术机构发布 NASA-IBM Lunar Foundation Model,称其为最早的开源月球科学基础模型之一。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下实现最高 3.13x 端侧解码加速和 2.66x H100 解码加速,端到端最高提升 2.62x 和 2.27x。
Simon Willison 发布 llm 0.36。该版本于 2026 年 9 月 22 日发布,具体更新内容原文未作说明。
Simon Willison 发布 LLM 插件 llm-typesafe 0.1a0,为 TypeSafe AI 的新模型 Jev 提供支持,可通过 `llm install llm-typesafe` 安装并设置 API key 使用。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持。
推荐理由:Isaac ROS 5.0 把智能体工作流引入机器人开发,并给出多家厂商的落地案例,可据此判断开源机器人栈的演进方向。
Hugging Face 发布 tokenizers v1,输出 token ID 与 v0.23 完全一致,但速度常达 v0.23 的数十倍。v1 将单 crate 拆为 workspace,引入无分配模型、基于 SIMD 的 bitcannon 分词、合并循环重写、线程本地词缓存和原生并行,并保留 BPE、WordPiece、Unigram 全部支持。
Google Research 发布 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实且保护隐私的基准数据,源码与文档已在 GitHub 公开。
Hugging Face 推出 NeoMME 系列多语言多模态编码器,含 260M 和 800M 两个规模,用单个双向 Transformer 同时处理文本 token 与原始图像 patch,无需独立视觉塔或因果语言模型,并以掩码离散扩散目标从零训练。
一份公开的低成本方案用 TRL 的 GRPO 对 LFM2.5-350M 做微调,仅约 500 条样本、100 个训练步,就把 IFStruct 基准分数从 22.6% 提升到 29.7%,训练可在免费版 Colab 或 Kaggle GPU 上完成。评测通过 llama.cpp 在本地 MacBook 上运行,代码已开源在 GitHub。
Hugging Face 发布 funes,一个面向 Claude Code、Codex、pi 和 Hermes 的持久记忆层,从本机已有会话构建索引,默认在本地完成嵌入与重排,无需 ML 运行时依赖。
推荐理由:funes 把编码智能体的会话轨迹变成可检索的本地记忆,并给出跨机器、跨智能体共享的具体做法。
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替代原模型,在 PANDA 前列腺分级和 EBRAINS 脑肿瘤分型基准上以约 50 倍更少算力达到原 GigaPath 3% 以内的性能。
Import AI 470 期关注三项研究:METR 分析显示 AI 对网络安全漏洞发现加速最明显,对数学研究贡献较小,对 AI 研究本身尚无可测加速。SPADE 框架通过自博弈让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上使游戏环境套件均分达 58.3,较基线提升 8.1。另有 Hawkeye 用于构建更好的 GPU kernel。
Hugging Face 的 OlmoEarth Studio 现已支持计算并导出嵌入向量,用户可通过 UI 或 API 选择区域、时间范围、编码器变体、分辨率和影像源,获得 Cloud-Optimized GeoTIFF(COG)格式输出。
Hugging Face 最新论文提出两项系统改动降低 LLM 知识蒸馏成本:离线缓存教师模型每位置的 top-100 logits,使教师无需与学生同时驻留显存;融合分块 KL 损失避免生成完整的词表×序列长度矩阵。
微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理三类智能体任务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练。
推荐理由:微软研究院开源 Orchard 框架,用约 3B 激活参数在 SWE-bench Verified 上达到 69.7%,读者可据此判断小模型智能体的训练成本与可行性。
Hugging Face 发布 Grabette,一套开源低成本的手持夹爪系统,用于记录机器人操作演示数据。它配备广角鱼眼相机和 RGBD 相机,分别负责策略所需的上下文视图与 6-DoF 轨迹跟踪,硬件 BOM 成本约 490€,配套的机器人端夹爪 Gripette 约 120€。
推荐理由:原文给出了低成本手持夹爪的完整开源方案与浏览器处理流程,读者可据此判断机器人操作数据采集的门槛变化。
Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 把世界模型策略、奖励模型 API 与统一评测 CLI 串成闭环,读者可据此判断机器人学习工具链的演进方向。
Hugging Face 发布 ScarfBench,一个评估 AI 智能体跨框架迁移企业级 Java 应用的开源基准,覆盖 Spring、Jakarta EE、Quarkus 三大生态,含 34 个应用、102 个框架实现、204 项迁移任务和 1331 个专家测试。
NVIDIA 在 Hugging Face 博客发布开源库 NeMo AutoModel,基于 Transformers v5 构建,为 MoE 模型微调加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核。
推荐理由:原文给出 NeMo AutoModel 在 MoE 微调上的吞吐与显存对比,读者可据此判断是否值得替换现有训练栈。
Hugging Face 在 PEFT 库中对比了 40 多种参数高效微调技术,探讨 LoRA 是否真是最佳选择。统计显示,Hugging Face Hub 上提及单一 PEFT 技术的 20,834 个模型卡中有 20,509 个(98.4%)使用 LoRA,图像生成领域 10,000 个 checkpoint 中 95.0% 为 LoRA。
Google DeepMind 发布实验性开放模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理提速。
推荐理由:官方给出 26B MoE 文本扩散模型的开放权重与硬件实测数据,可据此判断本地低并发推理的取舍。
Google Research 在 GitHub 上以 Apache 2.0 许可证开源其水文建模框架,供各国气象与水文机构将 AI 洪水预报整合进自身工作流。
推荐理由:Google 开源洪水预报水文框架,读者可了解其模型架构、训练流程与在 Delft-FEWS 中的集成方式。
DharmaOCR 团队将 Direct Preference Optimization(DPO)用于结构化 OCR 任务,把正确转录设为 chosen、重复退化循环设为 rejected,在 SFT 之后追加第二阶段训练,使所有测试模型家族的文本退化率平均下降 59.4%,最佳达 87.6%(Nanonets-OCR2–3B 从 1.61% 降至 0.20%)。
Hugging Face 在 TRL 中落地 Delta Weight Sync:只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件,上传到 Hugging Face Bucket,再由 vLLM 拉取应用。
推荐理由:TRL 把稀疏增量权重同步落到可 pip 安装的实现,读者可据此判断跨机房异步 RL 的部署成本变化。
Hugging Face 发布 OlmoEarth v1.1,通过将 Sentinel-2 多分辨率 token 合并为单一 token 缩短序列长度,在保持 v1 性能的同时将计算成本最多降低 3 倍。该系列包含 Base、Tiny 和 Nano 三个尺寸,权重与训练代码已开放,微调与推理速度显著提升,但部分任务存在性能回退。
Hugging Face 发布六款 Ettin Reranker 系列 Sentence Transformers CrossEncoder 重排序模型,参数量从 17m 到 1b,均在其规模上达到 SOTA。模型基于 Ettin ModernBERT 编码器,采用以 mxbai-rerank-large-v2 分数为目标的逐点 MSE 蒸馏配方训练,并同步开源训练数据与完整训练流程。
PaddleOCR 3.5 发布,支持通过设置 engine="transformers" 让 PP-OCRv5、PaddleOCR-VL 1.5 等模型以 Hugging Face Transformers 作为推理后端运行。
Import AI 457 聚焦三项研究:SentinelOne 拆解出约 20 年前的病毒 fast16.sys,它通过篡改 LS-DYNA 970、PKPM、MOHID 等高精度计算软件的内存结果来破坏工程与物理仿真。
Hugging Face 发布两款基于 ModernBERT 的 Apache 2.0 多语言嵌入模型:97M 参数的 granite-embedding-97m-multilingual-r2 在 MTEB Multilingual Retrieval 上得分 60.3。