视觉语言模型解析：架构、选型与 TRL 微调实践

Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。