Hugging Face Blog·· 2024-07-25AI 评分22
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?
AI 导读
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
来源：Hugging Face Blog · huggingface.co