模型仅对示例的prompt有较好效果

[pooregg]

作者您好，我有个需求是对图像的多个质量维度进行1-10分的评分，分数越高质量越好，且已有一批标注数据。
1.请问我应该怎么组织我的训练数据以得到下列我想要的结果格式，例如：
"图像1": {"清晰度": "8", "透彻性": "8", "白平衡": "7"}}
2.主观打分的时候有两套标准，一套是基于参照图片打的相对分数，输入为参考图片和待打分图片；一套是无参考图片，基于历史经验打得绝对分数，输入为一张待打分图片。请问模型能否感知图像底层视觉，将质量和分数及多个评分标准对应
3.目前评估模型准确率的metric是什么啊，自然语言的相似度吗，如果我希望模型评分尽可能接近主观评分，应该如何修改metric.
如果您能提供一些建议，将万分感谢！

[zhiyuanyou]

你好，感谢你的兴趣与问题。

1. 我个人认为你想得到这种类似于dict的json信息，目前7B的模型是很难严格follow的。个人认为，针对每一个质量维度，都单独训练一个分类器会更好。
2. 由于DepictQA是在所展示的几个tasks上训练的，目前还很难支持free question，因此直接拿pre-train的模型来肯定是做不到多个质量维度的打分。
3. 目前的metric有accuracy和GPT-4 score，accuracy是distortion识别以及AB对比的指标，GPT-4 score是语言描述的指标，具体可以参考paper。

[pooregg]

感谢您的回复！

[zhiyuanyou]

By the way，如果你需要得到一个离散的分数 (比如1-10)，而不是一段描述，可以参考这篇文章，Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels。

[pooregg]

好的，我学习一下，感谢！

By the way，如果你需要得到一个离散的分数 (比如1-10)，而不是一段描述，可以参考这篇文章，Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels。

好的，我学习一下，感谢！