cogvlm_grounding 并行调用和串行结果存在一定差异

[qinzhenyi1314]

System Info / 系統信息

packages in environment at /opt/conda:

cuda-cudart 11.8.89 0 nvidia
cuda-cupti 11.8.87 0 nvidia
cuda-libraries 11.8.0 0 nvidia
cuda-nvrtc 11.8.89 0 nvidia
cuda-nvtx 11.8.86 0 nvidia
cuda-runtime 11.8.0 0 nvidia
swissarmytransformer 0.4.11 pypi_0 pypi
tokenizers 0.19.1 pypi_0 pypi
torchaudio 2.3.0 py310_cu118 pytorch
torchelastic 0.2.2 pypi_0 pypi
torchtriton 2.3.0 py310 pytorch
torchvision 0.18.0 py310_cu118 pytorch
transformers 4.40.2 pypi_0 pypi
xformers 0.0.26.post1+cu118 pypi_0 pypi

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

将batch size 设置为1连续运行3次，结果都一致
将batch size 设置为2连续运行3次，结果都一致，但是batch size 设置为2 和 batch size 设置为1结果有不同
将batch size继续更改设置，也是会有差异
下边是不同batch size的结果，出现差异的原因，是因为 padding吗？ 但是我看图像最后不是会都变为490*490 文本是同样的文本 按道理所有的数据长度不是一样的吗？

串行调用和并行调用存在差异

Expected behavior / 期待表现

出现差异的原因