dev分支的vllm_model_server.py指定GPU貌似无效

[Jimmy-L99]

if __name__ == "__main__":
    parser = argparse.ArgumentParser()

    parser.add_argument("--host", type=str, default="localhost")
    parser.add_argument("--dtype", type=str, default="bfloat16")
    parser.add_argument("--device", type=str, default="cuda:1")
    parser.add_argument("--port", type=int, default=10000)
    parser.add_argument("--model-path", type=str, default="models/glm-4-voice-9b")
    args = parser.parse_args()

    worker = ModelWorker(args.model_path, args.dtype, args.device)
    uvicorn.run(app, host=args.host, port=args.port, log_level="info")

参数这里设置default="cuda:1"，命令行也尝试--device cuda:1，但加载模型还是在GPU0

2586962 root   0  Compute   0%  20632MiB  25%     0%   6584MiB python GLM4-Voice/GLM-4-Voice-dev/vllm_model_server.py --device cuda:1

[sixsixcoder]

该问题已在PR中修复。