环境和配置搭建讨论区

[zRzRzRzRzRzRzR]

本区域为社群遇到的非官方配置下可能遇到的环境问题，欢迎大家相互解答

[lvbinandylau]

有vllm的配置参数吗

[kylinccc]

[bibobo]

可以docker部署

[ZidieChen]

有人遇到这个问题吗？可以正常加载模型和输入问题，但是GLM4在回答时报错：RuntimeError: cutlassF: no kernel found to launch!
我的pytorch=2.3.1 cuda=12.3 显卡是RTX4000ada 驱动版本555.99

[ciaoyizhen]

两张卡vllm部署python运行成功 镜像启动失败，报NCCL Error
自己使用transformer写了GLM3那种服务端，但是生成速度没有vllm的快，然后openai的客户端请求超时了 要怎么解决？

[NEALKARS]

4的128k和1M版本支持function call吗？我记得3只有8K版本支持function call

[fjscfy]

File "/root/.cache/huggingface/modules/transformers_modules/chatglm4/modeling_chatglm.py", line 939, in _update_model_kwargs_for_generation
cache_name, cache = self._extract_past_from_model_output(
ValueError: too many values to unpack (expected 2)
有大佬能看一下吗，这个报错是我环境没装对吗

[ciaoyizhen]

issue里有这个 好像修复了

[richard-yao]

使用vllm部署9b-chat进行推理的话，8k上下文需要多少显存呢？我在文档里没看到官方数据呢

[GitMiracle]

目前国产显卡能支持PyTorch和tensorflow的话，国产显卡官网没有描述是否支持cuda和rocm，只是说支持PyTorch和tensorflow，这样的话能部署glm吗？

[guiktydftfk]

有没有大佬看一下，本地部署使用文档解读报错，其他都能用。显卡是4060Laptop，驱动版本是560.70

[liujunjie-cn]

有没有大佬转onnx报这个错，应该如何解决呀？

/usr/local/lib/python3.10/dist-packages/torch/onnx/utils.py:1738: UserWarning: The exported ONNX model failed ONNX shape inference. The model will not be executable by the ONNX Runtime. If this is unintended and you believe there is a bug, please report an issue at https://github.com/pytorch/pytorch/issues. Error reported by strict ONNX shape inference: [ShapeInferenceError] (op_type:Add, node name: /Add): A typestr: T, has unsupported type: tensor(bool) (Triggered internally at ../torch/csrc/jit/serialization/export.cpp:1469.)
_C._check_onnx_proto(proto)

[Dong148]

请问如何使用outlines呀，我用vllm部署openai服务指定response_format是json会报错，看了下是不是outlines兼容性的问题

[mandone]

请问下生产环境要支撑2个qps，最小需要多少的显存？量化版和非量化版方便的话都给一下建议。或者提供一下qps与显存的计算公式？

[nyx-1997]

220, in generate_stream_glm4
sampling_params = SamplingParams(**params_dict)
TypeError: Unexpected keyword argument 'use_beam_search'
有没有大佬看下，openai-api-server和openai-api-request跑不通

[DunFFT]

D:\GLM4\GLM-4\basic_demo>python trans_web_demo.py
Loading checkpoint shards: 0%| | 0/10 [00:00<?, ?it/s]
Traceback (most recent call last):
File "D:\GLM4\GLM-4\basic_demo\trans_web_demo.py", line 58, in
model, tokenizer = load_model_and_tokenizer(MODEL_PATH, trust_remote_code=True)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\GLM4\GLM-4\basic_demo\trans_web_demo.py", line 48, in load_model_and_tokenizer
model = AutoModelForCausalLM.from_pretrained(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\anaconda3\Lib\site-packages\transformers\models\auto\auto_factory.py", line 559, in from_pretrained
return model_class.from_pretrained(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\anaconda3\Lib\site-packages\transformers\modeling_utils.py", line 4014, in from_pretrained
) = cls._load_pretrained_model(
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\anaconda3\Lib\site-packages\transformers\modeling_utils.py", line 4482, in _load_pretrained_model
state_dict = load_state_dict(shard_file, is_quantized=is_quantized)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\anaconda3\Lib\site-packages\transformers\modeling_utils.py", line 549, in load_state_dict
with safe_open(checkpoint_file, framework="pt") as f:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
这个报错有大佬看看吗，启动trans_web_demo.py时出现这个错误